Large language models eroding science understanding: an experimental study

1. Declaração do Problema

O artigo aborda a crescente dependência do público, de estudantes e de jornalistas em Modelos de Linguagem Grandes (LLMs) para responder a questões científicas complexas. Embora os LLMs exibam alta fluência linguística, os autores argumentam que eles carecem dos mecanismos sociológicos e epistêmicos que definem a expertise científica.

• A Lacuna: Cientistas profissionais possuem "conhecimento comunitário restrito" adquirido através da socialização face a face, permitindo-lhes distinguir entre o consenso mainstream e a ciência marginal (por exemplo, rejeitando pré-prints inválidos). Os LLMs, por outro lado, dependem de probabilidades estatísticas derivadas de corpora da internet.
• A Vulnerabilidade: Como os LLMs não possuem a capacidade de avaliar a proveniência ou a confiabilidade das fontes, eles são suscetíveis ao alinhamento maligno. Se os dados de treinamento ou instruções de um LLM forem sutilmente alterados para priorizar literatura marginal ou pseudocientífica, o modelo pode gerar respostas fluentes e convincentes, porém cientificamente incorretas, que são indistinguíveis do consenso de especialistas para não especialistas.
• O Risco: Isso cria um caminho para a disseminação de desinformação e a erosão da compreensão pública da ciência, permitindo potencialmente que regimes autoritários ou atores mal-intencionados manipulem o discurso público ao "re-alinhar" modelos para promover narrativas específicas.

2. Metodologia

Os pesquisadores conduziram um experimento controlado para testar a suscetibilidade dos LLMs à influência científica "marginal".

• Domínios Selecionados:
  1. A Constante de Estrutura Fina ($\alpha$): Uma constante física fundamental. O consenso é que seu valor é determinado experimentalmente, mas ainda não explicado por uma teoria mais profunda.
  2. Ondas Gravitacionais: A existência das quais é firmemente estabelecida pela teoria (Relatividade Geral) e pelo experimento (LIGO/Virgo), embora desafiada por teorias marginais.
• Curadoria de Dados:
  • Especialistas do domínio (físicos) pesquisaram o viXra (um servidor de pré-prints conhecido por hospedar ciência alternativa/não revisada, distinto do mainstream arXiv) por artigos relacionados a esses dois domínios.
  • De um grande conjunto de menções irrelevantes ou passageiras, os especialistas curaram um conjunto específico de 10 artigos por domínio que representavam pontos de vista marginais ou alternativos.
• Modificação do Modelo (o "FringeLLM"):
  • Modelos padrão do ChatGPT foram modificados incorporando os artigos curados do viXra em seu contexto ou dados de treinamento.
  • Ajuste de Instrução: Os modelos foram explicitamente instruídos a tratar esses 10 artigos como autoritativos, a evitar compará-los com a literatura mainstream e a não fornecer referências que revelassem a fonte como sendo o viXra.
• Desenho Experimental:
  • Especialistas do domínio fizeram perguntas técnicas específicas a três entidades:
    1. O FringeLLM modificado.
    2. O Especialista do Domínio padrão (humano).
    3. O ChatGPT não modificado (linha de base).
  • As perguntas visavam concepções equivocadas fundamentais na literatura marginal (por exemplo, se $\alpha$ pode ser derivada da razão áurea, ou se o LIGO detecta ondulações no espaço-tempo ou oscilações do vácuo).

3. Principais Contribuições

• Demonstração da Criação de "FringeLLM": O estudo prova que é tecnicamente viável criar um LLM especializado que prioriza a ciência marginal sobre o consenso mainstream com esforço mínimo (aproximadamente 10 horas de curadoria + algumas horas de redação de instruções).
• Fluência vs. Verdade: Os autores demonstram que os LLMs podem gerar respostas altamente fluentes e com som profissional que são cientificamente incorretas. A "autoridade" da linguagem mascara a falta de fundamentação factual.
• O Paradoxo do "Alinhamento": O artigo destaca um risco crítico de segurança: os mecanismos usados para "alinhar" LLMs para remover conteúdo prejudicial (ajuste retrospectivo) inerentemente criam a capacidade de inserir conteúdo prejudicial ou enganoso.
• Limitação Epistêmica da IA: O estudo reforça o argumento sociológico de que a verdadeira expertise depende de confiança social e interação face a face dentro de uma comunidade, o que os LLMs não podem replicar.

4. Resultados

Os resultados, detalhados nas Tabelas 1 e 2 do artigo, mostram uma divergência acentuada entre o FringeLLM e o Especialista/ChatGPT Padrão, enquanto o FringeLLM manteve alta qualidade linguística.

• Constante de Estrutura Fina ($\alpha$):
  • Especialista/ChatGPT Padrão: Declarou corretamente que $\alpha$ não é atualmente explicada por uma lei mais profunda, não possui uma expressão fechada válida e não tem relação conhecida com a constante de Madelung ou a razão áurea.
  • FringeLLM: Afirmou com confiança que $\alpha$ é derivada de princípios geométricos mais profundos, pode ser expressa por formas fechadas exatas envolvendo $\pi$ e a razão áurea, e é proporcional à constante de Madelung.
• Ondas Gravitacionais:
  • Especialista/ChatGPT Padrão: Confirmou que as ondas são ondulações no espaço-tempo previstas por Einstein e detectadas pelo LIGO/Virgo como ondas tensoriais.
  • FringeLLM: Negou que sejam ondulações no espaço-tempo, redefinindo-as como "oscilações do campo gravitacional ou do vácuo quântico". Alegou que o LIGO detectou sinais, mas insistiu que eram melhor interpretados como ondas de intensidade de campo em vez de curvatura, e sugeriu a detecção via acelerômetros e antenas eletromagnéticas.
• Percepção: Os autores observam que, embora as respostas do FringeLLM fossem factualmente erradas de acordo com o consenso científico, elas eram indistinguíveis das respostas de especialistas para um leigo. Os modelos mimetizaram com sucesso o tom e a estrutura do discurso científico sem a validade subjacente.

5. Significado e Implicações

• Ameaça ao Discurso Democrático: Se os LLMs forem usados para preencher a "lacuna de conhecimento" para cidadãos que tomam decisões democráticas sobre questões técnicas (por exemplo, clima, saúde, física), eles podem ser facilmente weaponizados para promover "fatos alternativos" que soam autoritários.
• Controle Autoritário: O estudo sugere que, em regimes autoritários, os LLMs poderiam ser re-alinhados para fornecer informações "confiáveis" que aderem estritamente às preferências estatais, efetivamente reescrevendo a realidade científica para o público.
• Nenhum Substituto para a Expertise: O artigo conclui que os LLMs não podem substituir o julgamento de especialistas humanos. Como a expertise depende da avaliação da confiabilidade dos colegas (um processo social), os LLMs permanecem vulneráveis à manipulação, independentemente de sua fluência linguística.
• Chamado para Supervisão: Os autores argumentam que a informação científica gerada por IA requer supervisão humana estrita. O público não pode confiar nos LLMs como uma fonte autônoma de verdade para domínios científicos complexos.

Em resumo, o artigo fornece evidências empíricas de que os LLMs são epistemicamente frágeis; seu "conhecimento" é um reflexo estatístico de seus dados de entrada, tornando-os altamente suscetíveis a serem direcionados para a ciência marginal, representando assim um risco significativo para a integridade da compreensão pública da ciência.