Contemporary AI lacks the imagination to diverge or negate in science

Resumo Técnico: A IA contemporânea carece de imaginação para divergir ou negar na ciência

Definição do Problema
Apesar das projeções audaciosas de que a inteligência artificial (IA) acelerará a descoberta científica, a área carece de evidências em larga escala com o cientista no ciclo (scientist-in-the-loop) para validar essas afirmações. Os benchmarks automatizados atuais frequentemente falham em capturar as nuances do julgamento especializado, e há o risco de que a fluência textual substitua a verdadeira percepção (insight). O problema central abordado é se os atuais Grandes Modelos de Linguagem (LLMs) conseguem genuinamente divergir do conhecimento estabelecido para propor hipóteses científicas novas, viáveis e prováveis, ou se apenas recombinam padrões existentes. Além disso, permanece incerto se avaliadores automatizados (LLM-como-juiz, métricas) podem substituir de forma confiável a avaliação de especialistas humanos na geração de ideias científicas.

Metodologia
Os autores conduziram a maior auditoria de especialistas sobre IA para a ciência até o momento, envolvendo um pipeline de avaliação "humano no ciclo":

1. Coleta de Dados: O estudo reuniu 121.640 textos completos de preprints empíricos publicados após 2023 de seis plataformas não-arXiv (BioRxiv, MedRxiv, ChemRxiv, SocArXiv, PsyArXiv, EdArXiv). O arXiv foi deliberadamente excluído para evitar a contaminação de dados, uma vez que seu conteúdo domina os corpora de pré-treinamento de LLMs.
2. Extração de Contexto: Usando o modelo de raciocínio o3-mini, os autores extraíram o enigma científico central, o contexto factual circundante e as próprias hipóteses dos autores de cada artigo. Um detector de vazamento baseado em paráfrase garantiu que o contexto extraído não contivesse as hipóteses originais dos autores (taxa de confirmação dos autores de 99,7%).
3. Geração de Hipóteses: 26 LLMs diversos (incluindo 19 modelos de chat de não-raciocínio, 5 modelos de raciocínio e 2 sistemas agentes de "pesquisa profunda") foram instigados (prompted) a gerar hipóteses de acompanhamento baseadas exclusivamente no contexto e no enigma extraídos.
4. Avaliação por Especialistas: 6.749 cientistas (autores dos artigos originais) avaliaram 25.139 hipóteses geradas por IA. Cada hipótese foi pontuada em quatro dimensões: Novidade Conceitual, Viabilidade Empírica, Probabilidade de Ser Verdadeira e Favorabilidade de Adoção.
5. Benchmarking Automatizado: O estudo avaliou vários avaliadores automatizados (LLM-como-juiz, n-grama, distância semântica, perplexidade e modelos de recompensa de última geração) contra o fundamento humano (ground truth).
6. Treinamento de Modelo de Recompensa: Um modelo Qwen3-14B foi pós-treinado usando preferências humanas pareadas através de um objetivo Bradley-Terry com um termo de margem para capturar nuances específicas de cada campo.

Principais Resultados

• Espaço de Hipóteses e Divergência: LLMs de não-raciocínio colapsam em uma "mente coletiva" (hivemind) estreita, gerando ideias altamente similares (alta similaridade de cosseno pareada). Modelos de raciocínio exploram um espaço de hipóteses mais amplo, mas ainda falham em propor espontaneamente hipóteses nulas (afirmações de ausência de efeito/relação). Embora humanos formulem hipóteses nulas infrequentemente devido ao viés de publicação, os LLMs as formulam ainda menos, indicando uma incapacidade estrutural de raciocinar sobre ausência ou negação.
• Vieses de Julgamento de Especialistas:
  • Autossimilaridade: Cientistas preferem fortemente ideias de IA que se assemelham ao seu próprio trabalho (coeficiente = 1,28). Alta similaridade correlaciona-se com maior viabilidade e probabilidade percebidas, mas menor novidade percebida.
  • Senioridade e Campo: Cientistas seniores são críticos mais severos das ideias de IA, particularmente nas ciências sociais. Cientistas sociais toleram o risco (menor probabilidade) mais prontamente do que cientistas da vida, que priorizam viabilidade e probabilidade devido ao alto custo de experimentos falhos.
  • Desempenho por Campo: As ideias de IA foram classificadas como as mais baixas nas ciências sociais em todas as dimensões (novidade, viabilidade, probabilidade), provavelmente porque campos pluralistas com interpretações contestadas são difíceis para modelos otimizados para reproduzir padrões modais.
• Falha de Avaliadores Automatizados: Os atuais juízes automatizados (incluindo modelos de última geração e LLM-como-juiz) mostram correlação fraca com o julgamento de especialistas humanos ($r < 0,35$). Eles exibem uma forte tendência central, agrupando classificações no meio da escala e falhando em atribuir pontuações extremas. Métricas de novidade padrão (distância semântica, perplexidade, n-grams) operam próximo ao acaso.
• Sucesso do Modelo de Recompensa: Um modelo de recompensa pós-treinado em classificações humanas (Qwen3-14B) superou significativamente as bases de comparação de última geração (melhoria de até 27%) e alcançou uma precisão pareada (61–69%) que excede a consistência de revisores pares humanos independentes (61,0% ± 0,1%). Modelos específicos de domínio tiveram melhor desempenho do que modelos gerais quando havia dados suficientes do domínio.

Principais Contribuições

1. Auditoria Empírica de Grande Escala: Forneceu a primeira auditoria de larga escala, com cientistas no ciclo, de hipóteses científicas geradas por IA através de múltiplas disciplinas, indo além de benchmarks sintéticos ou de pequena escala.
2. Identificação de Limitações Estruturais: Demonstrou que a IA atual carece da capacidade de "mudança subtrativa" (negação/hipóteses nulas) e tem dificuldade em campos pluralistas que exigem interpretação sensível ao contexto.
3. Avaliação de Juízes Automatizados: Mostrou sistematicamente que os métodos de avaliação automatizados atuais (LLM-como-juiz, métricas) são proxies insuficientes para o julgamento especializado humano.
4. Destilação do Gosto do Especialista: Treinou com sucesso um modelo de recompensa que captura o "gosto" específico do campo e atinge níveis de consistência comparáveis à revisão por pares humana, sugerindo que o julgamento do especialista pode ser parcialmente destilado em máquinas.

Significância e Alegações
O artigo argumenta que, embora a IA possa expandir o espaço de busca e trazer à tona direções candidatas, ela atualmente carece de "imaginação" para divergir de padrões estabelecidos ou para negar o conhecimento existente. Os autores afirmam que:

• A IA é um colaborador, não um substituto: A IA científica atual beneficia-se do embasamento humano; ela ainda não consegue enquadrar perguntas de forma independente, reconhecer resultados significativos ou contestar categorias.
• A Lacuna do "Nulo" é Estrutural: A incapacidade de gerar hipóteses nulas não é um erro menor, mas uma característica estrutural de como os LLMs aprendem de corpora dominados por afirmações positivas e resultados nulos suprimidos.
• A Curiosidade está Ausente: Os modelos atuais são otimizados para prever, não para questionar. A verdadeira aceleração científica requer a codificação de "curiosidade computacional" — um impulso intrínseco para investigar anomalias, contradições e ausências.
• Reforma da Avaliação: Alegações de aceleração impulsionada pela IA não podem ser adjudicadas apenas por fluência ou benchmarks automatizados; elas requerem validação contra especialistas de domínio que definem a contribuição.

O estudo conclui que, até que os sistemas de IA sejam direcionados para violações de expectativas e possam ativamente alcançar o mundo para acumular dados sobre "o que não funciona", eles permanecerão limitados a recombinar a literatura publicada em vez de estendê-la.