Resumo Técnico: FALSIFYBENCH

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados como agentes autônomos para tarefas científicas, sua capacidade de se envolver nas formas específicas de raciocínio indutivo exigidas pela descoberta científica permanece uma questão em aberto. Um componente crítico do raciocínio científico é o raciocínio baseado em hipóteses, especificamente a capacidade de gerar, avaliar e revisar hipóteses à luz de novas evidências, incluindo a capacidade de falseabilidade.

Benchmarks existentes frequentemente testam o raciocínio indutivo através de tarefas de sequência-para-sequência (ex: ARC) ou quebra-cabeças lógicos, mas falham frequentemente em capturar o processo dinâmico e iterativo de teste de hipóteses, onde os agentes devem buscar ativamente refutar suas crenças atuais. Além disso, estudos humanos (ex: Wason, 1960) há muito estabeleceram que os seres humanos sofrem de viés de confirmação, tendendo a buscar evidências que confirmem suas hipóteses em vez de evidências que possam falsear suas hipóteses. Não está claro se os LLMs exibem vieses semelhantes e se modelos de "raciocínio" (aqueles com capacidades de pensamento estendido) diferem de modelos padrão ajustados por instrução (instruction-tuned) em sua capacidade de superar esses vieses e descobrir regras ocultas.

Metodologia: FALSIFYBENCH

Os autores introduzem o FALSIFYBENCH, um benchmark projetado para avaliar o raciocínio baseado em hipóteses através de uma generalização semântica da clássica tarefa Wason 2-4-6.

Estrutura do Jogo

No FALSIFYBENCH, um LLM atua como um "jogador" tentando descobrir uma regra alvo oculta ($R$) definida por uma categoria semântica (ex: "animal").

1. Inicialização: O jogador recebe um trio inicial de itens (ex: "morcego de bolso", "skimmer", "tarsius glis") extraídos de uma subcategoria específica ($S$) que é uma descendente estrita da regra alvo $R$ (ex: $S$ = "vertebrado", $R$ = "animal").
2. Interação: O jogador propõe iterativamente novos trios de itens junto com uma hipótese atual ($H$) e uma justificativa.
3. Feedback do Oráculo: Um oráculo (outra instância de LLM) responde com "Confirma" ou "Não confirma" com base em se os itens propostos satisfazem a regra oculta $R$.
4. Terminação: O jogo termina quando o jogador envia um palpite final para $R$ (Correto/Incorreto) ou atinge um limite máximo de turnos (20 turnos).

Design Experimental

• Domínio Semântico: Diferente da tarefa numérica de Wason, o FALSIFYBENCH utiliza taxonomias semânticas derivadas do WordNet. Isso permite a construção de jogos onde os exemplos iniciais forçam o jogador a formar uma hipótese excessivamente específica ($H \subset R$), uma configuração onde o teste negativo (propor itens fora de $H$) é a única estratégia capaz de falsear conclusivamente a hipótese.
• Modelos Avaliados: 12 LLMs de várias famílias e escalas, incluindo variantes ajustadas por instrução (ex: Llama-4-Maverick, Mistral-Small) e variantes de raciocínio (ex: GPT-5.2-Chat, GPT-OSS-120B, DeepSeek-V3.1).
• Papéis Duplos: Cada modelo serviu tanto como o jogador (agente de raciocínio) quanto como o oráculo (agente julgador) para avaliar tanto as capacidades de raciocínio quanto a consistência de seus julgamentos semânticos em relação às anotações humanas.
• Métricas:
  • Taxa de Sucesso: Porcentagem de jogos onde a regra alvo foi identificada corretamente.
  • Viés de Confirmação: A proporção de "testes positivos" (testar itens esperados para confirmar $H$) versus "testes negativos" (testar itens esperados para falsear $H$).
  • Precisão do Oráculo: Concordância com as anotações humanas sobre se os itens conformam à regra.
  • Análise por Turno: Uma análise detalhada da relação entre a hipótese atual $H$ e a regra $R$ (ex: $H \subset R$, $H \supset R$, sobreposição parcial) para determinar a otimalidade da estratégia de teste utilizada.

Contribuições Principais

1. Benchmark FALSIFYBENCH: Um novo framework de avaliação fundamentado em taxonomias semânticas que operacionaliza a capacidade de gerar ativamente e potencialmente falsear hipóteses, espelhando a configuração $H \subset R$ comum na história da ciência (ex: mecânica Newtoniana como um subconjunto da Relatividade).
2. Avaliação Comparativa: Uma avaliação sistemática de 12 LLMs, demonstrando que modelos de raciocínio geralmente superam os modelos ajustados por instrução em tarefas de raciocínio científico, embora nenhum modelo atinja o desempenho ideal.
3. Insight Mecanístico: Uma análise detalhada por turno revelando que a falha não é aleatória, mas ligada a padrões identificáveis na forma como os modelos navegam no espaço de hipóteses, especificamente a dependência de viés de confirmação e a geração de hipóteses linguísticas de nível superficial.

Resultados

Desempenho e Estratégia

• Raciocínio vs. Ajustado por Instrução: Modelos de raciocínio alcançaram taxas de sucesso significativamente maiores (ex: GPT-5.2-Chat em 75%, GPT-OSS-120B em 68%) comparados aos modelos ajustados por instrução (ex: DeepSeek-V3.1 em 41%, outros agrupados entre 33–35%). No entanto, mesmo os melhores modelos ficaram aquém do desempenho ideal.
• O Papel do Teste Negativo: Existe uma forte correlação negativa entre Viés de Confirmação e sucesso ($\rho = -0.779$). Modelos que buscaram ativamente falsear suas hipóteses (teste negativo) superaram consistentemente aqueles que buscaram primariamente a confirmação.
• Qualidade do Oráculo: Embora a precisão do oráculo tenha sido geralmente alta (85–95%), não houve correlação significativa entre a qualidade do oráculo e o sucesso do jogador. Uma regressão logística de efeitos mistos bayesianos confirmou que o Viés de Confirmação foi um forte preditor negativo de sucesso, enquanto a taxa de erro do oráculo teve um efeito negligenciável.

Modos de Falha

• Navegação no Espaço de Hipóteses: Em jogos falhos, os modelos frequentemente formaram hipóteses que eram de sobreposição parcial ou disjuntas da regra alvo, em vez de seguir um caminho coerente de revisão ascendente ($H \subset R$).
• Características de Nível Superficial: Jogos falhos foram significativamente mais propensos a conter hipóteses focadas em características linguísticas de nível superficial (ex: "todos os itens começam com a letra 'a'" ou "contagem de sílabas") em vez de propriedades semânticas. Para modelos de alto desempenho, quase todos os jogos falhos envolveram pelo menos uma dessas hipóteses linguísticas.
• Eficiência de Turnos: Jogos bem-sucedidos foram caracterizados por uma concentração de turnos de $H \subset R$ e revisão eficiente. Jogos falhos mostraram uma proporção maior de turnos de "Sobreposição Parcial", indicando que os modelos ficaram presos em hipóteses que estavam próximas, mas incorretas.

Significância e Alegações

O artigo afirma que o FALSIFYBENCH fornece um teste rigoroso para as capacidades de "raciocínio científico" dos LLMs, indo além da recuperação de conhecimento estático para o teste de hipóteses dinâmico. O principal achado é que a capacidade de teste negativo é o principal motor de sucesso em tarefas de raciocínio indutivo.

Os autores enfatizam que, embora os modelos de raciocínio mostrem capacidades superiores de falsear hipóteses em comparação aos modelos ajustados por instrução, os LLMs atuais ainda lutam com o processo científico completo. A tendência de depender do viés de confirmação e de derivar para padrões linguísticos de nível superficial sugere que mesmo modelos avançados não internalizaram totalmente as estratégias normativas da descoberta científica. O trabalho destaca que o "pensamento" (raciocínio) sozinho é insuficiente sem a disciplina estratégica de buscar ativamente evidências desconfirmadoras.

Os autores permanecem modestos quanto ao escopo, reconhecendo que o estudo foca em um aspecto específico do raciocínio científico (revisão de hipóteses em uma configuração de subconjunto) e que o uso do WordNet como um proxy para o conhecimento semântico possui limitações. Eles não alegam que os LLMs estão prontos para a descoberta científica autônoma, mas sim que o FALSIFYBENCH oferece uma ferramenta de diagnóstico necessária para medir o progresso neste domínio específico.