Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning

Título: Os Modelos de Linguagem Seguem a Navalha de Occam? Uma Avaliação da Parsimônia no Raciocínio Indutivo e Abdução

1. Problema e Motivação

O raciocínio não dedutivo, que engloba o raciocínio indutivo (identificar princípios gerais a partir de casos específicos) e o raciocínio abdução (gerar hipóteses para explicar observações), é fundamental para resolver problemas complexos do mundo real. Uma característica central desses tipos de raciocínio é a existência de múltiplas hipóteses válidas para explicar um conjunto de dados. O princípio da Navalha de Occam postula que, entre hipóteses concorrentes, a mais simples (aquela que faz menos suposições desnecessárias) é geralmente a mais útil e provável.

Apesar da importância desse princípio em áreas como descoberta científica, a literatura atual sobre avaliação de Grandes Modelos de Linguagem (LLMs) foca predominantemente no raciocínio dedutivo. Existe uma lacuna significativa na compreensão de:

1. Se os LLMs conseguem realizar raciocínio indutivo e abdução corretamente.
2. Se, ao fazê-lo, eles aderem à Navalha de Occam, produzindo hipóteses de alta qualidade (simples e corretas) em vez de hipóteses complexas ou desnecessárias.

2. Metodologia

Os autores propõem uma abordagem sistemática para preencher essa lacuna, envolvendo a criação de um novo framework, um dataset sintético e novas métricas de avaliação.

• Framework de Geração Sintética (INABHYD):

  • Foi desenvolvido um pipeline para gerar perguntas de raciocínio que exigem simultaneamente raciocínio indutivo e abdução.
  • O núcleo do problema é um modelo de mundo incompleto representado como uma árvore de ontologia em lógica de primeira ordem.
  • O modelo de mundo contém conceitos, propriedades e membros, mas certas axiomas (regras de subtipo, propriedades ou relações de pertencimento) são "ocultas" (ground truth).
  • O modelo de linguagem recebe um conjunto de observações (fatos derivados das regras ocultas e visíveis) e deve gerar hipóteses para explicar todas as observações, inferindo as regras ocultas.
  • A dificuldade é controlada pela altura da árvore de ontologia (complexidade do modelo de mundo) e pelo número de hipóteses necessárias.

• Métrica de Qualidade de Hipótese (Adesão à Navalha de Occam):

  • Os autores introduzem uma métrica automatizada para quantificar a qualidade das hipóteses geradas.
  • A métrica penaliza hipóteses que não explicam as observações e, crucialmente, penaliza hipóteses que são mais complexas do que o necessário.
  • A qualidade $q(H)$ é definida pela razão entre a eficiência das hipóteses geradas e a eficiência das hipóteses de verdade absoluta (ground truth). Hipóteses que reutilizam axiomas existentes para explicar múltiplas observações recebem pontuação mais alta.

• Dataset INABHYD:

  • Um novo benchmark com mais de 2.000 perguntas de raciocínio.
  • Utiliza nomes de conceitos fictícios (ex: "wumpus", "dalpist") para evitar contaminação por dados de treinamento e garantir que o raciocínio seja puramente lógico e não baseado em conhecimento prévio do mundo real.
  • Inclui código de geração para criar um número ilimitado de exemplos.

• Avaliação:

  • Testado em 7 LLMs de última geração (incluindo GPT-5.4, O3, Llama-3-70B, DeepSeek-V3, etc.).
  • Avaliaram-se três métricas principais:
    1. Precisão Forte (Strong Accuracy): As hipóteses correspondem exatamente às hipóteses de verdade absoluta (a solução mais simples).
    2. Precisão Fraca (Weak Accuracy): As hipóteses explicam todas as observações (podem ser mais complexas que o necessário).
    3. Qualidade: A pontuação baseada na Navalha de Occam.
  • Foram testadas técnicas de aprimoramento como In-Context Learning (demonstrações few-shot) e Reinforcement Learning with Verifiable Rewards (RLVR).

3. Principais Resultados

Os experimentos revelaram limitações significativas dos LLMs atuais no raciocínio não dedutivo complexo:

1. Desempenho em Cenários Simples: Em árvores de ontologia rasas (altura 1) com uma única hipótese, os modelos alcançam alta precisão (acima de 80%) tanto na precisão fraca quanto na forte.
2. Colapso em Cenários Complexos: À medida que a complexidade da árvore aumenta (altura 3 e 4) e o número de hipóteses cresce, a precisão cai drasticamente.
   • A precisão fraca permanece moderada (alguns modelos atingem ~20-50%), indicando que eles conseguem encontrar alguma explicação.
   • A precisão forte e a qualidade caem para níveis muito baixos, indicando que os modelos raramente encontram a solução mais simples e correta.
3. Falha na Adesão à Navalha de Occam: Mesmo quando os modelos produzem hipóteses válidas (que explicam os dados), eles frequentemente falham em escolher a mais simples. Eles tendem a gerar hipóteses redundantes ou desnecessárias.
4. Limitação das Técnicas de Aprimoramento:
   • Técnicas como Chain-of-Thought (CoT) e In-Context Learning melhoram moderadamente o desempenho, especialmente com demonstrações "in-distribution" (mesma complexidade do teste).
   • No entanto, essas técnicas não fecham a lacuna entre a capacidade de gerar explicações válidas e a capacidade de gerar explicações parsimoniosas (simples).
5. Análise de Erros: As falhas mais comuns incluem:
   • Direção errada da ontologia: Inverter relações (ex: "Todos os gatos são mamíferos" vs. "Todos os mamíferos são gatos").
   • Ignorar a ontologia: Gerar hipóteses desnecessárias que não são suportadas pela estrutura lógica fornecida.
   • Retorno a hipóteses triviais: Usar a própria observação como hipótese (explicação circular).
   • Alucinação de entidades: Criar conceitos ou propriedades que não existem no modelo de mundo.

4. Contribuições Chave

1. Novo Benchmark (INABHYD): O primeiro dataset focado especificamente na avaliação combinada de raciocínio indutivo e abdução com controle rigoroso de complexidade e ausência de contaminação de dados.
2. Métrica Quantitativa de Parsimônia: Uma métrica automatizada robusta para medir quão bem um modelo segue a Navalha de Occam, indo além da simples verificação de correção booleana.
3. Evidência Empírica de Limitações: Demonstração clara de que, embora os LLMs sejam competentes em raciocínio dedutivo e em cenários indutivos simples, eles ainda lutam para realizar raciocínio não dedutivo complexo de alta qualidade, falhando consistentemente em priorizar a simplicidade das explicações.

5. Significado e Conclusão

O estudo conclui que os LLMs atuais não são confiáveis para tarefas que exigem a descoberta de hipóteses simples e elegantes em modelos de mundo complexos. Isso tem implicações importantes para aplicações em descoberta científica, diagnóstico médico e análise de dados, onde a simplicidade e a generalização são cruciais.

Os autores sugerem que as técnicas atuais de aprimoramento de raciocínio (como RLVR e CoT), que foram otimizadas principalmente para raciocínio dedutivo, não são suficientes para ensinar os modelos a "pensar de forma parcimoniosa". O trabalho abre caminho para futuras pesquisas focadas em treinar modelos especificamente para a geração de hipóteses de alta qualidade e para o desenvolvimento de arquiteturas que integrem melhor a lógica formal com a capacidade de generalização dos LLMs.