Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning

---

1. Problématique et Contexte

Le raisonnement non déductif, englobant le raisonnement inductif (généralisation à partir de cas particuliers) et le raisonnement abductif (génération d'hypothèses pour expliquer des observations), est crucial pour résoudre des problèmes complexes du monde réel. Une caractéristique fondamentale de ces raisonnements est l'existence de multiples hypothèses valides pour expliquer un même ensemble d'observations. Selon le rasoir d'Occam, les hypothèses les plus simples (les plus parcimonieuses) sont souvent les plus utiles et les plus probables.

Cependant, les travaux récents évaluant les capacités de raisonnement des grands modèles de langage (LLM) se concentrent principalement sur le raisonnement déductif (déterministe) ou ignorent la dimension de la parcimonie dans les raisonnements non déductifs. Les auteurs soulignent un manque d'évaluation systématique : les LLM sont-ils capables de raisonner inductivement et abductivement, et surtout, produisent-ils des hypothèses de haute qualité respectant le rasoir d'Occam ?

2. Méthodologie

Pour répondre à cette question, les auteurs ont développé un cadre d'évaluation rigoureux et un nouveau jeu de données synthétique.

A. Le Framework de Génération de Données (INABHYD)

Les auteurs ont créé INABHYD (Inductive and Abductive Hypothesis Discovery), un jeu de données contenant plus de 2 000 questions de raisonnement.

• Modèle du Monde (World Model) : Chaque exemple repose sur un modèle du monde incomplet représenté sous forme d'une arbre d'ontologie en logique du premier ordre. Cet arbre contient des concepts, des propriétés et des relations de sous-type.
• Hypothèses Caches : Certaines axiomes de l'arbre (relations de sous-type, propriétés, relations d'appartenance) sont masqués. Ces axiomes cachés constituent la "vérité terrain" (ground truth) que le modèle doit inférer.
• Observations : Un ensemble d'observations est généré à partir du modèle du monde incomplet. Le but du LLM est de produire des hypothèses pour expliquer ces observations.
• Complexité Contrôlée : La difficulté est contrôlée par la hauteur de l'arbre d'ontologie (de 1 à 4 niveaux) et le nombre d'hypothèses à inférer (simple ou multiple).
• Naturalisation : Les questions sont générées en logique formelle puis paraphrasées en langage naturel fluide par GPT-4o pour éviter les biais liés à la syntaxe artificielle.

B. Métriques d'Évaluation

Trois métriques principales sont utilisées pour évaluer les LLM :

1. Précision Faible (Weak Accuracy) : Les hypothèses produites expliquent-elles toutes les observations ? (Validité logique).
2. Précision Forte (Strong Accuracy) : Les hypothèses produites correspondent-elles exactement à la vérité terrain (l'hypothèse la plus simple) ?
3. Qualité de l'Hypothèse (Hypothesis Quality) : Une métrique quantitative basée sur le rasoir d'Occam. Elle mesure le rapport entre la complexité des hypothèses générées et la complexité de la solution optimale. Une hypothèse est de haute qualité si elle explique un maximum d'observations avec un minimum d'axiomes (parcimonie).

C. Modèles Évalués

L'étude porte sur sept LLMs de pointe, incluant des modèles génératifs standards (GPT-4o, Llama3-70B, Gemma3-27B, DeepSeek-V3) et des modèles de raisonnement avancés (GPT-5.4, O3, DeepSeek-R1-Distill-Llama-70B).

3. Contributions Clés

1. Nouveau Benchmark (INABHYD) : Un dataset synthétique capable de générer un nombre illimité de problèmes de raisonnement inductif/abductif, contrôlant précisément la complexité structurelle (hauteur de l'arbre) et le nombre d'hypothèses.
2. Métrique de Parcimonie Automatique : Introduction d'une métrique formelle pour quantifier la qualité des hypothèses selon le rasoir d'Occam, dépassant la simple vérification de justesse binaire.
3. Analyse Comparative des Techniques de Raisonnement : Évaluation de l'impact de techniques comme l'apprentissage en contexte (In-Context Learning - ICL) et le renforcement avec récompenses vérifiables (RLVR) sur les capacités non déductives.

4. Résultats Principaux

Les expériences révèlent des limites significatives des LLMs actuels :

• Performance en Scénarios Simples : Pour des arbres d'ontologie peu profonds (hauteur 1) et une seule hypothèse, les LLMs atteignent une précision élevée (>80 %), tant faible que forte.
• Effondrement sur la Complexité : Dès que la complexité augmente (hauteur de l'arbre > 2, ou plusieurs hypothèses simultanées), la précision chute drastiquement. Par exemple, la précision forte tombe souvent en dessous de 50 % même pour les modèles les plus performants.
• Échec de la Parcimonie (Rasoir d'Occam) : C'est le résultat le plus critique. Bien que les LLMs produisent souvent des hypothèses valides (expliquant les observations, donc haute précision faible), ils échouent massivement à produire des hypothèses de haute qualité (les plus simples). Ils tendent à générer des hypothèses redondantes, inutiles ou trop complexes.
• Impact des Techniques d'Amélioration :
  • L'apprentissage en contexte (ICL) avec des démonstrations "in-distribution" (même complexité que le test) améliore légèrement les performances, suggérant que les modèles peuvent apprendre à naviguer dans la hiérarchie de l'ontologie.
  • Les modèles de raisonnement avancés (RLVR, Chain-of-Thought, Buffer-of-Thought) améliorent la précision faible, mais ne comblent pas l'écart entre la validité logique et la parcimonie. La génération d'hypothèses optimales reste un défi ouvert.

Types d'Erreurs Fréquents

L'analyse des erreurs révèle quatre catégories principales :

1. Direction d'ontologie inversée : Confondre "Tous les A sont B" avec "Tous les B sont A".
2. Ignorance de l'ontologie : Production d'hypothèses inutiles car le modèle ne respecte pas la structure donnée.
3. Hypothèses triviales : Réutiliser les observations elles-mêmes comme hypothèses (valide mais non parcimonieux).
4. Hallucinations d'entités : Inventer des concepts ou des membres non présents dans le modèle du monde.

5. Signification et Conclusion

Cette étude met en lumière une lacune fondamentale des LLMs actuels : leur incapacité à appliquer le rasoir d'Occam de manière fiable dans des contextes de raisonnement non déductif complexes.

• Limitation des capacités actuelles : Les modèles peuvent "deviner" la bonne réponse logique, mais ils ne parviennent pas à optimiser leur solution pour la simplicité, une compétence essentielle pour la découverte scientifique et le raisonnement humain.
• Implications pour l'IA : Les techniques actuelles d'amélioration du raisonnement (CoT, RLVR) semblent efficaces pour le raisonnement déductif mais insuffisantes pour forcer la parcimonie dans le raisonnement inductif/abductif.
• Avenir : Le dataset INABHYD offre une base solide pour entraîner et évaluer les futures générations de modèles capables de raisonner avec parcimonie, un prérequis pour des systèmes d'IA plus robustes et intelligents dans des applications réelles.

En résumé, bien que les LLMs montrent des capacités prometteuses en raisonnement logique de base, ils échouent encore à imiter l'intuition humaine de simplicité et d'efficacité dans la formulation d'hypothèses explicatives.