🤖 AI

FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games

Cet article introduit FALSIFYBENCH, un benchmark inspiré de la tâche Wason 2-4-6 pour évaluer le raisonnement inductif des LLM pour la découverte scientifique, révélant que les modèles de raisonnement surpassent les modèles ajustés par instruction principalement grâce à leur capacité de test négatif et que l'échec provient de schémas identifiables dans la navigation des hypothèses.

Auteurs originaux : Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu de devinettes avec un ami qui connaît une règle secrète, mais pas vous. Votre ami vous donne trois exemples qui correspondent à la règle, comme « 2, 4, 6 ». Votre travail consiste à découvrir la règle secrète en proposant vos propres séries de nombres et en demandant : « Est-ce que cela correspond ? »

C'est la célèbre tâche « Wason 2-4-6 », un puzzle classique utilisé pour étudier la pensée humaine. Le document sur lequel vous posez des questions, FALSIFYBENCH, prend ce jeu et l'applique aux modèles d'intelligence artificielle (IA), mais au lieu de nombres, ils utilisent des mots et des catégories (comme « animaux » ou « outils »).

Voici la décomposition de ce que les chercheurs ont fait et découvert, en utilisant des analogies simples.

Le Jeu : « Trouver la catégorie cachée »

Considérez l'IA comme un détective essayant de résoudre un mystère.

La Configuration : L'IA se voit présenter trois éléments, par exemple une « chauve-souris », un « skimmer » et un « tarsier ».
L'Objectif : L'IA doit deviner la catégorie cachée à laquelle ils appartiennent (par exemple, « Animaux »).
Le Piège : L'IA ne connaît pas la réponse. Elle doit deviner une règle, la tester, et recevoir un retour.
- Si l'IA devine « Choses volantes » et teste une « chauve-souris », le système dit : « Oui, cela correspond ».
- Si l'IA teste un « poisson » et que le système dit : « Non, cela ne correspond pas », l'IA apprend que sa règle est trop large.
- Si l'IA teste une « baleine » et que le système dit : « Oui, cela correspond », mais que l'IA pensait à « Choses volantes », l'IA apprend que sa règle est trop étroite.

Le Gros Problème : Le Piège du « Monsieur Complaisant »

Les chercheurs ont découvert que la plupart des modèles d'IA (et les humains) souffrent d'une erreur de pensée spécifique appelée Biais de Confirmation.

Imaginez que vous êtes un détective convaincu que le coupable est « Le Majordome ».

La Stratégie du « Monsieur Complaisant » (Confirmation) : Vous ne posez que des questions qui prouvent que le Majordome est le coupable. « Le Majordome avait-il un mobile ? » « Oui. » « Le Majordome était-il dans la pièce ? » « Oui. » Vous vous sentez confiant, mais vous ne vérifiez jamais si le Majordome est innocent. Vous cherchez simplement des réponses par « Oui ». Vous cherchez la confirmation.
La Stratégie de « l'Avocat du Diable » (Falsification) : Vous essayez activement de prouver que le Majordome n'est pas le coupable. Vous demandez : « Le Majordome était-il à la plage au moment du crime ? » Si la réponse est « Oui », votre théorie est détruète, et vous devez trouver un nouveau suspect.

La Découverte Principale du Document :
Les modèles d'IA qui ont agi comme des « Avocats du Diable » (en essayant de briser leurs propres théories) étaient bien meilleurs pour résoudre le puzzle. Les modèles qui ont agi comme des « Messieurs Complaisants » (en cherchant seulement des preuves qu'ils avaient raison) sont restés bloqués. Ils continuaient à deviner des règles étroites (comme « mammifères volants ») et ne réalisaient jamais que la vraie règle était plus large (« tous les animaux »).

Les Résultats : Qui a le mieux joué ?

L'équipe a testé 12 modèles d'IA différents. Voici ce qu'ils ont trouvé :

Les Modèles de « Raisonnement » ont gagné : Les nouveaux modèles d'IA conçus pour « réfléchir » avant de parler (souvent appelés « modèles de raisonnement ») étaient de meilleurs détectives que les modèles standards. Ils étaient plus susceptibles d'essayer de briser leurs propres théories.
Personne n'est parfait : Même les meilleurs modèles d'IA n'ont pas résolu le jeu parfaitement. Ils ont encore fait des erreurs, montrant que l'IA n'est pas encore un maître de la découverte scientifique.
Ce n'est pas une question d'intelligence, mais de stratégie : Les chercheurs ont vérifié si l'IA échouait parce qu'elle ne connaissait pas les définitions des mots (comme ne pas savoir ce qu'est une « chauve-souris »). Ils ont découvert que ce n'était pas le problème. L'IA connaissait les mots ; elle avait simplement une mauvaise stratégie. Elle avait trop peur de tester des idées qui pourraient être fausses.

L'Analyse « Tour par Tour »

Les chercheurs n'ont pas seulement regardé qui a gagné ; ils ont observé comment l'IA jouait chaque mouvement. Ils ont trouvé deux manières principales dont l'IA a échoué :

Se perdre dans les bois : Au lieu de passer lentement d'une supposition spécifique à une plus générale (comme passer de « chauves-souris » à « mammifères » puis à « animaux »), l'IA faisait parfois des bonds vers des suppositions complètement sans rapport (comme « choses commençant par la lettre B »).
Se concentrer sur les mauvais détails : Parfois, au lieu de deviner le sens des mots, l'IA devinait en fonction de l'apparence des mots. Par exemple, elle pouvait deviner : « La règle est que tous les mots ont trois lettres », ou « Ils commencent tous par une voyelle ». C'est comme un détective qui ignorerait la scène du crime pour se concentrer sur la couleur des chaussures du suspect.

L'Essentiel

Ce document présente un nouveau test (FALSIFYBENCH) pour voir si l'IA peut faire du véritable raisonnement scientifique. La conclusion est que, bien que l'IA s'améliore dans sa capacité à « réfléchir », elle éprouve toujours des difficultés avec la partie la plus importante de la science : le courage d'avoir tort.

Pour être un bon scientifique (ou un bon détective), il faut essayer activement de prouver que ses propres idées sont fausses. Les modèles d'IA qui ont appris à le faire ont été les vainqueurs, mais même eux ont encore un long chemin à parcourter avant de pouvoir remplacer les scientifiques humains.

Résumé Technique : FALSIFYBENCH

Problématique

Bien que les modèles de langage de grande taille (LLM) soient de plus en plus déployés en tant qu'agents autonomes pour des tâches scientifiques, leur capacité à s'engager dans les formes spécifiques de raisonnement inductif requises pour la découverte scientifique reste une question ouverte. Une composante critique du raisonnement scientifique est le raisonnement fondé sur des hypothèses, spécifiquement la capacité à générer, évaluer et réviser des hypothèses à la lumière de nouvelles preuves, incluant la capacité de falsification.

Les benchmarks existants testent souvent le raisonnement inductif via des tâches de séquence à séquence (ex: ARC) ou des puzzles logiques, mais ils échouent fréquemment à capturer le processus dynamique et itératif de test d'hypothèses où les agents doivent activement chercher à infirmer leurs croyances actuelles. De plus, des études humaines (ex: Wason, 1960) ont établi depuis longtemps que les humains souffrent d'un biais de confirmation, ayant tendance à chercher des preuves qui confirment leurs hypothèses plutôt que des preuves capables de les falsifier. Il n'est pas clair si les LLM présentent des biais similaires et si les modèles de « raisonnement » (ceux possédant des capacités de réflexion étendues) diffèrent des modèles standards ajustés par instruction (instruction-tuned) dans leur capacité à surmonter ces biais et à découvrir des règles cachées.

Méthodologie : FALSIFYBENCH

Les auteurs introduisent FALSIFYBENCH, un benchmark conçu pour évaluer le raisonnement fondé sur des hypothèses par une généralisation sémantique de la tâche classique de Wason 2-4-6.

Structure du Jeu

Dans FALSIFYBENCH, un LLM agit comme un « joueur » tentant de découvrir une règle cible cachée ( $R$ ) définie par une catégorie sémantique (ex: « animal »).

Initialisation : Le joueur reçoit un triplet initial d'éléments (ex: « chauve-souris en poche », « skimmer », « tarsius glis ») tirés d'une sous-catégorie spécifique ( $S$ ) qui est un descendant strict de la règle cible $R$ (ex: $S$ = « vertébré », $R$ = « animal »).
Interaction : Le joueur propose de manière itérative de nouveaux triplets d'éléments accompagnés d'une hypothèse actuelle ( $H$ ) et d'une justification.
Feedback de l'Oracle : Un oracle (une autre instance de LLM) répond par « Conforme » ou « Ne correspond pas » selon que les éléments proposés satisfont la règle cachée $R$ .
Terminaison : Le jeu se termine lorsque le joueur soumet une dernière supposition pour $R$ (Correct/Incorrect) ou atteint une limite maximale de tours (20 tours).

Design Expérimental

Domaine Sémantique : Contrairement à la tâche numérique de Wason, FALSIFYBENCH utilise des taxonomies sémantiques dérivées de WordNet. Cela permet la construction de jeux où les exemples initiaux forcent le joueur à former une hypothèse trop spécifique ( $H \subset R$ ), une configuration où le test négatif (proposer des éléments en dehors de $H$ ) est la seule stratégie capable de falsifier de manière concluante l'hypothèse.
Modèles Évalués : 12 LLM issus de diverses familles et échelles, incluant des variantes ajustées par instruction (ex: Llama-4-Maverick, Mistral-Small) et des variantes de raisonnement (ex: GPT-5.2-Chat, GPT-OSS-120B, DeepSeek-V3.1).
Double Rôle : Chaque modèle a servi à la fois de joueur (agent de raisonnement) et d'oracle (agent de jugement) pour évaluer à la fois les capacités de raisonnement et la cohérence de leurs jugements sémantiques par rapport aux annotations humaines.
Métriques :
- Taux de Succès : Pourcentage de parties où la règle cible a été correctement identifiée.
- Biais de Confirmation : La proportion de « tests positifs » (tester des éléments attendus comme conformes à $H$ ) par rapport aux « tests négatifs » (tester des éléments attendus comme infirmant $H$ ).
- Précision de l'Oracle : Accord avec les annotations humaines sur la conformité des éléments à la règle.
- Analyse au Niveau du Tour : Une analyse fine de la relation entre l'hypothèse actuelle $H$ et la cible $R$ (ex: $H \subset R$ , $H \supset R$ , chevauchement partiel) pour déterminer l'optimalité de la stratégie de test utilisée.

Contributions Clés

Benchmark FALSIFYBENCH : Un nouveau cadre d'évaluation ancré dans les taxonomies sémantiques qui opérationnalise la capacité à générer activement et potentiellement à falsifier des hypothèses, reflétant la configuration $H \subset R$ courante dans l'histoire des sciences (ex: la mécanique newtonienne comme un sous-ensemble de la relativité).
Évaluation Comparative : Une évaluation systématique de 12 LLM, démontrant que les modèles de raisonnement surpassent généralement les modèles ajustés par instruction dans les tâches de raisonnement scientifique, bien qu'aucun modèle n'atteigne une performance optimale.
Aperçu Mécaniste : Une analyse fine au niveau du tour révélant que l'échec n'est pas aléatoire mais lié à des schémas identifiables dans la façon dont les modèles naviguent dans l'espace des hypothèses, spécifiquement la dépendance au biais de confirmation et la génération d'hypothèses linguistiques de surface.

Résultats

Performance et Stratégie

Raisonnement vs Instruction-Tuned : Les modèles de raisonnement ont obtenu des taux de succès nettement plus élevés (ex: GPT-5.2-Chat à 75 %, GPT-OSS-120B à 68 %) par rapport aux modèles ajustés par instruction (ex: DeepSeek-V3.1 à 41 %, les autres se regroupant entre 33 et 35 %). Cependant, même les meilleurs modèles n'ont pas atteint la performance optimale.
Le Rôle du Test Négatif : Il existe une forte corrélation négative entre le Biais de Confirmation et le succès ( $\rho = -0,779$ ). Les modèles qui cherchaient activement à falsifier leurs hypothèses (test négatif) ont été systématiquement plus performants que ceux qui cherchaient principalement la confirmation.
Qualité de l'Oracle : Bien que la précision de l'oracle ait été généralement élevée (85–95 %), il n'y avait pas de corrélation significative entre la qualité de l'oracle et le succès du joueur. Une régression logistique bayésienne à effets mixtes a confirmé que le Biais de Confirmation était un prédicteur négatif fort du succès, tandis que le taux d'erreur de l'oracle avait un effet négligeable.

Modes d'Échec

Navigation dans l'Espace des Hypothèses : Dans les parties échouées, les modèles ont fréquemment formé des hypothèses qui présentaient un chevauchement partiel ou étaient disjointes de la règle cible, plutôt que de suivre un chemin de révision ascendante cohérent ( $H \subset R$ ).
Caractéristiques de Surface : Les parties échouées contenaient beaucoup plus souvent des hypothèses focalisées sur des caractéristiques linguistiques de surface (ex: « tous les éléments commencent par la lettre 'a' » ou « nombre de syllabes ») plutôt que sur des propriétés sémantiques. Pour les modèles performants, presque toutes les parties échouées impliquaient au moins une telle hypothèse linguistique.
Efficacité des Tours : Les parties réussies étaient caractérisées par une concentration de tours de type $H \subset R$ et une révision efficace. Les parties échouées montraient une proportion plus élevée de tours de « Chevauchement Partiel », indiquant que les modèles restaient bloqués sur des hypothèses proches mais incorrectes.

Signification et Revendications

L'article affirme que FALSIFYBENCH fournit un test rigoureux des capacités de « raisonnement scientifique » des LLM, allant au-delà de la simple récupération de connaissances statiques pour atteindre le test dynamique d'hypothèses. La conclusion principale est que la capacité de test négatif est le principal moteur de succès dans les tâches de raisonnement inductif.

Les auteurs soulignent que, bien que les modèles de raisonnement montrent des capacités supérieures pour falsifier les hypothèses par rapport aux modèles ajustés par instruction, les LLM actuels peinent encore avec le processus scientifique complet. La tendance à s'appuyer sur le biais de confirmation et à dériver vers des schémas linguistiques de surface suggère que même les modèles avancés n'ont pas pleinement internalisé les stratégies normatives de la découverte scientifique. Le travail souligne que la « réflexion » (raisonnement) seule est insuffisante sans la discipline stratégique de chercher activement des preuves infirmantes.

Les auteurs restent modestes quant à la portée de l'étude, reconnaissant que l'étude se concentre sur un aspect spécifique du raisonnement scientifique (la révision d'hypothèses dans une configuration de sous-ensemble) et que l'utilisation de WordNet comme proxy pour la connaissance sémantique présente des limites. Ils ne prétendent pas que les LLM sont prêts pour la découverte scientifique autonome, mais plutôt que FALSIFBYBENCH offre un outil de diagnostic nécessaire pour mesurer les progrès dans ce domaine spécifique.