CounterBench: Evaluating and Improving Counterfactual Reasoning in Large Language Models

Ce papier présente CounterBench, un nouveau benchmark évaluant la capacité des grands modèles de langage au raisonnement contrefactuel basé sur des règles formelles, et propose la méthode CoIn pour améliorer significativement leurs performances dans cette tâche complexe.

L'essentiel

🧠 Le Défi du "Et si..." : Pourquoi les IA ont du mal à rêver

Imaginez que vous demandez à un ami très intelligent : "Et si tu n'avais pas mangé ce gâteau, aurais-tu eu mal au ventre ?".
Un humain répondrait facilement en se basant sur la logique : "Oui, car le gâteau contient du sucre, et le sucre me donne mal au ventre."

C'est ce qu'on appelle le raisonnement contrefactuel (penser à des scénarios "et si"). C'est le niveau le plus élevé de la pensée humaine. Mais selon cet article, les intelligences artificielles (les grands modèles de langage comme GPT-4) sont encore très mauvaises à ce jeu. Elles ont tendance à répondre au hasard ou à se perdre dans leurs propres histoires.

Les chercheurs de l'Université Rutgers ont décidé de tester cette faiblesse et de proposer une solution. Voici comment, expliqué simplement.

---

1. Le Terrain de Jeu : "CounterBench" (Le Gymnase des IA)

Pour tester les IA, les chercheurs ont créé un nouveau jeu appelé CounterBench.

• L'analogie : Imaginez un gymnase spécial où l'on ne teste pas la force brute, mais la logique pure.
• Le piège : Pour éviter que les IA ne trichent en utilisant ce qu'elles ont appris par cœur (comme savoir que "le feu brûle"), les chercheurs ont inventé des mots bizarres et des règles absurdes.
  • Exemple : Au lieu de dire "Le feu chauffe l'eau", on dit "Le Ziklo transforme le Kelp en Glorp".
  • La question devient : "Si le Ziklo n'existait pas, le Glorp apparaîtrait-il ?"
• Le résultat : Les IA, qui sont normalement très fortes, ont échoué lamentablement. La plupart ont eu un score de 50 %, ce qui signifie qu'elles répondaient juste au hasard (comme si elles lançaient une pièce en l'air). Elles ne comprenaient pas la logique derrière les règles, elles essayaient juste de deviner.

2. Le Problème : Les IA sont comme des touristes pressés

Pourquoi échouent-elles ?
Les chercheurs ont découvert que les IA agissent comme des touristes pressés qui veulent voir tous les monuments sans lire la carte.

• Elles sautent directement à la conclusion.
• Elles oublient les étapes intermédiaires.
• Elles se perdent dans des scénarios complexes (comme un labyrinthe) et finissent par dire n'importe quoi.

Même les techniques actuelles, qui leur demandent de "réfléchir étape par étape" (comme un guide touristique), ne suffisent pas. Elles se trompent encore souvent dans le calcul.

3. La Solution : "CoIn" (Le Détective Méthodique)

Pour réparer cela, les chercheurs ont créé une nouvelle méthode appelée CoIn (Inférence Contrefactuelle).

L'analogie du Détective :
Au lieu de laisser l'IA deviner, CoIn lui donne un carnet de enquêteur très strict avec 5 étapes obligatoires, comme un détective qui résout un crime :

1. Extraction (Le relevé de scène) : L'IA doit noter exactement ce qui est écrit, sans rien ajouter. Elle dessine la carte du crime (le graphique causal).
2. Abduction (L'enquête rétrospective) : L'IA se demande : "Pourquoi les choses sont-elles comme ça dans la réalité ?" Elle reconstruit le passé pour comprendre les causes.
3. Action (Le "Et si...") : C'est le moment magique. L'IA modifie la carte : "Imaginons que le suspect n'était pas là." Elle change une seule variable.
4. Inférence vers l'avant (La prédiction) : L'IA suit les conséquences de ce changement, brique par brique, comme une ligne de dominos qui tombe. "Si A change, alors B change, donc C change..."
5. Vérification (Le contre-contrôle) : Avant de donner la réponse finale, l'IA relit tout son travail pour s'assurer qu'elle ne s'est pas trompée dans un calcul.

Le résultat ?
C'est comme si on passait d'un enfant qui devine à un mathématicien qui vérifie ses calculs.

• Avec cette méthode, les performances des IA ont explosé.
• Là où elles avaient 50 % de réussite, elles atteignent désormais près de 90 % (voire 100 % sur des tâches simples).
• Cela fonctionne même avec des modèles plus petits et moins puissants.

En Résumé

Cet article nous dit deux choses importantes :

1. Les IA sont encore "bêtes" en logique pure : Si on leur demande de raisonner sur des règles complexes et nouvelles, elles se perdent et devinent.
2. On peut les aider avec de la méthode : En forçant l'IA à suivre un processus d'enquête rigoureux (comme un détective), on peut transformer son intuition floue en un raisonnement logique précis.

C'est une étape cruciale pour que les ordinateurs ne soient pas seulement de bons "récitants" de faits, mais de vrais "penseurs" capables de comprendre les conséquences de nos actions.

Résumé technique

1. Problématique

Le raisonnement contrefactuel (répondre à la question "et si ?") représente le niveau le plus élevé de la hiérarchie causale de Pearl. Il est essentiel pour la prise de décision dans des domaines critiques comme la santé, la finance et la science. Cependant, les modèles de langage (LLM) actuels peinent à maîtriser cette tâche.

Les défis identifiés sont les suivants :

• Absence de benchmark rigoureux : Les études précédentes se concentraient sur le raisonnement causal de bon sens, où les modèles peuvent s'appuyer sur leurs connaissances pré-entraînées. Il manquait un ensemble de données évaluant spécifiquement la capacité des LLM à raisonner selon des règles formelles et déterministes, sans recourir à la mémoire sémantique.
• Limites des performances actuelles : Même avec des techniques avancées d'incitation (prompting) comme le Chain-of-Thought (CoT) ou le CausalCoT, les LLM échouent souvent à produire des contrefactuels logiquement cohérents, se comportant souvent au niveau du hasard (environ 50 % de précision).
• Incohérence logique : Les modèles ont du mal à maintenir la cohérence lors de chaînes de raisonnement multi-étapes et à gérer des dépendances causales complexes.

2. Méthodologie

L'article propose une approche en deux volets : la création d'un nouveau benchmark et le développement d'une nouvelle stratégie de raisonnement.

A. Le Benchmark : CounterBench

Les auteurs ont créé CounterBench, un ensemble de données composé de 1 200 questions de raisonnement contrefactuel.

• Structure : Les questions sont générées à partir de Modèles Causaux Structurels (SCM) déterministes. Pour éviter que les modèles n'utilisent leurs connaissances pré-entraînées, les noms des variables sont remplacés par des termes non sensiques (ex: "Kelp", "Ziklo").
• Cinq types de questions :
  1. Basic : Scénarios "et si" simples sur une seule variable.
  2. Joint : Interventions simultanées sur plusieurs variables.
  3. Nested : Dépendances séquentielles où une intervention affecte une autre variable, qui influence ensuite le résultat.
  4. Conditional : Raisonnement sous des conditions observées (monde contrefactuel conditionné).
  5. Backdoor : Raisonnement en présence de chemins de confusion (confounders) nécessitant un contrôle pour isoler l'effet causal.
• Complexité : Les questions varient en difficulté (de 5 à 9 événements) et sont équilibrées (50 % de réponses "Oui", 50 % "Non").

B. La Stratégie Proposée : CoIn (Counterfactual Inference)

Pour surmonter les limites des méthodes existantes, les auteurs proposent CoIn, un paradigme de raisonnement itératif structuré en cinq phases, inspiré par les principes de l'inférence causale formelle et de la planification :

1. Extraction : Identification systématique des faits explicites et construction d'un graphe causal clair (format "événement 1 → événement 2").
2. Abduction : Inférence des contraintes sur les variables exogènes (bruit) pour rendre le monde observé cohérent avec les équations structurelles. Cela permet de figer le contexte factuel avant l'intervention.
3. Action d'Intervention : Application des changements hypothétiques spécifiés dans la question en modifiant les équations structurelles correspondantes (remplacement par des constantes).
4. Inférence Avant (Forward Inference) : Calcul itératif des conséquences sur les variables non observées en suivant le graphe causal, de la cause vers l'effet, jusqu'à atteindre la variable cible.
5. Validation par Backtracking : Vérification rétrospective de la cohérence logique de toute la chaîne de raisonnement. Si une incohérence est détectée, le modèle revient en arrière pour corriger le chemin.

3. Résultats Clés

Les expériences ont été menées sur une large gamme de modèles (GPT-4o, GPT-4o mini, Claude-3, Gemini-1.5, Deepseek-V3, etc.) en comparant trois stratégies : Standard, CausalCoT (baseline), et CoIn.

• Performance des modèles de base : Sans instructions spécifiques, la plupart des LLM obtiennent une précision d'environ 50 % (équivalent à un tirage aléatoire), confirmant leur incapacité à raisonner sur des règles formelles sans aide. Même le modèle le plus performant en baseline (Gemini-1.5-flash) n'atteint que 68 %.
• Limites du CausalCoT : L'approche CausalCoT améliore légèrement certains modèles mais reste insuffisante. L'analyse d'erreur révèle que 86 % des erreurs proviennent du processus d'inférence lui-même (mauvaise prédiction de l'événement cible), et non de l'extraction des relations causales.
• Efficacité de CoIn :
  • La méthode CoIn permet d'atteindre une précision moyenne d'environ 90 % sur les modèles de pointe (ex: GPT-4o passe de 75,8 % à 89,4 % ; Deepseek-V3 atteint 91,8 %).
  • L'amélioration est particulièrement marquée pour les modèles plus petits (ex: GPT-4o mini passe de ~50 % à 79,9 %), surpassant même des modèles plus grands sans CoIn.
  • La méthode réduit drastiquement les erreurs de processus d'inférence (de 86 % à environ 46 % dans l'analyse comparative).
• Généralisation : Testé sur le dataset CLADDER (mélange de bon sens et de contre-sens), CoIn maintient sa performance, démontrant qu'il ne dépend pas uniquement des connaissances pré-entraînées mais de la capacité à suivre des règles formelles.

4. Contributions Principales

1. Création de CounterBench : Un dataset de référence de 1 200 questions complexes, couvrant cinq types de structures causales et des niveaux de difficulté variés, conçu pour évaluer le raisonnement pur sans biais de connaissances.
2. Évaluation exhaustive : Une démonstration que les LLM actuels, même les plus avancés, échouent massivement sur le raisonnement contrefactuel formel (niveau hasard) et que les méthodes d'incitation actuelles (CausalCoT) sont insuffisantes.
3. Proposition de CoIn : Un nouveau paradigme de raisonnement intégrant abduction, intervention, inférence itérative et validation par backtracking. Cette approche structurelle améliore la précision de près de 20 points de pourcentage par rapport aux meilleures méthodes existantes.

5. Signification et Impact

Ce travail est significatif car il déplace le focus de l'évaluation des LLM du "bon sens" vers le raisonnement formel et algorithmique. Il démontre que pour atteindre une intelligence artificielle générale capable de prise de décision complexe, les modèles ne doivent pas seulement "connaître" des faits, mais être capables d'exécuter des procédures de raisonnement rigoureuses.

La méthode CoIn offre une voie prometteuse pour intégrer des mécanismes de vérification et de backtracking dans les LLM, réduisant les hallucinations logiques et permettant une application plus fiable de l'IA dans des domaines critiques où la causalité et la simulation de scénarios alternatifs sont cruciales (médecine, politiques publiques, finance).