💬 NLP

CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification

L'article introduit CRAFT, un cadre unifié qui améliore le raisonnement sur les tableaux et la vérification de faits dans les grands modèles de langage en employant un processus de raisonnement contrefactuel bidirectionnel pour surmonter les limites de l'inférence unidirectionnelle et atteindre des performances supérieures sur des ensembles de données complexes.

Auteurs originaux : Chenshuo Pan, Yu Zhao, Jie Zhang, Changzai Pan, Zhenhe Wu, Jiayi Liang, Yujie Mao, Shuangyong Song, Yongxiang Li, Zhongjiang He

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenshuo Pan, Yu Zhao, Jie Zhang, Changzai Pan, Zhenhe Wu, Jiayi Liang, Yujie Mao, Shuangyong Song, Yongxiang Li, Zhongjiang He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère à l'aide d'un immense tableur désordonné rempli de faits sur le sport, l'argent ou l'histoire. C'est ce avec quoi les ordinateurs (plus précisément les modèles de langage étendus, ou LLM) ont du mal lorsqu'on leur pose des questions basées sur ces tableaux. Généralement, ils agissent comme un détective qui ne regarde les preuves que sous un seul angle. Ils lisent la question, devinent une réponse, et s'arrêtent là. S'ils commettent une erreur lors de leur première supposition, ils ont tendance à s'y tenir, même si les preuves ne concordent pas tout à fait.

Le document présente un nouveau système appelé CRAFT (Counterfactual Reasoning Framework — Cadre de Raisonnement Contrefactuel). Considérez CRAFT non pas comme un simple détective, mais comme une équipe de détectives travaillant ensemble pour contester les théories les uns des autres.

Voici comment fonctionne CRAFT, décomposé en étapes simples en utilisant une analogie de détective :

1. La mise en place : Transformer une question en une affirmation

Le Problème : L'ordinateur reçoit une question comme : « Quel pays a remporté plus de médailles de bronze que la Chine ? »
Le Mouvement de CRAFT (Le Réécrivain) : Au lieu de simplement deviner, le système transforme d'abord cette question en une affirmation spécifique, comme une hypothèse. Il dit : « D'accord, supposons que la réponse soit le Japon ». Désormais, au lieu d'une question vague, nous avons une affirmation concrète à tester.

2. Le rebondissement : Le scénario du « Et si ? »

Le Problème : Si l'ordinateur vérifie seulement si le Japon est la réponse, il pourrait manquer le fait que la Corée du Sud a également remporté plus de médailles.
Le Mouvement de CRAFT (L'Inverseur) : C'est l'étape magique. Le système crée un « Contrefactuel » — un scénario de type « Et si ? ». Il prend l'affirmation originale et la renverse ou la modifie pour créer un autre chemin de réflexion.

Chemin Original : « Le Japon a remporté plus de médailles que la Chine. »
Chemin Contrefactuel : « Et si le Japon n'avait pas remporté plus de médailles ? Ou si nous regardions l'affirmation : 'Le Japon et la Corée du Sud ont tous deux remporté plus de médailles' ? »

Voyez cela comme un avocat présentant deux théories différentes à un jury :

Théorie A : Le suspect est coupable.
Théorie B : Et si le suspect était innocent, ou si une autre personne l'avait fait ?
En forçant l'ordinateur à explorer le chemin du « Et si », il est contraint de chercher les preuves qu'il aurait pu ignorer dans le premier chemin.

3. Rassembler les preuves (L'Extracteur)

Maintenant, le système renvoie les deux théories (l'originale et le « Et si ») vers le tableau. Il fouille dans les lignes et les colonnes pour trouver des preuves pour les deux côtés.

Il trouve la preuve que le Japon possède 77 médailles.
Il trouve la preuve que la Corée du Sud possède 65 médailles.
Il réalise que la théorie « Japon uniquement » était incomplète car le chemin du « Et si » a révélé que la Corée du Sud était aussi une réponse valide.

4. La décision finale (Le Repenseur)

Enfin, un « Juge » (le module Rethinker) examine les preuves des deux chemins.

Si les deux chemins sont d'accord, la réponse est facile.
S'ils ne sont pas d'accord, le Juge pèse les preuves. Il demande : « Quel chemin avait les preuves les plus solides ? » ou « Pouvons-nous combiner ces découvertes ? »
Dans notre exemple, le Juge voit que le chemin du « Et si » a mis au jour la Corée du Sud, donc la réponse finale devient : « Le Japon ET la Corée du Sud. »

Pourquoi est-ce meilleur ?

Le document affirme que les méthodes précédentes étaient comme une personne marchant en ligne droite ; si elle heurtait un mur, elle continuait simplement à marcher dedans. CRAFT force l'ordinateur à marcher dans deux directions à la fois.

Il détecte plus d'erreurs : En vérifiant la vue opposée ou alternative, le système est moins susceptible de manquer des détails importants.
Il fonctionne sur n'importe quel cerveau informatique : Les auteurs ont testé cela sur différents types de modèles d'IA (certains intelligents, d'autres moins) et ont constaté que CRAFT aidait tous les modèles à s'améliorer, comblant souvent l'écart entre les modèles « intelligents » et les modèles « moins intelligents ».
Ce n'est pas juste deviner plus souvent : Les auteurs ont prouvé que demander simplement à l'ordinateur de deviner la réponse 10 fois et de choisir la plus courante ne fonctionne pas aussi bien que la méthode de CRAFT consistant à aborder le problème sous deux angles logiques distincts.

L'essentiel

CRAFT est un cadre qui apprend à l'IA à jouer l'avocat du diable avec elle-même. Au lieu de simplement accepter sa première idée, elle crée une version « Et si » de cette idée, vérifie les faits pour les deux, puis combine les meilleures preuves pour donner une réponse plus précise et complète. Cela rend l'IA bien meilleure pour lire des tableaux complexes et répondre correctement aux questions.

Résumé Technique : CRAFT – Un cadre de raisonnement contrefactuel unifié

1. Énoncé du problème

Le raisonnement sur les tableaux reste un défi majeur pour les grands modèles de langage (LLM), particulièrement lorsque les tâches nécessitent un inférence multi-étapes sur des données tabulaires structurées et longues. Les approches existantes reposent principalement sur un raisonnement unidirectionnel, où les modèles génèrent une hypothèse et la vérifient par rapport au tableau. Cette approche unidirectionnelle limite la capacité du modèle à explorer des hypothèses alternatives, conduisant souvent à un raisonnement fragile qui échoue à détecter les erreurs ou à considérer des scénarios contrefactuels. De plus, les méthodes actuelles souffrent souvent d'écarts de performance entre les différents LLM de base et peinent à unifier le Questionnement sur Tableaux (QA) et la Vérification de Faits sur Tableaux (FV) sous un paradigme unique.

2. Méthodologie : Le cadre CRAFTS

Les auteurs proposent CRAFT (Counterfactual Reasoning Framework), un processus de vérification bidirectionnel et unifié qui reformule le raisonnement sur les tableaux en un cadre général applicable tant au QA qu'au FV. Le cadre fonctionne via quatre modules coopératifs :

2.1 Rewriter (Réécrivain)

Le Rewriter transforme les tâches de QA de tableaux ouvertes en déclarations informatives et vérifiables.

Mécanisme : Il déduit le type de réponse attendu (ex: nombre, temps, booléen) à partir de la sémantique de la question sans accéder à la vérité terrain. Il échantillonne ensuite une valeur candidate cohérente avec le type dans le tableau pour instancier une déclaration déclarative ( $S$ ).
Objectif : Cela comble l'écart entre le QA et le FV, permettant aux deux tâches d'être traitées comme des problèmes de vérification basés sur des déclarations.

2.2 Reverser (Inverseur)

Le Reverser construit une déclaration contrefactuelle optimale ( $R^*$ ) basée sur la déclaration déclarative $S$ .

Mécanisme : Au lieu d'une simple négation binaire, le Reverser explore plusieurs directions contrefactuelles. Il génère des contrefactuels candidats en utilisant des modèles basés sur des règles et sélectionne le candidat optimal ( $R^*$ ) en évaluant lequel induit la plus grande expansion structurelle dans l'espace de raisonnement (mesurée par la complexité d'un programme de vérification de type SQL généré).
Objectif : Créer un chemin de raisonnement complémentaire qui remet en question la prémisse initiale et explore des scénarios alternatifs.

2.3 Extractor (Extracteur)

L'Extractor effectue un raisonnement étape par étape ancré dans le tableau pour la déclaration originale ( $S$ ) et la déclaration contrefactuelle ( $R^*$ ).

Mécanisme : Il génère deux traces de raisonnement : $Trace(S)$ et $Trace(R^*)$ . À partir de ces traces, il extrait des éléments de preuve ( $e$ ) et évalue leur cohérence logique avec le tableau et le contexte de la question. Les preuves valides sont accumulées pour former des ensembles de preuves $E(S)$ et $E(R^*)$ .
Objectif : Distiller l'essentiel des preuves de soutien et générer des réponses candidates ( $A_1$ et $A_2$ ) sous les hypothèses factuelles et contrefactuelles.

2.4 Rethinker (Repenseur)

Le Rethinker agrège les preuves et les réponses candidates pour prendre une décision finale.

Mécanisme : Si $A_1$ et $A_2$ coïncident, la réponse est renvoyée. S'ils diffèrent, le module calcule des scores d'auto-cohérence pour chaque paire (réponse, preuve). Il emploie une règle de décision pondérée et, en cas d'ambiguïté, réévalue les candidats sous des preuves opposées pour tester la cohérence du raisonnement.
Objectif : Synthétiser une décision finale vérifiée en pesant la force des preuves issues des deux chemins de raisonnement.

3. Contributions clés

Cadre unifié : CRAFT est le premier cadre qui unifie le QA de tableaux et la Vérification de Faits sur Tableaux sous un paradigme de raisonnement contrefactuel partagé, éliminant le besoin d'ingénierie de pipeline spécifique à la tâche.
Raisonnement bidirectionnel : En construisant explicitement et en raisonnant sur des déclarations déclaratives et contrefactuelles, le cadre surmonte les limites de l'inférence unidirectionnelle, guidant les LLM vers un raisonnement plus heuristique et discernant.
Robustesse à travers les modèles : Le cadre atténue considérablement les écarts de performance entre les différents LLM de base, démontrant que le raisonnement contrefactuel agit comme une heuristique générale plutôt que comme une optimisation spécifique au modèle.

4. Résultats expérimentaux

Les auteurs ont évalué CRAFT sur deux jeux de données standards : WikiTQ (Table QA) et TabFact (Fact Verification), en utilisant divers LLM de base (Deepseek-R1-14B, Qwen2.5-72B, Llama3.3-70B, et GPT-5-mini).

Gains de performance : CRAFT surpasse systématiquement les bases de référence représentatives (incluant Chain-of-Table, Table-Critic, et Binder).
- Sur WikiTQ, il a atteint une précision moyenne de 82,4%, dépassant la meilleure base de référence de 4,7 points.
- Sur TabFact, il a atteint 94,6%, dépassant la meilleure base de référence de 1,1 point.
Agnosticisme du modèle : Notamment, le cadre a inversé la hiérarchie de performance entre les modèles ; par exemple, Llama3.3-70B a surpassé Qwen2.5-72B en utilisant CRAFT, alors que Qwen surpasse typiquement Llama dans des configurations standards.
Études d'ablation :
- Les modules Rewriter et Reverser ont tous deux contribué positivement, leur combinaison produisant les meilleurs résultats.
- Les améliorations ne sont pas simplement dues à un échantillonnage répété ; CRAFT a surpassé les méthodes de Self-Consistency et de vote pondéré par la confiance, indiquant que la direction du raisonnement (explorer des régions sémantiques diverses) est plus critique que la quantité d'échantillons.
- Le cadre a montré une robustesse supérieure à travers différentes tailles de tableaux, particulièrement sur les grands tableaux où le raisonnement unidirectionnel se dégrade souvent.

5. Signification et affirmations

L'article affirme que CRAFT établit un paradigme plus fondé pour les tâches de raisonnement structuré. En intégrant explicitement l'analyse contrefactuelle, le cadre aide les LLM à s'éloigner des modèles d'inférence fixes vers un raisonnement plus robuste et basé sur des preuves.

Les auteurs soulignent que le raisonnement contrefactuel traite efficacement la fragilité de l'inférence unidirectionnelle. Bien que le cadre soit très prometteur, les auteurs reconnaissent modestement certaines limites :

Les expériences ont été limitées aux modèles plus larges (14B+ paramètres) en raison des exigences de contexte long des données tabulaires.
L'implémentation actuelle est adaptée au raisonnement sur les tableaux ; généraliser à d'autres domaines (comme le QA textuel) reste un défi en raison de la difficulté de garantir la cohérence sémantique.
Le module Rethinker, bien qu'efficace, n'a pas encore pleinement réalisé le potentiel du raisonnement contrefactuel et nécessite un perfectionnement supplémentaire.

En conclusion, CRAFT démontre que guider les LLM pour explorer des hypothèses alternatives via le raisonnement contrefactuel est une stratégie viable et efficace pour améliorer la compréhension des données structurées.