💬 NLP

A Multi-Agent Approach for Claim Verification from Tabular Data Documents

Ce papier présente MACE, un cadre multi-agents innovant utilisant des agents spécialisés (Planificateur, Exécuteur, Vérificateur) en configuration « zéro-shot » pour vérifier des affirmations à partir de documents tabulaires, offrant ainsi des performances de pointe et une grande efficacité mémoire tout en assurant une traçabilité complète du raisonnement.

Auteurs originaux : Rudra Ranajee Saha, Laks V. S. Lakshmanan, Raymond T. Ng

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rudra Ranajee Saha, Laks V. S. Lakshmanan, Raymond T. Ng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective privé chargé de vérifier si une affirmation bizarre est vraie ou fausse. Par exemple, quelqu'un vous dit : « Notre usine a recyclé exactement 55,82 % de toute l'eau utilisée entre 2017 et 2023. »

Pour vérifier cela, vous ne pouvez pas simplement regarder un tableau de chiffres et espérer trouver la réponse. C'est trop complexe ! Il faut additionner, soustraire, comparer des années, et faire attention aux pièges.

C'est exactement le problème que les chercheurs de l'Université de la Colombie-Britannique ont résolu avec leur nouvelle invention : MACE.

Le concept : Une équipe de trois experts au lieu d'un seul génie

Jusqu'à présent, les intelligences artificielles (IA) essayaient de faire tout le travail toutes seules. C'est comme demander à un seul étudiant de faire un examen de mathématiques, de chimie et d'histoire en même temps, sans aide. Souvent, ils se trompent ou oublient des détails.

MACE change la donne. Au lieu d'un seul robot, ils ont créé une équipe de trois agents (des sous-programmes) qui travaillent ensemble comme une petite entreprise bien organisée. Ils utilisent des modèles de taille moyenne (pas des géants coûteux), mais grâce à leur organisation, ils sont plus intelligents que les géants.

Voici comment fonctionne cette équipe, avec une analogie simple :

1. Le Planificateur (Le Chef de Projet)

Imaginez un architecte ou un chef d'orchestre.

Son rôle : Il ne touche pas aux chiffres. Il lit l'affirmation (« 55,82 % d'eau recyclée ») et le document (le tableau de chiffres).
Sa tâche : Il dit : « Attends, pour vérifier ça, on ne peut pas juste regarder une ligne. Il faut d'abord trouver les lignes sur l'eau recyclée, puis celles sur l'eau totale, puis additionner toutes les années, et enfin faire une division. »
L'analogie : C'est comme quelqu'un qui lit une recette de cuisine et dit : « D'abord, on épluche les pommes de terre, ensuite on les coupe, et enfin on les fait frire. » Il ne cuisine pas, il donne les instructions.

2. L'Exécutant (Le Cuisinier / Le Calculateur)

Imaginez un cuisinier très méticuleux ou un comptable.

Son rôle : Il suit scrupuleusement les instructions du Planificateur.
Sa tâche : Il va chercher les bons chiffres dans le tableau, fait les additions et les divisions. Il écrit tout ce qu'il fait, étape par étape.
L'analogie : C'est celui qui prend les pommes de terre, les coupe et les fait frire. Si le Planificateur a dit « éplucher », il épluche. S'il y a une erreur dans les chiffres, il les calcule.

3. Le Vérificateur (Le Contrôleur Qualité)

Imaginez un inspecteur de la sécurité alimentaire ou un professeur qui corrige un devoir.

Son rôle : Il ne regarde pas le tableau original. Il regarde ce que l'Exécutant a fait.
Sa tâche : Il vérifie : « Est-ce que les calculs sont justes ? Est-ce que la conclusion (Vrai/Faux) correspond aux calculs ? »
Le super-pouvoir : Si l'Exécutant se trompe, le Vérificateur dit : « Attends, tu as fait une erreur ici. Repars et corrige-toi. » C'est ce qu'on appelle une boucle de rétroaction. Dans les anciennes méthodes, si l'étudiant se trompait au début, il continuait avec l'erreur jusqu'à la fin. Ici, on peut revenir en arrière.

Pourquoi c'est génial ?

1. La transparence (On voit tout le travail)
Avant, avec les IA classiques, c'était une "boîte noire". L'IA disait "C'est vrai" ou "C'est faux", mais on ne savait pas pourquoi. Avec MACE, on a le plan, les calculs et la vérification. C'est comme avoir un élève qui montre toutes ses opérations sur une feuille de papier. On peut voir exactement où il a trouvé la réponse.

2. L'efficacité (Petit mais costaud)
Les chercheurs ont utilisé des modèles d'IA "petits" (moins de 100 milliards de paramètres) au lieu des modèles "géants" (plus de 200 milliards) qui coûtent une fortune en électricité et en mémoire.

L'analogie : C'est comme si une petite équipe de trois cyclistes bien coordonnés (Planificateur, Exécutant, Vérificateur) battait un seul cycliste professionnel ultra-puissant mais solitaire.
Le résultat : MACE obtient des résultats aussi bons, voire meilleurs, que les géants, mais en utilisant beaucoup moins de ressources informatiques. C'est écologique et économique !

3. La robustesse (Moins d'erreurs)
Grâce à la boucle de rétroaction (le Vérificateur qui fait corriger l'Exécutant), le système évite de propager les erreurs. Si le Planificateur a un doute, il peut demander à l'Exécutant de clarifier. Si l'Exécutant se trompe, le Vérificateur le rattrape.

En résumé

MACE, c'est comme passer d'un solitaire qui essaie de résoudre un puzzle géant seul (et qui se trompe souvent) à une équipe de trois spécialistes qui se parlent, se corrigent et travaillent ensemble.

Le Chef (Planificateur) dit quoi faire.
L'ouvrier (Exécutant) fait le travail.
L'inspecteur (Vérificateur) s'assure que tout est parfait.

Le résultat ? Une vérification de faits (comme savoir si une entreprise recycle vraiment son eau) qui est plus rapide, moins chère, plus transparente et surtout, beaucoup plus fiable. C'est une avancée majeure pour lutter contre la désinformation dans les rapports financiers, scientifiques et environnementaux.

1. Problématique

La vérification d'affirmations (claim verification) à partir de documents contenant des données tabulaires est une tâche critique pour lutter contre la désinformation dans des domaines comme la finance, la science et les rapports de durabilité. Cependant, cette tâche présente des défis majeurs :

Complexité structurelle : Les tableaux peuvent avoir des structures hiérarchiques, des cellules fusionnées et des en-têtes complexes.
Raisonnement sophistiqué : La vérification nécessite souvent d'intégrer des preuves textuelles et tabulaires, d'effectuer des calculs mathématiques (sommes, pourcentages) et de gérer des affirmations composées.
Limitations des approches actuelles : Les méthodes récentes basées sur les LLM (Large Language Models) reposent souvent sur un pré-entraînement ou un fine-tuning coûteux, ou décomposent la tâche de manière unidirectionnelle, ce qui entraîne une propagation des erreurs et un manque de généralisabilité. De plus, les modèles les plus performants sont souvent propriétaires, coûteux et peu explicables.

2. Méthodologie : Le Framework MACE

Les auteurs proposent MACE (Multi-Agentic framework for Claim vErification), une approche basée sur le prompting (sans fine-tuning) qui utilise un système multi-agents collaboratif. Le framework est implémenté via la bibliothèque AutoGen et fonctionne comme un chat de groupe structuré.

MACE se compose de trois agents spécialisés qui interagissent via des boucles de rétroaction :

L'Agent Planificateur (Planner) :
- Reçoit l'affirmation et les preuves (tableaux/textes).
- Élabore une stratégie de vérification étape par étape.
- Identifie les mots de négation, résout les descripteurs ambigus et gère les affirmations composées.
- Génère un plan explicite ( et ) pour guider l'exécution.
L'Agent Exécuteur (Executor) :
- Implémente le plan du Planificateur.
- Effectue l'extraction des données, les calculs mathématiques et les comparaisons.
- Produit une trace d'exécution détaillée et un verdict provisoire ("support", "refute", "not enough info").
- Mécanisme de révision : Si le plan est ambigu, l'Executor peut demander une révision au Planificateur.
L'Agent Vérificateur (Verifier) :
- Audite la logique, la cohérence et l'exactitude du verdict de l'Executor.
- Vérifie que le raisonnement soutient bien la décision finale.
- Boucle de rétroaction : Si des incohérences sont détectées, le Vérificateur demande une correction à l'Executor, empêchant ainsi la propagation des erreurs vers l'utilisateur final.

Configuration : Chaque agent fonctionne en mode zero-shot avec des chaînes de pensée (Chain-of-Thought). Le système supporte à la fois les domaines fermés (tableaux spécifiques fournis) et les domaines ouverts (avec un module de récupération d'informations préalable).

3. Contributions Clés

Architecture Multi-Agents avec Boucles de Rétroaction : Contrairement aux pipelines unidirectionnels, MACE permet des itérations (Planificateur $\leftrightarrow$ Exécuteur $\leftrightarrow$ Vérificateur) pour corriger les erreurs en cours de route.
Efficacité des Ressources : Le framework atteint des performances de pointe (SOTA) avec des modèles beaucoup plus petits (27 à 92 milliards de paramètres) par rapport aux modèles géants (235 milliards de paramètres), offrant un compromis performance/mémoire exceptionnel.
Explicabilité (Interprétabilité) : MACE génère des traces de vérification complètes, détaillant les lignes, colonnes, cellules sélectionnées et les opérations mathématiques effectuées, ce qui renforce la confiance dans le résultat.
Généralisation sans Fine-Tuning : L'approche repose uniquement sur des prompts soigneusement conçus, éliminant le besoin de pré-entraînement coûteux sur des données spécifiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données (SciTab, SemTab, FinDVer, SciTab-OD) couvrant des domaines fermés et ouverts.

Performance :
- MACE atteint les performances de l'état de l'art (SOTA) sur les jeux de données SciTab et SemTab.
- Il égale les meilleurs modèles sur FinDVer et SciTab-OD.
- Sur SciTab, une configuration MACE avec un modèle de 72B paramètres (Qwen-72B) atteint un Macro F1 de 0.67, surpassant GPT-4 (0.65) et les approches par fine-tuning.
Efficacité Mémoire :
- Des configurations avec des modèles de 27 à 92B paramètres atteignent 80 % à 100 % des performances du modèle de référence Qwen-235B, tout en utilisant seulement 11,5 % à 39,1 % de la mémoire.
- Par exemple, un modèle de 28B paramètres (Ll-8B + Vérificateur) atteint 95,6 % des performances du modèle 235B sur SemTab.
Analyse des Erreurs :
- L'étude montre que pour les petits modèles, un vérificateur indépendant (ex: GPT-20B) aide à corriger les erreurs de raisonnement.
- Pour les grands modèles, utiliser un vérificateur de la même famille (même modèle) est souvent plus performant car il maintient une cohérence de raisonnement et évite les malentendus sémantiques liés aux domaines spécifiques.

5. Signification et Limites

Signification :
MACE démontre qu'une coordination stratégique entre agents spécialisés peut compenser les limitations des modèles individuels, permettant d'atteindre des performances de niveau SOTA avec des modèles plus petits, plus abordables et plus transparents. Cela rend la vérification de faits complexes accessible sur du matériel moins puissant et favorise la reproductibilité.

Limites :

Surcharge Temporelle : La coordination multi-agents introduit une latence significative (le temps d'exécution est 5,3 à 27,5 fois plus long que l'inférence d'un seul modèle). Cela peut limiter l'application dans des contextes sensibles à la latence.
Gestion des Contextes Longs : L'article ne propose pas de techniques spécialisées pour gérer des tableaux extrêmement larges dépassant la fenêtre de contexte des modèles, bien que des stratégies de récupération soient utilisées pour les documents ouverts.

En conclusion, MACE propose une nouvelle voie pour la vérification de faits tabulaires, privilégiant la collaboration, l'explicabilité et l'efficacité des ressources plutôt que la simple augmentation de la taille des modèles.