💻 computer science

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

L'article présente DeFacto, un cadre de raisonnement contrefactuel qui exploite un pipeline guidé par le langage pour générer un ensemble de données spécialisé et utilise un apprentissage par renforcement basé sur GRPO avec des récompenses multidimensionnelles pour améliorer significativement à la fois la précision des réponses et la cohérence ancrée dans les preuves des modèles de langage multimodaux.

Auteurs originaux : Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous passez un test où vous devez répondre à des questions concernant une image. La plupart des programmes informatiques intelligents (appelés Modèles de Langage Multimodaux de Grande Taille) ressemblent à des élèves très doués pour deviner en se basant sur ce qu'ils ont lu dans des livres, mais ils ignorent souvent l'image réelle qui se trouve devant eux. Ils pourraient vous donner la bonne réponse, mais pour les mauvaises raisons, ou alors ils pourraient regarder complètement la mauvaise partie de la photo.

L'article présente une nouvelle méthode appelée DeFacto (abréviation de « De Facto », signifiant « en réalité ») pour remédier à cela. Imaginez DeFacto comme un enseignant strict qui force l'élève à prouver qu'il regarde réellement l'image avant d'avoir le droit d'écrire une réponse.

Voici comment cela fonctionne, décomposé avec des analogies simples :

1. Le Problème : L'« Expert Faux »

Les modèles d'IA actuels souffrent souvent de trois habitudes de « triche » spécifiques :

Le Pari Aveugle : Ils regardent la mauvaise partie de l'image et donnent la mauvaise réponse.
Le Pari Chanceux : Ils regardent la mauvaise partie de l'image mais devinent somehow la bonne réponse (simplement par chance ou en mémorisant du texte).
L'Erreur Honnête : Ils regardent la bonne partie de l'image mais donnent quand même la mauvaise réponse parce qu'ils ne parviennent pas à faire les liens.

L'article soutient que être « intelligent » ne suffit pas ; l'IA doit être fidèle, ce qui signifie que sa réponse doit être directement liée à ce qu'elle voit réellement.

2. La Solution : Le Jeu de la « Pièce Manquante »

Pour apprendre à l'IA à arrêter de tricher, les chercheurs ont créé un jeu d'entraînement spécial appelé Pensée Contrefactuelle. Imaginez jouer à un jeu de « Où est Charlie ? » mais avec une twist :

Tour 1 (Le Cas Positif) : Vous montrez à l'IA l'image complète avec les indices visibles. Elle doit trouver les indices (comme un chapeau rouge ou un panneau spécifique) et répondre à la question. Si elle a raison, elle reçoit une étoile d'or.
Tour 2 (Le Cas Contrefactuel) : C'est la partie magique. Les chercheurs prennent les exactes indices dont l'IA a besoin (comme le chapeau rouge) et les recouvrent d'une boîte noire (en les masquant). Maintenant, on pose la même question à l'IA.
- Si l'IA essaie de deviner quand même, elle reçoit une grosse pénalité.
- Si l'IA dit : « Je ne sais pas, l'indice manque », elle reçoit une étoile d'or.
- Pourquoi cela compte : Cela apprend à l'IA que si la preuve n'est pas là, elle ne doit pas faire semblant de connaître la réponse. Elle apprend à admettre son ignorance plutôt qu'à halluciner.
Tour 3 (Le Cas de Masquage Aléatoire) : Les chercheurs recouvrent des parties de l'image qui ne comptent pas (comme le ciel ou un arbre en arrière-plan). L'IA doit toujours répondre correctement. Cela empêche l'IA d'apprendre que les « boîtes noires » signifient toujours « ne pas répondre ». Elle apprend à distinguer entre « preuve manquante » et « arrière-plan non pertinent ».

3. Le Processus d'Entraînement : Les « Devoirs Notés »

Les chercheurs n'ont pas simplement écrit ces questions à la main (ce qui prendrait une éternité). Ils ont construit un pipeline robotisé qui :

Lit la question.
Trouve automatiquement les parties importantes de l'image (comme « le texte sur le t-shirt » ou « les feuilles sur l'arbre »).
Crée des milliers de ces versions « recouvertes » des images.

Ils ont créé un vaste ensemble de données appelé DeFacto-100K (100 000 exemples) pour entraîner l'IA.

Ensuite, ils ont utilisé une méthode d'entraînement spéciale appelée GRPO (Optimisation de Politique Relative par Groupes). Imaginez cela comme un entraîneur qui regarde l'IA jouer le jeu 4 fois de suite. Si l'IA fait mieux dans un tour que la moyenne des trois autres, elle reçoit une récompense. Cela aide l'IA à apprendre à être cohérente : Toujours chercher la preuve, et si elle a disparu, dire « Je ne sais pas ».

4. Les Résultats : Un Meilleur Élève

Lorsqu'ils ont testé cette nouvelle IA « DeFacto » contre d'autres modèles de premier plan :

Elle a répondu correctement à plus de questions.
Il était beaucoup plus difficile de la tromper. Lorsque la preuve était cachée, l'IA DeFacto disait correctement « Je ne sais pas » beaucoup plus souvent que les autres modèles, qui continuaient à deviner.
Elle était plus honnête. Elle a arrêté d'inventer des raisons pour ses réponses. Si elle pointait une partie spécifique de l'image pour justifier sa réponse, cette partie contenait réellement la preuve.

Résumé

En bref, DeFacto est une méthode d'entraînement qui apprend aux modèles d'IA à être des détectives honnêtes. Au lieu de simplement deviner la réponse en se basant sur ce qu'ils pensent pouvoir être vrai, ils sont entraînés à :

Trouver la preuve visuelle spécifique.
Si la preuve manque, admettre qu'ils ne savent pas.
Si la preuve est là, l'utiliser pour prouver leur réponse.

L'article affirme que cela rend le raisonnement de l'IA plus fiable et ancré dans la réalité, l'empêchant d'inventer des histoires qui sonnent bien mais qui ne sont pas vraies.

et` valides).
3. Récompense de Cohérence de Sélection de Région ( $R_{sel}$ ) :
* Récompense le chevauchement entre les boîtes englobantes prédites et les régions de preuve de vérité terrain ( $R^+$ ).
* Pénalise le chevauchement avec des régions non pertinentes ( $R^-$ ).
* Fournit une récompense nulle pour la sélection de région dans les cas contrefactuels (où le modèle doit s'abstenir).

3. Contributions Clés

Cadre DeFacto : Un cadre de raisonnement contrefactuel qui optimise conjointement la justesse de la réponse et la fidélité au niveau de la région via un apprentissage par renforcement basé sur GRPO.
Jeu de Données DeFacto-100K : Un jeu de données contrefactuel à grande échelle construit via un pipeline automatisé guidé par le langage, intégrant la détection à vocabulaire ouvert et le masquage ciblé de preuves sans annotation manuelle.
Benchmark DeFacto-1.5K : Un benchmark annoté par des humains conçu pour évaluer systématiquement la cohérence ancrée dans les preuves au-delà de la simple justesse de la réponse, en utilisant des métriques de type détection (mAP, IoU) parallèlement à la justesse.
Validation Empirique : Des expériences extensives démontrant que DeFacto améliore à la fois la justesse de la réponse et la fidélité de l'ancrage sur divers benchmarks par rapport à des bases de référence solides.

4. Résultats Expérimentaux

Les auteurs ont évalué DeFacto (construit sur l'architecture de base Qwen2.5-VL-7B) contre des bases de référence de l'état de l'art incluant GRIT, DeepEyes, Visual-SR1 et ViCrop.

Benchmarks VQA Généraux : DeFacto a obtenu les meilleures performances sur 4 des 6 benchmarks généraux (VQAv2, OKVQA, GQA, VSR), montrant des améliorations significatives par rapport à Qwen2.5-VL de base (par exemple, +5,1 % sur VQAv2, +10,7 % sur GQA).
Benchmarks Documentaires et Centrés sur le Texte : Le modèle a montré des gains substantiels sur les tâches de compréhension de documents, améliorant DocVQA de +2,0 %, ChartQA de +7,7 % et DeepForm de +17,7 %.
Évaluation de la Fidélité (DeFacto-1.5K) :
- DeFacto a obtenu les scores totaux les plus élevés dans les métriques de type détection (mAP : 35,5, AP50 : 49,8, AP75 : 35,0).
- Il a considérablement réduit les Justesses Spurious (5,6 % contre 11,6 % pour GRIT) et les erreurs Mal localisées et Incorrectes.
- Il a démontré une Robustesse Contrefactuelle supérieure, atteignant une justesse d'abstention de 64,1 % lorsque les preuves étaient masquées, contre 46,1 % pour GRIT.

5. Importance et Revendications

L'article revendique que DeFacto représente un changement de paradigme, passant de l'optimisation de la seule justesse de la réponse à l'imposition d'une cohérence preuve-réponse. En entraînant explicitement les modèles à s'abstenir lorsque les preuves visuelles critiques font défaut, DeFacto atténue la dépendance aux priors linguistiques et aux hallucinations.

Les auteurs positionnent ce travail comme le premier cadre de raisonnement vision-langage explicitement ancré dans une supervision contrefactuelle pour imposer un raisonnement fidèle aux régions. Ils reconnaissent les limites, notant que la proposition de région repose sur des détecteurs existants (ce qui peut introduire du bruit) et que l'évaluation actuelle se limite aux images statiques, laissant le raisonnement vidéo et temporel comme des orientations futures. Cependant, ils affirment que leurs résultats ouvrent de nouvelles directions pour intégrer la supervision contrefactuelle dans les systèmes de raisonnement multimodal.