💬 NLP

The Abstraction Gap in Vision-Language Causal Reasoning

Ce papier présente le benchmark CAGE et une méthodologie à double sonde pour révéler un « écart d'abstraction » significatif où la plupart des modèles vision-langage génèrent des explications linguistiquement plausibles mais causalement infidèles, démontrant que si la capacité de raisonnement fidèle existe dans certaines architectures, elle n'est pas atteinte de manière fiable par le fine-tuning standard.

Auteurs originaux : Chinh Hoang, Mohammad Rashedul Hasan

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chinh Hoang, Mohammad Rashedul Hasan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Parler le langage vs Agir en conséquence

Imaginez que vous interviewez un étudiant pour un emploi. Vous lui demandez : « S'il se met à pleuvoir, que se passe-t-il pour le pique-nique ? »

L'étudiant répond avec aisance : « Eh bien, s'il pleut, le pique-nique sera trempé, la nourriture se gâtera et tout le monde courra se mettre à l'abri. C'est un désastre total ! »

Vous êtes impressionné. Il a l'air intelligent, logique et fluide. Mais ensuite, vous lui demandez de dessiner un simple organigramme sur un tableau blanc montrant pourquoi cela se produit. Il se fige. Il ne peut pas dessiner les flèches reliant « Pluie » à « Sol mouillé » puis à « Nourriture gâtée ». Il connaît juste les mots, mais il ne comprend pas réellement la mécanique de la situation.

Ce papier soutient que les modèles d'IA actuels (Modèles Vision-Langage ou VLM) sont exactement comme cet étudiant. Ils peuvent générer de belles histoires convaincantes sur la causalité dans les images, mais lorsque vous leur demandez de montrer le « squelette » réel de leur raisonnement, ils échouent souvent.

Le Problème : Le « Fossé d'Abstraction »

Les chercheurs appellent cette déconnexion le Fossé d'Abstraction. C'est la distance entre :

La Plausibilité : La qualité de la réponse sonore (la fluidité linguistique).
La Fidélité : La précision avec laquelle la réponse reflète le raisonnement interne réel du modèle (la compréhension structurelle).

Le papier affirme que pour la plupart des modèles d'IA, le score de « sonne bien » est élevé, mais le score de « comprendre la structure » est proche de zéro.

L'Expérience : CAGE (Le « Gym Causal »)

Pour tester cela, les auteurs ont construit un nouveau gymnase appelé CAGE (Évaluation du Fossé d'Abstraction Causal). Ils ont pris 5 500 photos du monde réel (comme une plage, un parc ou une rue) et ont posé à l'IA trois types de questions basées sur la célèbre « Échelle de la Causalité » :

Niveau 1 (Observer) : « De quelle couleur est le parapluie ? » (Facile, simple observation).
Niveau 2 (Changer) : « Si un vent fort souffle depuis les montagnes, que se passe-t-il pour les parapluies ? » (Action hypothétique).
Niveau 3 (Imaginer) : « Si cette photo avait été prise un jour de fête très fréquenté au lieu d'un jour calme, à quoi la scène ressemblerait-elle différemment ? » (Contrefactuel).

La Surprise :
Pour les questions difficiles (Niveaux 2 et 3), les chercheurs ont forcé l'IA à faire deux choses dans l'ordre :

D'abord : Écrire une « chaîne causale » en utilisant de simples flèches (par exemple : Vent fort → Force sur le parapluie → Chute du parapluie).
Ensuite : Écrire l'explication complète sous forme de phrase.

Les Résultats : Le « Tour de Magie » échoue

Les résultats ont été choquants.

Le Test Texte-Seul : Lorsque l'IA était simplement invitée à écrire une phrase, elle a obtenu un score très élevé (environ 7 ou 8 sur 10). Elle avait l'air d'un génie.
Le Test Chaîne-Texte : Lorsque l'IA a été forcée de dessiner le diagramme à flèches d'abord, les scores se sont effondrés. La plupart des modèles ont obtenu moins de 2,5 sur 10. Beaucoup ont simplement donné des réponses vides ou du non-sens.

La Métaphore :
Imaginez l'IA comme un perroquet. Le perroquet a mémorisé la phrase « Le vent emporte le parapluie » parce qu'il l'a entendue un million de fois dans ses données d'entraînement. Il peut dire la phrase parfaitement. Mais si vous demandez au perroquet d'expliquer la physique de comment le vent pousse le parapluie, il n'en a aucune idée. Il imite simplement le son du raisonnement, sans faire le raisonnement lui-même.

Le Modèle « Magique »

Intéressamment, un modèle (LLaVA-NeXT) a réussi à combler ce fossé. Il a pu écrire la chaîne de flèches et la phrase avec des scores élevés. Cela prouve que la technologie peut le faire ; c'est juste que la plupart des autres modèles n'ont pas encore appris comment.

Pourquoi ne pouvons-nous pas simplement « les enseigner » ?

Les chercheurs ont essayé de résoudre le problème en « affinant » (re-entraînant) les mauvais modèles sur 45 000 exemples qui incluaient les chaînes de flèches correctes. Ils espéraient que cela apprendrait aux modèles à penser structurellement.

Le Résultat : Cela n'a pas fonctionné.

Les modèles sont devenus légèrement meilleurs pour écrire des phrases.
Mais ils n'ont pas amélioré leur capacité à dessiner les chaînes de flèches. En fait, pour certains modèles, les forcer à apprendre des chaînes les a rendus pires dans tout.

L'Analogie :
Imaginez essayer d'enseigner à un chien à jouer aux échecs en lui montrant une photo d'un échiquier et en disant : « Déplace le pion ». Le chien pourrait apprendre à aboyer sur l'échiquier (imiter le langage), mais il n'apprendra pas réellement les règles du jeu (la structure). Vous ne pouvez pas imposer un nouveau type de pensée à un modèle simplement en lui montrant plus d'exemples si le cerveau du modèle n'est pas conçu pour gérer ce type de logique.

La Découverte des « Deux Cerveaux »

Le papier a également découvert quelque chose d'étrange concernant les « hallucinations » (quand l'IA invente des choses qui ne sont pas dans l'image).

Certains modèles sont excellents pour ne pas inventer de choses concernant les objets (par exemple, ils ne diront pas qu'il y a un chat s'il n'y en a pas).
Mais ces mêmes modèles sont terribles pour comprendre les relations (par exemple, ils ne peuvent pas comprendre que le vent fait tomber les parapluies).

C'est comme avoir une personne avec deux cerveaux séparés :

Cerveau A est excellent pour repérer les objets (Y a-t-il un ballon ? Oui/Non).
Cerveau B est terrible pour comprendre comment les choses interagissent (Si je donne un coup de pied au ballon, il roule).
Entraîner le Cerveau A n'aide pas le Cerveau B, et vice versa.

La Conclusion

Le papier conclut que la fluidité du langage n'est pas une preuve de compréhension. Le fait qu'une IA puisse écrire une histoire convaincante sur la causalité ne signifie pas qu'elle comprend réellement le monde.

Le Fossé : Il y a un énorme fossé entre avoir l'air intelligent et être intelligent.
La Cause : L'entraînement actuel des IA se concentre trop sur le fait de faire sonner l'IA comme un humain (fluidité) et pas assez sur le fait de lui faire construire des structures logiques (raisonnement).
L'Avenir : Pour obtenir une IA véritablement fiable pour des tâches importantes, nous devons arrêter de simplement demander des « réponses » et commencer à exiger que l'IA montre son « travail » (les chaînes causales) avant de donner la réponse. Si elle ne peut pas montrer le travail, elle ne connaît probablement pas la réponse.

Résumé technique : Le fossé d'abstraction dans le raisonnement causal vision-langage

Énoncé du problème

Les modèles vision-langage (VLM) ont démontré des capacités impressionnantes à générer des explications causales fluides et contextuellement appropriées pour des scénarios visuels. Cependant, une incertitude critique subsiste : ces modèles possèdent-ils une compréhension structurelle authentique des mécanismes causaux, ou se contentent-ils de générer un texte linguistiquement plausible par correspondance de motifs statistiques ? Les méthodes d'évaluation actuelles échouent souvent à distinguer la plausibilité (la fluidité linguistique qui inspire la confiance humaine) de la fidélité (une réflexion précise du processus de raisonnement interne du modèle). Ce fossé pose des risques significatifs dans des domaines à haut enjeu tels que l'imagerie médicale et la conduite autonome, où la compréhension du raisonnement derrière une décision est aussi conséquente que la décision elle-même. Bien que des benchmarks récents aient testé la capacité des VLM à sélectionner des chaînes causales valides parmi des candidats préfournis, ils n'évaluent pas la capacité du modèle à générer ces structures de manière indépendante.

Méthodologie

Pour y remédier, les auteurs introduisent un cadre d'évaluation à double sonde conçu pour isoler la fluidité linguistique de l'abstraction structurelle. Ce cadre repose sur l'Échelle de la Causalité de Judea Pearl, catégorisant les questions en trois niveaux :

Niveau 1 (Association) : Observer les corrélations.
Niveau 2 (Intervention) : Raisonnement sur les effets d'actions hypothétiques.
Niveau 3 (Contrefactuel) : Imaginer des scénarios alternatifs contredisant la réalité observée.

La méthodologie utilise deux sondes distinctes :

Sonde Texte-Seulement : Mesure la plausibilité en évaluant des réponses textuelles standard sans contraintes structurelles.
Sonde Chaîne-Texte : Mesure la fidélité en exigeant que les modèles génèrent d'abord une chaîne causale explicite et légère (par exemple, $A \rightarrow B \rightarrow C$ ) avant de fournir une explication textuelle. Cet ordre reflète la séquence cognitive de structure-avant-expression, en postulant qu'une compréhension causale authentique nécessite de construire une représentation structurelle avant de la verbaliser.

Les auteurs définissent la métrique du Fossé d'Abstraction (AG) pour quantifier l'écart entre ces deux capacités :
$AG_\ell(M) = \frac{E[T(M, d)] - E[C(M, d)]}{E[T(M, d)]}$
où $T$ et $C$ représentent les scores pour la génération de texte et de chaîne, respectivement. Un AG élevé indique qu'un modèle produit un texte fluide mais échoue à générer des représentations structurelles valides.

L'évaluation est menée sur CAGE (Causal Abstraction Gap Evaluation), un nouveau benchmark comprenant 49 500 questions ouvertes à travers 5 500 images COCO du monde réel. CAGE couvre les trois niveaux de l'échelle de Pearl et exige une génération sans étayage. L'étude évalue huit VLM open-source en utilisant un cadre à juges multiples (GPT-4o et Claude 3.5 Sonnet) avec validation humaine pour garantir la fiabilité.

Contributions clés

Benchmark CAGE : Le premier benchmark de raisonnement causal visuel à grande échelle exigeant la génération explicite de sorties structurelles (chaînes causales) ancrées dans des images du monde réel couvrant les trois niveaux causaux de Pearl.
Cadre d'évaluation à double sonde : Une méthodologie isolant la capacité d'abstraction de la fluidité linguistique, validée par une évaluation à juges multiples et des études d'accord humain.
Découverte du Fossé d'Abstraction : Une évaluation systématique révélant un fossé sévère entre la fluidité linguistique et le raisonnement structuré dans la plupart des VLM actuels.
Analyse du cadre d'entraînement : Des expériences démontrant que la supervision explicite par chaîne via un fine-tuning sur 45 000 exemples annotés en chaînes échoue à combler le fossé pour les modèles à faible performance de base, suggérant que les capacités d'abstraction structurelle ne s'acquièrent pas facilement par un fine-tuning standard si elles sont absentes lors du pré-entraînement.

Résultats clés

Fossé d'Abstraction sévère : Sept VLM sur huit évalués ont présenté un AG supérieur à 0,50. Ces modèles ont obtenu des scores textuels élevés (6–8/10) mais ont obtenu moins de 2,5/10 pour la génération de chaînes. Par exemple, CogVLM2 a obtenu un score textuel de niveau 3 de 8,11 mais seulement 1,37 pour la génération de chaînes.
Exception LLaVA-NeXT : Un modèle, LLaVA-NeXT, a obtenu un AG proche de zéro (0,03), démontrant que la capacité de génération de chaînes causales fidèles existe au sein des architectures VLM actuelles et dépend de choix spécifiques de pré-entraînement et d'architecture.
Limites du fine-tuning : Le fine-tuning sur 45 000 exemples annotés en chaînes n'a pas permis de combler le fossé pour les modèles à faible performance de base (par exemple, MiniGPT-4 et mPLUG-Owl2). Dans certains cas, le fine-tuning a dégradé les performances de génération de chaînes ou augmenté les sorties vides. À l'inverse, les modèles possédant une certaine capacité structurelle initiale (par exemple, Qwen-VL-Chat) ont montré une amélioration, soutenant l'hypothèse que le fine-tuning peut activer des capacités existantes mais ne peut pas les créer à partir de zéro.
Indépendance de l'ancrage : L'étude a révélé que l'ancrage perceptif (éviter les hallucinations d'objets) et l'ancrage structurel (abstraction causale) sont des capacités indépendantes. Le fine-tuning sur les chaînes causales n'a pas affecté les taux d'hallucination, et les modèles entraînés pour atténuer les hallucinations (par exemple, LLaVA-RLHF) ont toujours présenté un AG sévère.
Performance des modèles récents : L'évaluation des modèles récents a montré que, bien que les modèles open-source comme Qwen3-VL présentent encore un fossé modéré (AG = 0,313), le modèle fermé Gemini 2.5 Flash a obtenu un AG proche de zéro (-0.006), suggérant que les choix architecturaux (tels que le mélange d'experts sparse) peuvent aider à préserver les capacités de génération structurelle.

Signification et affirmations

L'article affirme que le Fossé d'Abstraction expose un déficit structurel fondamental dans les VLM actuels : la capacité à générer des explications causales linguistiquement plausibles n'implique pas la capacité à représenter la structure causale. Cette découverte fournit un fondement empirique à la distinction entre plausibilité et fidélité dans l'IA explicable.

Les auteurs soutiennent que l'asymétrie vérification-génération (où les modèles performent bien sur la sélection de chaînes mais mal sur la génération) indique que les évaluations à choix multiples standard peuvent surestimer les capacités de raisonnement des VLM. De plus, l'indépendance de l'ancrage perceptif et structurel implique que les interventions ciblant une forme de fiabilité (par exemple, la réduction des hallucinations) ne doivent pas être supposées se transférer à l'autre.

L'étude conclut que le Fossé d'Abstraction n'est pas une propriété inévitable des architectures VLM, mais qu'il est influencé par les procédures d'entraînement et les méthodes d'alignement. Spécifiquement, l'optimisation RLHF pour un texte fluide peut supprimer les sorties structurées dans les architectures denses, tandis que des architectures comme MoE (Mixture of Experts) peuvent mieux préserver la séparation entre le traitement linguistique et le raisonnement structurel. Le benchmark CAGE est publié comme un outil de diagnostic pour évaluer le raisonnement causal fidèle avant le déploiement des VLM dans des applications à haut enjeu.