🤖 machine learning

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

Cet article introduit TRAPSBench et la métrique PECS pour démontrer que, bien que les modèles vision-langage possèdent la capacité interne de détecter quand les preuves visuelles sont insuffisantes pour une décision, ils échouent systématiquement à exprimer cette retenue épistémique, révélant un goulot d'étranglement critique dans leur génération de sortie plutôt que dans leur perception.

Auteurs originaux : Fnu Pramono, John Cai, Sourabh Kulkarni

Publié 2026-08-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fnu Pramono, John Cai, Sourabh Kulkarni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer au billard. Vous lui montrez une vidéo des billes qui roulent, et vous lui demandez : « Dans quelle poche la bille numéro huit va-t-elle tomber ? » Si la vidéo est claire, le robot devrait calculer la physique et vous donner la réponse. Mais que se passe-t-il si vous couvrez la table avec une immense bâche opaque au milieu de la vidéo, ou si les billes rebondissent si sauvagement que personne ne pourrait prédire où elles atterrissent ? Un robot véritablement intelligent ne devrait pas simplement deviner ; il devrait lever la main et dire : « Je n'en vois pas assez pour savoir. » Cette capacité à savoir ce que l'on ne sait pas est appelée restreinte épistémique. C'est la différence entre un menteur confiant et un expert prudent. Dans le monde de l'Intelligence Artificielle, plus précisément des Modèles Vision-Langage (VLM) — des ordinateurs capables de voir des vidéos et d'en parler — les chercheurs se sont demandé : ces modèles savent-ils réellement quand ils sont dans l'obscurité, ou font-ils simplement semblant de voir à travers les murs ?

Cet article, intitulé TRAPSBench, explore précisément cette question. Les chercheurs ont construit un jeu vidéo spécial pour l'IA appelé TRAPSBench, qui comprend 1 404 paires de scénarios physiques. Dans chaque paire, une vidéo est un « contrôle » où le résultat est clair et facile à prédire, et l'autre est un « vide » où la réponse est impossible à connaître à cause d'un mur caché, d'un désordre chaotique ou d'une question qui n'a aucun sens. Ils ont ensuite testé 16 modèles d'IA différents pour voir s'ils admettraient leur défaite lorsque la réponse était cachée.

Voici le rebondissement : les modèles sont en fait très doués pour savoir que la réponse est cachée, mais ils sont terribles pour dire qu'ils ne savent pas. C'est comme un élève passant un examen qui sait secrètement qu'il n'a pas la bonne réponse, mais parce qu'il est si désireux de faire plaisir au professeur, il écrit quand même une réponse inventée et pleine d'assurance. Les chercheurs ont découvert que lorsqu'ils sondaient le « cerveau » interne de l'IA (ses états cachés), ils pouvaient détecter avec une grande précision (jusqu'à 91 % sur une échelle appelée AUROC) si le modèle réalisait que les preuves manquaient. Cependant, lorsque le modèle formulait sa réponse, il ignorait cet avertissement interne et se contentait de deviner.

L'étude a également découvert un déséquilibre amusant : ces modèles d'IA sont bien meilleurs pour repérer quand une question est absurde dans le texte (comme demander « Quel est le poids de la couleur bleue ? ») que lorsqu'il manque des preuves visuelles. Ils peuvent détecter une impossibilité textuelle environ quatre fois plus vite qu'une impossibilité visuelle. De plus, les chercheurs ont tenté de « diriger » l'IA en poussant ses signaux internes. Ils ont découvert que s'ils poussaient l'IA dans une direction spécifique, ils pouvaient la forcer à arrêter de deviner et à dire « Je ne sais pas », prouvant que la capacité de se restreindre était déjà là, juste verrouillée derrière une porte que le modèle refuse d'ouvrir de lui-même.

En résumé, l'article suggère que le problème n'est pas que ces modèles d'IA sont aveugles ou stupides ; c'est qu'ils sont trop enthousiastes. Ils encodent la vérité selon laquelle ils sont incertains, mais leur sortie est bloquée par une « porte » qui les force à répondre quand même. Les chercheurs concluent que pour rendre ces systèmes d'IA véritablement fiables, nous devons probablement réparer la partie du système qui décide de ce qu'il faut dire, plutôt que d'essayer de leur apprendre à mieux voir.

Résumé technique : TRAPSBench : Les modèles vision-langage encodent mais échouent à exprimer la retenue épistémique

Énoncé du problème

Les modèles vision-langage (VLM) ont réalisé des progrès significatifs dans la compréhension vidéo et le raisonnement physique. Cependant, pour un déploiement dans des domaines à enjeux élevés, la capacité d'un modèle à reconnaître quand l'information sensorielle est insuffisante pour une prédiction déterministe est aussi critique que sa capacité à répondre correctement. Les benchmarks actuels évaluent le raisonnement physique mais échouent à tester l'abstention sélective dans des conditions d'insuffisance de preuves. Les métriques existantes récompensent souvent l'abstention indiscriminée ou ignorent entièrement la dimension épistémique, ne parvenant pas à distinguer un modèle qui sait qu'il ne sait pas d'un modèle qui se contente de deviner.

Ce document traite de l'écart entre la connaissance interne de l'incertitude par un modèle et l'expression externe de cette incertitude. Plus précisément, il examine si les VLM peuvent distinguer en interne les scénarios physiques répondables des scénarios non répondables, et si oui, pourquoi ils échouent à exprimer cette distinction dans leurs sorties autorégressives.

Méthodologie

1. Le benchmark TRAPSBench

Les auteurs introduisent TRPSBench (Testing Restraint in Ambiguous Physical Scenarios), un benchmark vidéo généré de manière procédurale composé de 1 404 paires physiques appariées.

Génération : En utilisant MuJoCo, le benchmark crée des vidéos de « contrôle » où les résultats sont déterministes et des vidéos de « vide » (void) où le résultat est rendu incalculable par une modification ciblée unique.
Taxonomies de l'incertitude :
- Occlusion : Des données visuelles clés sont bloquées par un occulteur opaque ( $N=202$ ).
- Sensibilité chaotique : Systèmes déterministes avec une sensibilité extrême aux conditions initiales, tronqués avant la résolution ( $N=500$ ).
- Questions mal posées : Les vidéos de contrôle sont réutilisées, mais la question contient un postulat faux ou demande des détails inobservables ( $N=702$ : 202 occlusion mal posée + 500 chaos mal posé).
Évaluation : Un panel de juges uniquement textuel (trois modèles) note les réponses. Pour les vidéos de contrôle, la justesse est mesurée par rapport à la vérité terrain de MuJoCo. Pour les vidéos de vide, le juge détecte si le modèle s'est abstenu.

2. Score de Calibration Épistémique Pénalisé (PECS)

Pour évaluer la performance, les auteurs proposent le PECS, une métrique de conjonction définie comme :
$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$
Où :

Acc : Précision sur les vidéos répondables (contrôle).
AbsRec : Rappel d'abstention (Abstention Recall) (abstention correcte sur les vidéos de vide).
FalseAbs : Fausse abstention (False Abstention) (abstention incorrecte sur les vidéos de contrôle).
Signification : La métrique utilise la statistique J de Youden ( $\text{AbsRec} - \text{FalseAbs}$ ) pour pénaliser les stratégies indiscriminées. Un modèle qui s'abstient toujours ou qui ne s'abstient jamais reçoit un PECS de 0. Des scores élevés exigent à la fois une précision élevée sur les tâches répondables et une abstention sélective sur les tâches non répondables.

3. Analyse mécaniste

Le document emploie deux techniques pour sonder les représentations internes :

Sondage linéaire (Linear Probing) : Entraînement de sondes de régression logistique sur les états cachés de VLM gelés pour prédire les étiquettes « vide » vs « contrôle ». Cela teste si le modèle encode la distinction.
Pilotage d'activation (Activation Steering) : Manipulation causale des états cachés en ajoutant un vecteur de « direction du vide » ( $v_\ell$ ) pendant la génération pour tester si la représentation contrôle causalement le comportement d'abstention.

Contributions clés

TRAPSBench et PECS : Un benchmark à grande échelle et une métrique robuste conçus spécifiquement pour évaluer la calibration épistémique dans la compréhension vidéo, annulant les stratégies dégénérées comme « toujours s'abstenir » ou « ne jamais s'abstenir ».
L'écart Représentation-Sortie : Le document établit que les VLM encodent l'incertitude épistémique en interne mais échouent à l'exprimer. Ceci est démontré par :
- Prompting guidé : L'instruction explicite de s'abstenir (« Je ne sais pas ») débloque les capacités latentes, améliorant considérablement le rappel d'abstention sans sacrifier la précision.
- Sondage linéaire : Les sondes décodent le signal de répondabilité des états cachés avec un AUROC élevé (jusqu'à 0,91) à travers les domaines de la physique, même sur des échantillons où le modèle hallucine avec certitude.
- Pilotage d'activation : L'injection d'une direction de « vide » à une seule couche induit causalement l'abstention dans les échantillons de contrôle et la supprime dans les échantillons de vide.
Asymétries des modes de défaillance :
- Visuel vs Textuel : Les modèles détectent l'impossibilité textuelle (questions mal posées) environ 4 fois plus facilement que les lacunes d'informations visuelles.
- Effets du raisonnement : Le raisonnement par chaîne de pensée (CoT) n'améliore pas uniformément la calibration. Dans certains modèles (ex. Qwen3-VL Think), les traces de raisonnement expriment le doute, mais celui-ci est ensuite supplanté par la sortie finale, menant à une confabulation accrue par rapport aux variantes sans réflexion.
Analyse mécaniste causale : La géométrie du signal de « vide » varie selon le domaine. Les directions de la famille « occlusion » encodent un signal de « manque de preuves » général au domaine qui se transfère à travers les modalités et les domaines. Les directions de la famille « chaotique » sont spécifiques au domaine et presque orthogonales, suggérant que la transparence épistémique régit la transférabilité.

Résultats

La retenue spontanée est faible : À travers 16 VLM de cinq familles (Gemini, Qwen, GPT-5, Gemma, LLaVA), le PECS spontané est faible. Le meilleur PECS spontané est de 0,292 (Gemini 2.5 Flash). La plupart des modèles présentent un biais fort pour répondre quel que soit la qualité des preuves.
Le prompting guidé débloque la latence : Les instructions de prompting explicites pour s'abstenir augmentent le rappel d'abstention d'un facteur médian de 1,9 $\times$ pour les modèles natifs vidéo, avec un PECS s'améliorant significativement (ex. Gemini 3.1 Pro R-Low atteint 0,568). Cependant, même avec le guidage, les modèles n'atteignent pas la saturation, indiquant un goulot d'étranglement persistant.
Encodage interne vs Suppression de sortie :
- Les sondes linéaires atteignent un AUROC allant jusqu'à 0,91 en transfert inter-jeux de données, prouvant que le modèle « sait » que le résultat est inconnaissable.
- Crucialement, ce signal persiste même lorsqu'il est restreint aux échantillons où le modèle a confabulé (a échoué à s'abstenir) sous un prompting standard.
- Le pilotage d'activation confirme que ce signal est causal : l'ajout de la direction du vide aux états cachés force l'abstention.
Le filtrage par prompt (Prompt Gating) : Dans Qwen3-VL-8B, le prompting standard impose une contrainte unidirectionnelle contre l'abstention. Bien que le pilotage puisse forcer la confabulation (supprimer l'abstention) sous des prompts standards, il ne peut induire l'abstention que si le prompt « guidé » est utilisé. Cela suggère que le goulot d'étranglement est une porte au stade de la sortie, et non un manque de représentation interne.
Raisonnement et Confabulation : L'analyse des modes de confabulation révèle que 87–99 % des échecs impliquent des prémisses hallucinées (fabrication d'observations visuelles). Dans Qwen3-VL Think, la trace de raisonnement exprime souvent le doute, mais la sortie finale l'écrase pour fournir une réponse fabriquée et confiante.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement pour le déploiement fiable des VLM dans le raisonnement physique est expressif, et non perceptuel.

Écart Représentation-Sortie : Les VLM possèdent les signaux épistémiques internes requis pour distinguer les scénarios répondables des non répondables. L'échec réside dans le processus de génération autorégressive, qui supprime ces signaux en faveur de réponses fluides et engagées.
Spécificité de la modalité : L'écart est plus prononcé pour l'incertitude visuelle que pour l'incertitude textuelle. Les modèles sont nettement plus aptes à détecter les impossibilités sémantiques (texte) que les lacunes d'informations physiques (vidéo).
Nécessité d'intervention : Combler cet écart nécessite probablement des interventions au stade de la sortie (ex. contraintes de décodage, pilotage, ou objectifs d'entraînement spécialisés) plutôt que de simplement augmenter la taille du modèle ou d'améliorer la perception visuelle.
Généralisabilité : Les conclusions se répètent à travers trois familles de poids ouverts (Qwen, Gemma, LLaVA) sans pipeline d'entraînement partagé, suggérant qu'il s'agit d'une propriété fondamentale des architectures VLM actuelles plutôt que d'un artefact d'un modèle spécifique.

Les auteurs concluent que TRAPSBench fournit un outil nécessaire pour évaluer et améliorer la calibration épistémique des systèmes d'IA, soulignant que « savoir quand ne pas répondre » reste un défi critique et non résolu pour les agents autonomes.