💻 computer science

World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

Ce papier présente \wmw, un cadre d'évaluation et le jeu de données \tracebank qui audite les modèles vision-langage en exigeant qu'ils génèrent des traces de transition d'état physique typées, révélant ainsi des défaillances de raisonnement cachées et permettant des améliorations de la cohérence physique que les benchmarks traditionnels se limitant aux réponses seuls ne détectent pas.

Auteurs originaux : Emmanuelle Bourigault

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Emmanuelle Bourigault

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un étudiant pour résoudre un problème de physique. Dans l'ancienne méthode d'évaluation, vous ne regardiez que la réponse finale écrite sur la copie. S'ils obtenaient le bon nombre, vous leur donniez un A. S'ils se trompaient, vous leur donniez un E.

Le problème, c'est qu'un étudiant pourrait obtenir la bonne réponse par pure chance, en devinant, ou en utilisant une logique complètement erronée qui, par hasard, aboutit au bon nombre. Vous ne sauriez pas comment ils y sont arrivés, seulement ce qu'ils ont obtenu.

Ce papier présente une nouvelle méthode pour tester les modèles d'IA (spécifiquement les modèles Vision-Language) appelée World Models in Words (WMW). Au lieu de simplement vérifier la réponse finale, les chercheurs obligent l'IA à montrer son raisonnement étape par étape, comme un journal détaillé de ses pensées.

Le nouveau test « Montrez votre travail »

Les chercheurs demandent à l'IA de produire une Trace, qui est une histoire en quatre parties :

La Scène de Départ ( $s_0$ ) : Que voit l'IA en ce moment ? (par exemple : « Une balle est posée sur une rampe. »)
L'Action ( $\Delta s$ ) : Quelle règle s'applique ? (par exemple : « La gravité tire la balle vers le bas. »)
Le Résultat ( $s_1$ ) : Que se passe-t-il ensuite ? (par exemple : « La balle roule vers le bas de la rampe. »)
La Réponse ( $a$ ) : La conclusion finale.

L'IA doit écrire cette histoire dans un format très spécifique et structuré (comme un bloc de code JSON) afin qu'un ordinateur puisse le vérifier.

Le « Vérificateur Hybride » (Le Professeur Strict)

Une fois que l'IA a écrit son histoire, un programme informatique spécial appelé Vérificateur Hybride la lit. Ce n'est pas un simple correcteur orthographique. Il agit comme un professeur de physique strict qui vérifie :

Avez-vous vu les bons objets ? (Est-ce une balle ou une boîte ?)
La physique est-elle réelle ? (La gravité tire-t-elle vers le haut ou vers le bas ?)
L'histoire a-t-elle du sens ? (Si la balle roule vers le bas, finit-elle par être en bas ?)
La réponse correspond-elle à l'histoire ? (Si l'histoire dit que la balle roule vers la gauche, mais que la réponse dit « Droite », l'IA ment.)

Si l'IA obtient la bonne réponse mais raconte une histoire fausse (par exemple : « La balle a roulé vers la gauche à cause de la magie »), le Vérificateur la prend en flagrant délit. Le papier appelle cela une « Incohérence Cachée ».

La Grande Découverte : « Les Devineurs Chanceux »

Les chercheurs ont testé 7 modèles d'IA différents. Ils ont découvert quelque chose de surprenant :

De nombreux modèles ont obtenu la bonne réponse finale.
Mais, pour environ 18 % à 42 % de ces réponses « correctes », l'histoire que l'IA a racontée pour y parvenir était physiquement impossible.

C'est comme un étudiant qui devine la bonne réponse à un test de mathématiques mais écrit une solution qui implique de diviser par zéro. L'ancien test lui aurait donné un A ; ce nouveau test révèle qu'il ne comprend pas réellement les mathématiques.

La « Banque Mondiale » d'Histoires de Physique

Pour rendre ce test possible, les auteurs ont créé une immense bibliothèque appelée WMW-TRACEBANK.

Elle contient 200 scénarios de physique soigneusement conçus (comme des rampes, des ressorts et des collisions).
Elle comprend 3 200 paires d'« Histoires Bonnes » vs « Histoires Mauvaises ». Dans une « Histoire Mauvaise », ils ont modifié un tout petit détail (comme inverser la direction d'une force) pour voir si l'IA pouvait repérer l'erreur.
Cette bibliothèque aide à entraîner l'IA à arrêter de deviner et à commencer à dire la vérité sur le fonctionnement du monde physique.

Réparer l'IA

Le papier a également testé des moyens de réparer ces « menteurs ».

Reclassement : Ils ont laissé l'IA générer 8 histoires différentes et ont sélectionné celle qui a passé le contrôle du Vérificateur. Cela a amélioré la qualité des histoires sans modifier les réponses finales.
Entraînement par Préférence : Ils ont appris à l'IA à préférer les « Histoires Bonnes » aux « Histoires Mauvaises » en utilisant les 3 200 paires. Cela a réduit le nombre de mensonges cachés de 41 %.

L'Essentiel

Le point principal de ce papier n'est pas de construire une meilleure calculatrice de physique. Il s'agit de construire un détecteur de vérité.

Avant de faire confiance à l'IA pour nous aider dans des tâches du monde réel (comme la planification pour les robots ou l'enseignement aux étudiants), nous devons savoir si leur histoire interne du monde correspond à la réalité. Ce papier nous donne un outil pour auditer cette histoire, garantissant que lorsque l'IA dit « La balle roule vers le bas », elle comprend réellement pourquoi et comment, plutôt que de simplement deviner le bon mot.

Résumé Technique : Modèles du Monde en Mots

Énoncé du Problème
Les modèles vision-langage (VLM) sont de plus en plus déployés pour répondre à des questions sur des scènes physiques, pourtant les métriques d'évaluation standard reposent uniquement sur la justesse de la réponse finale ( $I, q \mapsto a$ ). Cette approche réduit les erreurs de raisonnement intermédiaires — telles que la mauvaise perception d'objets, la mauvaise représentation d'états physiques ou la prédiction de transitions impossibles — à un score binaire unique. Par conséquent, un modèle peut sélectionner la bonne option à choix multiples tout en affirmant un état du monde physiquement invalide (par exemple, un objet accélérant à l'encontre de la force nette). Cette « incohérence cachée » est particulièrement problématique lorsque les VLM servent d'interfaces pour la planification, la robotique ou le raisonnement scientifique, où des outils en aval peuvent agir sur ces engagements incohérents.

Méthodologie : WORLD MODELS IN WORDS (WMW)
Les auteurs introduisent WORLD MODELS IN WORDS, un cadre qui déplace l'évaluation du simple score de réponse vers l'audit des engagements physiques exprimés en langage par les VLM.

Formalisme de Trace : Au lieu d'une réponse directe, les modèles sont incités à générer une trace typée $\tau = (s_0, \Delta s, s_1, a)$ $τ = (s_{0}, Δ s, s_{1}, a)$ :
- $s_0$ : État physique initial (entités, attributs, forces, relations).
- $\Delta s$ : Transition prédite ou règle physique.
- $s_1$ : État résultant.
- $a$ : Réponse finale.
- La trace est structurée en JSON pour permettre l'analyse et la vérification.
Vérificateur Hybride : Un vérificateur déterministe et inspectable contrôle la trace selon quatre critères :
1. Validité du Schéma : Structure et types JSON corrects.
2. Ancrage de l'État : Cohérence avec les preuves visuelles et les métadonnées.
3. Cohérence de la Transition : Respect des lois physiques (par exemple, alignement force-accélération, ordre temporel).
4. Fidélité Réponse-Trace : Compatibilité entre l'état dérivé et la réponse finale.
Taxonomie des Échecs : Le système catégorise les erreurs en étiquettes typées : Objet, État, Relation, Force, Transition, Intervention, Temporel, Unité/Échelle, et Fidélité.
WMW-TRACEBANK : Une ressource contrôlée publiée avec l'article contenant :
- 200 scénarios synthétiques répartis sur 17 familles de physique (mécanique, fluides, circuits, optique, etc.).
- 3 200 paires de préférences contrastives (traces valides contre traces invalides perturbées de manière minimale).
- Code du vérificateur, directives d'audit et sorties de modèles.

Contributions Clés

Formalisme de Trace : Un protocole pour évaluer le raisonnement physique des VLM comme des engagements d'état-transition auditable plutôt que comme des chaînes de caractères de réponse.
Contrats de Vérificateur et Métriques : Définitions pour séparer les erreurs d'extraction d'état, les erreurs de transition et les incohérences cachées (où la réponse est correcte mais la trace invalide).
Publication de Jeu de Données : WMW-TRACEBANK, fournissant des traces synthétiques validées et des paires de préférences pour l'entraînement et l'évaluation.
Taxonomie des Échecs et Audit : Une évaluation auditée par l'humain du vérificateur sur 400 traces stratifiées, rapportant la précision, le rappel et l'accord inter-annotateurs.
Protocole d'Intervention : Démonstration que le reclassage guidé par le vérificateur et l'ajustement des préférences au niveau de la trace peuvent améliorer la cohérence physique sans sacrifier la justesse de la réponse.

Résultats Expérimentaux
Les auteurs ont évalué 7 VLM (incluant Claude Opus 4.7, GPT-5.5, GPT-4o, et des modèles open-source comme Qwen2.5-VL et InternVL3) sur des exemples contrôlés et externes.

Incohérence Cachée (RQ1) : La justesse de la réponse finale masque des erreurs physiques significatives. Pour tous les modèles, 18 % à 42 % des réponses correctes étaient soutenues par des traces physiquement invalides. Pour les modèles de milieu de gamme, plus de 30 % des réponses « correctes » reposaient sur un raisonnement physique invalide.
Analyse des Goulots d'Étranglement (RQ2) : L'étape de transition ( $\Delta s$ ) est le principal goulot d'étranglement pour la plupart des modèles. Même lorsqu'ils disposent d'états initiaux de référence, des modèles comme GPT-4o perdent 19 points de pourcentage de précision lors de la prédiction du changement physique. Les modèles fermés plus performants (par exemple, Claude Opus 4.7) ont montré un effet de calibration où les états de référence perturbaient leurs vérifications de cohérence interne.
Fiabilité du Vérificateur (RQ3) : Le vérificateur hybride a obtenu un accord élevé avec les audits humains pour les étiquettes État (F1=0,82), Transition (F1=0,78) et Fidélité (F1=0,91).
Efficacité de l'Intervention (RQ4) :
- Reclassement : La sélection de la meilleure trace parmi $k=8$ échantillons a amélioré la validité de la trace de 4 à 7 points de pourcentage.
- Ajustement des Préférences : L'entraînement de Qwen2.5-VL-7B avec l'optimisation directe des préférences (DPO) sur les paires de préférences a réduit l'incohérence cachée de 41 % en relatif (de 42 % à 25 %) tout en améliorant légèrement la justesse de la réponse (+2 points de pourcentage).

Signification et Affirmations
L'article soutient que WORLD MODELS IN WORDS n'est pas simplement un autre benchmark de physique, mais un protocole réutilisable pour auditer si le monde physique déclaré par un VLM est cohérent. Les auteurs affirment que :

Les réponses correctes avec des traces invalides ne sont pas de simples erreurs de formatage inoffensives ; elles représentent des engagements incohérents qui peuvent induire en erreur des systèmes éducatifs, de planification ou scientifiques.
Le cadre révèle que la prédiction de transition est un mode d'échec dominant distinct de la perception visuelle.
Les interventions guidées par le vérificateur (reclassement et ajustement des préférences) peuvent efficacement réduire les incohérences cachées, suggérant une voie vers des modules de raisonnement physique plus fiables.

Les auteurs adoptent une stance modeste, reconnaissant des limitations telles que l'observabilité des traces (qui sont des engagements visibles par l'utilisateur, et non des lectures directes de la cognition latente), la couverture du vérificateur (qui repose sur des hypothèses explicites pour l'ambiguïté du monde réel), et le potentiel de surapprentissage des modèles aux modèles de perturbation. Ils déclarent explicitement que le jeu de données ne constitue pas un certificat de sécurité pour des applications à haut risque.