Résumé Technique : Ancrage des Relations Spatiales dans un Modèle de Monde Compact

1. Énoncé du Problème

L'article étudie un mode de défaillance critique des modèles de monde compacts et conditionnés par des objectifs, conçus pour le contrôle incarné. Ces modèles, souvent basés sur des architectures de prédiction d'incorporation conjointe (JEPA), visent à représenter les relations spatiales (par exemple, « placer le bloc rouge à gauche du bloc bleu ») en utilisant une combinaison d'un état latent global et d'ancres de référence métriques explicites.

Le problème central identifié est la Fuite d'Instruction (Instruction Leakage). Les auteurs démontrent que lorsque la dynamique de transition d'un modèle de monde est conditionnée par un objectif linguistique qui nomme explicitement la relation évaluée (par exemple, l'instruction « déplacer X à gauche de Y » contient le mot « gauche »), le modèle n'apprend pas à percevoir la relation spatiale à partir de la scène. Au lieu de cela, il apprend à transcrire directement l'instruction dans ses coordonnées d'ancrage prédites.

Cela crée une illusion trompeuse d'ancrage :

• Haute précision de lecture : Les modèles atteignent une précision élevée (ex. : 0,90) sur les lectures de relations.
• Fragilité : Cette précision s'effondre au niveau du hasard (ex. : 0,27) lorsque l'objectif est retiré.
• Échec contrefactuel : Lorsqu'une instruction contrefactuelle est présentée (par exemple, « déplacer X à droite » alors que la scène montre « à gauche »), les ancres prédites par le modèle suivent l'instruction erronée dans 94,5 % des cas, ignorant la scène réelle.

L'article soutient que cette fuite se produit car le prédicteur peut exploiter l'instruction comme un raccourci, rendant les entrées non liées à l'instruction (état, action) non pertinentes pour la tâche spécifique de lecture de la relation.

2. Méthodologie

Configuration Expérimentale

Les auteurs utilisent un environnement de table 2D relationnel contrôlé (inspiré de CLEVR) où :

• Scènes : Contiennent $N=4$ formes colorées.
• Tâche : Un objet cible doit être déplacé par rapport à un objet ancre (relations : gauche, droite, dessus, dessous).
• Ambiguïté : Le nombre de distracteurs dupliqués ($a \in \{0, \dots, 4\}$) est ajustable pour tester l'ambiguïté référentielle.
• Architecture du Modèle (PrismWM) : Un modèle de type JEPA factorisant l'état en :
  • Un latent global $z$ (encodé par un ViT-tiny).
  • Des ancres de points métriques éparses $p$ (lus à partir des caractéristiques de patch).
  • Un plongement d'objectif $g$.
  • Un prédicteur transformer conditionné par l'action qui fait progresser $(z, p)$.

Protocole de Détection

Pour distinguer la perception réelle de la transcription d'instruction, les auteurs emploient deux contrôles spécifiques sur la distribution de rendu de l'entraînement :

1. Contrôle avec Objectif Retiré (Goal-Withheld Control) : Les jetons d'objectif sont mis à zéro pendant la phase de lecture. Un modèle perceptuel authentique devrait maintenir sa précision ; un modèle de transcription devrait s'effondrer vers le hasard.
2. Contrôle Contrefactuel (Counterfactual Control) : Le modèle reçoit une instruction nommant une relation différente de la scène réelle. Un modèle authentique suit la scène ; un modèle de transcription suit la fausse instruction.

Variantes du Modèle

Les auteurs entraînent et comparent plusieurs variantes pour isoler la cause :

• GoalDyn : L'objectif est injecté dans la dynamique (le prédicteur).
• GoalDyn+Read : L'objectif est dans la dynamique, plus un chemin de lecture supervisé pour les ancres observées.
• GoalFree (La Correction) : L'objectif est retiré de la dynamique (le prédicteur ne voit jamais l'objectif) et n'est utilisé que dans la fonction de coût du planificateur. Le chemin de lecture est supervisé.
• NoGoal : Base de référence sans conditionnement par l'objectif.
• Benchmarks Externes : Le phénomène est validé sur BabyAI (MiniGrid) et Language-Table (Google), en faisant varier si les instructions nomment la relation ou seulement les référents.

3. Contributions Clés

1. Caractérisation de la Fuite d'Instruction : L'article établit que la fuite est régie par la transcriptibilité. Elle se produit lorsque l'instruction nomme la quantité évaluée (la relation) et est essentiellement indépendante de la force prédictive des entrées non liées à l'instruction (état/action). Ceci a été vérifié dans trois contextes (Tabletop, BabyAI, Language-Table) et via une dose-réponse d'ablation d'action.
2. Protocole de Détection Validé : Les auteurs proposent un protocole de test rigoureux (sondes de l'Objectif Retiré et Contrefactuel) qui sépare clairement la perception de la transcription. Ils montrent qu'une haute précision de lecture de relation dans un modèle conditionné par l'objectif est un artefact de « pure transcription ».
3. Correction Architecturale (Dynamique Sans Objectif - Goal-Free Dynamics) : L'article prescrit et valide une correction : retirer l'objectif des dynamiques de transition (le prédicteur ne voit jamais l'objectif) et superviser le chemin de lecture des ancres. En forçant le prédicteur à inférer les relations uniquement à partir de la scène, le modèle atteint un ancrage authentique, indépendant de l'instruction.
4. Analyse de Contrôle : L'étude révèle que le conditionnement par l'objectif dans la dynamique dégrade activement les performances de contrôle. Retirer l'objectif de la dynamique restaure les performances de contrôle au niveau de la base de référence la plus simple (« NoGoal »), confirmant que l'objectif était la source de la dégradation, et non un manque de caractéristiques.

4. Résultats

Représentation et Ancrage

• Fuite : Le modèle standard conditionné par l'objectif (GoalDyn) atteint ~0,90 de précision des ancres prédites en présence de l'objectif, mais celle-ci tombe à ~0,27 (hasard) lorsque l'objectif est retiré. Sous des instructions contrefactuelles, il suit la fausse instruction 94,5 % du temps.
• Ancrage Authentique : Le modèle GoalFree (objectif retiré de la dynamique) atteint une précision élevée (~0,88) qui est identique que l'objectif soit présent ou retiré. Cela prouve que les ancres encodent la relation basée sur la perception, et non sur la transcription de l'instruction.
• Frontière d'Ambiguïté : L'ancrage authentique existe à faible et moyenne ambiguïté, mais s'effondre vers le hasard à l'ambiguïté maximale ($a=4$), indiquant que l'ancrage appris est étroitement ajusté aux indices de la distribution d'entraînement plutôt qu'à un percepteur relationnel général.
• Validation Externe :
  • BabyAI : Les instructions nommant la relation provoquent une fuite (score contrefactuel de 1,00).
  • Language-Table : Les instructions ne nommant que les référents (pas de nom de relation) ne montrent aucune fuite. L'ajout de noms de direction à ces instructions induit une fuite.

Performance de Contrôle

• Dégradation Monotone : Le taux de succès du contrôle diminue de manière monotone à mesure que l'objectif gagne de l'influence sur la dynamique :
  • NoGoal / GoalFree : ~0,30
  • GoalDyn (objectif comme prédicteur) : ~0,14
  • GoalDyn (objectif dans le déroulement/rollout) : ~0,03 (plancher aléatoire)
• Gain de la Correction : Le modèle GoalFree rejoint la base de référence « NoGoal » en termes de performance de contrôle. L'article précise explicitement qu'il ne revendique pas de gain de contrôle sur la base de référence ; plutôt, la valeur de la correction est la récupération d'une perception ancrée (que la base NoGoal ne possède pas) et l'élimination du préjudice actif causé par le conditionnement par l'objectif.
• Écart Résiduel : Toutes les variantes performent nettement en dessous de l'Oracle (dynamique réelle), ce que les auteurs attribuent à la fidélité de la dynamique (dérive du déroulement multi-étapes) plutôt qu'au mécanisme de représentation ou d'ancrage.

5. Signification et Revendications

La signification de l'article réside dans l'identification d'un « raccourci » subtil mais omniprésent dans les modèles de monde conditionnés par des objectifs, où l'instruction agit comme un signal fallacieux, court-circuitant la perception visuelle.

• Leçon Méthodologique : Une haute précision de lecture de relation dans les modèles conditionnés par l'objectif n'est pas une preuve d'ancrage si l'instruction nomme la relation. Elle doit être validée avec des contrôles d'objectif retiré et contrefactuels.
• Leçon Architecturale : L'objectif appartient à la fonction de coût du planificateur, et non aux dynamiques de transition. Conditionner les dynamiques sur l'instruction crée un chemin permettant au modèle de copier la réponse plutôt que de prédire la scène.
• Portée : Les auteurs sont modestes quant à leurs revendications. Ils ne prétendent pas avoir résolu l'ancrage 3D ou la robotique du monde réel. Ils démontent que, pour les tâches de nomination de relations, la « recette » actuelle consistant à conditionner la dynamique sur le langage est risquée. La correction (dynamique sans objectif) permet de récupérer une perception authentique, mais n'améliore pas intrinsèquement le contrôle au-delà de la base de référence la plus simple ; le goulot d'étranglement restant est la fidélité des dynamiques apprises.

L'article conclut que cette fuite est un problème structurel dans les conceptions qui conditionnent les prédicteurs sur le langage lorsque ce dernier nomme la quantité évaluée, et que la détection et la correction proposées sont applicables à tout modèle de monde conditionné par des objectifs de ce type.