Résumé technique : Le futur est-il compatible ? Diagnostic de la cohérence dynamique dans les modèles d'action du monde

Énoncé du problème

Les modèles vision-langage-action (VLA) sont devenus un paradigme évolutif pour le contrôle des robots, permettant de mapper directement les observations visuelles et les instructions linguistiques vers des actions exécutables. Cependant, la prédiction directe d'actions échoue souvent à représenter explicitement les conséquences futures d'une action, laissant incertaine la faisabilité d'une transition physique prédite ou son alignement avec le résultat de tâche visé.

Les modèles d'action du monde (WAM) répondent à ce problème en étendant les modèles VLA pour prédire conjointement les observations futures et les actions. Bien que les WAM puissent générer des futurs visuellement plausibles, leur fiabilité reste insuffisamment examinée. Plus précisément, il est incertain si un futur généré est simplement réaliste sur le plan visuel ou s'il est dynamiquement compatible avec la séquence d'actions qu'il prétend modéliser. L'article identifie la cohérence action-état – l'alignement entre les actions prédites et les transitions d'état induites – comme un axe de fiabilité manquant pour les WAM. Un décalage suggère un échec de la conditionnement par l'action, où le modèle peut produire des futurs visuellement plausibles mais dynamiquement incompatibles, faussant la représentation du contact ou du mouvement des objets.

Méthodologie

Définition de la cohérence action-état

Les auteurs définissent la cohérence action-état comme une mesure scalaire de la correspondance entre les observations futures prédites et les observations réelles obtenues par l'exécution des actions prédites. Pour un pas de temps de trajectoire $t$ et un horizon $\Delta$, le score de cohérence $c_t$ est calculé comme suit :
$$c_t(o_{t+\Delta}, \hat{o}_{t+\Delta}) = \exp(-\alpha \cdot d(o_{t+\Delta}, \hat{o}_{t+\Delta}))$$
où $\hat{o}$ est l'observation prédite, $o$ est l'observation réelle, $\alpha$ est un terme d'échelle, et $d(\cdot, \cdot)$ est une fonction de distance. Les auteurs utilisent l'erreur quadratique moyenne (MSE) dans l'espace latent (avant le décodage VAE) pour éviter la sensibilité aux variations au niveau des pixels et garantir un accord structurel dans l'espace de caractéristiques pertinent pour la décision.

Modèles et jeux de données

L'étude évalue deux formulations représentatives de WAM sur deux jeux de données :

1. Modèles à prédiction conjointe : Représentés par Cosmos-Policy (préentraîné sur RoboCasa). Ces modèles paramètrent la distribution conjointe complète $p(o_{t+1:t+\Delta}, a_{t+1:t+\Delta} | \dots)$, générant observations et actions simultanément.
2. Modèles à dynamique inverse : Représentés par LingBot-VA (préentraîné sur RoboTwin 2.0). Ces modèles décomposent la distribution conjointe, en prédisant d'abord les états futurs, puis en inférant les actions nécessaires pour les réaliser.

Axes d'analyse

Les auteurs examinent la cohérence action-état selon trois dimensions :

1. Émergence et séparabilité : Si les scores de cohérence séparent systématiquement les déroulements réussis et échoués.
2. Conditions limites : Identification des modes d'échec où la cohérence devient peu fiable, spécifiquement le phénomène de collapse de l'arrière-plan.
3. Alignement avec l'utilité : Si les tendances de cohérence reflètent les prédictions de valeur apprises, suggérant sa viabilité en tant que signal sans valeur.

Stratégies de sélection au moment du test

Pour exploiter la cohérence dans la prise de décision sans têtes de valeur explicites, l'article propose deux stratégies :

• Exploration par cohérence : Exécute chacune des $N$ branches candidates dans l'environnement et sélectionne celle ayant le score de cohérence le plus élevé par rapport à l'état observé. Cela sert de métrique de performance supérieure.
• Consensus par cohérence : Une stratégie déployable, sans valeur, qui évite les réinitialisations de l'environnement. Elle agrège $N$ futurs prédits en une moyenne de consensus ($\bar{o}_{t+\Delta}$) et sélectionne la branche dont le futur prédit est le plus cohérent avec ce consensus. Cela repose sur l'hypothèse que la moyenne de consensus approxime mieux le futur réel que les échantillons individuels.

Contributions clés

1. Caractérisation de la cohérence action-état : L'étude démontre que la cohérence action-état est mesurable à la fois pour les WAM à prédiction conjointe et à dynamique inverse, et qu'elle est fortement associée au succès de la tâche. Un classifieur simple utilisant des scores de cohérence normalisés prédit les déroulements réussis versus échoués avec des scores de surface sous la courbe (AUC) de 0,77 (Cosmos-Policy) et 0,88 (LingBot-VA).
2. Identification du collapse de l'arrière-plan : Les auteurs identifient un mode d'échec spécifique appelé collapse de l'arrière-plan, où les trajectoires échouées à faible dynamique deviennent de manière trompeuse cohérentes. Dans ces cas, le modèle prédit un arrière-plan statique ou un mouvement minimal, ce qui est trivialement facile à prédire, conduisant à des scores de cohérence élevés malgré l'échec de la tâche. Cela est corrélé à de faibles magnitudes de transition latente ($\Delta z_t$).
3. Sélection au moment du test sans valeur : L'article établit que la cohérence suit des tendances succès-échec similaires aux prédictions de valeur apprises. Par conséquent, elle peut servir de signal de classement sans valeur pour la sélection au moment du test. La stratégie proposée de Consensus par cohérence améliore les taux de succès sans nécessiter de modélisation de récompense ou d'entraînement supplémentaire.

Résultats expérimentaux

RoboCasa (Prédiction conjointe)

Utilisation de Cosmos-Policy sur 24 tâches de manipulation en cuisine :

• Référence : Taux de succès de 66,6 %.
• Consensus par cohérence : Amélioration du taux de succès à 67,3 %, correspondant presque aux performances de la sélection basée sur la valeur (67,4 %).
• Exploration par cohérence : A atteint le taux de succès le plus élevé de 68,0 %, servant de borne supérieure.

RoboTwin 2.0 (Dynamique inverse)

Utilisation de LingBot-VA sur plus de 50 tâches de manipulation bimanuelle :

• Référence : Taux de succès de 90,2 %.
• Consensus par cohérence : Amélioration du taux de succès à 93,0 %.
• Ce résultat confirme que la sélection guidée par la cohérence se généralise au-delà des modèles à prédiction conjointe vers les formulations à dynamique inverse.

Mise à l'échelle avec les candidats

L'augmentation du nombre de candidats échantillonnés ($N$) de 1 à 8 a systématiquement amélioré les taux de succès pour les deux modèles, indiquant que la cohérence fournit un signal efficace pour la mise à l'échelle au moment du test.

Importance et affirmations

L'article affirme que la cohérence action-état joue un double rôle :

1. Outil de diagnostic : C'est une métrique fiable pour évaluer la fiabilité interne des WAM, distinguant entre des futurs visuellement plausibles mais dynamiquement incohérents et ceux qui représentent fidèlement les transitions conditionnées par l'action.
2. Signal pratique : Il offre un mécanisme indépendant du modèle et sans valeur pour guider la prise de décision au moment du test. Cela est particulièrement significatif pour les WAM qui manquent de têtes de valeur explicites ou où les signaux de récompense sont rares.

Les auteurs soulignent que, bien que la cohérence soit un signal puissant, elle n'est pas infaillible. L'identification du collapse de l'arrière-plan met en évidence une condition limite où la cohérence peut être trompeuse. L'article suggère que les futurs WAM ne devraient pas seulement prédire des actions ou des futurs, mais aussi exposer explicitement si leurs futurs imaginés sont dynamiquement compatibles avec les actions envisagées, permettant ainsi aux robots de raisonner sur la fiabilité de leurs résultats prédits avant d'agir.