Résumé Technique : Comprendre et atténuer l'écart de généralisation vidéo-action via le ratio temporel

1. Énoncé du problème

Les modèles de fondation vidéo génératifs (VFM) possèdent de puissants biais compositionnels dérivés de données à l'échelle d'Internet, ce qui leur permet de comprendre la cohérence temporelle, les interactions entre objets et la plausibilité physique. Cependant, lorsque ces modèles sont adaptés pour le contrôle robotique en tant que modèles monde-action (WAM) ou modèles vidéo-action (VAM), ils perdent souvent ces capacités de généralisation compositionnelle après un ajustement fin (finetuning) sur des données d'action robotique. Les auteurs nomment ce décalage le fossé de généralisation vidéo-action (VAG gap).

Les politiques existantes échouent fréquemment lors de la généralisation compositionnelle (par exemple, recombiner des objets et des réceptacles vus dans des séquences de tâches inédites) car elles font un surapprentissage des corrélations visuelles dans les données d'entraînement plutôt que de tirer parti des biais génératifs sous-jacents. Bien que les choix de conception standards pour les VAM (tels que l'entraînement conjoint par rapport à l'entraînement en deux étapes, ou la variation des niveaux de bruit) aient été explorés, ils produisent un paysage de performance fragmenté sans explication émergente claire sur les raisons pour lesquelles certaines configurations réussissent ou échouent dans des scénarios hors distribution (OOD).

2. Méthodologie

2.1 Analyse systématique de l'espace de conception

Les auteurs ont évalué systématiquement une classe de VAM qui utilisent des caractéristiques latentes de modèles de fondation vidéo pré-entraînés (spécifiquement Cosmos-Predict 2.5-2B) et apprennent une tête d'action de dynamique inverse latente via le "flow matching". Ils ont étudié l'espace de conception selon deux axes principaux :

• Configurations au moment de l'entraînement : Comparaison de l'adaptation efficace en paramètres (LoRA) par rapport à l'ajustement fin complet, et de l'entraînement conjoint (optimisation simultanée des pertes vidéo et d'action) par rapport à l'entraînement en deux étapes (ajustement fin du backbone d'abord, puis gel de celui-ci pour l'entraînement de la tête d'action).
• Paramètres au moment de l'inférence : Variation du niveau de bruit vidéo ($\sigma_v$) auquel les caractéristiques sont extraites et de l'horizon de prédiction ($T$).

L'analyse a révélé que si la performance en distribution (ID) était souvent saturée, la performance OOD était très sensible à ces choix, pourtant aucune configuration unique ne parvenait à combler systématiquement l'écart.

2.2 Le Ratio Temporel (TR)

Pour expliquer les modes d'échec, les auteurs ont introduit le Ratio Temporel (TR), une métrique basée sur l'attention quantifiant la force avec laquelle la tête d'action dépend des déroulés latents futurs prédits par rapport à l'image actuelle ancrée.

• Définition : Le TR est calculé comme le ratio de la masse d'attention assignée par la tête d'action aux jetons (tokens) des images futures ($V_+$) par rapport aux jetons de l'image actuelle ($V_0$) :
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  où $A$ représente les jetons d'action et $\ell$ est une couche spécifique de la tête d'action.
• Interprétation physique : Dans la formulation de débruitage vidéo, la première image ($t=0$) est injectée comme une ancre d'observation propre et de haute fidélité à chaque étape. Les images futures sont débruitées à partir de latents bruités et représentent l'évolution "imaginée" par le modèle. Un TR élevé indique que la politique planifie en se basant sur ces futurs imaginés ; un TR faible indique que la politique réagit à l'observation immédiate.

2.3 Observations clés sur le TR

• Pouvoir prédictif : Le TR agit comme un prédicteur direct de la capacité de généralisation compositionnelle. Les modèles présentant un TR plus élevé durant les phases de planification sont corrélés à un meilleur succès OOD.
• Dynamique des phases de tâche : Le TR n'est pas statique ; il fluctue selon la phase de la tâche. Il augmente lors des "phases de planification" (ex: sélection d'un objet ou d'un réceptacle) où la politique doit lier le langage et les objectifs aux états futurs. Il chute lors des "phases de manipulation précise" (ex: saisie ou placement) où la politique doit s'ancrer à l'image actuelle pour la précision.
• Diagnostic de mode d'échec : Le fossé VAG provient souvent d'un décalage : le backbone vidéo peut prédire un futur compositionnel correct, mais la tête d'action l'ignore (TR faible) et suit une trajectoire ID mémorisée. Inversement, la tête d'action peut suivre un futur halluciné si le TR est élevé mais que la prédiction vidéo est médiocre.

2.4 Guidage adaptatif au TR

Sur la base de ces résultats, les auteurs proposent une méthode de guidage adaptatif à l'inférence qui amplifie dynamiquement les signaux de conditionnement vidéo compositionnels précisément lorsque la politique dépend des déroulés futurs.

• Mécanisme : La méthode calcule deux directions de guidage contrefactuelles :
  1. Guidage de langage : Isole la vélocité d'action dépendante de l'instruction en comparant les caractéristiques vidéo conditionnelles aux caractéristiques de texte nul.
  2. Guidage de plan : Isole la structure temporelle à long horizon en comparant les caractéristiques d'horizon standard aux caractéristiques d'horizon étendu.
• Mise à l'échelle adaptative : La force de ces signaux de guidage ($w_{lang}, w_{plan}$) est mise à l'échelle dynamiquement en fonction du TR actuel. Le poids augmente lorsque le TR dépasse une ligne de base de l'épisode (indiquant une phase de planification) et est plafonné pour éviter un sur-guidage. Cela permet au modèle de tirer parti du raisonnement compositionnel pendant la planification tout en relaxant le guidage pour préserver la précision locale lors de la manipulation.

3. Résultats Clés

3.1 Simulation (Benchmark LIBERO)

Évalué sur les suites LIBERO (Spatial, Object, Goal, Long) et leurs homologues OOD compositionnels :

• Performance de référence : Les WAM et VAM antérieurs montraient une performance ID saturée (>95%) mais s'effondraient dans les scénarios OOD (souvent <15% de succès).
• Résultats de l'espace de conception : L'entraînement conjoint avec LoRA et des niveaux de bruit vidéo intermédiaires ($\sigma_v \approx 0,883$) ont produit la meilleure performance OOD non guidée (55,7% en moyenne).
• Impact du guidage adaptatif au TR : La méthode proposée a amélioré le succès OOD moyen à 59,4%, soit une amélioration de plus de 5 fois par rapport aux précédents modèles de base VAM, tout en maintenant une performance ID comparable aux meilleurs modèles non guidés. Un guidage plat (sans adaptation au TR) a dégradé la performance ID, confirmant la nécessité d'un guidage sensible aux phases.

3.2 Évaluation en monde réel (Bimanuel YAM)

Évalué sur un robot bimanuel effectuant 24 scénarios multi-tâches (vaisselle, snacks, bouteilles, etc.) avec des scènes OOD compositionnelles :

• Performance : Le VAM proposé a surpassé les modèles de référence ($\pi_0$, $\pi_{0.5}$, Cosmos-Policy).
• Efficacité du guidage : Le guidage adaptatif a augmenté le taux de succès moyen de 71,7% (non guidé) à 83,3%.
• Échec des approches standards : L'extraction de caractéristiques à l'étape de bruit maximal ($\sigma_v=1.0$), comme pratiqué dans les VAM précédents, a entraîné un succès proche de zéro sur les tâches réelles, soulignant la nécessité de latents structurés et partiellement débruités.

4. Signification et Revendications

L'article affirme que le fossé VAG n'est pas simplement le résultat d'un manque de données ou de capacité de modèle, mais un problème mécaniste concernant la manière dont la tête d'action route l'information entre l'observation actuelle et les futurs prédits.

• Outil de diagnostic : Le Ratio Temporel fournit une métrique interprétable en temps réel pour diagnostiquer si une politique utilise efficacement ses biais vidéo génératifs.
• Mécanisme d'amélioration : Ce travail démontre que la généralisation compositionnelle nécessite une double condition : (1) le backbone vidéo doit prédire un futur utile, et (2) la tête d'action doit activement dépendre de ce futur durant les phases de planification.
• Atténuation pratique : Le guidage adaptatif au TR offre une intervention pratique à l'inférence qui exploite ce motif d'attention intrinsèque pour améliorer la généralisation OOD sans réentraîner le modèle ni sacrifier la précision de la manipulation locale.

Les auteurs concluent que leur cadre clarifie le comportement des VAM et fournit une voie pour atténuer le fossé de généralisation OOD dans le contrôle robotique, tout en reconnaissant les limites concernant la plausibilité physique du modèle vidéo sous-jacent et le coût d'inférence supplémentaire.