Résumé Technique : AHEAD (Anticipatory Horizon Extrapolation with Adaptive Dynamics)

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont atteint une généralisation dans les tâches de manipulation statiques, mais échouent lorsque les objets se déplacent de manière indépendante pendant l'exécution de la tâche. Les VLA actuels associent l'observation actuelle à une action sous l'hypothèse implicite que la scène reste stationnaire entre l'observation et l'exécution. Dans les environnements dynamiques (ex. : convoyeurs, transferts ou mouvements induits par la gravité), la latence inhérente à la perception, au traitement et à l'exécution provoque une réaction de la part du robot sur des états de scène obsolètes. Par conséquent, le robot saisit l'endroit où un objet était, plutôt que là où il sera.

Les approches existantes pour résoudre ce problème se divisent en deux catégories, présentant toutes deux des limites :

1. Politiques Réactives : Elles raccourcissent la boucle perception-action via un contrôle plus rapide ou des changements architecturaux. Cependant, à mesure que la vitesse de l'objet augmente, la latence résiduelle consomme toujours une fraction significative de la fenêtre de réaction, et ces méthodes réagissent à la position actuelle de l'objet plutôt qu'à la prédiction de son état futur.
2. Modèles de Monde (World Models) : Ils apprennent la dynamique de propagation pour planifier via des simulations imaginées (rollouts). Cependant, les formulations existantes imposent souvent de simuler l'intégralité de la scène sur un horizon fixe dans un espace de pixels coûteux, ou nécessitent un réentraînement conjoint de la politique et de la dynamique, ce qui les rend incompatibles avec les VLA pré-entraînés et gelés.

Le défi central est de permettre à un VLA gelé d'anticiper les changements de scène indépendants sans réentraîner le modèle sous-jacent, tout en allouant les ressources de calcul de manière adaptative aux dimensions spatiales et temporelles pour respecter les budgets de latence en temps réel (environ 200 ms).

Méthodologie : AHEAD

AHEAD (Anticipatory Horizon Extrapolation with Adaptive Dynamics) est un "wrapper" de type "prédire-puis-agir" qui augmente un VLA gelé avec un modèle de monde latent sensible au mouvement opérant dans l'espace de caractéristiques (feature space) du VLA. Le système ne modifie pas le décodeur d'action ni l'ancrage linguistique du VLA ; il remplace simplement les jetons d'observation actuels par des jetons futurs prédits avant qu'ils n'atteignent le décodeur.

Le pipeline se compose de quatre composants clés :

1. Saillance Langage-et-Mouvement (Allocation Spatiale du Calcul)

Pour éviter le coût computationnel de la prédiction de l'intégralité de la scène, AHEAD sélectionne un sous-ensemble de jetons de patch pertinents pour la tâche.

• Estimation du Mouvement : Le flux optique RAFT est calculé entre trois images consécutives ($t-2, t-1, t$). Ceux-ci sont regroupés en patchs de 16x16 et soumis à une différence finie pour dériver la vitesse ($V$) et l'accélération ($A$) par jeton.
• Masquage de Saillance : Une couche de cross-attention apprise calcule les scores de pertinence linguistique basés sur l'instruction de la tâche. Les jetons sont sélectionnés pour la prédiction s'ils sont soit pertinents linguistiquement, soit si leur magnitude de mouvement dépasse un seuil calibré. Cela réduit typiquement l'ensemble de jetons de $N=196$ à $|S| \approx 30\text{--}60$ jetons.

2. Modèle de Monde par Flow-Matching avec Conditionnement Cinématique

Le modèle de monde opère dans l'espace latent des caractéristiques du VLA (plutôt que dans l'espace des pixels) pour s'aligner sur la distribution d'entrée du décodeur d'action.

• Architecture : Un encodeur transformer à 4 couches compresse les jetons sélectionnés et enrichis par le mouvement en un état latent compact $z_t$.
• Dynamique : Le modèle utilise le conditional flow matching (nécessitant seulement environ 5 étapes d'Euler pour des échantillons de haute qualité) plutôt que la diffusion, garantissant que la simulation s'inscrit dans le budget de latence.
• Conditionnement Cinématique : Au lieu de demander au modèle d'apprendre la physique complète à partir des données, AHEAD propage la vitesse et l'accélération de manière analytique à travers les étapes de la simulation en utilisant une cinématique à accélération constante : $V_k = V_0 + A \cdot k \cdot \Delta t$. Cela permet au modèle de gérer les régimes d'accélération (ex. : gravité, friction) sans apprendre de physique de second ordre.
• Estimation de l'Incertitude : Le modèle tire $S=5$ échantillons parallèles par étape. La variance de ces échantillons fournit une estimation de l'incertitude par étape.

3. Arrêt Adaptatif de l'Horizon (Allocation Temporelle du Calcul)

L'horizon de prédiction $K$ n'est pas fixe. La simulation procède de manière autorégressive, mais s'arrête lorsque la variance de l'échantillon (incertitude) dépasse un seuil $\tau_u$, ou lorsqu'un horizon maximum $K_{max}$ est atteint.

• Raisonnement : Un mouvement linéaire à faible incertitude permet des anticipations longues, tandis qu'un mouvement chaotique ou post-collision déclenche un arrêt précoce pour éviter l'accumulation d'erreurs de prédiction.

4. Ré-injection et Action

Les jetons futurs prédits $\hat{v}_{t+K}$ sont décodés et réinjectés dans la grille complète de jetons (les patchs statiques non sélectionnés restent inchangés). Cette grille de jetons augmentée est transmise au décodeur d'action gelé, qui génère la commande motrice basée sur l'état futur prédit.

Contributions Clés

1. Wrapper Prédire-Puis-Agir : Une méthode pour permettre la manipulation d'objets dynamiques pour les VLA gelés sans réentraîner le modèle sous-jacent de 7 milliards de paramètres.
2. Allocation Adaptative du Calcul : Un mécanisme qui alloue le calcul spatialement (via la saillance langage-et-mouvement) et temporellement (via l'arrêt d'horizon piloté par l'incertitude), garantissant efficacité et robustesse.
3. Conditionnement Cinématique Explicite : Une propagation analytique de la vitesse et de l'accélération à travers les étapes de la simulation, étendant la capacité du modèle de monde aux régimes d'accélération sans apprendre de physiques complexes à partir des données.
4. Efficacité dans l'Espace Latent : L'utilisation du conditional flow matching dans l'espace des caractéristiques évite la reconstruction coûteuse de pixels et l'entraînement conjoint.

Résultats Expérimentaux

Performance en Simulation

Évalué sur 20 scénarios dynamiques (vitesse constante, accélération/décélération, et tâches complexes multi-objets/occlusion) utilisant un bras Franka Emika Panda :

• Taux de Succès : AHEAD a atteint 79% à 97% de succès sur tous les scénarios.
• Baselines : La plus forte baseline (DreamVLA) n'a atteint que 31% à 58%.
• Gains Spécifiques : Dans les régimes d'accélération, AHEAD a maintenu un succès >87%, alors que la meilleure baseline est tombée à 30–48%. Dans les tâches d'occlusion (attraper un objet derrière un obstacle), AHEAD a atteint 79,4%, tandis que la plupart des baselines ont obtenu 0%.

Performance sur Robot Physique

Évalué sur un UFactory xArm 7 pour cinq tâches dynamiques :

• Tâches de Convoyeur : 30/30 succès en pick-and-place avec des boîtes/objets en mouvement.
• Balle de Roulement : 30/30 succès.
• Interception de Projectile (Raquette) : 23/30 succès.
• Attraper un Projectile : 19/30 succès (attraper une balle lancée à 2 m de distance).
• Comparaison avec les Baselines : Chaque baseline a obtenu 0/30 sur la tâche d'attrapage de projectile.
• Latence : L'ensemble du pipeline s'exécute en ~158 ms par étape d'action, respectant le budget réactif de ~200 ms.

Études d'Ablation

• Estimateur de Mouvement : Remplacer RAFT par CoTracker3 ou Farnebäck a considérablement réduit les performances ; supprimer l'entrée de vitesse a entraîné un succès de 0%.
• Conditionnement Cinématique : Supprimer la mise à jour cinématique analytique (en s'appuyant uniquement sur la dynamique apprise) a provoqué l'effondrement des performances sur les tâches d'accélération.
• Masquage de Saillance : L'utilisation de seuls les indices linguistiques ou de mouvement fonctionnait moins bien que l'approche combinée ; le masquage aléire uniforme fonctionnait nettement moins bien.
• Horizon : L'arrêt adaptatif a surpassé les horizons fixes, qui soit sous-prédisaient (horizons courts), soit sur-prédisaient (horizons longs menant à l'accumulation d'erreurs).

Signification et Limites

L'article affirme qu'AHEAD fournit un modèle architectural pour ajouter une anticipation prédictive aux VLA pré-entraînés sans modifier le backbone. Il démontre qu'un petit wrapper sensible au mouvement (4,9 millions de paramètres) peut combler le fossé entre les VLA statiques et la manipulation dynamique, atteignant des taux de succès élevés là où les baselines réactives échouent.

Limites reconnues par les auteurs :

• Hypothèses Cinématiques : L'hypothèse d'accélération constante s'effondre lors de dynamiques post-collision hautement chaotiques (ex. : chutes de type Plinko), où les performances se dégradent progressivement mais ne correspondent pas aux résultats in-distribution.
• Mouvement de Profondeur : Le flux dérivé de RAFT ne capture que le mouvement dans le plan de l'image ; les scènes avec un mouvement de profondeur significatif bénéficieraient d'un flux augmenté par la profondeur.
• Transfert : L'évaluation physique est limitée à une seule plateforme (xArm 7) ; le transfert à des systèmes bimanuels ou des humanoïdes n'est pas testé.
• Incertitude de Vitesse : Le système partage une estimation de vitesse RAFT unique à travers les échantillons de trajectoire ; la propagation explicite de l'incertitude de vitesse pourrait améliorer le calibrage.

Le travail conclut que bien qu'AHEAD ne soit pas une solution universelle pour toutes les dynamiques chaotiques, il parvient avec succès à découpler l'horizon de planification effectif de la latence perception-exécution du VLA, permettant une interception et une manipulation robustes dans des environnements dynamiques.