Résumé technique : Surmonter l'aveuglement dynamique par la correction de rythme et de trajectoire

1. Énoncé du problème

Les modèles Vision-Language-Action (VLA) ont démontré une généralisation remarquable dans la manipulation robotique, mais souffrent d'un « aveuglement dynamique » structurel lorsqu'ils sont déployés dans des environnements non stationnaires. La plupart des VLA dominants utilisent un paradigme de regroupement d'actions (action chunking) : à chaque étape d'inférence, le modèle prédit une séquence d'actions futures de longueur fixe basée sur une seule image d'observation statique. Ces actions sont exécutées en boucle ouverte jusqu'à la génération du prochain regroupement.

Cette conception crée un mode de défaillance critique dans les scénarios dynamiques (par exemple, des objets sur des convoyeurs, des perturbations externes) :

• Aveuglement temporel : Une fois un regroupement généré, la politique est aveugle aux changements de scène survenant pendant l'exécution de ce regroupement.
• Accumulation d'erreurs : À mesure que l'objet cible se déplace, l'erreur de suivi croît linéairement avec l'amplitude de la perturbation et l'indice de l'étape au sein du regroupement, restant invisible pour la politique jusqu'au prochain cycle de réplanification.
• Limites des solutions existantes : Les approches actuelles pour atténuer ce problème nécessitent soit un réentraînement coûteux avec des modifications architecturales (injection de flux optique, banques de mémoire ou modèles du monde), soit reposent sur la réduction de la latence d'inférence (backbones plus petits, décodage parallèle). La première souffre de coûts de calcul élevés et de potentielles hallucinations dans la prévision ; la seconde brise souvent la cohérence temporelle entre les regroupements ou sacrifie la capacité de généralisation des grands modèles fondamentaux. De plus, les benchmarks existants confondent souvent le mouvement avec la perception ou la difficulté de la scène, rendant difficile l'isolement du mode de défaillance spécifique de l'aveuglement dynamique.

2. Méthodologie : Correction de rythme et de trajectoire (PPC)

Les auteurs proposent la Correction de rythme et de trajectoire (PPC), un wrapper d'inférence en forme close, sans entraînement, applicable à n'importe quel VLA à actions regroupées sans modifier le backbone ni nécessiter de paramètres apprenables.

Concept de base

La PPC prend un signal dynamique externe (vitesse $v$ et direction $\hat{d}$) provenant d'un pipeline de suivi ou de détection de profondeur et corrige le regroupement d'actions en interne avant l'exécution. Elle formule la correction comme une fonction de coût quadratique unique qui équilibre l'erreur de suivi des points de passage contre l'effort de déviation spatiale. La minimisation de ce coût produit une solution unifiée qui se décompose orthogonalement en deux canaux distincts :

1. Canal de rythme (compression temporelle) :

   • Fonction : Comprime l'exécution du regroupement d'actions le long de la direction prévue pour absorber la composante de la perturbation parallèle au plan.
   • Mécanisme : Il calcule un facteur de compression scalaire $\alpha^* \ge 1$. Si la cible se déplace dans la direction du plan, le robot exécute le regroupement plus vite (moins d'étapes environnementales) pour « rattraper » la projection de la cible en mouvement.
   • Formule : $\alpha^* = 1 + \frac{v \cos \theta}{\|\Delta p\|}$, où $\theta$ est l'angle entre la perturbation et le delta prévu. Cela garantit que seule la composante alignée module le rythme.

2. Canal de trajectoire (compensation spatiale) :

   • Fonction : Applique un décalage spatial orthogonal pour absorber la composante de la perturbation perpendiculaire au plan, qui ne peut être gérée par la mise à l'échelle temporelle seule.
   • Mécanisme : Il génère une séquence de décalages spatiaux $\{\delta_k\}$ suivant un profil de Fibonacci. Ce profil distribue progressivement le déplacement perpendiculaire nécessaire sur la fenêtre du regroupement, minimisant la somme des carrés des décalages tout en garantissant que le prochain regroupement commence sans biais.
   • Extension : Pour un mouvement accéléré, la méthode s'étend à une correction du second ordre utilisant un profil de polynôme de Lucas pour gérer la dérive accumulée.

Mécanisme de stabilisation

Pour gérer les régimes irréguliers (par exemple, marches aléatoires, arrêts et redémarrages, téléportation) où l'hypothèse quasi-stationnaire de la solution en forme close s'effondre, la PPC inclut un Stabilisateur à verrouillage EMA hiérarchique 2-EMA :

• Il surveille le flux de vitesse pour détecter les changements de direction.
• Il utilise une moyenne mobile exponentielle (EMA) externe lente pour détecter une instabilité chronique et une EMA interne rapide pour réagir aux transitoires.
• Si une instabilité est détectée, une « Porte de cadence » limite l'horizon d'exécution (par exemple, en limitant l'exécution à $T/4$ étapes), empêchant le modèle d'exécuter un regroupement long et potentiellement erroné dans des conditions chaotiques.

3. Contributions clés

1. Cadre PPC : Un opérateur en forme close, fondé sur des principes physiques, qui compense explicitement les dynamiques de l'environnement dans les VLA à actions regroupées. Il ne nécessite aucun paramètre apprenable, aucune modification du backbone et est agnostique à l'architecture VLA sous-jacente.
2. MOVEBENCH : Un nouveau benchmark diagnostique conçu pour isoler le régime de mouvement comme seul axe d'évaluation. Il comprend 10 000 trajectoires répartis sur 10 tâches avec des objets et des scènes fixes, variant uniquement selon les motifs de mouvement (statique, uniforme, accéléré et irrégulier). Cela permet une caractérisation précise de l'aveuglement dynamique, souvent confondu dans les benchmarks existants.
3. Validation empirique : Des expériences extensives démontrant que la PPC surpasse systématiquement les wrappers sans entraînement et les méthodes adaptatives dynamiques de l'état de l'art sur divers VLA fondamentaux.

4. Résultats expérimentaux

Évaluée sur MOVEBENCH en utilisant quatre VLA fondamentaux (GR00T, SmolVLA, $\pi_0$, $\pi_{0.5}$) et comparée à des bases de référence telles que ACT, BID et DynamicVLA :

• Gains de performance : La PPC améliore les taux de réussite jusqu'à 28,8 % dans les environnements purement dynamiques et 25,9 % dans les environnements mixtes statiques-dynamiques par rapport aux modèles fondamentaux.
• Sensibilité au régime de mouvement :
  • Mouvement accéléré : La PPC produit le gain le plus important (+32,8 % en moyenne) car le canal de trajectoire/Fibonacci cible spécifiquement la dérive perpendiculaire qui s'accumule sous accélération.
  • Mouvement uniforme : Les gains sont constants (+18,2 %) principalement pilotés par le canal de rythme.
  • Mouvement irrégulier : Les gains sont positifs (+12,6 %) mais plus faibles, reposant sur le Stabilisateur à verrouillage pour limiter l'exécution lors des changements de régime.
• Comparaison avec les bases de référence :
  • ACT/BID : Ces wrappers d'inférence (ensemencement temporel, échantillonnage de rejet) échouent à résoudre l'aveuglement intra-regroupement et peuvent dégrader les performances (par exemple, ACT chute à 1 % de réussite sur les tâches de téléportation en raison de la moyenne de regroupements obsolètes).
  • DynamicVLA : Bien que conçu pour les dynamiques et ayant une faible latence, il sous-performe par rapport aux modèles fondamentaux (par exemple, 44,9 % contre 56,9 % pour $\pi_{0.5}$), confirmant que la réduction de la latence seule ne résout pas l'aveuglement au mouvement au sein d'un regroupement.
• Robustesse : La PPC reste robuste au bruit de perception (erreurs de magnitude et de direction) typique des trackers du monde réel et se dégrade gracieusement vers le VLA de base en l'absence de mouvement ($v=0$).

5. Signification et affirmations

L'article soutient que le mode de défaillance dominant dans la manipulation dynamique n'est pas la fréquence de la réplanification (latence) mais l'aveuglement au mouvement pendant l'exécution d'un seul regroupement d'actions.

• Découplage de la perception et de la correction : En traitant la correction dynamique comme une étape de post-traitement utilisant des signaux externes, la PPC contourne le « biais du mouvement propre » (où le mouvement du robot lui-même obscurcit le mouvement de l'objet) et le compromis latence-capacité inhérent au réentraînement de modèles avec des entrées temporelles.
• Préservation des capacités statiques : Comme la correction est en forme close et revient à l'identité lorsque $v=0$, la PPC préserve les fortes capacités des scènes statiques des VLA fondamentaux modernes sans introduire de surcharge de calcul ni de modifications architecturales.
• Clarté diagnostique : L'introduction de MOVEBENCH met en évidence que l'« aveuglement dynamique » est un mode de défaillance distinct et isolable que les benchmarks existants ne parviennent pas à capturer, offrant une voie plus claire pour évaluer et améliorer les politiques de manipulation dynamique.

Les auteurs concluent que la compensation explicite, intra-regroupement, via des opérateurs en forme close est un levier hautement efficace pour la manipulation dynamique, offrant un chemin pratique et sans entraînement vers la robustesse qui complète, plutôt que ne remplace, les capacités des VLA fondamentaux.