Résumé technique : Compréhension des méthodes d'inférence asynchrone pour les modèles Vision-Language-Action

1. Énoncé du problème

Les modèles Vision-Language-Action (VLA) sont devenus un paradigme pour le contrôle robotique généraliste, mappant les observations visuelles et les instructions linguistiques vers des actions. Les politiques VLA modernes emploient souvent le découpage en blocs d'actions (action chunking), prédisant une séquence de $H$ actions futures en une seule passe avant pour amortir les coûts d'inférence et réduire les erreurs d'accumulation. Cependant, les grands modèles VLA souffrent d'une latence d'inférence élevée (de dizaines à centaines de millisecondes).

Dans l'exécution synchrone, le robot s'arrête pendant l'inférence, limitant la fréquence de contrôle au taux d'inférence, ce qui est impraticable pour les tâches à réaction rapide. L'exécution asynchrone naïve découple l'inférence de l'exécution, passant à de nouveaux blocs à mesure qu'ils arrivent. Cependant, cela introduit trois modes de défaillance :

1. Discontinuité aux limites des blocs : Le nouveau bloc est incompatible avec les actions déjà engagées sur le robot.
2. Obsolétence de l'observation : Le nouveau bloc est conditionné par une observation vieille de $d$ étapes (où $d$ est le délai d'inférence en étapes de contrôle).
3. Dégradation en boucle ouverte : Les actions engagées ne peuvent pas s'adapter aux changements environnementaux pendant la durée de vie du bloc.

Bien que quatre méthodes aient été proposées pour atténuer ces problèmes — IT-RTC, TT-RTC, VLASH et A2C2 — elles ont été développées dans des bases de code incompatibles avec différentes politiques de base et protocoles d'évaluation, rendant toute comparaison directe impossible.

2. Méthodologie

Les auteurs ont développé deux bases de code unifiées (bt-kinetix en JAX/Flax et bt-libero en PyTorch/LeRobot) pour intégrer les quatre méthodes sous des bibliothèques harmonisées, des ensembles de données et des politiques de base. Ils ont évalué ces méthodes sur :

• Kinetix : Une suite de contrôle continu 2D avec 10 environnements dynamiques, utilisant des politiques MLP-Mixer ($H \in \{16, 30\}$).
• LIBERO : Un benchmark de manipulation à 7 degrés de liberté utilisant SmolVLA ($H=50$).

L'évaluation a balayé les délais d'inférence ($d$) jusqu'à 20 étapes de contrôle (simulant des scénarios de déploiement réel allant des GPU locaux à l'inférence cloud via 4G).

Les quatre méthodes comparées

1. IT-RTC (Correction résiduelle au moment de l'inférence via guidage sans entraînement) : Une approche sans entraînement utilisant un guidage par matching de flux. Elle traite les $d$ premières actions d'un nouveau bloc comme des contraintes connues et « inpaint » les $H-d$ actions restantes durant le processus de débruitage en utilisant un terme de guidage par pseudo-inverse. Elle ne nécessite aucun réentraînement mais engendre un passage arrière (VJP) par étape de débruitage, triplant les FLOPs par étape.
2. TT-RTC (Correction résiduelle au moment de l'entraînement via simulation de délai au moment de l'entraînement) : Modifie le processus d'entraînement pour conditionner la politique sur des préfixes d'actions. La politique apprend à prédire uniquement les actions postfixes non obsolètes étant donné un préfixe engagé. Elle utilise une perte masquée et des préfixes de vérité terrain non bruités durant l'entraînement. Elle introduit zéro surcoût d'inférence et est un remplacement direct pour IT-RTC.
3. VLASH (Conditionnement conscient de l'état Vision-Language-Action) : Traite l'obsolétence de l'observation en estimant l'état futur du robot au moment de l'exécution en utilisant les actions précédentes connues. La politique est conditionnée par cet état « avancé » plutôt que par l'observation obsolète. Elle emploie une augmentation d'entraînement par décalage temporel.
4. A2C2 (Correction d'action asynchrone via tête de correction) : Cible la dégradation en boucle ouverte. Elle entraîne une tête de correction légère qui s'exécute à chaque étape de contrôle, émettant un ajustement résiduel ($\Delta a$) aux actions obsolètes de la politique de base. La tête se conditionne sur la dernière observation, les caractéristiques de la politique de base et une caractéristique de temps dans le bloc. Elle est composable avec d'autres méthodes.

3. Contributions clés

1. Bases de code unifiées : La création de bt-kinetix et bt-libero, qui intègrent les quatre méthodes avec des dépendances harmonisées, permettant la première comparaison systématique.
2. Évaluation systématique : Une évaluation complète sur deux benchmarks distincts (Kinetix et LIBERO) avec des tailles de blocs ($H$) et des délais ($d$ jusqu'à 20) variables, couvrant des régimes pertinents pour le déploiement réel (par exemple, serveurs périphériques, inférence cloud).
3. Insights pratiques : Analyse des compromis entre les coûts d'entraînement, la surcharge d'inférence et la généralisation des délais hors distribution (OOD).

4. Résultats

Résultats Kinetix (MLP-Mixer, $H=16, 30$)

• Performance : A2C2 a obtenu le taux de réussite absolu le plus élevé sur presque tous les délais, maintenant un taux de réussite >90 % jusqu'à $d=8$. TT-RTC était la méthode basée sur l'entraînement la plus robuste, montrant une stabilité à travers différents choix de $d_{max}$ et une bonne généralisation aux délais OOD.
• IT-RTC : Compétitif aux faibles délais mais dégradé brusquement sous de longs blocs ($H=30$) et de forts délais ($d > 8$), suggérant que son approximation linéaire VJP échoue lorsque le rapport préfixe/postfixe augmente.
• VLASH : A exhibé un compromis gouverné par la plage de délai de fine-tuning $[0, d_{max}]$. Un $d_{max}$ plus large a amélioré la robustesse aux délais élevés mais a nui à la précision aux faibles délais.
• TT-RTC vs VLASH : TT-RTC était largement insensible au choix de $d_{max}$, tandis que VLASH nécessitait un réglage minutieux de $d_{max}$ en fonction du délai de déploiement attendu.

Résultats LIBERO (SmolVLA, $H=50$)

• Inversion du classement : Le classement s'est inversé par rapport à Kinetix aux délais plus élevés. A2C2 est devenu la méthode la plus puissante aux délais élevés ($d \ge 4$), maintenant une marge d'environ 10 points sur les autres.
• IT-RTC & TT-RTC : Tous deux se sont dégradés considérablement à mesure que le rapport préfixe/postfixe augmentait (en raison de la taille de bloc plus longue $H=50$). IT-RTC s'est effondré vers une performance proche de la ligne de base au-delà de $d=8$. TT-RTC, bien que stable sur Kinetix, a vu des baisses de précision significatives sur LIBERO.
• VLASH : Les variantes avec un $d_{max}$ plus large ($8, 16$) sont restées remarquablement stables à travers les délais. Note : Les auteurs soulignent que les résultats de VLASH sur LIBERO reposent sur des états futurs de vérité terrain (informations privilégiées) en raison de mismatches de dimensions état/action, servant de borne supérieure pour les variantes déployables.
• Latence : TT-RTC a égalé la latence temps réel de la ligne de base naïve. IT-RTC a entraîné une augmentation de latence d'environ 16 %. La tête résiduelle d'A2C2 a ajouté environ 1,8 % de latence en exécution sérielle.

Analyse des coûts

• Surcharge d'inférence : IT-RTC triple les FLOPs de la boucle sérielle de débruitage. A2C2 accumule une surcharge proportionnelle à l'horizon d'exécution $s$ (par exemple, 50 étapes sur LIBERO), la rendant plus coûteuse par bloc que IT-RTC sur les grands modèles, bien que sa tête résiduelle soit légère isolément.
• Coût d'entraînement : TT-RTC nécessite un fine-tuning modeste (~25 % du coût de base sur Kinetix). VLASH et A2C2 nécessitent un entraînement ou un réentraînement plus extensif.
• Point d'équilibre : Sur LIBERO, le point d'équilibre où le coût d'entraînement unique de TT-RTC l'emporte sur la surcharge d'inférence récurrente de IT-RTC est d'environ 2,9 millions d'épisodes.

5. Signification et affirmations

L'article affirme qu'aucune méthode unique ne domine dans tous les contextes, et que le choix optimal dépend des contraintes spécifiques de déploiement (taille du bloc, délai attendu, faisabilité du réentraînement) :

• Si le réentraînement est impossible et le délai est faible : IT-RTC est une solution de remplacement raisonnable.
• Si le fine-tuning est possible et les blocs sont courts : TT-RTC offre une correction quasi gratuite avec zéro surcoût d'inférence et une généralisation OOD robuste.
• Dans les configurations VLA à longs blocs (par exemple SmolVLA) : A2C2 est le choix le plus fiable pour les délais élevés et se compose naturellement avec d'autres méthodes.
• VLASH : Reste un choix solide à condition qu'un modèle d'état futur précis soit disponible et que la plage de délai de déploiement soit connue au moment du fine-tuning.

Les auteurs concluent que leur comparaison systématique clarifie les compromis entre ces méthodes, informant les futures stratégies de conception et de déploiement VLA. Ils notent explicitement des limitations, notamment la dépendance aux états futurs oracles pour VLASH sur LIBERO et l'hypothèse de délais entiers fixes, suggérant que les conditions de latence variable du monde réel pourraient davantage favoriser les méthodes conscientes du délai comme TT-RTC et A2C2.