Résumé Technique : Exécution en Temps Réel avec des Politiques Autorégressives

1. Énoncé du Problème

Le déploiement de modèles Vision-Langage-Action (VLA) à grande échelle en robotique fait face à un goulot d'étranglement critique : la latence d'inférence. La taille importante des paramètres inhérente aux modèles de fondation provoque le paradigme « réfléchir puis bouger » (inférence synchrone), ce qui induit un temps d'arrêt significatif pour le robot. Pendant cette pause, le robot ne peut pas réagir aux changements environnementaux, sacrifiant ainsi sa réactivité et la vitesse d'exécution des tâches.

Bien que des travaux récents aient abordé l'exécution en temps réel (inférence asynchrone ou « réfléchir tout en bougeant »), ils se sont principalement concentrés sur les politiques basées sur la diffusion (décodage parallèle). Les politiques autorégressives (décodage séquentiel), qui offrent des avantages en termes de vitesse de convergence et de généralisation du suivi d'instructions, ont été largement exclues de la recherche sur l'exécution en temps réel. Cela est dû au fait que leur nature séquentielle entraîne généralement une latence plus élevée ($\delta_{t,H}$), ce qui les rend inadaptées aux exigences temporelles strictes du contrôle asynchrone où le robot doit recevoir continuellement des actions sans faire de pause.

Le défi central est de permettre aux politiques autorégressives de fonctionner en temps réel sans sacrifier leurs avantages intrinsèques, en garantissant que le robot reçoive un flux continu d'actions malgré la latence variable et souvent élevée de la génération jeton par jeton.

2. Méthodologie

Les auteurs proposent $\pi_0$-REALFAST, un cadre permettant l'exécution en temps réel pour les politiques autorégressives grâce à quatre ajustements techniques clés :

A. Découplage des Horizons d'Action et de la Tokenisation

Les auteurs redéfinissent la stratégie de partitionnement d'action (action chunking). Au lieu de tokeniser l'horizon d'action complet $H$ en une seule fois, ils fixent $H = 2m$ et tokenisent en deux étapes :

1. Préfixe de Conditionnement : Les $m$ premières actions (déjà exécutées ou dans la file d'attente) sont tokenisées comme un préfixe ($T_m(A_{0:m})$).
2. Prédiction : Le modèle prédit les $m$ actions suivantes ($T_m(A_{m:2m})$) conditionnées par le préfixe et l'observation actuelle.
   Cela réduit le nombre de jetons à décoder lors d'une seule étape d'inférence, abaissant directement la latence $\delta_{t,m}$ requise pour générer le prochain bloc d'action.

B. Décodage Contraint pour les Limites de Latence

Pour garantir que le robot ne s'arrête jamais, le système doit s'assurer que le temps de décodage du prochain bloc ($\delta_{t,m}$) ne dépasse pas le temps que le contrôleur consomme pour le bloc actuel ($d_m \cdot \Delta t$).

• Problème : Les longueurs de jetons dans les modèles autorégressifs varient, rendant la latence imprévisible.
• Solution : Les auteurs implémentent un décodage contraint. Ils modélisent le processus de décodage comme un problème de « rendu de monnaie » borné utilisant la programmation dynamique (DP).
  • Une table DP est précalculée pour déterminer si une longueur de séquence de jetons $L$ spécifique peut être valablement détokenisée dans un nombre maximal d'étapes $B$.
  • Pendant l'inférence, les logits des jetons qui violeraient la limite de latence (c'est-à-dire menant à une séquence qui ne peut pas être détokenisée en moins de $B$ étapes) sont masqués.
  • Cela garantit que le processus de décodage se termine dans une limite de latence stricte $\delta'$, assurant que $d_m \le m$.

C. Décodage Multi-Trajectoire

Pour maximiser les performances pendant le temps « oisif » créé par l'écart de latence entre l'inférence et la consommation de l'action, les auteurs emploient un décodage multi-trajectoire.

• Le modèle génère $N$ trajectoires candidates en parallèle (par exemple, $N=4$).
• Comme le préfixe (cache KV) est partagé, le surcoût de calcul est marginal.
• La meilleure trajectoire est sélectionnée en fonction de la vraisemblance, améliorant les taux de réussite des tâches sans augmenter la limite de latence maximale.

D. Boucle d'Inférence Asynchrone

Le système fonctionne de manière asynchrone :

1. Le client (contrôleur du robot) maintient une File d'Attente d'Actions (AQ - Action Queue).
2. Le serveur (politique) décode les $m$ jetons suivants conditionnés par le préfixe de l'AQ.
3. Une fois le décodage terminé (dans la limite impartie), le nouveau bloc est ajouté à l'AQ.
4. Le robot exécute les actions de l'AQ de manière continue, garantissant qu'aucune pause ne se produit même si la politique est encore en train de calculer le bloc suivant.

3. Contributions Clés

1. Faisabilité de l'Exécution en Temps Réel Autorégressive : L'article démontre que les politiques autorégressives peuvent atteindre une exécution en temps réel, contestant l'hypothèse selon laquelle elles seraient trop lentes pour un contrôle asynchrone.
2. Décodage à Latence Garantie : L'introduction du décodage contraint via la programmation dynamique assure des limites de latence strictes, une condition préalable pour éviter les arrêts du robot dans les contextes asynchrones.
3. Optimisation des Performances : La combinaison de la réduction des horizons de jetons ($m$) et du décodage multi-trajectoire permet aux politiques autorégressives de surpasser les politiques de type flow-matching (diffusion) équivalentes dans des scénarios en temps réel.
4. Robustesse à la Latence Externe : La méthode maintient des taux de réussite élevés même lorsque les latences externes (réseau/capteurs) varient, à condition que la fréquence d'inférence ($d_m$) soit gérée correctement.

4. Résultats Expérimentaux

Les auteurs ont évalué $\pi_0$-REALFAST (affiné à partir de $\pi_0$-FAST) par rapport à des bases incluant $\pi_0$ (flow-matching) et $\pi_0.5$ (flow-matching avec un tokenizer FAST) dans des environnements simulés et réels.

• Environnement Simulé (LIBERO) :

  • $\pi_0$-REALFAST a systématiquement surpassé $\pi_0$ avec le Partitionnement d'Action en Temps Réel (RTC) dans toutes les catégories de tâches (Spatial, Object, Goal, Long).
  • Il a atteint des performances comparables à celles de $\pi_0.5$, bien que $\pi_0.5$ ait été entraîné sur des jeux de données plus importants.
  • L'étude a souligné que l'imposition de $d_m \le m$ (permettant à la fréquence d'inférence d'être inférieure au taux de consommation d'action) est plus robuste que la synchronisation stricte $d_m = m$, qui causait une dégradation des performances de $\pi_0$.

• Environnement Réel (DROID) :

  • Dans des tâches de manipulation de table en zéro-shot, $\pi_0$-REALFAST a nettement surpassé la base synchrone $\pi_0$-FAST.
  • Il a surpassé $\pi_0$ et a montré des performances comparables à $\pi_0.5$.
  • Analyse Qualitative : Contrairement à l'inférence synchrone, qui conduit souvent à des collisions dues à un dépassement (incapacité à s'ajuster en cours de trajectoire), $\pi_0$-REALFAST a réussi à ajuster les trajectoires en temps réel pour éviter les collisions, démontant la valeur critique des mises à jour fréquentes des actions.

• Études d'Ablation :

  • Décodage Contraint : Le retrait du décodage contraint a entraîné une dégradation des performances, confirmant sa nécessité pour la fiabilité.
  • Étapes d'Entraînement : Le modèle a atteint son pic de performance rapidement (en 6k étapes), ce qui est cohérent avec les propriétés de convergence rapide des politiques autorégressives.
  • Multi-Trajectoire : L'augmentation de $N$ (nombre de trajectoires) a amélioré les taux de réussite, validant l'utilité de l'utilisation du temps de calcul oisif.

5. Signification et Revendications

L'article affirme que les politiques autorégressives sont un choix compétitif et viable pour le contrôle robotique en temps réel, à condition que la latence d'inférence soit gérée par des stratégies architecturales et de décodage spécifiques.

• Réévaluation du Compromis : Les auteurs soutiennent que le domaine a trop privilégié la réduction de la latence d'inférence (pour assurer la réactivité) au détriment de la robustesse et de la généralisation des politiques. Leurs résultats suggèrent qu'une latence légèrement plus élevée mais bornée, couplée aux capacités de généralisation autorégressives, offre de meilleurs résultats de déploiement qu'une politique à faible latence dépourvue de ces capacités.
• Support Natif : Les conclusions encouragent le pré-entraînement des politiques autorégressives pour supporter nativement l'exécution en temps réel, plutôt que de les traiter comme secondaires par rapport aux approches basées sur la diffusion.
• Limites : Les auteurs notent modestement que leurs expériences sont actuellement limitées à des environnements de table statiques à bras unique. L'extension à des tâches bimanuelles ou hautement dynamiques nécessiterait le décodage de plus de jetons, imposant des contraintes de latence plus strictes qui pourraient nécessiter de nouvelles innovations architecturales (par exemple, le décodage spéculatif).

En conclusion, ce travail établit qu'avec l'inférence asynchrone, l'ajustement de l'horizon de tokenisation et le décodage contraint, les politiques autorégressives peuvent égaler ou surpasser les performances de leurs homologues basés sur la diffusion dans le déploiement robotique en temps réel, en tirant parti de leurs propriétés supérieures de suivi d'instructions et de convergence.