🤖 AI

Learning Native Continuation for Action Chunking Flow Policies

L'article présente Legato, une méthode de continuation à l'entraînement pour les modèles Vision Language Action à blocs d'actions, qui redéfinit la dynamique du flux et exploite une conditionnement de planning aléatoire pour générer des trajectoires plus fluides et plus cohérentes, surpassant ainsi les approches existantes de découpage en temps réel dans des tâches de manipulation du monde réel.

Auteurs originaux : Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment accomplir une tâche complexe, comme verser de l'eau d'un verre à un autre. Pour ce faire, le robot utilise un « cerveau » (un modèle Vision-Language-Action) qui observe la scène et décide de la prochaine action à entreprendre.

Cependant, ce cerveau est lent. Il ne peut pas penser assez vite pour donner au robot une nouvelle instruction à chaque milliseconde. Ainsi, les ingénieurs utilisent une astuce appelée « Action Chunking » (regroupement d'actions). Au lieu de donner une instruction à la fois, le cerveau prédit un « bloc » entier de mouvements futurs (disons, les 2 prochaines secondes de mouvement) d'un seul coup.

Le Problème : Le « Hésitation »

L'article identifie une faille majeure dans la manière dont ces blocs sont actuellement assemblés.

Imaginez que vous marchiez dans un couloir. Vous faites un pas, puis un autre. Si vous planifiez vos trois prochains pas d'un seul coup, vous pourriez marcher fluidement. Mais lorsque vous terminez ces trois pas et devez planifier les trois suivants, votre cerveau doit faire une pause, réévaluer la situation et démarrer un nouveau plan.

Dans les robots actuels, cette pause provoque un « soubresaut » ou un « hoquet » à la frontière où un bloc se termine et où le suivant commence. Le robot pourrait :

Hésiter (geler pendant une fraction de seconde).
Sursauter brusquement dans une direction différente.
Changer d'avis sur quelle main utiliser ou quel objet saisir.

L'article appelle cela un « basculement multimodal spurious » (basculement multimodal erroné). En termes simples : le robot se confond aux points de transition et commence à hésiter entre différentes actions possibles, rendant le mouvement saccadé et peu naturel.

L'Ancienne Solution : « Action Chunking en Temps Réel » (RTC)

Les tentatives précédentes pour résoudre ce problème, appelées Action Chunking en Temps Réel (RTC), ressemblaient à un rappel sur un post-it.

Lorsque le robot termine un bloc, le système examine les quelques derniers mouvements qu'il a effectués.
Il force le nouveau bloc à commencer exactement là où l'ancien s'est arrêté.
La Faille : Il s'agit d'une règle externe appliquée après que le robot a déjà réfléchi. C'est comme dire à un peintre : « Assure-toi que ta prochaine touche de pinceau se connecte à la précédente », mais le peintre n'a pas appris comment les connecter naturellement. Le robot reste confus intérieurement, ce qui entraîne des hésitations et des mouvements saccadés.

La Nouvelle Solution : « Legato »

Les auteurs proposent une nouvelle méthode appelée Legato (nommée d'après un terme musical signifiant « lié de manière fluide »).

Au lieu d'ajouter simplement une règle à la fin, Legato enseigne au cerveau du robot comment relier les points pendant qu'il apprend.

Voici comment cela fonctionne, en utilisant une analogie créative :

1. L'Analogie de « l'Entraînement avec des Roues Stabilisatrices »
Imaginez enseigner à un enfant à faire du vélo.

Ancienne Méthode (RTC) : Vous le laissez rouler, et s'il tangue à la fin d'un virage, vous saisissez le guidon pour le forcer à aller tout droit. Il apprend à compter sur vous pour corriger le tangage.
Méthode Legato : Vous lui apprenez à ressentir l'équilibre pendant le virage. Vous lui donnez un « calendrier » indiquant le niveau de soutien nécessaire à chaque seconde du virage. À mesure qu'il avance dans le virage, vous lâchez prise progressivement, mais vous le guidez de manière fluide tout au long du processus.

2. La « Rampe Douce » vs Le « Mur Dur »
Legato utilise un guidage en forme de « calendrier ».

Lorsque le robot commence un nouveau bloc, il sait exactement comment le bloc précédent s'est terminé.
Legato dit au robot : « Pour la première partie de ce nouveau bloc, tu dois suivre exactement le chemin précédent. »
Ensuite, il dit lentement : « D'accord, tu peux commencer à dévier un peu et faire tes propres choix. »
Enfin : « Maintenant, tu es libre de planifier le reste du mouvement. »

Cela crée une rampe douce de liberté plutôt qu'un mur dur où le robot doit brusquement changer de vitesse.

3. La « Compétence Native »
La partie la plus importante de Legato est qu'elle modifie le « flux » interne du robot. Elle remodèle les mathématiques à l'intérieur du cerveau du robot afin que relier les blocs devienne une partie naturelle de sa façon de penser.

Elle ne force pas simplement le robot à correspondre au passé ; elle enseigne au robot que rester cohérent avec le passé est le chemin le plus facile et le plus logique à suivre.
Cela empêche le robot d'hésiter ou de basculer d'avant en arrière entre différentes idées (basculement multimodal).

Les Résultats

Les chercheurs ont testé cette méthode sur de vrais robots effectuant cinq tâches différentes : empiler des bols, verser des choses, saisir des objets, ouvrir des tiroirs et plier des serviettes.

Mouvements Plus Fluides : Les robots de Legato se déplaçaient comme un flux d'eau fluide, tandis que l'ancienne méthode se déplaçait comme une série de pas saccadés.
Exécution Plus Rapide : Parce que les robots n'hésitaient ni ne se figeaient aux « frontières des blocs », ils terminaient les tâches environ 10 % plus vite.
Moins de Confusion : Les robots s'en tenaient à leur plan (par exemple : « J'utiliserai ma main gauche ») au lieu de vaciller d'avant en arrière.

Résumé

Pensez à l'Action Chunking comme à un robot prenant une série de photos pour planifier son mouvement.

Le Problème : Les photos ne s'alignent pas parfaitement, donc le film semble tremblant.
L'Ancienne Solution : Vous essayez de monter les photos ensemble après les avoir prises (RTC), mais le tremblement persiste.
Legato : Vous enseignez à l'appareil photo comment prendre les photos afin qu'elles s'alignent naturellement parfaitement pendant que vous filmez. Le résultat est un film fluide et continu où le robot se déplace avec confiance et grâce.

Résumé Technique : Legato – Apprentissage de la Continuité Native pour les Politiques de Flux par Morceaux d'Actions

1. Énoncé du Problème

Les modèles Vision-Language-Action (VLA) sont de plus en plus déployés en robotique réelle en utilisant le découpage en morceaux d'actions (action chunking), une stratégie où le modèle prédit une séquence de vecteurs d'actions futurs en une seule étape d'inférence. Bien que le découpage en morceaux amortisse les coûts d'inférence et permette un contrôle à haute fréquence, il introduit un inconvénient fondamental : les discontinuités aux frontières des morceaux.

Ces discontinuités proviennent de deux facteurs principaux :

Délai d'Inférence : Le temps nécessaire pour calculer le morceau suivant crée un écart entre l'exécution du morceau courant et la génération du suivant.
Multimodalité Intrinsèque : Les politiques basées sur le flux exhibent souvent des distributions multimodales, entraînant un « basculement multimodal spurius » où la politique change brusquement de mode d'action prévu entre les morceaux.

Les solutions existantes comme le Découpage en Temps Réel (RTC) tentent d'atténuer ce problème en appliquant de l'inpainting au moment de l'inférence, contraignant partiellement les nouveaux morceaux à chevaucher les actions précédentes. Cependant, le RTC est un mécanisme externe appliqué uniquement au moment de l'inférence. Comme la politique elle-même n'est pas entraînée à gérer cette continuité, elle reste sujette à l'hésitation, aux changements brusques de direction et à des trajectoires qui ne sont pas intrinsèquement lisses. L'article soutient qu'une exécution stable par morceaux nécessite que la continuité des morceaux soit une propriété native et apprise de la politique.

2. Méthodologie : Legato

Les auteurs proposent Legato, un cadre d'apprentissage de la continuité pour les politiques VLA basées sur le flux et découpées en morceaux d'actions. Legato internalise le mécanisme de continuité en remodelant les dynamiques de flux apprises pour assurer la cohérence entre l'entraînement et l'inférence sous guidage par étape.

Composants Principaux

Legato répond à deux exigences critiques pour une continuité efficace :

Guidage par Étape : Le guidage doit être appliqué de manière répétée sur toutes les étapes de débruitage, et non seulement à l'initialisation.
Cohérence Entraînement-Inférence : Les dynamiques apprises lors de l'entraînement doivent correspondre aux dynamiques utilisées lors de l'inférence.

A. Guidage à Profil de Planification

Legato introduit une planification de guidage $\omega \in [0, 1]^H$ sur l'horizon du morceau d'actions $H$ . Cette planification est définie par trois paramètres :

$d$ : Le délai d'inférence (préfixe de guidage complet).
$s$ : La longueur exécutée par cycle.
$r$ : La longueur de descente en rampe où l'intensité du guidage diminue.
Ces paramètres satisfont $r + s + d = H$ .

Au lieu de verrouiller rigidement le préfixe (comme dans le RTC au moment de l'entraînement), Legato utilise une planification lisse : elle ancre le début du morceau aux actions connues (vérité terrain pendant l'entraînement, préfixe du morceau précédent pendant l'inférence) et réduit progressivement l'intensité du guidage jusqu'à zéro. Cela est réalisé via un mélange action-bruit :
$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$
où $\epsilon$ est le bruit et $A$ est l'action de référence.

B. Remodelage des Dynamiques de Flux

L'appariement de flux standard entraîne un champ de vitesse $u_{FM}$ pour transporter le bruit vers les actions. Cependant, l'application d'un guidage par étape au moment de l'inférence induit un système dynamique différent. Pour éliminer l'inadéquation entraînement-test, Legato dérive les dynamiques continues exactes induites par un guidage répété par étape et remodele le champ de vitesse cible pendant l'entraînement.

Le réseau est entraîné pour prédire une vitesse cible modifiée $v_{target}$ :
$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$
où $\kappa = \omega / \Delta t$ . Cela permet à la politique de supporter nativement le guidage à profil de planification sans intervention externe au moment de l'inférence.

C. Conditionnement aléatoire de la Planification

Pour gérer les latences d'inférence variables selon le matériel et les optimisations d'exécution, Legato randomise les paramètres de planification ( $d, r$ ) pendant l'entraînement. La politique est explicitement conditionnée par la planification $\omega$ (ajoutée comme une caractéristique). Cela permet à un modèle unique de s'adapter à différents délais d'inférence et de contrôler le compromis entre la lissité de la trajectoire et la cohérence du chevauchement au moment de l'inférence sans réentraînement.

3. Contributions Clés

Cadre Legato : Un cadre d'apprentissage de la continuité qui permet un guidage par étape à profil de planification tout en maintenant une stricte cohérence entraînement-inférence en remodelant les dynamiques de flux.
Conditionnement aléatoire de la Planification : Un mécanisme pour supporter les délais d'inférence variables et fournir un contrôle flexible sur la lissité de la trajectoire, permettant au modèle de généraliser à différents matériels et conditions de latence.
Validation Empirique : Des expériences extensives dans le monde réel démontrant que l'apprentissage de la continuité en tant que propriété native de la politique surpasse les méthodes de correction au moment de l'inférence.

4. Résultats Expérimentaux

Les auteurs ont évalué Legato sur cinq tâches de manipulation dans le monde réel (empilement de bols, versement, préhension et déplacement, ouverture de tiroir, pliage de serviette) en utilisant un robot à deux bras.

Métriques de Performance

Temps d'Exécution de la Tâche : Legato a systématiquement atteint des temps d'exécution plus courts (environ 10 % d'amélioration) par rapport au RTC.
Lissité de la Trajectoire : Legato a produit des trajectoires significativement plus lisses, comme en témoignent des valeurs NSPARC (Longueur d'Arc Spectrale Négative) et RMSE de Chevauchement plus faibles.
Basculement Multimodal Spurius : Legato a réduit l'hésitation et les changements brusques de direction, conduisant à des objectifs de préhension et des sélections de bras plus cohérents.

Analyse Comparative

Vs. RTC : Legato a surpassé le RTC sur les cinq tâches en termes de vitesse et de lissité.
Vs. RTC au Moment de l'Entraînement : Legato a surpassé une ligne de base appliquant des contraintes de préfixe rigides pendant l'entraînement. Les auteurs attribuent cela au remodelage des dynamiques de flux par Legato, qui s'aligne mieux avec le comportement de débruitage effectif d'un guidage répété.
Généralisation : La méthode a démontré une robustesse à travers différents backbones VLA ( $\pi_0$ , $\pi_0.5$ , Gr00t N1.6) et des délais d'inférence variables.

5. Importance et Revendications

L'article revendique que Legato représente un changement de paradigme, passant du traitement de la continuité du découpage en morceaux d'actions comme une correction externe au moment de l'inférence à une propriété native et apprise de la politique.

Lissité Intrinsèque : En remodelant les dynamiques de flux, Legato garantit que la politique comprend intrinsèquement comment transitionner entre les morceaux, réduisant le « tremblement » et l'hésitation associés au basculement multimodal.
Efficacité : La réduction de l'hésitation et des changements de direction se traduit directement par des temps d'exécution de tâches plus rapides dans des scénarios réels.
Adaptabilité : L'utilisation d'un conditionnement aléatoire de la planification permet de déployer un modèle unique à travers divers environnements matériels avec différentes latences d'inférence, une exigence critique pour un déploiement robotique pratique.

Les auteurs concluent que, bien que les formulations actuelles limitent les étapes de débruitage à une spécification au moment de l'entraînement, la méthode proposée démontre avec succès que l'apprentissage des dynamiques de continuité est supérieur à l'imposition de contraintes rigides, offrant une voie robuste vers un contrôle robotique réel plus lisse et plus efficace.