🤖 machine learning

$\pi\mathbf{R}^2$ : Reactive Real-time Flow Policies

Le papier introduit $\pi\mathbf{R}^2$ , un cadre qui améliore les politiques de flux de découpage d'actions généralistes par une réactivité en temps réel en découplant le conditionnement proprioceptif rapide du conditionnement visuel lent et en employant un ordonnancement de flux adaptatif à la latence, permettant ainsi un contrôle en boucle fermée à haute fréquence et améliorant significativement les taux de réussite dans les tâches de manipulation dynamiques sans nécessier de nouvelles architectures d'arrière-plan.

Auteurs originaux : Sungjae Park, Shubham Tulsiani

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sungjae Park, Shubham Tulsiani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jongler. Dans le monde de la robotique, il existe une forte poussée pour construire des « modèles de fondation » — des cerveaux d'IA massifs et super intelligents capables d'apprendre à presque tout faire en observant les humains. Ces cerveaux sont comme de gigantesques bibliothèques de connaissances, lisant des livres (texte) et regardant des images (vision) pour comprendre le monde. Pour faire bouger ces cerveaux, les ingénieurs utilisent une astuce appelée « action chunking » (découpage en blocs d'actions). Au lieu de dire au robot « déplace ta main ici, puis là, puis là » une toute petite étape à la fois, l'IA prédit un bloc entier de mouvements futurs d'un seul coup, comme un chef qui rédigerait une recette complète avant de commencer à cuisiner. Cela rend les mouvements du robot plus fluides et plus cohérents.

Cependant, il y a un pièat. Parce que l'IA est si grande et complexe, elle met beaucoup de temps à concocter cette recette complète. Avant que le robot n'ait fini d'exécuter les premières étapes de la recette, le monde autour de lui peut avoir changé — une balle peut avoir roulé au loin, ou une personne a pu heurter son bras. Puisque le robot est occupé à exécuter l'ancienne recette en « boucle ouverte » (sans regarder ce qui se passe actuellement), il ne peut pas réagir assez vite. C'est comme essayer de conduire une voiture en portant un bandeau qui ne vous permet de voir la route que telle qu'elle était il y a dix secondes. Si vous voulez que le robot soit véritablement réactif, vous devez regarder la route maintenant, mais le cerveau massif est trop lent pour mettre à jour sa recette aussi souvent.

C'est là qu'intervient une nouvelle idée appelée πR2 (prononcé « Pi-R-Squared »). Des chercheurs de l'Université Carnegie Mellon ont réalisé que si les « yeux » et le « cerveau » du robot (les parties vision et langage) sont lents et lourds, son « sens du corps » (la proprioception — savoir où se trouvent ses articulations, à quelle vitesse elles bougent et avec quelle force elles poussent) est incroyablement rapide. Ils ont construit un système qui divise l'attention du robot en deux canaux : un canal lent et lourd pour la vue d'ensemble (ce à quoi l'objet ressemble) et un canal ultra-rapide pour les sensations immédiates du corps.

Voyez cela comme un pilote de ligne. Le pilote regarde la carte et le rapport météorologique (la partie vision lente) pour décider de la direction générale, mais il ressent constamment les commandes et le vent dans ses mains (la partie proprioception rapide) pour effectuer des ajustements minuscules et instantanés. πR2 permet au robot de faire la même chose. Il conserve la grande recette lente pour le plan général, mais met à jour les mouvements immédiats du « volant » avec des données fraîches à chaque fois que le robot bouge un muscle.

L'article montre que cette approche change la donne. En utilisant une astuce de planification intelligente qui traite les actions actuelles du robot comme un « travail en cours » plutôt que comme un produit fini, πR2 peut mettre à jour son plan environ 4 fois plus vite que les méthodes précédentes. Lors des tests, cela a permis au robot de réagir à de nouvelles informations toutes les 40 millisecondes (soit 25 fois par seconde), même en fonctionnant sur un modèle d'IA massif et lent.

Les résultats sont impressionnants. Dans les simulations informatiques, la nouvelle méthode a amélioré les taux de réussite jusqu'à 23 %. Mais la véritable magie s'est produite dans le monde physique. Lors de tests sur un véritable bras robotique doté d'une main dextre, πR2 a battu les meilleures méthodes existantes jusqu'à 30 %. Il pouvait rattraper un livre qui tombait, redresser une boîte ou ranger une pile de livres sans les faire tomber, tout cela parce qu'il pouvait sentir le monde changer et ajuster sa prise instantanément, plutôt que de suivre aveuglément un vieux plan. Les chercheurs ont constaté que, tandis que d'autres robots écraseraient un livre parce qu'ils réagiraient trop tard, πR2 ajusterait doucement sa prise au moment même où il sent le livre glisser. Cela suggère que pour que les robots maîtrisent véritablement des tâches dynamiques du monde réel, ils n'ont pas seulement besoin d'être plus intelligents ; ils ont besoin d'être plus rapides pour écouter leur propre corps.

Résumé Technique : πR2 : Politiques de Flux Réactives en Temps Réel

Énoncé du Problème

Les avancées récentes des modèles de fondation pour la robotique ont établi une architecture standard combinant de larges dorsaux pré-entraînés (par exemple, des modèles de vision-langage ou VLM), des têtes de politique multimodales expressives (diffusion ou flow matching), et un découpage d'actions (action chunking). Bien que ce paradigme permette un apprentissage par imitation scalable, il souffre de deux limitations critiques lorsqu'il est appliqué au contrôle en boucle fermée dynamique :

Réactivité Réduite : Les blocs d'actions (action chunks) sont exécutés en boucle ouverte. Une fois qu'un bloc est prédit, le robot ne peut pas réagir aux entrées sensorielles arrivant en cours d'exécution jusqu'à la génération du bloc suivant.
Latence Élevée : Le pipeline perception-action implique un calcul lourd (inférence du backbone massif + multiples étapes de débruitage). Cette latence empêche un replanification fréquente, forçant la politique à se reposer sur des observations sensorielles « obsolètes ». Par conséquent, le robot s'engage dans des actions basées sur des états périmés, ce qui le rend inadapté aux tâches nécessitant des corrections rapides, fluides et réactives (par exemple, la manipulation riche en contacts).

Réduire simplement la taille du bloc pour améliorer la réactivité est irréalisable car le coût computationnel du backbone et des multiples itérations de débruitage reste trop élevé pour des boucles de contrôle à haute fréquence.

Méthodologie

Les auteurs proposent πR2, un cadre qui modifie les politiques de flow-matching existantes pour atteindre une réactivité en boucle fermée en temps réel sans abandonner les larges dorsaux ni la prédiction multi-actions. L'approche repose sur deux innovations architecturales et de planification fondamentales :

1. Diffusion Conditionnée par la Proprioception (Proprioception-Reactive Diffusion Forcing)

Les auteurs identent une asymétrie dans les coûts de traitement des entrées : les signaux proprioceptifs (positions articulaires, vitesses, couples) peuvent être traités avec un ordre de grandeur de rapidité supérieur aux données visuelles ou linguistiques.

Conditionnement à Double Canal : La politique sépare le conditionnement en deux canaux :
- Canal Rapide : La proprioception, mise à jour à chaque cycle de contrôle (par exemple, toutes les 40 ms).
- Canal Lent : Les caractéristiques visuelles et linguistiques issues du backbone VLM, mises à jour de manière asynchrone.
Traitement Asynchrone : La tête d'action se conditionne sur une proprioception fraîche à chaque étape de débruitage tout en tolérant une obsolescence bornée des caractéristiques vision-langage. Pendant l'entraînement, le canal lent est artificiellement retardé par un montant aléatoire $d_{vlm}$ pour apprendre au modèle à gérer des entrures visuelles obsolètes. À l'inférence, les caractéristiques vision-langage sont traitées dans un thread de fond, permettant à la tête d'action de s'exécuter immédiatement en utilisant les caractères fraîchement captés et la proprioception actuelle.
L'approche permet de maintenir la fluidité malgré le délai.

2. Calendrier de Flux Adaptatif à la Latence (Latency-Adaptive Flow Schedule)

Pour gérer les délais d'inférence variables ( $d$ ) causés par le matériel, la latence réseau ou la charge de calcul, πR2 introduit un calendrier de bruit en escalier paramétré par le délai mesuré $d$ .

Calendrier à Trois Régions : Pour un délai cible $d$ $d$ , le bloc d'actions de longueur $H$ $H$ est divisé en :
1. Avant-plan (Front) ( $0 \le p < d$ ) : Actions « en vol » qui sont déjà en cours d'exécution. Celles-ci sont traitées comme un conditionnement par inpainting (clamped clean) et ne sont pas repredites.
2. Intérieur ( $d \le p < H-d$ ) : Une rampe linéaire du signal propre vers le bruit. Le modèle prédit de nouvelles actions ici.
3. Queue (Tail) ( $H-d \le p < H$ ) : Créneaux de pur bruit ajoutés au tampon pour une prédiction future.
Inférence en une seule étape : Contrairement au flow matching standard qui nécessite $K$ étapes de débruitage pour prédire un bloc complet, πR2 utilise une seule étape de débruitage par appel pour émettre $d$ nouvelles actions propres. Le tampon glisse ensuite vers l'avant, ajoutant de nouveaux créneaux de bruit.
Stratégie d'Entraînement : Le modèle est entraîné en échantillonnant un délai $d$ aléatoire et en appliquant le calendrier en escalier correspondant. Un masque exclut les actions de l'« avant-plan » (en vol) de la perte (loss). Cela permet à un seul modèle de s'adapter à diverses latences d'inférence lors du déploiement.

Contributions Clés

Inférence Réactive en Temps Réel : πR2 permet aux politiques de flux de replanifier en boucle fermée environ 4 fois plus vite que les politiques de base (atteignant 25 Hz sur un GPU A5000 avec un VLA massif comme GR00T-N1.7), en agissant sur des observations proprioceptives fraîches toutes les 40 ms.
Minimalisme Architectural : La méthode nécessite une modification minimale des architectures existantes. Elle peut être appliquée en affinant (finetuning) une politique pré-entraînée (ex: un VLA) sans réentraîner le backbone lourd, simplement en changeant le mécanisme de conditionnement et le calendrier de bruit.
Adaptation à la Latence : Le calendrier de bruit proposé permet à un seul modèle de gérer de manière fluide des délais d'inférence variables, maintenant une exécution stable même lorsque le délai fluctue.

Résultats Expérimentaux

Les auteurs ont évalué πR2 en simulation et dans le monde réel en utilisant le modèle GR00T-N1.7 sur une plateforme xArm6 + XHand.

Simulation (Réorientation de Cube - Leap Cube Reorientation) :
- Sans délai d'inférence, πR2 égale les performances des politiques de flux standard avec un petit horizon d'exécution ( $h=1, 2$ ) tout en amortissant le coût de débruitage.
- Sous des contraintes de latence réalistes, πR2 avec traitement asynchrone surpasse significativement les baselines (Naive Async, Train-Time RTC). À mesure que le délai augmente, πR2 maintient des taux de succès élevés, tandis que les baselines se dégradent fortement. Cela confirme que la proprioception à jour est critique pour les tâches réactives, même avec une vision obsolète.
Manipulation dans le Monde Réel :
- Les tâches incluaient des scénarios riches en contacts : « Ne pas renverser » (Don't Spill), « Ranger un livre » (Tidy Up Book), « Insérer une boîte » (Insert Box) et « Attraper un livre » (Catch Book).
- Performance : πR2 améliore les taux de succès jusqu'à 23 % en simulation et 30 % dans le monde réel par rapport à la meilleure baseline (Train-Time RTC).
- Analyse Qualitative : Dans la tâche « Ranger un livre », πR2 a réussi à moduler la force de préhension basée sur le feedback proprioceptif en direct (s'arrêtant à environ 50 N), alors que la baseline (Train-Time RTC) a réagi tardivement au contact, sur-pressant (~120 N) et écrasant le livre. πR2 a démontré une capacité supérieure à récupérer des échecs et à exécuter des mouvements réactifs fluides.

Signification et Revendications

L'article affirme que πR2 comble avec succès l'écart entre l'expressivité des grands modèles de fondation et la réactivité requise pour la manipulation dynamique. En découplant le backbone sémantique lent de la boucle de contrôle rapide et en adaptant le calendrier de flux, πR2 permet aux robots de :

Réagir aux entrées sensorielles (spécifiquement la proprioception) au sein d'un bloc d'actions.
Conserver les avantages de la prédiction multi-actions et des larges dorsaux pré-entraînés.
Atteindre des fréquences de contrôle en boucle fermée en temps réel (25 Hz) qui étaient auparavant inaccessibles avec des architectures VLA complexes.

Les auteurs soulignent que cette approche ne nécessite pas d'entraînement à partir de zéro, mais plutôt un affinement (finetuning) principiel des politiques existantes, ce qui en fait une solution pratique pour déployer des comportements réactifs sur les modèles de fondation robotiques actuels.