Résumé Technique : Apprentissage par Renforcement de Requêtes Élastiques (EQRL)

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) sont apparus comme de puissants générateurs pour la manipulation robotique, utilisant généralement des architectures basées sur le flux ou la diffusion pour produire des blocs d'actions temporellement cohérents. Cependant, les interfaces d'exécution actuelles sont rigides : elles emploient des budgets de débruitage (étapes d'échantillonnage) fixes et des longueurs de blocs d'actions fixes, quel que soit l'indice de difficulté de l'état. Cette rigidité entraîne une inefficacité ; les états faciles (ex. : mouvement en espace libre) reçoivent souvent un calcul excessif et un replanification fréquente, tandis que les états difficiles (ex. : alignement riche en contact ou récupération) peuvent souffrir d'un retour d'information et de ressources computationnelles insuffisants. Les méthodes de post-entraînement existantes qui adaptent les VLA via le pilotage dans l'espace latent laissent souvent l'ordonnancement de l'exécution (budget d'échantillonnage et longueur de bloc) comme des hyperparamètres manuels, empêchant la politique d'allouer dynamiquement le calcul en fonction de la difficulté de l'état.

Méthodologie : Cadre EQRL

Les auteurs proposent l'Apprentissage par Renforcement de Requêtes Élastiques (EQRL), un cadre qui traite l'exécution du VLA comme un problème de décision conjoint sur le pilotage latent, le budget de débruitage et la longueur du bloc d'actions, sans ajustement fin (fine-tuning) du modèle VLA gelé sous-jacent.

1. Actions de Requête de l'Ordonnancement Latent

À chaque requête $j$, un adaptateur de RL léger (acteur) observe l'état actuel $o_{t_j}$ et produit une action conjointe $u_j = (w_j, z^K_j, z^C_j)$ :

• $w_j$ : Une variable de pilotage latente qui guide l'échantillonneur VLA gelé.
• $z^K_j, z^C_j$ : Des variables d'ordonnancement continues représentant des résidus autour des ordonnancements de base pour le budget de débruitage ($K$) et la longueur du bloc ($C$).

2. Paramétrage de l'Ordonnancement Guidé par la Difficulté

Pour garantir que l'ordonnancement soit conscient de la difficulté de l'état, EQRL utilise un ensemble de critiques $\{Q^{(i)}_\psi\}$ entraîné sur l'espace d'action conjoint latent-ordonnancement.

• Signal de Difficulté : Le système dérive un signal de difficulté d'état $s(o)$ à partir du désaccord (écart-type) des prédictions de l'ensemble des critiques au niveau de l'ordonnancement de base. Un désaccord élevé indique une difficulté élevée.
• Prior d'Ordonnancement : Ce signal génère un « prior d'ordonnancement » qui alloue plus d'étapes de débruitage ($K$) et des blocs plus courts ($C$) aux états difficiles, et moins d'étapes/blocs plus longs aux états faciles.
• Ordonnancement Final : Les paramètres d'exécution finaux sont une combinaison de ce prior dérivé de la difficulté et des résidus appris par l'acteur, découpés (clipped) aux plages entières valides.

3. Objectif d'Apprentissage au Niveau de la Requête

EQRL formule le problème comme un apprentissage par renforcement de macro-actions au niveau de la requête :

• Macro-Transitions : L'exécution d'un bloc de longueur $C$ induit une macro-transition dans l'environnement. La mise à jour de Bellman utilise un facteur de remise dépendant du bloc $\gamma^L$ (où $L$ est le nombre réel d'étapes exécutées).
• Structure de Récompense :
  • Récompense de Tâche : Un bonus de succès terminal est assigné à la requête finale d'un épisode réussi.
  • Coût de Calcul : Un budget amorti de Nombre d'Évaluations de Fonctions (NFE) par épisode est imposé. Le coût est défini par le ratio du total des étapes de débruitage sur le total des actions exécutées ($\sum K / \sum C$). Les épisodes dépassant une bande de budget subissent des pénalités, tandis que ceux se situant dans la bande reçoivent un bonus d'économie.
• Optimisation : L'acteur est optimisé à l'aide d'un objectif d'entropie maximale (de type SAC) pour maximiser la valeur Q du critique tout en maintenant l'entropie. Une perte d'alignement auxiliaire encourage l'allocation de calcul locale de l'acteur à correspondre au signal de difficulté dérivé du critique.

Contributions Clés

1. Formulation de l'Exécution Élastique : L'article formule l'exécution du VLA gelé comme un problème de RL au niveau de la requête où la politique sélectionne conjointement le pilotage latent, le budget de débruitage et la longueur du bloc d'actions.
2. Guidage par Difficulté Dérivé du Critique : Il introduit un mécanisme pour dériver des signaux d'allocation de calcul dépendants de l'état à partir du désaccord de l'ensemble des critiques, permettant à la politique de « savoir » quand dépenser plus de calcul.
3. RL de Macro-Actions à Longueur Variable : Les auteurs développent un cadre d'entraînement pour les blocs de longueur variable utilisant des remises dépendantes du bloc et un objectif de NFE amorti par épisode pour équilibrer performance et efficacité.

Résultats Expérimentaux

Les auteurs ont évalué EQRL sur les benchmarks de simulation LIBERO et ALOHA, ainsi que sur des tâches de manipulation robotique réelle en mode hors-ligne et en ligne (utilisant des plateformes DISCOVER Robotics).

• Performance en Simulation : EQRL a atteint des taux de succès de pointe ou améliorés par rapport aux bases de référence (DSRL, RLinf-Noise, RLinf-SDE) tout en réduisant considérablement les coûts d'inférence.
  • Sur LIBERO-4Tasks, EQRL a amélioré l'AUC de succès de 0,04 et réduit le NFE relatif de 24,3 %.
  • Sur ALOHA-Cube, EQRL a atteint 100 % de succès final (contre 0,94 pour DSRL) et a réduit le NFE relatif de 20,0 %.
• Performance sur Robot Réel : Dans les contextes hors-ligne et en ligne, EQRL a maintenu un succès de tâche comparable ou supérieur tout en réduisant le NFE relatif d'environ 32 % et en réduisant le temps de trajectoire (wall-clock time) de 11 à 17 %.
• Études d'Ablation : Les expériences sur la tâche « Put Cheese » ont démontré que les gains ne sont pas simplement dus à la réduction du budget de calcul moyen. Les variantes qui n'ajustaient que les étapes, ou uniquement les blocs, ou qui utilisaient un budget fixe sans conscience de la difficulté, ont été moins performantes. Cela confirme la nécessité d'un ordonnancement conjoint et d'une conscience de la difficulté dérivée du critique.

Signification et Revendications

L'article affirme que l'exécution des VLA est fondamentalement un problème d'allocation de ressources dépendant de l'état. EQRL démontre qu'une politique VLA gelée peut devenir « élastique » grâce à un adaptateur léger qui apprend à allouer dynamiquement les ressources de calcul.

• Efficacité sans Fine-Tuning : La méthode préserve les priors comportementaux du VLA pré-entraîné tout en adaptant l'efficacité de l'exécution, évitant le coût d'un ajustement fin complet du modèle.
• Exécution Adaptative : En dépensant plus de calcul et de feedback lors des phases difficiles (ex. : alignement de contact) et moins lors des phases faciles (ex. : approche en espace libre), EQRL améliore le compromis entre coût d'inférence et succès de la tâche.
• Praticité : Les résultats suggèrent que le requêtage élastique est une interface viable pour l'apprentissage robotique réel, traduisant les économies de calcul en accélérations pratiques et en meilleurs compromis temps de contact/performance.

Les auteurs reconnaissent des limites, notant que l'entraînement hors-ligne ne peut pas observer parfaitement les effets causaux de différents ordonnancements sans retour d'information de l'environnement, et que l'adaptation actuelle sur robot réel nécessite un ajustement fin par tâche, limitant la généralisation à travers des compétences de manipulation très différentes.