Résumé Technique : ExToken : Une exploration structurée pour un ajustement fin efficace de l'apprentissage par renforcement Vision-Langage-Action

1. Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont montré leur potentiel dans la manipulation robotique, et l'apprentissage par renforcement (RL) offre un paradigme pour le post-entraînement de ces modèles via l'interaction avec l'environnement. Cependant, la scalabilité pratique du VLA-RL est sévèrement contrainte par l'inefficacité d'échantillonnage. Les architectures VLA à grande échelle entraînent des coûts prohibitifs et des risques de sécurité lorsqu'elles sont soumises à des essais et erreurs étendus dans des environnements physiques ou simulés.

Les auteurs identent un goulot d'étranglement spécifique dans les cadres actuels de VLA-RL : la stagnation de l'exploration menant à un effondrement du mode d'action (action mode collapse). Les mécanismes d'échantillonnage stochastiques standards, à mesure que l'entraînement progresse, font que les politiques génèrent des trajectoires de plus en plus homogènes. L'agent exploite de manière répétée des schémas d'action similaires, ce qui entraîne une collecte de données redondante qui ne parvient pas à améliorer la couverture état-action. Le papier pose comme hypothèse que le problème fondamental n'est pas simplement un manque de volume de données, mais un manque de diversité des trajectoires.

2. Méthodologie : ExToken

Pour remédier à la stagnation de l'exploration, les auteurs proposent ExToken (RL Exploration Token), un cadre qui conditionne les politiques VLA sur des priors comportementaux discrets dérivés de démonstrations hors ligne afin de permettre une exploration structurée. Le cadre se compose de deux composantes principales :

A. Formulation et Conditionnement des Tokens

Au lieu de s'appuyer sur un bruit stochastique non structuré, ExToken exploite la diversité comportementale inhérente aux jeux de données de démonstrations hors ligne.

1. Génération de Tokens : Un encodeur vidéo pré-entraîné extrait des caractéristiques spatio-temporelles latentes d'un jeu de données de démonstration $\mathcal{D}$. Un partitionnement en $K$-moyennes (K-means clustering) est effectué dans cet espace latent pour identifier $K$ centroïdes de clusters $\{c_1, \dots, c_K\}$. Chaque centroïde définit un token d'exploration discret correspondant à un mode comportemental distinct.
2. Préchauffage Conditionné par les Tokens : Avant le RL, une phase d'ajustement supervisé (SFT) aligne la politique avec ces tokens. Chaque trajectoire de démonstration est appariée à son token de cluster correspondant, permettant à la politique d'apprendre l'association entre des tokens spécifiques et des modes comportementaux.
3. Exploration Structurée pendant le RL : Durant la phase d'interaction RL, la politique est conditionnée par un token d'exploration échantillonné uniformément $k \sim \mathcal{U}(1, K)$ prépendé à la séquence d'entrée. Cela oriente explicitement l'agent vers différents modes comportementaux, empêchant l'effondrement du mode d'action et améliorant la diversité des rollouts.

B. Sélecteur de Tokens Conditionné par l'État

Pour combler le fossé entre l'exploration stochastique de l'entraînement et l'inférence déterministe lors du déploiement, ExToken incorpore un Sélecteur de Tokens $\phi$.

• Architecture : Étant donné une observation initiale $s_0$ (image et langage), un encodeur SigLIP pré-entraîné suivi d'une tête MLP prédit une distribution catégorielle sur l'espace des tokens.
• Entraînement : Le sélecteur est optimisé conjointement avec la politique VLA. Tandis que la politique est mise à jour via des objectifs de RL standards, le sélecteur est optimisé au niveau de l'épisode en utilisant REINFORCE. L'objectif maximise l'espérance de la récompense de la trajectoire $R(\tau)$ pour le token sélectionné, encourageant le sélecteur à prédire le mode comportemental le plus efficace pour un état initial donné.
• Inférence : Lors du déploiement, le sélecteur produit de manière déterministe le token le plus probable ($\arg\max$), assurant un comportement stable et contextuel sans échantillonnage aléatoire.

3. Principales Contributions

Le papier expose trois contributions majeures :

1. Insight Empirique : Les auteurs démontrent que la diversité des trajectoires est fondamentalement plus critique pour l'efficacité d'échantillonnage que la simple quantité de rollouts collectés. Ils montrent qu'en écartant les trajectoires homogènes et en s'entraînant sur un sous-ensemble diversifié, on obtient des performances comparables à un entraînement sur le double du volume de rollouts standards.
2. Cadre ExToken : Ils introduisent un cadre simple et général qui guide les politiques VLA vers des modes comportementaux structurés via un conditionnement par tokens discrets. Il combine de manière unique l'exploration conditionnée par les tokens et un sélecteur de tokens conditionné par l'état pour l'inférence déterministe.
3. Performance Robuste : Des expériences approfondies montrent qu'ExToken accélère systématiquement la convergence de la politique, améliore les taux de succès des tâches et maintient sa robustesse sous des budgets d'interaction très contraints (ex: nombre limité de rollouts) et des variations environnementales.

4. Résultats Expérimentaux

Les auteurs ont évalué ExToken sur des tâches de manipulation robotique simulées et réelles.

Simulation (Benchmark LIBERO)

• Configuration : ExToken a été testé sur quatre suites de tâches LIBERO (Spatial, Object, Goal, Long) en utilisant OpenVLA-OFT comme politique de base et GRPO pour l'optimisation. Le budget d'interaction était strictement limité à 512 trajectoires par étape.
• Performance : ExToken a atteint un taux de succès moyen de 98,2 %, surpassant le solide baseline RLinf-GRPO (96,8 %) sous le même budget exact.
• Efficacité : Les courbes d'apprentissage indiquent qu'ExToken converge plus rapidement que les baselines. Notamment, sur la suite difficile LIBERO-Long, ExToken a amélioré le taux de succès de 95,2 % à 97,8 %.
• Ablation : L'entraînement avec 512 rollouts diversifiés (via ExToken) a égalé la performance de 1024 rollouts standards, validant l'hypothèse que la diversité l'emporte sur le volume.

Expériences en Monde Réel

• Tâches : Quatre tâches ont été évaluées : Plier des vêtements, Essuyer une table, Verser de l'eau et Insérer un stylo.
• Budget : Les expériences ont été menées sous des contraintes strictes (20 rollouts par itération).
• Résultats : ExToken a surpassé la baseline Evo-RL d'une moyenne de 6,25 % dans les configurations originales.
• Généralisation : Crucialement, ExToken a démontré une robustesse supérieure aux variations environnementales (objets inédits, changements de fond, éclairage). Alors que les baselines ont subi des chutes de performance de 10 à 25 %, la dégradation d'ExToken a été limitée à 5-15 %, grâce à l'exposition de la politique à des motifs d'interaction variés durant l'entraînement.

Analyse

• Clustering de Tokens : La visualisation a confirmé que les tokens capturaient des modes comportementaux distincts (ex: redressement correctif vs lissage lors du pliage de tissu).
• Espace d'Exploration : L'analyse de la position 3D de l'effecteur terminal a montré que l'exploration conditionnée par les tokens couvrait une région spatiale significativement plus large par rapport à l'exploration stochastique standard.
• Contraintes : ExToken est resté robuste même lorsque le budget de rollout était réduit de 512 à 256, surpassant les baselines qui nécessitaient le double de données pour atteindre des résultats similaires.

5. Signification et Revendications

Le papier affirme qu'ExToken traite un goulot d'étranglement fondamental du VLA-RL : le compromis entre le coût de l'exploration et l'efficacité d'échantillonnage. En déplaçant l'accent de "collecter plus de données" vers "collecter des données plus diverses" via le conditionnement par tokens structurés, ExToken permet une optimisation de politique efficace sous des budgets d'interaction serrés.

Les auteurs positionnent ExToken comme un cadre léger et largement compatible qui peut être intégré dans diverses architectures VLA et paradigmes de RL (en ligne et hors ligne itératif). Ils soulignent que la méthode ne nécessite pas de changements architecturaux complexes mais exploite plutôt le conditionnement d'entrée pour guider l'exploration.

Limites et Travaux Futurs :
Les auteurs notent modestement que la conception actuelle est une validation simplifiée de l'hypothèse centrale. Les directions futures incluent :

• La joint optimisation des représentations de tokens avec la politique.
• L'introduction du dropout probabiliste des tokens pour un ensembling implicite.
• Le passage d'un token d'état initial unique à des tokens conditionnés temporellement pour gérer des tâches complexes à long terme où les stratégies d'exploration doivent changer dynamiquement.