Résumé Technique : SARM2 – Modélisation de Récompense Multi-Tâche Sensible aux Étapes pour l'Auto-Amélioration de la Manipulation Robotique

1. Énoncé du Problème

Les modèles Vision-Language-Action (VLA) ont établi l'apprentissage de politiques de bout en bout comme un paradigme dominant dans la manipulation robotique. Cependant, ces modèles peinent généralement avec les tâches à long horizon sans un réglage fin (fine-tuning) intensif sur des données domestiques. Le Supervised Fine-Tuning (SFT) repose sur des démonstrations humaines de haute qualité et coûteuses, et reste sujet aux échecs hors distribution (OOD). Bien que l'Apprentissage par Renforcement (RL) offre une voie vers l'auto-amélioration, il fait face à deux goulots d'étranglement critiques :

1. Récompenses Éparses (Sparse Rewards) : Les méthodes de RL en ligne existantes reposent souvent sur des récompenses terminales éparses, qui ne fournissent pas la supervision dense par étape nécessaire pour les tâches à long horizon et riches en contacts.
2. Limitations des Modèles de Récompense : Les approches actuelles de modélisation de récompense se répartissent en deux catégories sous-optimales :
   • Modèles Spécifiques à la Tâche : Précis mais nécessitent des annotations et un réentraînement par tâche (ex: SARM), ce qui limite la scalabilité.
   • Modèles VLM à Usage Général : Largement applicables mais produisent des prédictions grossières et bruitées au niveau de l'étape, les rendant inadaptés comme signaux de supervision denses pour la progression fine de la manipulation.

L'article pose que le passage à l'échelle du VLA-RL nécessite un modèle de récompense qui soit simultanément dense (par étape), précis (fidèle à la progression de la tâche) et général (applicable à diverses tâches sans réentraînement).

2. Méthodologie

Les auteurs proposent SARM2 (Multi-Task Stage Aware Reward Modeling) et SPIRAL (Self-Policy Improvement via Reward-Aligned Learning).

3.1 SARM2 : Modèle de Récompense Multi-Tâche Sensible aux Étapes

SARM2 traite le compromis entre généralisation et précision en combinant un estimateur d'étapes agnostique à la tâche avec une tête de valeur spécialisée.

• Estimateur d'Étapes de Primitives d'Action :

  • Au lieu d'annotations d'étapes spécifiques à la tâche, le modèle utilise un vocabulaire partagé de primitives d'action (ex: "Prendre", "Poser", "Tourner", "Effacer") comme représentation intermédiaire.
  • Sur la base d'une analyse de plus de 10 000 heures de données de manipulation, les auteurs ont identifié K=21 primitives d'action qui couvrent >90 % de la durée des tâches, plus une classe "nulle" pour l'incertitude.
  • L'estimateur est un Transformer causal à 4 couches qui prend en entrée des images multi-vues (poignet-gauche, poignet-droite, vue de dessus) et des états proprioceptifs. Il classifie le segment actuel dans l'une des K+1=22 classes de primitives.
  • Cet estimateur est entraîné sur un ensemble équilibré de 66 heures de segments couvrant 100 tâches, lui permettant de généraliser à travers différents domaines.

• Tête de Valeur Multi-Gate Mixture-of-Experts (MMoE) :

  • Pour produire des estimations de valeur denses (spécifiquement, les étapes restantes normalisées jusqu'à l'achèvement), SARM2 emploie un décodeur MMoE.
  • Architecture : Le modèle de valeur utilise un backbone Transformer causal de 6 couches séparé. Il reçoit les mêmes entrées visuelles/proprioceptives que l'estimateur d'étapes, plus l'embedding de la tâche et l'embedding de la primitive prédit par l'estimateur d'étapes.
  • Mécanisme de Routage : La primitive prédite sélectionne une porte spécifique dans l'MMoE. Chaque porte route les tokens vers un pool partagé d'experts (MLP à 3 couches). Cette conception permet au modèle de se spécialiser dans la dynamique visuelle et les signatures de progression de groupes de primitives spécifiques tout en partageant la capacité entre les tâches.
  • Objectif : Le modèle prédit une récompense dense $r_t \in [-1, 0]$ représentant la progression restante. La fonction de perte combine l'erreur quadratique moyenne (MSE) sur la distance à l'objectif avec des pertes auxiliaires pour l'équilibre des portes et l'entropie afin d'éviter l'effondrement du routeur.

3.2 SPIRAL : Cadre d'Amélioration de Politique par Auto-Alignement

SPIRAL est un cadre de RL en ligne guidé par la récompense, conçu pour créer un "volant d'inertie de données robotiques" (robot data flywheel) grâce aux récompenses denses de SARM2.

• Substrat de RL Résiduel : SPIRAL s'appuie sur le cadre DICE-RL, utilisant une approche d'apprentissage résiduel où une politique résiduelle corrige les sorties d'une politique VLA de base.
• Objectif Hybride :
  • Composante Dense : Utilise TD3 avec des récompenses denses par étape fournies par SARM2.
  • Composante Éparse : Combine cela avec un objectif de Monte Carlo (MC) piloté par des récompenses éparses par épisode pour assurer l'alignement avec l'objectif ultime de la tâche.
• Boucle Autonome : Le cadre fonctionne en boucle fermée :
  1. Initialisation : Fine-tuning d'une politique VLA de base via le Clonage de Comportement (BC).
  2. Adaptation Ponctuelle : Un petit ensemble de rollouts annotés par des humains adapte le modèle de récompense à la distribution de rollout de la politique.
  3. Auto-Amélioration : Le système collecte des rollouts de manière autonome, les ré-étiquette avec le SARM2 adapté, et met à jour la politique via le RL résiduel. Ce cycle se répète sans intervention humaine supplémentaire.

3. Contributions Clés

1. SARM2 : Un modèle de récompense multi-tâche sensible aux étapes qui couple un estimateur d'étapes par primitives généralisables avec une tête de valeur MMoE multi-portes. Cette architecture produit des récompenses denses précises à travers diverses tâches à long horizon au sein d'un seul modèle, éliminant le besoin de réentraînement par tâche.
2. SPIRAL : Un cadre de RL résiduel en ligne aligné sur la récompense qui exploite les récompenses denses de SARM2 pour permettre le raffinement continu de la politique à partir de rollouts autonomes peu coûteux, fermant ainsi un volant d'inertie de données robotiques autonome.
3. Validation Empirique : Démonstration que des récompenses denses de haute qualité sont critiques pour un auto-amélioration stable, montrant des gains substantiels par rapport aux bases à récompense éparse et aux modèles basés sur les VLM sur des tâches réelles.

4. Résultats Expérimentaux

Les auteurs ont évalué SARM2 et SPIRAL sur un benchmark de 10 tâches et deux tâches spécifiques à long horizon en conditions réelles : Plier un short (Folding Shorts) et Nettoyer un tableau blanc (Cleaning Whiteboard).

Performance du Modèle de Récompense

• Précision : SARM2 a réduit l'erreur quadratique moyenne (MSE) sur les démonstrations non vues de 80 % par rapport aux bases les plus fortes (ReWiND, TOPReward, Robometer).
• Généralisation : Sur la tâche "Nettoyage du tableau blanc" (T2), SARM2 a atteint une corrélation de classification de rollout ($\rho$) de 0,667, surpassant nettement les modèles à usage général basés sur les VLM (qui affichent souvent des corrélations négatives dues à un excès d'optimisme).
• Ablations : Supprimer l'estimateur d'étapes augmente la perte sur les démos d'environ 70 % ; supprimer la conception multi-porte augmente la perte d'environ 30 %. Cela confirme que l'awareness des étapes et le routage MMoE sont synergiques.
• Santé du Routeur : Le routage MMoE est resté équilibré (Score de densité ~0,10), tandis que les variantes à porte unique ont souffert d'un effondrement du routeur (Densité > 0,80).

Performance de l'Apprentissage de Politique (SPIRAL)

• Plier un Short :
  • Flat (Lisse) : Le taux de succès est passé de 58 % (BC/RL-Dense initial) à 100 % après 3 cycles de SPIRAL avec SARM2.
  • Crumpled (Froissé - Plus difficile) : Le taux de succès est passé de 33 % à 67 %. Notamment, les bases à récompense éparse ont dégradé la performance sur cette tâche (tombant à 17 %), soulignant la nécessité de récompenses denses.
• Nettoyer un Tableau Blanc :
  • Le taux de succès est passé de 50 % à 90 %.
  • Le score de progression moyen est passé de 0,813 à 0,975.
• Comparaison : SPIRAL avec SARM2 a systématiquement surpassé toutes les bases, y compris les modèles de récompense VLM fine-tunés via LoRA (Robometer-FT) et le RL à récompense éparse. Les résultats indiquent que si la densité est nécessaire, la qualité et la sensibilité aux étapes de la récompense sont les véritables goulots d'étranglement pour une auto-amélioration efficace.

5. Signification et Revendications

L'article affirme que SARM2 et SPIRAL démontrent que les récompenses denses de haute qualité sont le "facteur porteur" d'un volant d'inertie de données robotiques auto-entretenu. Le travail conteste l'idée que les VLM à usage général sont suffisants pour le contrôle robotique fin, montant qu'une approche structurée, basée sur des primitives, est nécessaire pour une estimation précise de la progression.

Les auteurs soulignent que leur méthode permet un raffinement continu de la politique sur des tâches à long horizon avec un minimum d'intervention humaine après une phase d'adaptation initiale. En découplant l'estimation des étapes (primitives généralisables) de l'estimation de la valeur (experts spécialisés), ils parviennent à un modèle qui est à la fois scalable à travers les tâches et assez précis pour guider le RL en ligne.

Limitations reconnues par les auteurs :

• Portée de l'incarnation (Embodiment) : Le vocabulaire de primitives d'action est dérivé de données de table-top bimanuel ; étendre cela à la manipulation mobile nécessite de reconstruire l'ensemble des primitives.
• Plafond du RL Résiduel : Le cadre affine les politiques via l'apprentissage résiduel plutôt qu'en mettant à jour les poids du VLA, ce qui signifie qu'il ne peut pas corriger les erreurs au niveau de l'intention ou de la décomposition de tâche de haut niveau.
• Efficacité d'échantillonnage : Bien qu'autonome, la collecte de rollouts en ligne nécessite toujours des opérateurs humains pour les réinitialisations de routine entre les épisodes.