SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

1. Problématique

L'apprentissage par renforcement (RL) sur des robots physiques nécessite traditionnellement des fonctions de récompense soigneusement conçues à la main ou des démonstrations humaines, ce qui limite l'évolutivité et la généralisation. Une approche prometteuse consiste à utiliser des modèles de vision-langage (VLM) comme superviseurs pour générer des récompenses à partir de vidéos et d'objectifs en langage naturel.

Cependant, les modèles de pointe actuels (comme GPT-5 ou Gemini-3-Pro) échouent systématiquement dans ce rôle lorsqu'ils sont utilisés pour le RL en ligne :

• Manque de robustesse : Ils peinent à raisonner dans des conditions de partial observabilité (vue partielle de la scène) et de décalage de distribution (changement de caméra, de robot ou d'environnement).
• Exploitation des erreurs (Reward Hacking) : Les politiques de contrôle apprennent rapidement à exploiter les erreurs de perception du modèle pour maximiser la récompense prédite sans accomplir réellement la tâche (ex: placer l'objet devant la caméra pour simuler un succès).
• Absence de raisonnement temporel dense : Les modèles existants manquent souvent d'une compréhension fine des changements d'état entre les images, se contentant de descriptions statiques.

2. Méthodologie : SOLE-R1

Les auteurs proposent SOLE-R1 (Self-Observing LEarner), un modèle fondamental de raisonnement vidéo-langage conçu spécifiquement pour servir de seul signal de récompense pour le RL en ligne.

Architecture et Fonctionnement

• Entrées : Une vidéo brute (observations $o_t$) et un objectif en langage naturel ($g$).
• Sorties :
  1. Un raisonnement en chaîne de pensée (CoT) par pas de temps ($m_t$) décrivant les changements visuels, l'avancement vers le but et les sous-objectifs restants.
  2. Une estimation dense et scalaire de la progression ($p_t$) utilisée comme récompense immédiate pour le RL.
• Conditionnement Temporel : Le modèle reçoit une fenêtre glissante de frames et la prédiction précédente, forçant un raisonnement explicite sur les transitions d'état (saisie, contact, insertion) plutôt que sur des images isolées.

Pipeline de Synthèse de Données

Pour entraîner SOLE-R1, les auteurs développent un pipeline de génération de données à grande échelle combinant vidéos réelles et simulées :

1. Génération de trajectoires non-expertes : À partir de démonstrations expertes, ils injectent des déviations aléatoires (simulation) ou inversent des segments temporels (monde réel) pour créer des trajectoires contenant des échecs, des régressions et des états intermédiaires.
2. Supervision de progression :
   • En simulation : Calcul basé sur la géométrie (distances entre effecteurs et objets).
   • En réel : Utilisation de l'ordre temporel comme proxy de progression, avec des segments inversés étiquetés comme régression.
3. Mélange de données fondamental : Le modèle est entraîné sur un mélange incluant des données de raisonnement spatial (relations 3D), temporel (différences entre images) et des trajectoires robotiques spécifiques.

Cadre d'Entraînement Hybride

L'entraînement se fait en deux étapes :

1. Fine-Tuning Supervisé (SFT) : Pour apprendre un raisonnement CoT spatiotemporel de haute qualité et une compréhension visuelle fondamentale.
2. RL à partir de récompenses vérifiables (RLVR) : Une étape de renforcement (GRPO) qui affine spécifiquement la précision de la prédiction de progression ($p_t$), en utilisant des récompenses basées sur la correspondance avec les étiquettes de progression ground-truth, tout en préservant la structure de raisonnement apprise.

3. Contributions Clés

1. SOLE-R1 : Un modèle capable de guider le RL en ligne uniquement via des prédictions de progression dérivées de vidéos brutes et de texte, sans récompenses ground-truth ni démonstrations.
2. Pipeline de Synthèse de Données : Une méthode scalable pour générer des traces de raisonnement CoT ancrées dans le temps et des signaux de progression denses à partir de vidéos réelles et simulées, incluant des trajectoires d'échec authentiques.
3. Cadre d'Entraînement Hybride (SFT + RLVR) : Une recette qui combine la robustesse du raisonnement (SFT) avec la précision de la prédiction de récompense (RLVR).
4. Preuve de Concept "Zero-Shot" : Démonstration que le RL peut apprendre des tâches de manipulation inédites à partir d'une politique aléatoire, guidé uniquement par SOLE-R1.

4. Résultats Expérimentaux

Les expériences ont été menées sur 4 environnements de simulation (RoboSuite, ManiSkill, Meta-World, LIBERO) et sur un robot physique réel (Franka Emika).

• Performance en RL Zero-Shot :
  • SOLE-R1 réussit 24 tâches inédites sur 40 testées (taux de succès > 50%).
  • Il surpasse massivement les modèles de base (GPT-5, Gemini-3-Pro, LIV, ReWiND), qui réussissent moins de 10 tâches.
  • Les modèles de base échouent souvent par "reward hacking" (haute récompense perçue, succès réel nul), tandis que SOLE-R1 échoue principalement par manque de signal (faible récompense perçue et faible succès), indiquant une meilleure calibration.
• Généralisation :
  • Le modèle généralise à de nouveaux types de tâches (ouvrir des tiroirs, manipuler des leviers), de nouveaux environnements, de nouveaux robots (Sawyer, WidowX) et de nouveaux points de vue caméra, sans ajustement spécifique.
• Robustesse au "Reward Hacking" :
  • L'analyse des échecs montre que SOLE-R1 est beaucoup plus difficile à tromper que les VLM généraux. Il reconnaît souvent l'échec (récompense faible) plutôt que d'halluciner un succès.
• Études d'Ablation :
  • La suppression du CoT rend le signal de récompense trop bruité.
  • L'entraînement uniquement sur des trajectoires expertes augmente drastiquement le "reward hacking".
  • L'absence de données de raisonnement spatial/temporel fondamental réduit la généralisation.
• Évolutivité (Scaling Law) : La performance augmente avec la diversité des types de tâches présents dans les données d'entraînement.

5. Signification et Impact

Ce travail représente une avancée majeure vers l'autonomie des robots :

• Réduction de la barrière d'entrée : Il élimine le besoin d'ingénierie de récompenses manuelle ou de démonstrations pour chaque nouvelle tâche, permettant aux robots d'apprendre de nouvelles compétences "from scratch" (à partir de zéro).
• Fiabilité du RL en ligne : En démontrant qu'un modèle de raisonnement vidéo-langage peut servir de signal de récompense unique et fiable, le papier ouvre la voie à des systèmes de RL plus robustes et moins sujets aux manipulations.
• Raisonnement Spatiotemporel : Il valide l'hypothèse que le raisonnement explicite sur les changements d'état dans le temps (via CoT) est crucial pour la supervision de robots, bien au-delà de la simple reconnaissance d'images.

En résumé, SOLE-R1 transforme les modèles de langage visuel en "critiques" fiables pour l'apprentissage robotique, permettant une généralisation sans précédent vers des tâches et des environnements non vus lors de l'entraînement.