Résumé Technique : La Récompense en tant qu'Agent pour les Modèles de Monde Incarnés

Énoncé du Problème

Bien que l'apprentissage par renforcement (RL) ait perfectionné avec succès les grands modèles de langage (LLM) et les modèles de langage-vision (VLM) grâce à des signaux de récompense fiables (ex: exécution de code), son application aux Modèles de Monde Incarnés reste limitée. Les méthodes existantes reposent sur des stratégies de déploiement conservatrices qui restent proches de la distribution d'entraînement afin d'éviter le piratage de récompense (reward hacking).

Dans les tâches incarnées, les récompenses sont souvent basées sur des indicateurs indirects (proxies) et subjectifs. Sans une vérification robuste, l'expansion de l'exploration mène à des politiques qui exploitent les failles de la fonction de récompense (ex: occlusion visuelle, dégradation du mouvement ou invalidation physique) plutôt qu'à de véritables améliorations de la réalité physique ou de l'accomplissement de la tâche. Le goulot d'étranglement central identifié n'est pas l'exploration elle-même, mais l'absence de stratégies de vérification fiables pour soutenir une exploration plus large sous des changements de distribution.

Méthodologie

Le papier propose un cadre unifié combinant un système de récompense robuste avec une stratégie d'exploration sensible à la dynamique pour permettre un RL évolutif pour les modèles de monde.

1. La Récompense en tant qu'Agent

Pour atténuer le piratage de récompense, les auteurs redéfinissent la fonction de récompense, passant d'un scalaire statique à un cadre d'évaluation agentique. Ce système traite l'évaluation comme une tâche multi-étapes réalisée par un agent (construit sur des VLM de pointe) plutôt que de s'appuyer sur de simples détecteurs de vision par ordinateur ou des VLM spécialisés.

Le cadre opère à travers quatre modules clés :

• Planification : Une évaluation globale de la qualité du déploiement qui initialise dynamiquement les priorités des sous-récompenses avant l'attribution de scores détaillés.
• Récompense basée sur un curriculum : Un ordre d'évaluation hiérarchique (Qualité Visuelle $\to$ Suivi d'Instruction $\to$ Accomplissement de la Tâche $\to$ Conformité Physique). Les dimensions de niveau inférieur doivent satisfaire des critères de seuil avant que les dimensions de niveau supérieur ne soient évaluées, empêchant le modèle d'optimiser des récompenses avancées tout en échouant aux contrôles de qualité de base.
• Mécanisme de Vote : Les dimensions complexes (ex: conformité physique) sont décomposées en composants fins (réalisme de l'interaction, déformation, pénétration) évalués par vote pour pénaliser les échecs localisés.
• Réflexion : Une couche de fiabilité où l'agent réévalue les trajectoires sur la base des évaluations précédentes pour vérifier la cohérence et réviser les conclusions erronées.

Le système évalue quatre dimensions fondamentales : Qualité Visuelle, Suivi d'Instruction, Conformité Physique et Accomplissement de la Tâche.

2. Diversification de Déploiement Sensible à la Dynamique (DynDiff-GRPO)

Pour remédier à la sous-exploration des espaces dynamiques dans le RL conservateur, les auteurs introduisent DynDiff-GRPO. Contra 대신 du standard Group Relative Policy Optimization (GRPO) qui supprime uniformément la stochasticité, cette méthode réalloue sélectivement la stochasticité vers les régions dynamiquement saillantes tout en préservant la cohérence de la scène.

• Mécanisme : La méthode estime les résidus sensibles à la dynamique à partir des variations temporelles des échantillons propres prédits pour générer une carte d'intensité dynamique ($D$) et un a priori de région dynamique parcimonieux ($B$).
• Bruit Adaptatif : Ces cartes sont combinées pour créer un masque de déploiement ($M_t$) qui module l'échelle du bruit ($\sigma_{noise}$). Les régions à haute dynamique reçoivent une exploration plus forte, tandis que les régions à faible dynamique maintiennent la stabilité.
• Optimisation : L'approche utilise une estimation de vraisemblance gaussienne complète sensible aux caractéristiques plutôt que de se réduire à une variance scalaire. Elle emploie une régularisation KL périodique sans référence (utilisant les paramètres de distribution mis en cache du tampon de déploiement) pour contraindre la dérive de la politique sans la surcharge mémoire d'un modèle de référence gelé.

Contributions Clés

1. Cadre "Reward-as-an-Agent" : Un système d'évaluation structuré et multi-étapes qui remplace les métriques statiques par une vérification adaptative basée sur des agents. Il atténue efficacement le piratage de récompense en alignant les objectifs indirects avec les véritables buts incarnés via la planification, le curriculum, le vote et la réflexion.
2. Déploiement Sensible à la Dynamique (DynDiff-GRPO) : Une stratégie de déploiement stochastique qui étend la diversité des trajectoires dans les régions dynamiques sans sacrifier l'intégrité structurelle ou la fidélité visuelle, dépassant les trajectoires conservatrices de type ODE.
3. Preuve de RL Évolutif : L'unification de ces composants démontre que le passage à l'échelle du RL dans les modèles de monde peut dépasser les régimes conservateurs, produisant des gains de précision significatifs lorsqu'il est ancré dans une vérification robuste.

Résultats Expérimentaux

La méthode a été évaluée sur le sous-ensemble robotique de PAI-Bench en utilisant deux modèles de base : Cosmos-Predict2.5 (2B) et Kairos-3.0-Robot (4B).

• Gains de Performance : DynDiff-GRPO a obtenu des améliorations significatives dans les Scores de Domaine (raisonnement et alignement des actions) et les Scores Globaux.
  • Pour Cosmos-Predict2.5, le Score Global s'est amélioré de +1,33 (de 79,42 à 80,75).
  • Pour Kairos-3.0-Robot, le Score Global s'est amélioré de +1,53 (de 80,35 à 81,88), avec un gain notable de +3,08 dans le Score de Domaine.
• Précision du Système de Récompense : Évalué sur le dataset AgiBotWorld-Beta, le système "Reward as an Agent" a atteint 91,0 % d'alignement global avec les jugements humains. La précision de la planification était la plus élevée à 98 %, tandis que la Conformité Physique (la dimension la plus difficile) a atteint 82 %.
• Études d'Ablation :
  • Diversité de Déploiement : DynDiff-GRPO maintient une plus grande diversité de trajectoire (mesurée par la distance cosinus DINOv3) par rapport aux bases conservatrices comme CPS.
  • Configuration : L'étude a montré que la régularisation KL dans l'espace de distribution (sur l'espace log-prob) et la réduction du clipping d'avantage (2,5 vs 5) améliorent la stabilité. Le Classifier-Free Guidance (CFG) améliore les performances mais au prix d'un coût computationnel ; désactiver le CFG à haute résolution permet de maintenir des performances compétitives tout en améliorant le débit.

Signification et Revendications

Le papier affirme que la limitation fondamentale de l'application du RL aux modèles de monde n'est pas le mécanisme d'exploration, mais le fossé de vérification. En introduisant un système de récompense robuste, basé sur des agents, capable de vérifier les comportements sous des changements de distribution, les auteurs démontrent qu'une exploration plus large est viable et nécessaire pour faire progresser les modèles de monde incarnés.

Ce travail établit que l'exploration et la vérification doivent évoluer de concert. Lorsque l'exploration est ancrée par une vérification multidimensionnelle fiable (Reward as an Agent) et guidée par un échantillonnage sensible à la dynamique (DynDiff-GRPO), le RL peut avec succès optimiser les modèles de monde pour des dynamiques physiques complexes, dépassant les trajectoires étroites favorisées par les régimes conservateurs. Cela offre une voie vers le succès de l'optimisation à grande échelle observé dans les modèles de fondation, désormais appliqué au domaine de l'IA incarnée.