🤖 AI

Reinforcement Learning from Cross-domain Videos with Video Prediction Model

Le document présente XIPER, un nouveau modèle de récompense qui permet l'apprentissage par renforcement à partir de vidéos d'experts à travers des domaines visuellement distincts en entraînant un modèle de prédiction vidéo trans-domaine pour projeter les observations de l'agent dans le domaine de l'expert et en utilisant la vraisemblance de la prédiction comme signal de récompense, surmontant ainsi efficacement les défis liés aux différences d'apparence de l'agent et aux écarts sim-to-real.

Auteurs originaux : Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à jouer à un jeu vidéo complexe, comme une course de haute vitesse ou un puzzle difficile. Habituellement, vous avez besoin d'un enseignant qui peut vous dire exactement quoi faire et vous donner des points (des récompenses) quand vous faites les choses correctement. Mais et si votre enseignant se trouvait dans un monde complètement différent ?

Peut-être que votre enseignant est un robot orange vif dans un monde de dessins animés, et que vous êtes un robot gris, robuste, dans une simulation réaliste. Ou peut-être que votre enseignant est un bras robotique réel, et que vous êtes une simulation numérique. Vous pouvez voir ce que fait l'enseignant, mais vous ne pouvez pas lui parler, vous ne connaissez pas son score, et vous ne lui ressemblez pas du tout. C'est le problème que l'article XIPER tente de résoudre.

Voici comment fonctionne XIPER, décomposé en concepts simples :

L'idée centrale : « La Boule de Cristal »

Au lieu d'essayer de forcer les deux mondes à se ressembler (ce qui est difficile), XIPER utilise une astuce ingénieuse impliquant une Boule de Cristal (un modèle de prédiction vidéo).

Le Traducteur (La Lentille Magique) : D'abord, XIP_ER possède un « traducteur » spécial qui regarde ce que vous (le robot gris) faites et vous réimagine instantanément comme si vous étiez le robot orange. Il prend vos mouvements gris et lourds et les peint dans le style de dessin animé orange.
La Boule de Cristal (Le Prédicteur) : Ensuite, XIPER possède une « Boule de Cristal » qui a regardé des milliers d'heures de vidéos de l'expert robot orange. Cette boule est très douée pour deviner : « Si le robot orange fait X en ce moment, que fera-t-il ensuite ? »
Le Score (La Récompense) : Voici la partie magique. XIPER injecte votre « version orange traduite » dans la Boule de Cristal.
- Si la Boule de Cristal dit : « Oh, j'ai déjà vu ce mouvement exact auparavant ! Je sais exactement ce qui se passe ensuite ! » (Haute confiance), vous obtenez un score élevé.
- Si la Boule de Cristal est confuse et dit : « Je n'ai aucune idée de ce qui se passe ensuite ; cela semble bizarre », (Faible confiance), vous obtenez un score faible.

En gros, le robot apprend en essayant de rendre la Boule de Cristal confiante. Si les actions du robot ressemblent à ce que l'expert ferait (même après avoir été traduites), la Boule de Cristal est satisfaite, et le robot reçoit une récompense.

Les Expériences : Prouver que cela fonctionne

Les chercheurs ont testé cette idée de deux manières principales :

Le Test de la « Couleur » : Ils ont fait apprendre des tâches à des agents où la seule différence était la couleur (orange vs gris). XIPER a été excellent à cela, battant d'autres méthodes qui tentaient d'utiliser des techniques « adverses » (de combat) pour apprendre.
Le Test de la « Forme du Corps » : Ils ont rendu la différence encore plus difficile en changeant la forme du corps de l'agent (en le rendant plus épais). C'est comme un humain essayant d'apprendre à marcher en regardant une vidéo d'une personne ayant des jambes beaucoup plus larges. Même ici, XIPER a réussi là où les autres ont échoué.
Le Test « Réel vs Faux » : Ils ont utilisé des vidéos d'un robot simulé pour enseigner à un vrai bras robotique physique. Ils n'ont pas encore entraîné le vrai robot à bouger, mais ils ont vérifié si XIPER pouvait regarder les mouvements du vrai robot et dire : « Oui, cela ressemble à l'expert de la simulation ». Cela a fonctionné ! Les scores que XIPER a donnés au vrai robot correspondaient à ce qu'un humain considérerait comme un « bon » mouvement.

Pourquoi cela importe

La plupart des méthodes précédentes tentaient de forcer l'apprenant et l'enseignant à parler le même « langage visuel » ou utilisaient des algorithmes de combat compliqués qui s'effondraient souvent. XIPER est différent car il ne cherche pas à changer l'apprenant ; il traduit simplement les actions de l'apprenant dans la langue de l'enseignant et demande : « Est-ce que cela ressemble à quelque chose que l'enseignant ferait ? »

Les Limites (Ce que dit l'article)

Les auteurs sont honnêtes sur deux points :

Pratique Aléatoire : Pour enseigner au « Traducteur », ils ont utilisé des mouvements aléatoires et désordonnés. Si une tâche nécessite des séquences de mouvements très précises et longues, une pratique aléatoire pourrait ne pas suffire pour enseigner parfaitement au traducteur.
Simulation vers la Réalité : Bien qu'ils aient montré que le système pouvait donner de bons scores à un vrai robot, ils n'ont pas encore mené une session d'entraînement complète où le vrai robot apprendrait à bouger de lui-même en utilisant cette méthode. C'est la prochaine étape.

En bref : XIPER est un système qui permet à un robot d'apprendre à partir d'une vidéo d'un expert au look totalement différent en traduisant ses propres actions dans le style de l'expert et en vérifiant si un modèle de « prédiction du futur » reconnaît le comportement comme étant celui d'un expert. Si le futur semble familier, le robot reçoit une récompense.

Résumé Technique : XIPER – Apprentissage par Renforcement à partir de Vidéos Cross-Domaines avec un Modèle de Prédiction Vidéo

1. Énoncé du Problème

L'article traite du défi consistant à entraîner des agents d'apprentissage par renforcement (RL) à apprendre à partir de démonstrations visuelles d'experts lorsque l'agent et le démonstrateur existent dans des domaines visuellement distincts. Ce contexte « cross-domain » (trans-domaine) est caractérisé par des écarts de domaine significatifs, tels que des différences de couleur de l'agent, de morphologie (par exemple, la forme du corps), ou le fossé sim-to-real (simulation vers réel), où l'apparence de l'agent diffère fondamentalement de celle de l'expert.

Crucialement, l'agent n'a aucun accès à :

Des signaux de récompense de vérité terrain (ground-truth).
Des informations d'état à faible dimension.
Des étiquettes d'action de l'expert.
Des données appariées entre les domaines de l'agent et de l'expert.

L'agent reçoit uniquement des observations visuelles brutes de son propre domaine et un ensemble de vidéos d'experts non étiquetées provenant d'un autre domaine. La difficulté centrale réside dans l'extraction d'un signal de récompense significatif qui guide l'agent pour reproduire des comportements similaires à ceux de l'expert malgré ces divergences visuelles et dynamiques, sans dépendre d'un entraînement adversarial instable ou de représentations invariantes au domaine qui échouent souvent à passer à l'échelle.

2. Méthodologie : XIPER

Les auteurs proposent XIPER (Cross-domain Video Prediction Reward), un cadre qui contourne l'entraînement adversarial en utilisant la vraisemblance de prédiction vidéo cross-domaine comme signal de récompense. Le système repose sur le postulat que si le comportement d'un agent est cohérent avec les démonstrations de l'expert, les observations de l'agent (une fois traduites dans le style visuel de l'expert) devraient être hautement prévisibles par un modèle entraîné sur les vidéos de l'expert.

La méthodologie se compose de deux composantes principales, toutes deux pré-entraînées hors ligne et gelées durant la phase de RL :

Modèle de Traduction de Domaine ( $T_\phi$ ) :
- Cette composante mappe les observations de l'agent du domaine de l'agent ( $A$ ) vers le domaine de l'expert ( $E$ ).
- Puisque les données appariées sont indisponibles, elle est entraînée comme un problème de traduction image-à-image non appariée en utilisant l'objectif de Transport Optimal Neuronal (NOT). Cela minimise la distance entre la distribution des images traduites de l'agent et la distribution des images de l'expert tout en préservant le contenu.
- Elle est entraînée sur des observations aléatoires pré-collectées des deux domaines.
Modèle de Prédiction Vidéo du Domaine Expert ( $p_\theta$ ) :
- Basé sur VideoGPT, ce modèle génératif apprend la distribution des comportements de l'expert en prédisant la frame experte suivante étant donné une séquence de frames expertes passées.
- Il est entraîné sur des trajectoires d'experts en utilisant un objectif de vraisemblance maximale sur une fenêtre de contexte de $k=16$ frames.

Le Signal de Récompense :
Pendant l'entraînement par RL, la séquence récente d'observations de l'agent est d'abord traduite dans le domaine de l'expert via $T_\phi$ . Le modèle de prédiction vidéo calcule ensuite la log-vraisemblance de l'observation traduite actuelle étant donné le contexte traduit. Cette vraisemblance sert de récompense ( $r_t^{xiper}$ ) :
$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$
Des vraisemblances plus élevées indiquent que le comportement de l'agent s'aligne sur la distribution de l'expert. Pour encourager l'exploration, un bonus d'exploration basé sur l'incertitude est ajouté.

L'agent de RL (utilisant DreamerV3 comme architecture de base) optimise ce signal de récompense pour maximiser le retour cumulé, apprenant ainsi à agir de manière à ce que ses observations traduites soient prévisibles par le modèle vidéo de l'expert.

3. Principales Contributions

Nouvelle Formulation de Récompense : Introduction de XIPER, un modèle de récompense cross-domaine qui permet aux agents de RL d'apprendre à partir de vidéos d'experts non étiquetées à travers différents domaines visuels en utilisant uniquement des observations de pixels, éliminant ainsi le besoin de récompenses de vérité terrain, d'informations d'état ou d'entraînement adversarial.
Supériorité Empirique : Démonstration que XIPER surpasse systématiquement les lignes de base compétitives (incluant la prédiction vidéo de même domaine, l'imitation par apprentissage adversarial et les méthodes de confusion de domaine) à travers le DMC Color Suite (8 tâches avec des écarts de couleur) et le DMC Body Suite (3 tâches avec des écarts morphologiques).
Applicabilité Sim-to-Real : Analyse montrant que XIPER peut générer des signaux de récompense significatifs pour des observations de robots réels en utilisant uniquement des vidéos d'experts simulées, comblant ainsi avec succès le fossé sim-to-real dans la génération de récompenses sans annotation manuelle.
Études d'Ablation : Analyse systématique des choix de conception, confirmant qu'une traduction de haute qualité (FID faible) est critique pour les tâches de précision et qu'un coefficient d'exploration spécifique ( $\beta=1$ ) offre la performance la plus robuste.

4. Résultats Expérimentaux

Les auteurs ont évalué XIPER sur 11 tâches de la suite DeepMind Control (DMC) et un jeu de données Sim-to-Real (Robot Lynx).

Performance : XIPER a obtenu des retours plus élevés que toutes les lignes de base dans 9 des 12 tâches DMC.
- Dans la Color Suite, XIPER a surpassé les lignes de base, tandis que la ligne de base de même domaine (VIPER) a montré une certaine généralisation mais était moins robuste.
- Dans la Body Suite (changements morphologiques), XIPER a nettement surpassé toutes les lignes de base. Notamment, les lignes de base adversariales (XAIL, TPIL-Dv3) ont souffert de courbes d'apprentissage instables et de faibles performances, soulignant l'instabilité des méthodes adversariales même avec des architectures de RL puissantes.
Qualité de la Récompense : Les récompenses basées sur la vraisemblance étaient fortement corrélées aux récompenses de tâche de vérité terrain sur les trajectoires aléatoires et d'experts.
Généralisation de la Traduction : Le modèle de traduction de domaine, entraîné uniquement sur des données aléatoires, a réussi à se généraliser à des trajectoires d'experts hors distribution, traduisant avec précision les couleurs et les morphologies de l'agent pour correspondre au domaine de l'expert.
Sim-to-Real : Dans l'expérience du robot Lynx, le modèle de traduction a réussi à filtrer le bruit visuel du monde réel (câblage, matériel) pour produire des images de style simulation. Les récompenses XIPER résultantes sur les épisodes du robot réel corrélaient bien avec les récompenses de tâche de vérité terrain, validant le potentiel de transfert sim-to-real.

5. Signification et Revendications

L'article affirme que XIPER offre une alternative scalable et stable à l'apprentissage par imitation adversarial pour le RL visuel cross-domaine. En exploitant la prédiction vidéo générative et la traduction non appariée, il élimine le besoin de représentations invariantes au domaine et l'instabilité associée à l'entraînement par GAN.

Les auteurs soulignent que leur approche débloque le vaste réservoir de vidéos en ligne comme source de démonstrations d'experts, supprimant le besoin d'une ingénierie de récompense laborieuse et d'une collecte de données spécifiques au domaine coûteuse. Bien que le travail actuel valide la qualité du signal de récompense et la capacité de l'agent à apprendre en simulation, les auteurs notent modestement que boucler la boucle avec un apprentissage RL en ligne sur des robots physiques reste une étape future nécessaire. Ils reconnaissent également que l'entraînement du modèle de traduction uniquement sur des données aléatoires peut constituer un goulot d'étranglement pour les tâches exigeant des comportements précis à long horizon, suggérant que les travaux futurs pourraient explorer des stratégies d'exploration avancées ou une optimisation conjointe.