🤖 AI

Reinforcement Learning from Cross-domain Videos with Video Prediction Model

Het artikel introduceert XIPER, een nieuw beloningsmodel dat reinforcement learning vanuit expertvideo's over visueel verschillende domeinen mogelijk maakt door een cross-domein videovoorspellingsmodel te trainen om observaties van de agent naar het expertdomein te mappen en de voorspellingswaarschijnlijkheid als beloningssignaal te gebruiken, waardoor uitdagingen met betrekking tot verschillen in het uiterlijk van de agent en de sim-to-real gap effectief worden overwonnen.

Oorspronkelijke auteurs: Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te leren hoe je een complex computerspel speelt, zoals een snelle race of een moeilijke puzzel. Meestal heb je een leraar nodig die je precies kan vertellen wat je moet doen en je punten (beloningen) geeft wanneer je het goed doet. Maar wat als je leraar in een totaal andere wereld leeft?

Misschien is je leraar een feloranje robot in een cartoonwereld, en ben jij een grijze, zware robot in een realistische simulatie. Of misschien is je leraar een echte robotarm, en ben jij een digitale simulatie. Je kunt zien wat de leraar doet, maar je kunt niet met hen praten, je kent hun score niet, en jullie zien er totaal verschillend uit. Dit is het probleem dat het papier XIPER probeert op te lossen.

Hier is hoe XIPER werkt, onderverdeeld in eenvoudige concepten:

Het Kernidee: "De Kristallen Bol"

In plaats van te proberen de twee werelden hetzelfde te laten lijken (wat moeilijk is), gebruikt XIPER een slimme truc met een Kristallen Bol (een video-voorspellingsmodel).

De Vertaler (De Magische Lens): Eerst heeft XIPER een speciale "vertaler" die kijkt naar wat jij (de grijze robot) doet en je direct herverbeeldt alsof jij de oranje robot bent. Het neemt jouw grijze, zware bewegingen en schildert ze om in de oranje, cartoonachtige stijl.
De Kristallen Bol (De Voorspeller): Vervolgens heeft XIPER een "Kristallen Bol" die duizenden uren aan expertvideo's van de oranje robot heeft bekeken. Deze bal is erg goed in het raden: "Als de oranje robot nu X doet, wat zal hij dan hierna doen?"
De Score (De Beloning): Hier gebeurt de magie. XIPER voert jouw "vertaalde" oranje-zelf in de Kristallen Bol.
- Als de Kristallen Bol zegt: "Oh, ik heb deze exacte beweging eerder gezien! Ik weet precies wat er nu gebeurt!" (Hoge mate van vertrouwen), krijg je een hoge score.
- Als de Kristallen Bol in de war is en zegt: "Ik heb geen idee wat er nu gebeurt; dit ziet er vreemd uit," (Lage mate van vertrouwen), krijg je een lage score.

In essentie leert de robot door te proberen de Kristallen Bol zelfverzekerd te laten voelen. Als de acties van de robot lijken op wat de expert zou doen (zelfs na de vertaling), is de Kristallen Bol tevreden en krijgt de robot een beloning.

De Experimenten: Bewijzen dat het werkt

De onderzoekers hebben dit idee op twee belangrijke manieren getest:

De "Kleur" Test: Ze lieten agenten taken leren waarbij het enige verschil de kleur was (oranje versus grijs). XIPER was hier uitstekend in en versloeg andere methoden die probeerden "adversarial" (tegenstrijdige) technieken te gebruiken om te leren.
De "Lichaamsvorm" Test: Ze maakten het verschil nog moeilijker door het lichaam van de agent te veranderen (het dikker maken). Dit is alsof een mens probeert te leren lopen door te kijken naar een video van een persoon met veel bredere benen. Zelfs hier slaagde XIPER waar anderen faalden.
De "Echt vs. Nep" Test: Ze probeerden video's van een gesimuleerde robot te gebruiken om een echte, fysieke robotarm te onderwijzen. Ze hebben de echte robot nog niet getraind om te bewegen, maar ze controleerden of XIPER naar de bewegingen van de echte robot kon kijken en kon zeggen: "Ja, dit lijkt op de expert-simulatie." Het werkte! De scores die XIPER aan de echte robot gaf, kwamen overeen met wat een mens als een "goede" beweging zou beschouwen.

Waarom dit ertoe doet

De meeste eerdere methoden probeerden de leerling en de leraar dezelfde "visuele taal" te laten spreken of gebruikten ingewikkelde strijdalgoritmen die vaak vastliepen. XIPER is anders omdat het niet probeert de leerling te veranderen; het vertaalt simpelweg de acties van de leerling naar de taal van de leraar en vraagt vervolgens: "Lijkt dit op iets wat de leraar zou doen?"

De Beperkingen (Wat het papier zegt)

De auteurs zijn eerlijk over twee zaken:

Willekeurige Oefening: Om de "Vertaler" te onderwijzen, gebruikten ze willekeurige, slordige bewegingen. Als een taak zeer precieze, lange sequenties van bewegingen vereist, is willekeurige oefening misschien niet genoeg om de vertaler perfect te leren.
Simulatie naar Realiteit: Hoewel ze hebben aangetoond dat het systeem goede scores zou kunnen geven aan een echte robot, hebben ze nog geen volledige trainingssessie gedraaid waarbij de echte robot zelfstandig leert bewegen met behulp van deze methode. Dat is de volgende stap.

Kortom: XIPER is een systeem waarmee een robot kan leren van een video van een totaal anders uitziende expert door zijn eigen acties te vertalen naar de stijl van de expert en te controleren of een "toekomst-voorspellend" model het gedrag als expert-achtig herkent. Als de toekomst bekend voorkomt, krijgt de robot een beloning.

Technische Samenvatting: XIPER – Reinforcement Learning van Cross-domein Video's met een Video-voorspellingsmodel

1. Probleemstelling

Het artikel behandelt de uitdaging om Reinforcement Learning (RL) agenten te trainen om te leren van expert visuele demonstraties wanneer de agent en de demonstrator zich in visueel verschillende domeinen bevinden. Deze "cross-domein" setting wordt gekenmerkt door significante domeingaps, zoals verschillen in de kleur van de agent, morfologie (bijv. lichaamsvorm), of de sim-to-real gap, waarbij het uiterlijk van de agent fundamenteel verschilt van dat van de expert.

Cruciaal is dat de agent geen toegang heeft tot:

Ground-truth beloningssignalen (reward signals).
Laagdimensionale staat-informatie (state information).
Actie-labels van de expert.
Gepaarde data tussen de agent- en expert-domeinen.

De agent ontvangt alleen ruwe visuele observaties uit zijn eigen domein en een set ongelabelde expert-video's uit een ander domein. De kern van de moeilijkheid ligt in het afleiden van een betekenisvol beloningssignaal dat de agent begeleidt om expert-achtige gedragingen te reproduceren, ondanks deze visuele en dynamische discrepanties, zonder te vertrouwen op instabiele adversariële training of domein-invariante representaties die vaak niet schaalbaar zijn.

2. Methodologie: XIPER

De auteurs stellen XIPER voor (Cross-domain Video Prediction Reward), een framework dat adversariële training omzeilt door cross-domein video-voorspellings-likelihood te gebruiken als een beloningssignaal. Het systeem werkt op de premisse dat als het gedrag van een agent consistent is met expert-demonstraties, de observaties van de agent (eenmaal vertaald naar de visuele stijl van de expert) zeer voorspelbaar zouden moeten zijn door een model dat getraind is op expert-video's.

De methodologie bestaat uit twee hoofdcomponenten, die beide offline zijn voorgetraind en bevroren worden tijdens de RL-fase:

Domein-translatie Model ( $T_\phi$ ):
- Deze component brengt de observaties van de agent vanuit het agent-domein ( $A$ ) over naar het expert-domein ( $E$ ).
- Omdat gepaarde data niet beschikbaar is, wordt dit getraind als een unpaired image-to-image translation probleem met behulp van de Neural Optimal Transport (NOT) objectieffunctie. Dit minimaliseert de afstand tussen de distributie van vertaalde agent-beelden en de distributie van expert-beelden, terwijl de inhoud behouden blijft.
- Het wordt getraind op vooraf verzamelde willekeurige (random) observaties uit beide domeinen.
Expert Domein Video-voorspellingsmodel ( $p_\theta$ ):
- Gebaseerd op VideoGPT, leert dit generatieve model de distributie van expert-gedragingen door het volgende expert-frame te voorspellen op basis van een sequentie van voorgaande expert-frames.
- Het wordt getraind op expert-trajecten met een maximum likelihood-objectieffunctie over een contextvenster van $k=16$ frames.

Het Beloningssignaal:
Tijdens de RL-training wordt de recente sequentie van observaties van de agent eerst vertaald naar het expert-domein met behulp van $T_\phi$ . Het video-voorspellingsmodel berekent vervolgens de log-likelihood van de huidige vertaalde observatie gegeven de vertaalde context. Deze likelihood dient als de beloning ( $r_t^{xiper}$ ):
$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$
Hogere likelihoods duiden erop dat het gedrag van de agent overeenkomt met de expert-distributie. Om exploratie te stimuleren, wordt een onzekerheid-gebaseerde exploratiebonus toegevoegd.

De RL-agent (die DreamerV3 gebruikt als backbone) optimaliseert dit beloningssignaal om de cumulatieve return te maximaliseren, waardoor effectief wordt geleerd te handelen op een manier die de vertaalde observaties voorspelbaar maakt voor het expert-video-model.

3. Belangrijkste Bijdragen

Nieuwe Beloningsformulering: Introductie van XIPER, een cross-domein beloningsmodel dat RL-agenten in staat stelt om te leren van ongelabelde expert-video's over verschillende visuele domeinen heen met behulp van enkel pixel-observaties, waardoor de noodzaak voor ground-truth beloningen, staat-informatie of adversariële training vervalt.
Empirische Superieuriteit: Demonstratie dat XIPER consistent beter presteert dan concurrerende baselines (inclusief same-domain video prediction, adversarial imitation learning en domain-confusion methoden) over de DMC Color Suite (8 taken met kleurverschillen) en de DMC Body Suite (3 taken met morfologische verschillen).
Sim-to-Real Toepasbaarheid: Analyse die aantoont dat XIPER betekenisvolle beloningssignalen kan genereren voor real-robot observaties met behulp van enkel gesimuleerde expert-video's, waardoor de sim-to-real gap in beloningsgeneratie succesvol wordt overbrugd zonder handmatige annotatie.
Ablatie-studies: Systematische analyse van designkeuzes, die bevestigt dat hoogwaardige translatie (lage FID) cruciaal is voor precisietaken en dat een specifieke exploratiecoëfficiënt ( $\beta=1$ ) de meest robuuste prestaties oplevert.

4. Experimentele Resultaten

De auteurs evalueerden XIPER op 11 taken uit de DeepMind Control (DMC) suite en een Sim-to-Real dataset (Lynx Robot).

Prestaties: XIPER behaalde hogere returns dan alle baselines in 9 van de 12 DMC-taken.
- In de Color Suite presteerde XIPER beter dan de baselines, terwijl de same-domain baseline (VIPER) enige generalisatie vertoonde maar minder robuust was.
- In de Body Suite (morfologische veranderingen) presteerde XIPER significant beter dan alle baselines. Opvallend genoeg leden de adversariële baselines (XAIL, TPIL-Dv3) onder instabiele leercurves en slechte prestaties, wat de instabiliteit van adversariële methoden benadrukt, zelfs met sterke RL-backbones.
Kwaliteit van de Beloning: De likelihood-gebaseerde beloningen correleerden sterk met de ground-truth taakbeloningen op zowel willekeurige als expert-trajecten.
Translatie-generalisatie: Het domein-translatie model, dat uitsluitend op willekeurige data is getraind, generaliseerde succesvol naar out-of-distribution expert-trajecten, waarbij de kleuren en morfologieën van de agent accuraat werden vertaald om overeen te komen met het expert-domein.
Sim-to-Real: In het Lynx Robot-experiment filterde het translatie-model succesvol real-world visuele ruis (bekabeling, hardware) om beelden in simulatiestijl te produceren. De resulterende XIPER-beloningen op real-robot episodes correleerden goed met de ground-truth taakbeloningen, wat de potentie voor sim-to-real transfer valideert.

5. Betekenis en Claims

Het artikel claimt dat XIPER een schaalbaar en stabiel alternatief biedt voor adversariële imitatie-learning voor cross-domein visuele RL. Door gebruik te maken van generatieve video-voorspelling en unpaired translatie, elimineert het de noodzaak voor domein-invariante representaties en de instabiliteit die geassocieerd wordt met GAN-gebaseerde training.

De auteurs benadrukken dat hun aanpak de enorme hoeveelheid online video's ontsluit als een bron van expert-demonstraties, waardoor de noodzaak voor arbeidsintensieve beloningsengineering en kostbare domeinspecifieke dataverzameling vervalt. Hoewel het huidige werk de kwaliteit van het beloningssignaal en het vermogen van de agent om in simulatie te leren valideert, merken de auteurs bescheiden op dat het sluiten van de loop met online RL-training op fysieke robots een noodzakelijke toekomstige stap blijft. Ze erkennen ook dat het trainen van het translatie-model uitsluitend op willekeurige data een bottleneck kan zijn voor taken die precieze, langdurige gedragingen vereisen, wat suggereert dat toekomstig werk geavanceerdere exploratiestrategieën of gezamenlijke optimalisatie zou kunnen verkennen.