🤖 AI

Reinforcement Learning from Cross-domain Videos with Video Prediction Model

Das Papier stellt XIPER vor, ein neuartiges Belohnungsmodell, das Reinforcement Learning aus Expertenvideos über visuell unterschiedliche Domänen hinweg ermöglicht, indem es ein domänenübergreifendes Videoprädiktionsmodell trainiert, um Agentenbeobachtungen in die Experten-Domäne abzubilden und die Vorhersagewahrscheinlichkeit als Belohnungssignal zu nutzen, wodurch die Herausforderungen im Zusammenhang mit Unterschieden im Erscheinungsbild des Agenten und Sim-to-Real-Gaps effektiv überwunden werden.

Ursprüngliche Autoren: Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu lernen, wie man ein komplexes Videospiel spielt, wie zum Beispiel ein Hochgeschwindigkeitsrennen oder ein schwieriges Rätsel. Normalerweise benötigen Sie einen Lehrer, der Ihnen genau sagen kann, was Sie tun sollen, und der Ihnen Punkte (Belohnungen) gibt, wenn Sie es richtig machen. Aber was wäre, wenn Ihr Lehrer in einer völlig anderen Welt wäre?

Vielleicht ist Ihr Lehrer ein leuchtend orangefarbener Roboter in einer Cartoon-Welt und Sie sind ein grauer, schwerer Roboter in einer realistischen Simulation. Oder vielleicht ist Ihr Lehrer ein echter Roboterarm und Sie sind eine digitale Simulation. Sie können sehen, was der Lehrer tut, aber Sie können nicht mit ihm sprechen, Sie kennen seinen Punktestand nicht und Sie sehen ganz anders aus als er. Dies ist das Problem, das das Papier XIPER zu lösen versucht.

So funktioniert XIPER, aufgeschlüsselt in einfache Konzepte:

Die Kernidee: „Die Kristallkugel“

Anstatt zu versuchen, die beiden Welten gleich aussehen zu lassen (was schwierig ist), nutzt XIPER einen cleveren Trick unter Verwendung einer Kristallkugel (einem Videoprädiktionsmodell).

Der Übersetzer (Die magische Linse): Zuerst hat XIPER einen speziellen „Übersetzer“, der betrachtet, was Sie (der graue Roboter) gerade tun, und Sie augenblicklich so umgestaltet, als wären Sie der orangefarbene Roboter. Er nimmt Ihre grauen, schweren Bewegungen und malt sie in den orangefarbenen Cartoon-Stil um.
Die Kristallkugel (Der Prädiktor): Als Nächstes besitzt XIPER eine „Kristallkugel“, die tausende Stunden an Expertenvideos des orangefarbenen Roboters gesehen hat. Diese Kugel ist sehr gut darin zu erraten: „Wenn der orangefarbene Roboter jetzt X macht, was wird er als Nächstes tun?“
Die Punktzahl (Die Belohnung): Hier liegt der Zauber. XIPER speist Ihr „übersetztes“ orangefarbenes Ich in die Kristallkugel ein.
- Wenn die Kristallkugel sagt: „Oh, diese Bewegung habe ich schon einmal gesehen! Ich weiß genau, was als Nächstes passiert!“ (Hohe Konfidenz), erhalten Sie eine hohe Punktzahl.
- Wenn die Kristallkugel verwirrt ist und sagt: „Ich habe keine Ahnung, was als Nächstes passiert; das sieht seltsam aus“ (Niedrige Konfidenz), erhalten Sie eine niedrige Punktzahl.

Im Grunde lernt der Roboter, indem er versucht, die Kristallkugel dazu zu bringen, sich sicher zu fühlen. Wenn die Aktionen des Roboters so aussehen, als würde der Experte sie ausführen (selbst nachdem sie übersetzt wurden), ist die Kristallkugel zufrieden und der Roboter erhält eine Belohnung.

Die Experimente: Der Beweis, dass es funktioniert

Die Forscher testeten diese Idee auf zwei Hauptwegen:

Der „Farb“-Test: Sie ließen Agenten Aufgaben lernen, bei denen der einzige Unterschied die Farbe war (orange vs. grau). XIPER war darin großartig und schlug andere Methoden, die versuchten, „adversarielle“ (kämpferische) Techniken zu nutzen, um zu lernen.
Der „Körperform“-Test: Sie machten den Unterschied noch schwieriger, indem sie die Körperform des Agenten änderten (machten ihn dicker). Das ist so, als würde ein Mensch versuchen, das Gehen zu lernen, indem er einem Video einer Person mit viel breiteren Beinen zuschaut. Selbst hier war XIPER erfolgreich, wo andere scheiterten.
Der „Real vs. Fake“-Test: Sie versuchten, Videos eines simulierten Roboters zu nutzen, um einen echten, physischen Roboterarm zu lehren. Sie haben den echten Roboter noch nicht darauf trainiert, sich zu bewegen, aber sie prüften, ob XIPER die Bewegungen des echten Roboters betrachten und sagen konnte: „Ja, das sieht aus wie der Experte in der Simulation.“ Es funktionierte! Die Punktzahlen, die XIPER dem echten Roboter gab, stimmten mit dem überein, was ein Mensch als eine „gute“ Bewegung betrachten würde.

Warum das wichtig ist

Die meisten bisherigen Methoden versuchten, den Lernenden und den Lehrer dieselbe „visuelle Sprache“ sprechen zu lassen oder nutzten komplizierte Kampf-Algorithmen, die oft zusammenbrachen. XIPER ist anders, weil es nicht versucht, den Lernenden zu verändern; es übersetzt lediglich die Aktionen des Lernenden in die Sprache des Lehrers und fragt dann: „Sieht das so aus, als würde der Lehrer das tun?“

Die Einschränkungen (Was das Papier sagt)

Die Autoren sind ehrlich über zwei Dinge:

Zufälliges Üben: Um den „Übersetzer“ zu lehren, verwendeten sie zufällige, chaotische Bewegungen. Wenn eine Aufgabe sehr präzise, lange Sequenzen von Bewegungen erfordert, reicht zufälliges Üben möglicherweise nicht aus, um den Übersetzer perfekt zu lehren.
Simulation zu Realität: Obwohl sie zeigten, dass das System in der Lage ist, gute Punktzahlen an einen echten Roboter zu geben, haben sie noch keine vollständige Trainingssitzung durchgeführt, in der der echte Roboter eigenständig mithilfe dieser Methode lernt zu bewegen. Das ist der nächste Schritt.

Kurz gesagt: XIPER ist ein System, das es einem Roboter ermöglicht, von einem Video eines völlig anders aussehenden Experten zu lernen, indem es seine eigenen Aktionen in den Stil des Experten übersetzt und prüft, ob ein „Zukunftsvorhersage-Modell“ das Verhalten als expertenhaft erkennt. Wenn die Zukunft vertraut aussieht, erhält der Roboter eine Belohnung.

Technisches Resümee: XIPER – Reinforcement Learning aus domänenübergreifenden Videos mit einem Videoprädiktionsmodell

1. Problemstellung

Das Paper adressiert die Herausforderung, Reinforcement Learning (RL) Agenten darauf zu trainieren, aus Experten-Demonstrationen zu lernen, wenn der Agent und der Demonstrator in visuell unterschiedlichen Domänen existieren. Dieses „Cross-Domain“-Szenario ist durch signifikante Domänen-Gaps charakterisiert, wie etwa Unterschiede in der Farbe des Agenten, der Morphologie (z. B. Körperform) oder dem Sim-to-Real-Gap, bei dem das Erscheinungsbild des Agenten fundamental vom des Experten abweicht.

Entscheidend ist, dass der Agent keinen Zugriff hat auf:

Grundwahrheits-Belohnungssignale (Ground-truth rewards).
Niedrigdimensionale Zustandsinformationen.
Aktions-Labels des Experten.
Paired Data zwischen dem Agenten- und dem Experten-Domänen-Bereich.

Der Agent erhält lediglich rohe visuelle Beobachtungen aus seiner eigenen Domäne und einen Satz unbeschrifteter Experten-Videos aus einer anderen Domäne. Die Kernschwierigkeit besteht darin, ein aussagekräftiges Belohnungssignal abzuleiten, das den Agenten dazu leitet, expertenähnliche Verhaltensweisen zu reproduzieren, trotz dieser visuellen und dynamischen Diskrepanzen, ohne sich dabei auf instabiles adversarielles Training oder domäneninvariante Repräsentationen verlassen zu müssen, die oft nicht skalieren.

2. Methodik: XIPER

Die Autoren schlagen XIPER vor (Cross-domain Video Prediction Reward), ein Framework, das durch die Verwendung von Cross-Domain Video Prediction Likelihood als Belohnungssignal das adversarielle Training umgeht. Das System basiert auf der Prämisse, dass, wenn das Verhalten eines Agenten konsistent mit Experten-Demonstrationen ist, die Beobachtungen des Agenten (sobald sie in den visuellen Stil des Experten übersetzt wurden) durch ein auf Experten-Videos trainiertes Modell hochgradig vorhersagbar sein sollten.

Die Methodik besteht aus zwei Hauptkomponenten, die beide offline vortrainiert und während der RL-Phase eingefroren werden:

Domänen-Translationsmodell ( $T_\phi$ ):
- Diese Komponente bildet die Beobachtungen des Agenten aus der Agenten-Domäne ( $A$ ) in die Experten-Domäne ( $E$ ) ab.
- Da keine gepaarten Daten verfügbar sind, wird es als Problem der unpaired Image-to-Image Translation unter Verwendung des Neural Optimal Transport (NOT)-Ziels trainiert. Dies minimiert den Abstand zwischen der Verteilung der transformierten Agentenbilder und der Verteilung der Expertenbilder unter Wahrung des Inhalts.
- Es wird auf vorab gesammelten zufälligen Beobachtungen aus beiden Domänen trainiert.
Experten-Domänen-Videoprädiktionsmodell ( $p_\theta$ ):
- Basierend auf VideoGPT lernt dieses generative Modell die Verteilung der Experten-Verhaltensweisen, indem es das nächste Experten-Frame unter Berücksweise einer Sequenz vergangener Experten-Frames vorhersagt.
- Es wird auf Experten-Trajektorien unter Verwendung eines Maximum-Likelihood-Ziels über ein Kontextfenster von $k=16$ Frames trainiert.

Das Belohnungssignal:
Während des RL-Trainings wird die aktuelle Sequenz der Beobachtungen des Agenten zuerst mittels $T_\phi$ in die Experten-Domäne übersetzt. Das Videoprädiktionsmodell berechnet dann die Log-Likelihood der aktuellen transformierten Beobachtung gegeben den transformierten Kontext. Diese Likelihood dient als Belohnung ( $r_t^{xiper}$ ):
$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$
Höhere Likelihoods deuten darauf hin, dass das Verhalten des Agenten mit der Experten-Verteilung übereinstimmt. Um die Exploration zu fördern, wird ein Unsicherheits-basierter Explorations-Bonus hinzugefügt.

Der RL-Agent (unter Verwendung von DreamerV3 als Backbone) optimiert dieses Belohnungssignal zur Maximierung des kumulativen Ertrags und lernt effektiv, so zu agieren, dass seine transformierten Beobachtungen durch das Experten-Videomodell vorhersagbar sind.

3. Zentrale Beiträge

Neuartige Belohnungsformulierung: Einführung von XIPER, einem Cross-Domain-Belohnungsmodell, das RL-Agenten ermöglicht, aus unbeschrifteten Experten-Videos über verschiedene visuelle Domänen hinweg zu lernen, wobei nur Pixel-Beobachtungen genutzt werden. Dies eliminiert die Notwendigkeit für Ground-Truth-Belohnungen, Zustandsinformationen oder adversarielles Training.
Empirische Überlegenheit: Nachweis, dass XIPER konsistent gegenüber kompetitiven Baselines (einschließlich Same-Domain Video Prediction, Adversarial Imitation Learning und Domain-Confusion Methoden) über die DMC Color Suite (8 Aufgaben mit Farb-Gaps) und die DMC Body Suite (3 Aufgaben mit morphologischen Gaps) hinweg besser abschneidet.
Sim-to-Real Anwendbarkeit: Analyse, die zeigt, dass XIPER aussagekräftige Belohnungssignale für reale Roboter-Beobachtungen generieren kann, indem es lediglich simulierte Experten-Videos nutzt, wodurch der Sim-to-Real-Gap in der Belohnungserzeugung ohne manuelle Annotation erfolgreich überbrückt wird.
Ablationsstudien: Systematische Analyse der Designentscheidungen, die bestätigen, dass eine qualitativ hochwertige Translation (niedriger FID) für Präzisionsaufgaben entscheidend ist und dass ein spezifischer Explorationskoeffizient ( $\beta=1$ ) die robusteste Performance liefert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten XIPER auf 11 Aufgaben aus der DeepMind Control (DMC) Suite und einem Sim-to-Real Datensatz (Lynx Robot).

Performance: XIPER erzielte höhere Erträge als alle Baselines in 9 von 12 DMC-Aufgaben.
- In der Color Suite übertraf XIPER die Baselines, während die Same-Domain Baseline (VIPER) zwar eine gewisse Generalisierung zeigte, aber weniger robust war.
- In der Body Suite (morphologische Änderungen) übertraf XIPER alle Baselines signifikant. Bemerkenswerterweise litten die adversariellen Baselines (XAIL, TPIL-Dv3) unter instabilen Lernkurven und schlechter Performance, was die Instabilität von adversariellen Methoden selbst mit starken RL-Backbones verdeutlicht.
Belohnungsqualität: Die Likelihood-basierten Belohnungen korrelierten stark mit den Ground-Truth-Aufgabenbelohnungen sowohl auf zufälligen als auch auf Experten-Trajektorien.
Translations-Generalisierung: Das Domänen-Translationsmodell, das ausschließlich auf Zufallsdaten trainiert wurde, generalisierte erfolgreich auf Out-of-Distribution Experten-Trajektorien und transformierte die Farben und Morphologien des Agenten präzise passend zur Experten-Domäne.
Sim-to-Real: Im Lynx-Robot-Experiment filterte das Translationsmodell erfolgreich reales visuelles Rauschen (Verkabelung, Hardware) heraus, um Simulation-Stil-Bilder zu erzeugen. Die resultierenden XIPER-Belohnungen auf realen Roboter-Episoden korrelierten gut mit den Ground-Truth-Aufgabenbelohnungen, was das Potenzial für den Sim-to-Real-Transfer validiert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass XIPER eine skalierbare und stabile Alternative zum adversariellen Imitationslernen für visuelles Cross-Domain RL bietet. Durch die Nutzung von generativem Videoprädiktions-Modellen und Unpaired Translation eliminiert es die Notwendigkeit für domäneninvariante Repräsentationen und die mit GAN-basiertem Training verbundene Instabilität.

Die Autoren betonen, dass ihr Ansatz den Zugang zu dem riesigen Pool an Online-Videos als Quelle für Experten-Demonstrationen ermöglicht und somit die mühsame Reward-Engineering und kostspielige domänenspezifische Datenerhebung überflüssig macht. Während die aktuelle Arbeit die Qualität des Belohnungssignals und die Fähigkeit des Agenten validiert, in der Simulation zu lernen, merken die Autoren bescheiden an, dass das Schließen des Kreislaufs durch Online-RL-Training auf physischen Robotern ein notwendiger zukünftiger Schritt bleibt. Sie räumen zudem ein, dass das Training des Translationsmodells rein auf Zufallsdaten ein Engpass für Aufgaben sein könnte, die präzise, langfristige Verhaltensweisen erfordern, und schlagen vor, dass zukünftige Arbeiten fortgeschrittene Explorationsstrategien oder eine gemeinsame Optimierung untersuchen könnten.