Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback

Diese Arbeit stellt ein biologisch inspiriertes Framework für online kontinuierliches Reinforcement Learning vor, das auf dem DreamerV3-Algorithmus basiert und durch die Nutzung von Weltmodell-Residuen zur Erkennung von Ausreißern sowie eine automatische Feinabstimmung ohne externe Überwachung robotischen Agenten eine selbstadaptive Verbesserung während des Betriebs ermöglicht.

Das Wesentliche

Stell dir vor, du hast einen Roboter-Hund, der perfekt laufen gelernt hat. Er wurde in einer virtuellen Welt trainiert, wo alles glatt und vorhersehbar ist. Aber dann kommt er in die echte Welt. Plötzlich ist ein Bein etwas steifer, oder die Räder haben weniger Grip auf dem Boden.

Ein herkömmlicher Roboter würde jetzt stolpern, hinfallen und einfach weitermachen, als ob nichts passiert wäre – bis er komplett kaputtgeht. Er kann nicht lernen, während er arbeitet.

Diese Forschungsarbeit von Fabian Domberg und Georg Schildbach stellt eine Lösung vor: Roboter, die sich selbst verbessern können, während sie arbeiten.

Hier ist die Erklärung der Idee, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Der Traum-Trainer (Das "World Model")

Stell dir den Roboter nicht als einen blinden Läufer vor, sondern als einen Menschen, der Träume.
Der Roboter hat ein internes Gehirn, das wir "Weltmodell" nennen. Dieses Modell lernt: "Wenn ich mein Bein so bewege, passiert das hier."
Während des Trainings im Simulator "träumt" der Roboter tausende von Szenarien. Er probiert Dinge im Kopf aus, ohne sich wirklich zu bewegen. Das spart Zeit und Energie.

2. Der Alarm-Glocke (Erkennung von Veränderungen)

Das Geniale an dieser Methode ist die Selbstüberwachung.
Stell dir vor, der Roboter läuft durch einen Wald. Sein Gehirn sagt: "Okay, ich gehe jetzt einen Schritt nach vorne, und ich erwarte, dass mein Fuß genau hier landet."

• Normalfall: Der Fuß landet genau dort. Alles ist ruhig.
• Der Störfall: Plötzlich rutscht der Fuß aus (weil es nass ist) oder ein Bein ist verletzt. Der Fuß landet anders, als das Gehirn erwartet hat.

Das ist wie bei einem Musiker, der ein Lied spielt und plötzlich eine falsche Note hört. Das Gehirn des Roboters schlägt Alarm: "Hey! Das war nicht das, was ich erwartet habe! Etwas hat sich geändert!"
In der Fachsprache nennt man das "Vorhersagefehler". Wenn dieser Fehler zu groß wird, weiß der Roboter: "Achtung, ich bin in einer neuen Situation, ich muss lernen!"

3. Der schnelle Anpassungs-Modus (Feinabstimmung)

Sobald die Alarmglocke läutet, schaltet der Roboter in den Lern-Modus.
Er hört nicht auf zu laufen (er bleibt im Einsatz), aber er beginnt, seine internen Regeln sofort zu aktualisieren.

• Beispiel: Der Roboter-Hund hat ein Bein verloren. Sein Gehirn sagt: "Okay, ich kann nicht mehr so schnell rennen wie vorher. Ich muss meinen Takt ändern."
  Er probiert neue Wege aus, immer basierend auf seinen "Träumen" (Simulationen im Kopf), aber gestützt auf die neuen, echten Daten.

4. Der Selbst-Check (Wann ist es fertig?)

Das Schwierige beim Lernen ist oft: "Wann habe ich genug gelernt? Soll ich aufhören oder weitermachen?"
Die Forscher haben dem Roboter einen internen Kompass gegeben. Er schaut nicht nur auf den Erfolg (wie schnell er läuft), sondern auch auf sein eigenes Lern-Gefühl:

• Fühlt sich das Lernen stabil an?
• Werden die Fehler kleiner?
• Ist das Gehirn zufrieden?

Sobald der Roboter merkt: "Okay, ich habe die neue Situation verstanden und laufe wieder stabil, ich muss nicht mehr wild herumprobieren", schaltet er automatisch wieder in den normalen Betriebsmodus zurück. Er braucht keinen menschlichen Lehrer, der ihm sagt: "Gut gemacht, jetzt hör auf."

Was haben sie getestet?

Die Forscher haben das an drei verschiedenen "Schülern" getestet:

1. Ein einfacher Laufroboter (Simulator): Ein Bein wurde "gebrochen". Der Roboter hat sofort gemerkt, dass er hinkt, und hat sich innerhalb von zwei Minuten (in der Simulation) wieder angepasst.
2. Ein vierbeiniger Roboter-Hund (ANYmal): Auch hier wurde ein Bein beschädigt. Der Hund stolperte erst, lernte aber schnell, wie er trotzdem stabil laufen kann.
3. Ein echtes Modellauto: Das war der härteste Test. Zuerst wurde das Auto in der Simulation trainiert, dann auf ein echtes Auto übertragen. Da die echte Welt nie perfekt mit der Simulation übereinstimmt, stolperte das Auto sofort. Aber es lernte, sich an die echte Straße anzupassen. Später wurden sogar die Reifen mit Socken überzogen (weniger Grip), und das Auto lernte, langsamer zu fahren, um nicht zu rutschen.

Warum ist das wichtig?

Bisher waren Roboter wie starre Schachspieler, die nur Züge machen konnten, die sie vorher gelernt haben. Wenn das Brett plötzlich kippte, wussten sie nicht weiter.
Diese neuen Roboter sind wie biologische Wesen (wir Menschen oder Tiere). Wenn wir auf glattem Eis ausrutschen, lernen wir sofort, vorsichtiger zu laufen. Wir passen uns an.

Zusammenfassend:
Diese Arbeit zeigt, wie man Roboter baut, die nicht nur "abgespeichertes Wissen" haben, sondern lebendig lernen können. Sie merken, wenn etwas schiefgeht, passen sich automatisch an und wissen genau, wann sie wieder "sicher" sind. Das ist ein großer Schritt hin zu Robotern, die wirklich in unserer unvorhersehbaren Welt arbeiten können, ohne ständig vom Menschen repariert oder neu programmiert werden zu müssen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback" von Fabian Domberg und Georg Schildbach auf Deutsch.

1. Problemstellung

Herkömmliche lernbasierte Robotersteuerungen werden typischerweise offline trainiert und mit festen Parametern bereitgestellt. Dies schränkt ihre Fähigkeit ein, unvorhergesehene Veränderungen während des Betriebs (sogenannte Out-of-Distribution-Ereignisse) zu bewältigen. Während biologische Intelligenzen durch interne Modelle (z. B. Verletzung von Erwartungen oder Minimierung von Überraschung) lernen, um sich an neue Situationen anzupassen, fehlt Robotern diese Fähigkeit zur lebenslangen, kontinuierlichen Anpassung. Bestehende Ansätze wie adaptive Regelung oder Fault-Tolerant Control (FTC) erfordern oft manuelles Design und erste Prinzipien-Modelle, was sie auf relativ einfache Systeme beschränkt. Das Ziel dieses Papers ist es, ein Framework zu entwickeln, das es Robotern ermöglicht, autonom während des Einsatzes Veränderungen zu erkennen und sich selbstständig anzupassen, ohne externe Überwachung oder Domänenwissen.

2. Methodik

Der vorgeschlagene Ansatz baut auf DreamerV3, einem state-of-the-art modellbasierten Reinforcement-Learning-Algorithmus (MBRL), auf. Das System kombiniert Weltmodell-Vorhersagen mit einer automatischen Feinabstimmung (Fine-Tuning).

• Grundlage (DreamerV3): Ein rekurrenter Zustandsraum-Modell (RSSM) lernt die Umgebungs-Dynamik, um zukünftige Zustände, Werte und Belohnungen vorherzusagen. Die Policy wird primär in diesem „geträumten" latenten Raum trainiert, was die Sample-Effizienz drastisch erhöht.
• Erkennung von Änderungen (Change Detection):
  • Das System nutzt die Vorhersagereste (Residuals) des Weltmodells, um Ausreißer zu detektieren.
  • Es werden zwei Metriken berechnet: der Observation Prediction Residual (OPR) (Durchschnittsfehler zwischen vorhergesagten und tatsächlichen Beobachtungen) und der Reward Prediction Residual (RPR).
  • Ein Out-of-Distribution-Ereignis wird definiert als eine Abweichung, die mehr als drei Standardabweichungen vom gleitenden Mittelwert dieser Metriken liegt. Dies löst automatisch den Anpassungsprozess aus.
• Automatische Anpassung (Automatic Adaption):
  • Sobald eine Änderung erkannt wird, startet das System einen Fine-Tuning-Prozess. Der Roboter sammelt neue Zustandsübergänge, um das Weltmodell neu anzupassen, woraufhin die Policy im latenten Raum aktualisiert wird.
  • Konvergenz-Überwachung: Um zu bestimmen, wann die Anpassung erfolgreich ist und gestoppt werden kann, überwacht das System nicht nur die externe Leistung (Belohnung), sondern auch interne Lernsignale:
    1. Dynamics Loss: Stabilität der Weltmodell-Vorhersagen.
    2. Advantage Magnitude: Stärke des Policy-Verbesserungssignals.
    3. Value Loss: Genauigkeit der langfristigen Wertvorhersagen.
  • Die Anpassung wird beendet, wenn diese Metriken stabilisieren und keine weiteren signifikanten Trends mehr zeigen.

3. Wichtige Beiträge

• Vollautomatisierung: Das Paper stellt eine der ersten Methoden vor, die eine vollautomatische, kontinuierliche Anpassung für kontinuierliche Steuerungsprobleme in offenen Umgebungen (Open-Set CRL) ermöglicht, ohne manuelle Eingriffe.
• Einzelnes Modell: Im Gegensatz zu „Mixture-of-Experts"-Ansätzen, die für jede neue Situation neue Modelle erstellen (was Speicherplatz und Rechenleistung erfordert), wird hier ein einziges Actor- und Predictor-Modell kontinuierlich aktualisiert.
• Selbstreflexion: Das System nutzt interne Modellfehler als Signal für Unsicherheit und nutzt diese, um den Lernprozess zu steuern und zu terminieren, ähnlich wie biologische Systeme.
• Validierung in der Realität: Die Methode wird nicht nur in Simulation, sondern auch auf einem echten physikalischen Fahrzeug validiert.

4. Ergebnisse

Die Autoren validierten das Framework an drei Szenarien:

1. DMC Walker (Simulation): Ein humanoider Roboter wurde simuliert, indem ein Gelenk beschädigt wurde (Reduzierung des Getriebeverhältnisses).
   • Ergebnis: Das System erkannte den Sturz sofort (Anstieg von OPR/RPR, Abfall der Belohnung) und initiierte das Fine-Tuning. Innerhalb von weniger als 10.000 Schritten (ca. 2 Minuten Simulationszeit) stabilisierte sich das Laufen wieder.
2. Quadruped Robot ANYmal (Simulation): Ein vierbeiniger Roboter (NVIDIA Isaac Lab) hatte einen Ausfall an drei Aktuatoren des rechten Hinterbeins.
   • Ergebnis: Nach dem Ausfall brach die Bewegung zusammen. Das System erkannte dies und passte die Policy an. Nach ca. 5.000 Schritten (4 Minuten) stabilisierte sich der Gangzyklus. Ein fehlgeschlagener Lauf demonstrierte, wie das System nicht-konvergentes Verhalten erkennt und die Anpassung abbricht.
3. Real-World Experiment (1:10 Modellauto): Ein in der Simulation trainiertes Modell wurde auf ein reales Auto übertragen (Sim-to-Real) und später mit Socken an den Hinterrädern (reduzierte Reibung) getestet.
   • Ergebnis: Beim Übergang zur Realität (Sim-to-Real) gab es einen starken Anstieg der Vorhersagefehler. Das System adaptierte innerhalb von ca. 10.000 Schritten (8 Minuten Echtzeit) und erreichte wieder eine stabile Fahrweise. Auch bei der nachträglichen Reibungsreduktion (Socken) erfolgte eine erfolgreiche, wenn auch subtilere Anpassung (langsameres Fahren), ohne dass das System kollabierte.

5. Bedeutung und Ausblick

Das Paper zeigt, dass MBRL-Methoden wie DreamerV3 eine vielversprechende Basis für selbstverbessernde robotische Systeme sind.

• Bedeutung: Es überwindet die starre Trennung zwischen Training und Einsatz. Roboter können sich an unvorhergesehene Schäden, Umgebungsänderungen oder den Transfer von Simulation zur Realität anpassen.
• Herausforderungen:
  • Sicherheit: Da RL Exploration erfordert, können Fehler in der realen Welt katastrophal sein. Zukünftige Arbeiten müssen Safe-RL-Methoden oder überwachende MPC-Systeme integrieren.
  • Stabilität-Plastizitäts-Dilemma: Das System priorisiert die Anpassung an neue Situationen gegenüber dem Behalten alter Fähigkeiten (Open-Set-Ansatz), was in manchen Szenarien effizienter, in anderen aber problematisch sein kann.
  • Skalierbarkeit: Die Anpassungsgeschwindigkeit hängt von der Größe der Änderung ab (z. B. Sim-to-Real erfordert mehr Schritte als ein lokaler Aktuatorausfall).

Zusammenfassend skizziert die Arbeit einen Weg weg von statischen Trainingsregimen hin zu autonomen Agenten, die während des Betriebs „nachdenken" und sich verbessern können, analog zu biologischen Lebewesen.