💻 computer science

Continual Domain Randomization

Dieser Artikel schlägt eine kontinuierliche Domänenrandomisierung (CDR) vor, einen neuartigen Ansatz, der Domänenrandomisierung mit kontinuierlichem Lernen kombiniert, um Reinforcement-Learning-Richtlinien sequenziell auf Teilmengen von Simulationsparametern zu trainieren, wodurch die Suboptimalität der simultanen Randomisierung überwunden und eine robuste Sim-zu-Real-Übertragung bei robotischen Aufgaben erreicht wird.

Ursprüngliche Autoren: Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Tasse aufzuheben. Der klügste Weg, dies zu tun, besteht normalerweise darin, den Roboter zunächst Millionen von Malen in einer Computersimulation üben zu lassen, damit er den echten Roboter nicht beschädigt oder jemanden verletzt. Doch hier liegt das Problem: Eine Computersimulation ist niemals perfekt wie die reale Welt. Der echte Roboter könnte etwas schwerer sein, die Motoren etwas langsamer oder die Sensoren ein wenig „verrauscht". Dieser Unterschied wird als „Realitätslücke" bezeichnet. Wenn Sie einen Roboter in einer perfekten Simulation trainieren, versagt er oft kläglich, sobald Sie ihn in die reale Welt bringen, weil er gelernt hat, sich auf die Perfektion der Simulation zu verlassen.

Um dies zu beheben, wenden Wissenschaftler einen Trick namens Domain Randomization (Domänenrandomisierung) an. Anstatt zu versuchen, die Simulation perfekt zu machen, vermasseln sie sie absichtlich. Sie machen den Roboter in einem Durchgang schwerer, im nächsten leichter, fügen künstliches Sensorrauschen hinzu oder verzögern die Steuerung. Die Idee ist, dass der Roboter, wenn er lernt, mit all diesen vermasselten Versionen umzugehen, robust genug sein wird, um die reale Welt zu bewältigen, die nur eine weitere Version von „vermasselt" ist.

Das Problem mit dem alten Weg
Die traditionelle Methode ist vergleichbar damit, zu versuchen, Schwimmen zu lernen, indem man am allerersten Tag direkt in einen stürmischen Ozean mit starken Strömungen, hohen Wellen und kaltem Wasser springt. Das ist zu schwierig! Der Roboter wird überwältigt, verwirrt und lernt eine schlechte Strategie (oder lernt überhaupt nichts), weil die Aufgabe zu schwierig ist.

Die neue Lösung: Continual Domain Randomization (CDR)
Die Autoren dieses Papiers schlagen einen klügeren Lernweg vor, den sie Continual Domain Randomization (CDR) nennen. Stellen Sie es sich wie das Erlernen des Autofahrens vor:

Beginnen Sie einfach: Zuerst lernen Sie, in einem leeren, perfekten Parkplatz ohne Wind, ohne andere Autos und mit perfekten Reifen zu fahren. Sie beherrschen die Grundlagen.
Fügen Sie eine Herausforderung nach der anderen hinzu: Sobald Sie darin gut sind, werfen Sie Sie nicht plötzlich in einen Hurrikan. Stattdessen fügen Sie nur eine neue Herausforderung hinzu. Vielleicht fahren Sie im Regen. Sobald Sie den Regen gemeistert haben, fügen Sie Wind hinzu. Sobald Sie den Wind gemeistert haben, fügen Sie starken Verkehr hinzu.
Erinnern Sie sich an alles: Der knifflige Teil ist, dass Sie, wenn Sie lernen, im Regen zu fahren, nicht vergessen sollten, wie man auf trockenem Asphalt fährt. Hier kommt der Teil des „Continual Learning" (kontinuierlichen Lernens) ins Spiel. Der Roboter verwendet eine spezielle Gedächtnistechnik (genannt Elastic Weight Consolidation), die wie ein „Sicherheitsnetz" wirkt. Sie ermöglicht es dem Roboter, neue Fähigkeiten zu erlernen (wie das Bewältigen von Regen), ohne die alten Fähigkeiten (Fahren auf trockenem Asphalt) zu „vergessen".

Wie sie es getestet haben
Die Forscher testeten diese Idee an zwei Aufgaben:

Greifen: Ein Roboterarm, der versucht, einen bestimmten Punkt zu berühren.
Ergreifen: Eine komplexere Aufgabe, bei der ein Roboterarm eine Box finden, seinen Greifer perfekt ausrichten und sie aufnehmen muss.

Sie verglichen ihre „schrittweise" Methode (CDR) mit zwei anderen Ansätzen:

Der „perfekte" Simulator: Training nur in einer sauberen, perfekten Welt (was in der Realität versagt).
Der „Chaos"-Simulator: Alle Probleme (Regen, Wind, Verkehr) gleichzeitig auf den Roboter werfen.
Die „vergessliche" Methode: Probleme einzeln hinzufügen, aber ohne das Sicherheitsnetz des Gedächtnisses (so dass der Roboter die vorherigen Schritte vergisst).

Die Ergebnisse
Die Ergebnisse waren beeindruckend:

Der mit CDR trainierte Roboter lernte effektiv in der Simulation.
Als sie den Roboter in die reale Welt brachten, performte er besser oder genauso gut wie der Roboter, der im „Chaos"-Modus trainiert wurde.
Entscheidend war, dass CDR stabiler war. Es spielte keine Rolle, in welcher Reihenfolge sie die Herausforderungen hinzufügten (zuerst Regen oder zuerst Wind); der Roboter lernte dennoch gut. Die „vergessliche" Methode hingegen hatte Schwierigkeiten, wenn sich die Reihenfolge der Herausforderungen änderte.

Kurz gesagt
Dieses Papier zeigt, dass es besser ist, einen Roboter Schritt für Schritt zu unterrichten und dabei eine Schwierigkeit nach der anderen hinzuzufügen, während sichergestellt wird, dass er sich daran erinnert, wie man die vorherigen bewältigt, anstatt ihn in einem Meer zufälliger Variablen auf einmal zu ertränken. Dies schafft einen Roboter, der bereit für die unordentliche, unvorhersehbare reale Welt ist, ohne dass er während des Trainings in der realen Welt getestet werden muss.

1. Problemstellung

Deep Reinforcement Learning (DRL) in der Robotik stützt sich häufig auf simulierte Umgebungen, um die Ineffizienz bei der Datennutzung und Sicherheitsbedenken zu überwinden. Das „Reality Gap" – die Diskrepanz zwischen Simulation und der realen Welt – führt jedoch oft zu schlechten Leistungen bei der Übertragung von Strategien (Sim2Real) ohne weitere Anpassung.

Einschränkungen bestehender Ansätze:
- Perfekte Simulation: Für komplexe Systeme aufgrund von Hardwareverschleiß und Umweltveränderungen nicht erreichbar.
- Domain Adaptation (Feinabstimmung): Erfordert reale Daten, was zeitaufwendig und potenziell unsicher ist.
- Standard Domain Randomization (DR): Randomisiert alle Simulationsparameter gleichzeitig, um das Reality Gap abzudecken. Die gleichzeitige Randomisierung zu vieler Parameter erhöht jedoch die Aufgabenkomplexität und die Unsicherheit des Agenten, was häufig zu suboptimalen Strategien oder einem Ausbleiben der Konvergenz führt.
- Sequentielle Randomisierung ohne CL: Das sequentielle Training auf Teilmengen von Parametern ohne Beibehaltung des Wissens früherer Schritte führt zu katastrophalem Vergessen, wobei der Agent sich an die jüngste Randomisierung anpasst und die Robustheit gegenüber früheren verliert.

2. Methodik: Continual Domain Randomization (CDR)

Die Autoren schlagen Continual Domain Randomization (CDR) vor, ein Framework, das Domain Randomization mit Continual Learning (CL) kombiniert, um sequentielles Training auf Teilmengen von Randomisierungsparametern unter Beibehaltung des Wissens aus vorherigen Schritten zu ermöglichen.

Kern-Workflow

Initialisierung: Der Agent wird zunächst in einer idealisierten Simulation (ohne Randomisierung) trainiert, um die Baselaufgabe zu erlernen.
Sequentielles Training: Der Agent wird anschließend auf einer Sequenz von Simulationen trainiert, wobei jeder Schritt einen spezifischen Teilbereich von Randomisierungsparametern aktiviert (z. B. Latenz, Drehmoment, Rauschen).
Continual Learning: Um katastrophales Vergessen zu verhindern, setzt das System regularisierungsbasierte CL-Algorithmen ein, um die Effekte vorheriger Randomisierungen zu „merken".

Algorithmische Implementierung

Die Autoren implementieren zwei Varianten unter Verwendung von Proximal Policy Optimization (PPO) kombiniert mit Elastic Weight Consolidation (EWC):

CDR-λ (Offline):
- Nutzt EWC zur Regularisierung des Policy-Netzwerks.
- Bewahrt für jeden vergangenen Task einen separaten Snapshot der Netzwerkparameter ( $\theta^*$ ) und der empirischen Fisher-Information-Matrix (FIM).
- Verlustfunktion: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
- Kompromiss: Hoher Speicherbedarf (lineare Skalierung mit der Anzahl der Tasks), aber starke Beibehaltung des früheren Wissens.
CDR-Oλ (Online):
- Nutzt eine Online-EWC-Variante, um den Speicherbedarf zu reduzieren.
- Bewahrt nur einen Snapshot des Netzwerks und eine einzige, kumulative Fisher-Information-Matrix.
- Die Fisher-Matrix wird rekursiv aktualisiert: $F^*_i = \gamma F^*_{i-1} + F_i$ .
- Kompromiss: Konstanter Speicherbedarf, aber potenziell schwächere Beibehaltung sehr alter Tasks im Vergleich zur Offline-Version.
Normalisierung: Ein wichtiger technischer Detailaspekt ist die Normalisierung der Elemente der Fisher-Information-Matrix auf den Bereich $[0.0, 1.0]$ nach jedem Task. Dies entkoppelt die Regularisierungskonstante $\lambda$ von der willkürlichen Skalierung verschiedener Tasks und ermöglicht die Verwendung eines einzigen $\lambda$ über die gesamte Sequenz hinweg.

3. Experimenteller Aufbau

Die Autoren bewerteten CDR an zwei robotischen Manipulationsaufgaben unter Verwendung eines KUKA LBR iiwa 14-Arms:

Greifaufgabe (Reaching Task): Ein 2-Gelenk-Arm, der ein Ziel erreicht.
Greifaufgabe (Grasping Task): Ein 7-Gelenk-redundanter Arm mit einem Robotiq-3-Finger-Greifer, der einen Würfel greift.

Randomisierungsparameter:
Drei Parameter wurden in unterschiedlichen Reihenfolgen sequentiell randomisiert (z. B. Drehmoment $\to$ Latenz $\to$ Rauschen):

Latenz (L): Zufällige Verzögerung bei der Zustandsbeobachtung.
Drehmoment (T): Randomisierte Gelenksteifigkeit und Dämpfung.
Rauschen (N): Sensorrauschen.

Basislinien (Baselines):

Ideal: Trainiert in nicht-randomisierter Simulation.
Randomized: Trainiert mit allen Parametern gleichzeitig randomisiert.
Finetuning: Sequentielles Training ohne CL (keine Regularisierung).

4. Wichtige Ergebnisse

Greifaufgabe (Reaching Task)

Sim2Real-Leistung: Das Ideal-Modell performte in der Simulation am besten, scheiterte jedoch in der realen Welt (hoher Jitter, niedrige Belohnung) aufgrund von Überanpassung. Die Randomized-Basislinie performte in der Realität gut, erzielte jedoch niedrigere Simulationsbelohnungen.
CDR-Leistung: Beide CDR-Varianten erreichten eine Sim2Real-Übertragung, die mit der vollständig randomisierten Basislinie vergleichbar oder besser war.
- CDR-Oλ erzielte die höchsten Belohnungen und die höchste Stabilität in der realen Welt.
- Finetuning performte gut in der Simulation, zeigte jedoch im Vergleich zu CDR eine schlechte Übertragung in die reale Welt, was bestätigt, dass das Vergessen früherer Randomisierungen nachteilig ist.
Empfindlichkeit gegenüber Reihenfolge: Sequentielle Basislinien (Finetuning) waren stark von der Reihenfolge der Randomisierung abhängig. CDR war gegenüber der Reihenfolge der Parameter signifikant robuster.

Greifaufgabe (Grasping Task)

Komplexität: Die Greifaufgabe war schwieriger und erforderte höhere Präzision.
Stabilität: CDR-Strategien zeigten im Vergleich zu Finetuning eine geringere Varianz und einen stabileren Trainingsfortschritt.
Erfolg in der realen Welt:
- CDR-Oλ erreichte eine Greiferfolgsrate von 78 % in der Simulation und 60 % in der Realität (mit NLT-Reihenfolge) und übertraf damit die Randomized-Basislinie (40 % Erfolg in der Realität).
- Finetuning zeigte eine hohe Varianz; je nach Reihenfolge konnte es der beste oder schlechteste Performer sein, was seine Instabilität unterstreicht.
- CDR-Modelle lieferten konsistente Leistungen unabhängig von der Reihenfolge der Randomisierung.

Regularisierungsstärke ( $\lambda$ )

Niedriges $\lambda$ : Modelle verhalten sich wie Finetuning (Vergessen früherer Tasks), was zu einer schlechten Übertragung in die reale Welt führt.
Hohes $\lambda$ : Modelle werden zu starr, können sich nicht an neue Randomisierungen anpassen, was zu schlechten Leistungen sowohl in der Simulation als auch in der Realität führt.
Optimaler Bereich: Ein mittlerer Bereich von $\lambda$ bot den besten Kompromiss und ermöglichte Anpassung bei gleichzeitiger Beibehaltung der Robustheit.

5. Wichtige Beiträge

Neues Framework: Einführung von Continual Domain Randomization (CDR), das Domain Randomization als Continual-Learning-Problem behandelt, um Komplexität sequentiell einzuführen, ohne katastrophales Vergessen.
Speichereffizienz: Entwicklung einer Online-CDR-Variante (CDR-Oλ), die die lineare Speicherskalierung traditioneller EWC vermeidet, indem eine einzige Fisher-Matrix beibehalten wird, was sie für lange Sequenzen von Randomisierungen skalierbar macht.
Robustheit gegenüber Reihenfolge: Demonstration, dass CDR weniger empfindlich gegenüber der Reihenfolge ist, in der Randomisierungsparameter eingeführt werden, im Vergleich zum standardmäßigen sequentiellen Finetuning.
Zero-Shot-Transfer: Erfolgreicher Zero-Shot-Sim2Real-Transfer an realen Robotern ohne Notwendigkeit von realen Trainingsdaten oder Domain Adaptation.

6. Bedeutung und Fazit

Das Paper adressiert einen kritischen Engpass im robotischen RL: den Kompromiss zwischen der Schwierigkeit des Trainings mit hoher Randomisierung und dem Risiko der Überanpassung an eine spezifische Simulation. Durch die Integration von Continual Learning ermöglicht CDR Agenten, „zu lernen, wie man lernt", über variierende Simulationsbedingungen hinweg, und baut eine Strategie auf, die gegenüber einer breiten Palette von Dynamiken robust ist.

Praktische Auswirkungen: CDR bietet ein flexibles, allgemeines Framework für Sim2Real-Transfer, das keine Definition aller Randomisierungsparameter im Voraus erfordert und keinen Zugriff auf reale Daten für die Feinabstimmung benötigt.
Zukünftige Arbeiten: Die Autoren schlagen vor, CDR mit automatisierter oder aktiver Domain Randomization zu kombinieren, um optimale Parameterbereiche dynamisch zu bestimmen, und den Ansatz auf visuell basierte Randomisierung zu erweitern.

Zusammenfassend bietet CDR eine überlegene Alternative sowohl zur statischen Randomisierung als auch zum einfachen sequentiellen Finetuning und erzielt State-of-the-Art-Sim2Real-Leistungen bei komplexen robotischen Manipulationsaufgaben.