🤖 machine learning

Trajectory First: A Curriculum for Discovering Diverse Policies

Dieser Artikel schlägt „Trajectory First" vor, ein zweistufiges Curriculum-Learning-Framework, das einen spline-basierten Trajektorienprior nutzt, um vielfältige, hochbelohnende Verhaltensweisen zu generieren und diese anschließend in reaktive Strategien zu destillieren, wodurch die in bestehenden Reinforcement-Learning-Methoden mit eingeschränkter Vielfalt für komplexe Aufgaben wie Roboter-Manipulation auftretenden Probleme der begrenzten Exploration und Verhaltensvielfalt überwunden werden.

Ursprüngliche Autoren: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, eine schwere Kiste durch einen Raum zu schieben. Die meisten herkömmlichen Roboterausbilder bringen dem Roboter bei, einen perfekten Weg dafür zu finden: „Von links drücken, nach vorne schieben, erledigt." Wenn der Boden rutschig wird oder die Kiste verrutscht, könnte diese einzelne Strategie versagen, und der Roboter bleibt stecken.

Diese Arbeit argumentiert, dass ein intelligenter Roboter viele verschiedene Wege lernen sollte, um dasselbe Problem zu lösen. Vielleicht besteht die eine Strategie darin, von links zu drücken, eine andere von rechts, und eine dritte darin, die Kiste zu heben und zu tragen. Eine „Werkzeugkiste" voller Strategien macht den Roboter deutlich robuster.

Allerdings ist es unglaublich schwierig, einem Roboter Vielfalt beizubringen. Wenn Sie einem Roboter einfach sagen: „Sei anders", wird er oft verwirrt. Er könnte versuchen, anders zu sein, indem er seine Arme in der Luft wedelt (was zwar anders, aber nutzlos ist), oder er könnte stecken bleiben, während er versucht, einen neuen Weg zu finden, und versehentlich gegen Dinge prallen.

Die Autoren schlagen eine neue Trainingsmethode namens „Trajectory First" vor. Stellen Sie sich dies als einen zweistufigen Lehrplan vor, ähnlich wie ein Meisterkoch einen neuen Lehrling ausbildet.

Schritt 1: Die „Flugsimulator"-Phase (Exploration)

Anstatt dem Roboter beizubringen, sofort schrittweise zu reagieren, bringen die Autoren den Roboter zunächst aus der „realen Welt" heraus und setzen ihn in einen Flugsimulator, in dem er ganze Bewegungen auf einmal planen kann.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die beste Route durch ein riesiges, nebliges Labyrinth zu finden. Wenn Sie nur einen Schritt nach dem anderen gehen und sich umsehen (die übliche Methode), könnten Sie in einer Sackgasse stecken bleiben.
Der Trick der Arbeit: Die Autoren verwenden ein mathematisches Werkzeug namens B-Spline. Stellen Sie sich dies vor wie das Ziehen eines glatten, flexiblen Drahts durch das Labyrinth. Der Roboter bewegt sich nicht schrittweise; er passt lediglich die Form des Drahts an.
Das Ziel: Sie verwenden eine „Suchmaschine" (eine evolutionäre Strategie), um diese Drähte herumzuziehen, bis sie viele verschiedene Pfade finden, die den Roboter erfolgreich zum Ziel bringen. Sie suchen noch nicht nach dem perfekten Pfad; sie wollen einfach einen großen Haufen unterschiedlicher erfolgreicher Pfade.
Warum es funktioniert: Da sie den gesamten „Draht" auf einmal bewegen, kann der Roboter sofort von einer Seite des Labyrinths zur anderen springen und Routen entdecken, die ein schrittweise vorgehender Roboter niemals finden würde, weil er zu ängstlich wäre, den ersten Schritt zu tun.

Schritt 2: Die „Realwelt"-Phase (Distillation)

Jetzt, wo der Roboter eine Bibliothek erfolgreicher, vielfältiger „Drähte" (Trajektorien) hat, ist es Zeit, ihm beizubringen, wie man im echten Leben fährt.

Die Analogie: Sie nehmen all diese perfekten Flugsimulator-Routen und bringen dem Lehrling bei, das Auto reaktiv zu steuern. Der Lehrling lernt: „Wenn ich die Wand links sehe, drehe ich mich nach rechts. Wenn ich die Wand rechts sehe, drehe ich mich nach links."
Die Herausforderung: Normalerweise vergisst der Roboter beim Wechsel vom Simulator in die reale Welt seine Vielfalt und fällt auf nur eine sichere, langweilige Art des Handelns zurück.
Die Lösung der Arbeit: Sie führen drei „Stabilisatoren" ein, um die Vielfalt des Roboters zu erhalten:
1. Symmetrisches Sampling: Sie mischen die alten Simulatordaten zu 50/50 mit neuen Realweltdaten. Es ist, als würden Sie dem Lehrling sagen: „Erinnere dich an die coolen Routen, die wir im Simulator gefunden haben? Übe diese weiter, während du die neue Straße lernst."
2. Der „Bisher Beste"-Trick: Sie aktualisieren ständig die Definition von „Erfolg". Anstatt zu sagen: „Du musst perfekt sein", sagen sie: „Du musst mindestens so gut sein wie das Beste, das wir bisher gesehen haben." Dies verhindert, dass der Roboter zu früh zu gierig wird und seine eigene Vielfalt zerstört.
3. Schnelle Updates: Sie lassen den Roboter viel schneller als üblich aus seinen Fehlern lernen. Da sich die Definition von „vielfältig" ändert, während der Roboter lernt, muss der Roboter sein Gehirn schnell aktualisieren, um mit dem sich verschiebenden Ziel Schritt zu halten.

Die Ergebnisse

Die Autoren testeten dies an Robotern, die Würfel schieben, Knöpfe drücken und Labyrinthe navigieren mussten.

Der alte Weg: Die Roboter fanden ein oder zwei Wege, die Aufgabe zu erledigen, und steckten oft in demselben „lokalen Optimum" fest (derselbe sichere, langweilige Lösungsweg).
Der neue Weg: Die Roboter entdeckten eine breite Vielfalt kreativer Lösungen. Für die Knopfdruck-Aufgabe benutzten einige Roboter ihren Ellbogen, andere ihr Handgelenk und wieder andere ihren ganzen Körper, um den Knopf zu drücken. Sie alle erledigten die Aufgabe, aber auf völlig unterschiedliche Weise.

Zusammenfassung

Die Arbeit behauptet, dass man, um einen Roboter wirklich vielfältig und robust zu machen, ihn nicht einfach während des schrittweisen Lernens auffordern kann, „anders" zu sein. Zuerst muss man ihm erlauben, in einem sicheren, flexiblen Raum viele verschiedene erfolgreiche Pläne zu entwerfen (die „Trajectory First"-Phase), und dann muss man ihm sorgfältig beibringen, wie man diese Pläne in der realen Welt ausführt, ohne seine Kreativität zu verlieren.

Dieser Ansatz löst das Problem, dass Roboter in lokalen Schleifen stecken bleiben, und stellt sicher, dass sie eine reiche „Werkzeugkiste" voller Strategien haben, um mit unerwarteten Veränderungen in ihrer Umgebung umzugehen.

Technische Zusammenfassung: Trajectory First: Ein Curriculum zur Entdeckung diverser Strategien

Problemstellung

Methoden des Reinforcement Learning (RL) gehen häufig von unimodalen Aktionsverteilungen aus und erzeugen eine einzelne Strategie, die gegenüber Umgebungsstörungen anfällig ist und dazu neigt, in lokalen Optima stecken zu bleiben. Obwohl die Entdeckung einer Menge diverser Strategien die Robustheit maximiert, scheitern bestehende Methoden zur optimierten Diversität unter Nebenbedingungen häufig bei komplexen, kontaktreichen Aufgaben wie der Robotermanipulation.

Die zentrale Herausforderung, die identifiziert wurde, ist die Untererkundung (under-exploration). In Domänen wie der Robotermanipulation werden Objektzustände durch intermittierende Kontakte vermittelt, was zu nicht-glatten Abbildungen zwischen Aktionen und Zuständen führt, die von Kontaktunterbrechungen dominiert werden. Folglich kollabieren diversitätsorientierte Zielsetzungen oft auf wenige Modi, da alternative Strategien zu selten entdeckt werden, um verstärkt zu werden. Standardmethoden zur lokalen Erkundung (z. B. Gaußsches Rauschen im Strategie-Raum) reichen nicht aus, um in diesen Umgebungen getrennte manifolds mit hoher Belohnung zu überbrücken.

Methodik: Ein zweistufiges Curriculum

Die Autoren schlagen „Trajectory First" vor, ein Curriculum, das darauf ausgelegt ist, Engpässe bei der Erkundung zu überwinden, indem es die globale Trajektorien-Erkundung vom reaktiven Strategie-Lernen entkoppelt. Der Ansatz besteht aus zwei distincten Phasen:

Phase 1: Eingeschränkte Neuheitssuche (Constrained Novelty Search, CNS) im Trajektorien-Raum

Anstatt die Parameter eines neuronalen Netzwerks direkt zu optimieren, erkundet die erste Phase den Raum der offenen Trajektorien (open-loop trajectories) mittels einer Evolutionsstrategie (ES).

Spline-basierte Parametrisierung: Trajektorien $\tau$ werden als B-Splines parametrisiert, die durch Kontrollpunkte $\omega$ definiert sind. Dies bietet einen glatten induktiven Bias und reduziert im Vergleich zu rohen Aktionssequenzen die Dimensionalität des Suchraums.
Optimierungsziel: Das Ziel ist es, eine Menge von Trajektorienparametern $\Omega_n$ zu finden, die die Diversität unter einer Nebenbedingung der Near-Optimalität maximiert ( $v_{\omega_i} \geq \alpha v^*$ ).
Eingeschränkte Neuheitssuche: Die Autoren führen ein Lagrange-Ziel ein, das eine intrinsische Neuheitsbelohnung (basierend auf der Entropie des Trajektorien-Satzes, geschätzt über k-NN-Abstände) und die extrinsische Aufgabenbelohnung ausbalanciert.
Optimierungsalgorithmus: Die Kontrollpunkte $\omega$ werden mittels CMA-ES optimiert, was für den mittelgroßen Parameterraum von B-Splines hoch effizient ist. Dies ermöglicht dem Algorithmus, zwischen Modi zu „springen" und diverse Anker mit hoher Belohnung zu entdecken, die eine lokale Suche im Strategie-Raum übersehen würde.

Phase 2: Destillation in reaktive Strategien

Die in Phase 1 entdeckten diversen Trajektorien werden mittels eingeschränktem off-policy-Lernen in eine Menge von $n$ reaktiven, fähigkeitsbedingten Strategien $\Pi_n$ destilliert.

Rahmenwerk: Die Autoren übernehmen das Domino-Rahmenwerk und behandeln den Gradienten des Diversitätsziels als intrinsische Belohnung.
Stabilisierungstechniken: Um eine stabile Destillation von Offline-Trajektorien-Daten zu Online-reaktiven Strategien in kontaktreichen Aufgaben sicherzustellen, werden drei kritische Modifikationen eingeführt:
1. Symmetrisches Sampling: Trainings-Batches bestehen zu 50 % aus Online-Daten und zu 50 % aus gefilterten CNS-Trajektorien (ausgewählt aus den Top 25 % der Returns). Dies verhindert einen Diversitätskollaps während des Übergangs zum Online-RL.
2. Der $v_{max}$ -Trick: Anstatt sich auf eine einzelne Expertenstrategie zur Schätzung des optimalen Werts $v^*$ zu verlassen, aktualisieren die Autoren $v^*$ als das über alle Fähigkeiten und die gesamte Trainingshistorie erzielte Maximum ( $v^* \leftarrow \max\{v^*, \max_i v_i\}$ ). Dies bietet ein monoton steigendes, stabiles Ziel für die Unteroptimalitäts-Nebenbedingung und verhindert, dass das Diversitätsziel durch vorzeitigen Optimierungsdruck erstickt wird.
3. Hohe Strategie-Aktualisierungs-zu-Daten-Rate (UTD): Im Gegensatz zum Standard-Offline-zu-Online-RL, bei dem der Kritiker häufig und die Strategie selten aktualisiert wird, erhöht diese Methode die Aktualisierungsfrequenz der Strategie (z. B. 4 Aktualisierungen pro Umgebungs-Schritt). Dies ist notwendig, da die intrinsische Belohnung von der Zustandsbelegung des aktuellen Strategiesatzes abhängt; häufige Strategie-Aktualisierungen ermöglichen es dem Agenten, mit dem sich verschiebenden intrinsischen Landschaftsprofil Schritt zu halten.

Hauptbeiträge

Empirische Identifizierung von Erkundungs-Engpässen: Die Arbeit zeigt, dass bestehende Methoden zur optimierten Diversität unter Nebenbedingungen (z. B. Domino) bei Robotermanipulationsaufgaben versagen, diverse Strategien zu entdecken, da die lokale Erkundung nicht in der Lage ist, getrennte Regionen mit hoher Belohnung zu überbrücken.
Trajektorien-First-Curriculum: Ein neuartiger zweistufiger Ansatz, der eine evolutionäre Suche über spline-basierte Trajektorien nutzt, um diverse Anker mit hoher Belohnung zu generieren, die anschließend in reaktive Strategien destilliert werden.
Rezept zur Stabilisierung: Eine Reihe von Techniken (Symmetrisches Sampling, $v_{max}$ -Trick, hohe Strategie-UTD), die ein stabiles Offline-zu-Online-Lernen für Diversitätsziele ermöglichen und die Nicht-Stationarität intrinsischer Belohnungen in eingeschränkten Settings adressieren.

Experimentelle Ergebnisse

Die Methode wurde an vier robotischen Aufgaben evaluiert: Maze Navigation (Labyrinth-Navigation), Cube Pushing (Würfel-Schieben), Button Pressing (Tasten-Drücken) und Cube Flipping (Würfel-Umdrehen).

Diversität vs. Leistung: Das vorgeschlagene Curriculum erzielte eine 1,5-fache Steigerung der Verhaltensdiversität im Vergleich zur stärksten Baseline (Domino), bei gleichzeitiger Beibehaltung vergleichbarer Aufgabenergebnisse.
Aufgabenspezifische Erkenntnisse:
- Bei Maze Navigation entdeckte die Methode die höchste Anzahl andistincten Pfaden, wohingegen Baselines dazu neigten, sich um sichere, kollisionsfreie Routen zu gruppieren.
- Beim Button Pressing kollabierten Baselines häufig dazu, denselben Roboter-Link für alle Fähigkeiten zu verwenden. Die vorgeschlagene Methode entdeckte erfolgreich Ganzkörper-Manipulationsstrategien unter Verwendung verschiedener Roboter-Links.
- Beim Cube Flipping fand die Methode diverse Kontaktmodi und Kraftprofile, wohingegen Baselines auf Rauschen-basierter Erkundung aufgrund häufiger Kollisionen und negativer Belohnungen scheiterten.
Robustheit: Die Methode blieb unter adversarialen Belohnungsspezifikationen (z. B. hohe Kollisionsstrafen) robust, bei denen Baselines versagten, überhaupt mit Objekten zu interagieren, da die CNS-Phase einen Warmstart innerhalb von Regionen mit hoher Belohnung bot.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der primäre Engpass bei der optimierten Diversität unter Nebenbedingungen für die Robotik nicht das Lernziel selbst ist, sondern die Abhängigkeit von lokaler Erkundung. Durch die Einführung eines induktiven Bias mittels spline-basierter Trajektorien-Priors ermöglichen die Autoren die Entdeckung diverser Kontaktmodi, die für eine Standard-Suche im Strategie-Raum sonst unzugänglich sind.

Die Autoren positionieren diese Arbeit als Lösung für den „Exploration-Exploitation"-Trade-off bei der Diversitätsoptimierung. Sie argumentieren, dass die Annahme früherer Arbeiten, diverse Verhaltensweisen mit hoher Belohnung seien unter Online-Strategie-Optimierung leicht erreichbar, bei komplexen Manipulationsaufgaben fehlschlägt. Das vorgeschlagene Curriculum überbrückt die globale Erkundung auf Trajektorien-Ebene und die reaktive Steuerung und bietet ein praktisches Rezept für das Training robuster, diverser Agenten. Die Autoren vermerken bescheiden Limitationen, wie die Abhängigkeit von manuell definierten Zustandsmerkmalen für die Diversitätsmessung und den festen Übergang zwischen den Phasen, und schlagen vor, dass zukünftige Arbeiten adaptive Umschaltungen und Repräsentationslernen aus Rohbeobachtungen erforschen könnten.