🤖 AI

HARBOR: A Harness Framework for Agentic Robot Reinforcement Learning

HARBOR ist ein agentenbasiertes Framework, das den End-to-End-Reinforcement-Learning-Workflow für Roboter automatisiert, indem es komplexe Engineering-Aufgaben in spezialisierte, parallele Agentenstadien zerlegt und dadurch den Expertenaufwand sowie die Kosten erheblich reduziert, die für das Training und den Transfer von Policies von der Simulation auf reale Anwendungen erforderlich sind.

Ursprüngliche Autoren: Zechu Li, Yufeng Jin, Xiaoyang Liu, Puze Liu, Vignesh Prasad, Carlo D'Eramo, Georgia Chalvatzaki

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zechu Li, Yufeng Jin, Xiaoyang Liu, Puze Liu, Vignesh Prasad, Carlo D'Eramo, Georgia Chalvatzaki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter eine komplexe Aufgabe beibringen, wie zum Beispiel das Stapeln von drei Blöcken oder das Öffnen einer Schublade. In der Vergangenheit war dies so, als würde man versuchen, einen Automotor von Hand zu bauen, eine winzige Schraube nach der anderen, ohne eine Bedienungsanleitung. Man muss den Code für die Simulation schreiben, die „Spielregeln“ (Belohnungen) erfinden, die Physik-Einstellungen anpassen und ständig das Lerngehirn des Roboters nachjustieren. Es erfordert Wochen an Expertenarbeit durch Versuch und Irrtum, und wenn auch nur eine Kleinigkeit falsch ist, bricht das gesamte System zusammen.

HARBOR ist ein neues System, das wie ein hochorganisierter Projektmanager für diesen Prozess fungiert. Anstatt dass ein Mensch die gesamte schwere Arbeit leistet, nutzt HARBOR ein Team von KI-„Agenten“ (spezialisierten Helfern), um den gesamten Arbeitsablauf von Anfang bis Ende zu automatisieren.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Das Konzept des „Harness“ (Geschirr/Tragegestell)

Stellen Sie sich vor, das Bau einer Roboter-Policy (Strategie) sei wie der Bau eines Hauses.

Der alte Weg: Sie stellen einen brillanten Architekten (das KI-Modell) ein und sagen ihm: „Baue ein Haus.“ Aber Sie geben ihm keinen Bauplan, keine Werkzeugliste und keine Möglichkeit zu prüfen, ob die Wände gerade stehen. Der Architekt könnte die falschen Materialien wählen oder eine Tür bauen, die sich nicht öffnen lässt.
Der HARBOR-W Weg: HARBOR ist das Baugeschirr (Construction Harness). Es gibt dem Architekten einen strikten Bauplan, einen Werkzeugkasten mit vorgetesteten Methoden und einen Sicherheitsinspektor.
- Agenten: Dies sind die spezialisierten Arbeiter. Ein Arbeiter weiß nur, wie man die Baustelle einrichtet (Abhängigkeiten). Ein anderer weiß nur, wie man den Grundriss entwirft (Aufgabengenerierung). Ein weiterer weiß nur, wie man die Wände streicht (Belohnungsdesign).
- Commands (Befehle): Dies sind die spezifischen Anweisungen, denen die Arbeiter folgen können, wie zum Beispiel „Installiere das Fundament“ oder „Führe einen Test aus“.
- Artifacts (Artefakte): Dies sind die physischen Baupläne und Protokolle, die zurückgelassen werden. Wenn ein Arbeiter eine Phase abgeschlossen hat, hinterlässt er eine Notiz und eine Datei auf dem Tisch, damit der nächste Arbeiter genau weiß, was zu tun ist.
- Gates (Die Sicherheitsinspektoren): Dies ist der wichtigste Teil. Bevor das Projekt zur nächsten Stufe übergeht, prüft ein „Gate“ die Arbeit. Hat sich der Roboter tatsächlich bewegt? Ist die Simulation abgestürzt? Wenn die Antwort „Nein“ lautet, stoppt das Gate das Projekt, schickt den Arbeiter zurück, um den Fehler zu beheben, und verhindert, dass der Fehler das gesamte Haus ruiniert.

2. Wie es lernt und sich verbessert

HARBOR arbeitet nicht nur einmalig; es wird mit der Zeit klüger.

Parallele Versuche: Stellen Sie sich vor, Sie versuchen, das beste Rezept für einen Kuchen zu finden. Anstatt einen Kuchen nach dem anderen zu backen, schickt HARBOR 10 verschiedene Bäcker (Agenten) los, die gleichzeitig in 10 verschiedenen Küchen 10 verschiedene Rezepte ausprobieren.
Erfahrungslernen: Nachdem die Bäcker fertig sind, sammelt HARBOR ihre Notizen. Es lernt: „Oh, zu viel Zucker zu verwenden, hat dazu geführt, dass der Kuchen zusammengebrochen ist“ oder „Backen bei 350 Grad hat am besten funktioniert“. Es schreibt diese Lektionen in ein Erfahrungstagebuch (Memory Book). Wenn das nächste Mal jemand nach einem Kuchen fragt, können die neuen Bäcker im Erfahrungstagebuch lesen und die Fehler sofort überspringen.

3. Was es tatsächlich erreicht hat

Die Forscher haben HARBOR bei 16 verschiedenen Roboteraufgaben (wie das Stapeln von Würfeln, das Heben von Boxen und Gehen) in 6 verschiedenen Simulationsumgebungen getestet.

Es erledigte den gesamten Job: HARBOR nahm eine einfache menschliche Anfrage (z. B. „Lass einen Roboter drei Würfel stapeln“) und richtete automatisch die Software ein, entwarf die Belohnungen, trainierte den Roboter und optimierte die Einstellungen.
Es schlug die Standardwerte: Als sie HARBOR die Lernparameter des Roboters optimieren ließen, lernten die Roboter schneller und performten besser, als wenn sie einfach die Standard-„Out-of-the-box“-Einstellungen verwendet hätten.
Es funktioniert in der realen Welt: Die durch HARBOR trainierten Roboter in der Computersimulation konnten erfolgreich auf echte physische Roboter übertragen werden und konnten die Aufgaben auch im echten Leben ausführen.
Es spart Zeit und Geld: Durch die Automatisierung des Prozesses und das frühe Abfangen von Fehlern mittels seiner „Gates“ reduzierte HARBOR die Zeit und die Rechenkosten im Vergleich zur manuellen Arbeit oder älteren KI-Codierungswerkzeugen erheblich.

Das Fazament

HARBOR verwandelt das schwierige, manuelle Engineering des Roboterlernens in ein gestrafftes, automatisiertes Fließband. Es schreibt nicht nur Code; es verwaltet das gesamte Projekt, überprüft seine eigene Arbeit, lernt aus vergangenen Fehlern und liefert eine funktionierende Roboter-Policy, die in der realen Welt eingesetzt werden kann. Es ist der Unterschied zwischen einem Menschen, der versucht, eine Rakete durch Raten zu bauen, und einer vollautomatisierten Fabrik, die Raketen mit Präzision und Sicherheitskontrollen bei jedem Schritt baut.

Technisches Resümee: HARBOR: Ein Harness-Framework für agentisches Robotik-Reinforcement-Learning

1. Problemstellung

Reinforcement Learning (RL) hat sich als dominantes Paradigma für das Lernen von Robotern etabliert, insbesondere in Sim-to-Real-Szenarien, in denen Policies in der Simulation trainiert und anschließend auf physische Hardware übertragen werden. Die breitere Anwendung von RL wird jedoch nicht durch die Algorithmen selbst behindert, sondern durch die arbeitsintensive Engineering-Pipeline, die zur Instanziierung dieser erforderlich ist. Praktiker müssen digitale Zwillinge manuell konstruieren, Belohnungsfunktionen entwerfen, Domain Randomization kalibrieren und Hyperparameter abstimmen – Aufgaben, die oft Tage oder Wochen an Expertenaufwand für ein einzelnes Setup erfordern.

Obwohl die vorangegangene Forschung die Automatisierung isolierter Komponenten dieser Pipeline untersucht hat (z. B. LLM-gestützte Synthese von Belohnungen, automatisierte Domain Randomization oder AutoRL für das Hyperparameter-Tuning), scheitern diese Systeme typischerweise daran, den gesamten Workflow zu adressieren. Praktiker sind weiterhin damit belastet, Simulatoren zu konfigurieren, generierte Belohnungen mit dem Trainingscode zu verbinden, Rechencluster zu verwalten und erfolgreiche Designs manuell über verschiedene Aufgaben hinweg zu übertragen. Diese Fragmentierung verhindert, dass RL-Workflows effektiv für die schnelle Bereitstellung oder groß angelegtes, generalistisches Robotik-Lernen skalieren können.

2. Methodik: Das HARBOR-Framework

Die Autoren führen HARBOR ein, ein Harness-Framework, das die Automatisierung von Robotik-RL als ein „Harness-Engineering“-Problem umformuliert. Anstatt sich ausschließlich auf ein leistungsfähiges Large Language Model (LLM) zur Code-Generierung zu verlassen, bietet HARBOR eine strukturierte Ausführungsumgebung, die spezialisierte Agenten über standardisierte Schnittstellen koordiniert.

Kernarchitektur

HARBOR zerlegt das übergeordnete Ziel (gegebener Simulator-Codebase und Aufgabenspezifikation) in gebundene Stadien, die von spezialisierten Agenten ausgeführt werden. Das Framework wird durch das Tupel $H_{RL} = (H_A, C, M, G, K)$ definiert:

Agenten ( $H_A$ ): Kontext-isolierte Subprozesse, die spezifischen Stadien zugewiesen sind (z. B. Abhängigkeits-Setup, Aufgaben-Generierung, Belohnungsdesign). Sie operenieren auf lokalen Artefakten und abgerufenem Wissen und geben kompakte Zusammenfassungen an einen zentralen Controller zurück.
Befehle ( $C$ ): Reproduzierbare Operationen, die den Agenten zur Verfügung stehen (z. B. rl-sweep, tune-reward). Diese Befehle sind in eingebauten Templates und Skripten fundiert, was eine konsistente Ausführung über verschiedene Agenten hinweg gewährleistet.
Veränderliche Artefakte ( $M$ ): Persistente, inspizierbare Dateien, die den Workflow-Zustand externalisieren (z. B. Konfigurationsdateien, Trainingslogs, Videos). Dies reduziert die Abhängigkeit von transientem LLM-Kontext und dient als Kommunikationssubstrat zwischen den Agenten.
Verifizierbare Gates ( $G$ ): Ausführbare Prüfungen, die bestimmen, ob ein Stadium fortgeschritten werden kann. Diese umfassen harte Schnittstellenprüfungen (z. B. Import-Erfolg, Geräteerkennung) sowie weichere semantische Prüfungen (z. B. Rollout-Verhalten, Belohnungsdiagnostik). Wenn ein Gate fehlschlägt, erhält der Agent eine Fehlerzusammenfassung zur Reparatur des Artefakts; wenn es besteht, wird der Zustand committet.
Wiederverwendbares Wissen ( $K$ ): Ein Repository aus Templates, Referenzen, Skripten, menschlichen Heuristiken und akkumulierter Erfahrung aus vorangegangenen Durchläufen. Dies ermöglicht es dem System, Muster zu destillieren (z. B. effektive Belohnungsterme, instabile Parameterbereiche) und diese zur Effizienzsteigerung in nachfolgenden Versuchen wiederzuverwenden.

Ausführungsprotokoll

Das System arbeitet nach einem Modell der zentralisierten Steuerung bei dezentraler Ausführung (Centralized Control, Decentralized Execution):

Orchestrierung: Ein Hauptagent ruft relevantes Wissen ab und entsendet spezialisierte Sub-Agenten an gebundene Stadien.
Parallele Versuche: Iterative Stadien, wie die Belohnungsabstimmung und Hyperparameter-Optimierung, werden als parallele Versuche in isolierten Verzeichnissen ausgeführt. Dies verhindert eine Kontext-Aufblähung im Hauptagenten und ermöglicht eine asynchrone Ausführung auf Rechenclustern.
Erfahrungslernen: Nach Abschluss der Versuche aggregiert der Hauptagent die Ergebnisse, destilliert wiederkehrende Muster in Stichpunkten und aktualisiert die Wissensbasis. Dies ermöglicht es dem System, aus Erfolgen und Misserfolgen über verschiedene Durchläufe hinweg zu lernen und so die Leistung im Laufe der Zeit zu verbessern.
Gate-geprüfte Progression: Ein Agent schreitet erst dann in ein Stadium voran, wenn ausführbare Gates die Ausgaben validiert haben. Dies verhindert, dass Fehler in nachfolgende Stadien propagiert werden, und ermöglicht menschliche Intervention, falls ein Stadium nach einem Retry-Budget ungelöst bleibt.

3. Kernbeiträge

Die Arbeit leistet drei primäre Beiträge:

Problemformulierung: Sie definiert die Automatisierung von Robotik-RL als ein Harness-Engineering-Problem und identifiziert die spezifischen Schnittstellen (MDP-Komponenten) und Feedback-Signale (Rollouts, Trainingskurven), die eine langfristige Automatisierung ermöglicht.
Systeminstanziierung: Sie präsentiert HARBOR, ein System, das natürliche Sprachziele des Robotik-Learnings unter Verwendung des Agent-Command-Artifact-Gate-Knowledge-Paradigmas in automatisierte, zuverlässige Workflows übersetzt.
Zugänglichkeit und Auditierbarkeit: HARBOR ist als dokumentiertes LLM-Agent-Plugin implementiert. Die Verwendung von persistenten Artefakten und Gated-Checkpoints ermöglicht es Praktikern, die Pipeline zu auditieren, einzugreifen und anzupassen, wodurch die Eintrittsbarriere über die Expertennutzung hinaus gesenkt wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HARBOR über 6 Benchmarks und 16 Aufgaben, die Manipulation, Lokomotion und bimanuale dexterous Kontrolle abdecken. Die Evaluationssuite umfasste diverse Simulations-Backends: IsaacLab, Bi-DexHands (IsaacGym), ManiSkill (Sapien), Genesis, MJLab (Warp) und Loco-Mujoco (MJX).

End-to-End Automatisierung und Sim-to-Real

Simulationsleistung: HARBOR automatisierte erfolgreich die vollständige Pipeline (von der Abhängigkeitsinstallation bis zum Training der Policy) über vier Simulatoren (IsaacLab, ManiSkill, Genesis, MJLab) und vier Manipulationsaufgaben (Stack-Cube, Insert-Drawer, Lift-Box, Dex-Grasp). Es erreichte Erfolgsraten zwischen 88,5 % und 100 % bei IsaacLab-Aufgaben.
Real-World Transfer: Durch HARBOR trainierte Policies wurden erfolgreich auf reale Roboter übertragen (Franka bimanuale Arme und xArm mit Allegro Hand). Während die Erfolgsraten je nach Simulator-Physik variierten (z. B. geringere Leistung bei MJLab aufgrund von Herausforderungen bei der Identifikation der Physik), demonstrierte das Framework die Fähigkeit, Belohnungsstrukturen und Domain Randomization für die reale Ausführung anzupassen.
Belohnungsdesign: Im Vergleich zu den Baselines Eureka und REvolve übertraf HARBOR diese konsistent, insbesondere bei Langzeitaufgaben (Stack-Cube) und komplexen Interaktionen (Insert-Drawer). Die Fähigkeit des Systems, Rollout-Verhaltens-Feedback zur Diagnose zu nutzen und menschliche Heuristiken für die gestufte Konstruktion von Belohnungen einzusetzen, war entscheidend für den Erfolg.

RL-Algorithmus-Tuning

HARBOR wurde beim Tuning von PPO, SAC und TD3 bei Table-Top-Manipulation, bimanualer dexterous Kontrolle und Lokomotion getestet.

Leistungssteigerungen: In 11 von 12 Task-Settings entsprachen die durch HARBOR getunten Konfigurationen den Standardkonfigurationen oder übertrafen diese.
Sample-Effizienz: Die getunten Policies zeigten signifikante Verbesserungen in der Sample-Effizienz (gemessen an der Fläche unter der Kurve und der Zeit bis zum Erreichen von Return-Schwellenwerten), wobei die Gewinne bei spezifischen Aufgaben (z. B. SAC auf UnitreeGo2) bis zu 516 % erreichten.
Erfolg bei komplexen Aufgaben: Bemerkenswerterweise ermöglichte HARBOR SAC das Erlernen von Aufgaben (ShadowHandDoorOpenIn, ShadowHandDoorCloseIn), bei denen die ursprüngliche Baseline versagt hatte.

Ablations- und Effizienzanalyse

Ablationsstudien zur ManiSkill Push-Cube-Pipeline verglichen das vollständige HARBOR-Framework mit Varianten, denen spezifische Komponenten fehlten (keine Subagent-Isolation/Parallelität, keine Gates, kein Erfahrungswissen) sowie einer Vanilla-Baseline.

Zuverlässigkeit: Das vollständige HARBOR-Framework erreichte die höchste Zuverlässigkeit (48/50 erfolgreiche Durchläufe) im Vergleich zur Vanilla-Baseline (29/50).
Kosten und Zeit: HARBOR war die kosteneffizienteste Konfiguration, reduzierte die Wanduhrzeit um etwa den Faktor 4,2 und senkte die Token-Kosten im Vergleich zur Vanilla-Baseline signifikant.
Einfluss der Komponenten:
- Isolation (CCDE): Das Entfernen der Subagent-Isolation erhöhte den Kontext-Steuer (Context Tax) und die Laufzeit, was die Erfolgsraten in iterativen Stadien reduzierte.
- Gates: Das Entfernen von Gates führte zu Silent Failures (z. B. Render-Defekte) und reduzierte die Erfolgsraten in der Belohnungsgenerierung und beim Tuning.
- Erfahrung: Das Entfernen des wiederverwendbaren Wissens reduzierte die Zuverlässigkeit in generativen Stadien drastisch (die Erfolgsrate der Belohnungsgenerierung sank auf 2/10).

5. Bedeutung und Limitationen

Die Arbeit behauptet, dass HARBOR zeigt, dass die Automatisierung von Robotik-RL end-to-end erreicht werden kann, indem man die Engineering-Pipeline als strukturierten Harness behandelt und nicht als reine Code-Generierungsaufgabe. Durch die Nutzung von ausführbarem Feedback und persistenten Artefakten reduziert das System den Engineering-Aufwand und die Kosten, während es Policies produziert, die in der Lage sind, in die reale Welt zu transferieren.

Limitationen:

Wissensabhängigkeit: Die Leistungsfähigkeit von HARBOR ist durch die Werkzeuge und das Vorwissen begrenzt, die seinen Agenten zur Verfügung stehen. Neuartige Aufgaben ohne vorheriges Scaffolding könnten viele Reparatur-Iterationen erfordern oder scheitern.
Sim-to-Real Grenze: Während HARBOR die Simulations-Pipeline automatisiert, erfordert die Bereitstellung auf physischen Robotern immer noch manuelles Engineering für Roboter-Schnittstellen und menschliche Feedback-Loops.
Policy-Architektur: Die aktuelle Implementierung unterstützt relativ einfache Policy-Architekturen; die Erweiterung auf Vision-Language-Action oder World-Model-basierte Policies wird als zukünftige Forschungsrichtung angeführt.

Die Autoren positionieren HARBOR nicht als Ersatz für menschliche Expertise, sondern als ein System, das die Eintrittsbarriere senkt, indem es Praktikern ermöglicht, die Pipeline zu auditieren und anzupassen, wodurch die Anwendung von RL auf diverse Robotik-Aufgaben skaliert wird.