💻 computer science

CRAFT: Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

Das Papier schlägt CRAFT vor, ein Framework, das Large Language Models nutzt, um komplexe Multi-Roboter-Koordinationsaufgaben autonom in Teilaufgaben zu zerlegen, und Vision Language Models, um Belohnungsfunktionen zu verfeinern, wodurch ein effektives Lernen und der Transfer von Koordinationsverhaltensweisen in die reale Welt ohne manuelles Design der Belohnungsfunktionen ermöglicht wird.

Ursprüngliche Autoren: Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Team aus zwei Hunden eine komplexe Tanzchoreografie beizubringen, wie zum Beispiel durch ein schmales Tor zu laufen, ohne sich gegenseitig anzustoßen, oder gemeinsam einen schweren Topf zu heben, ohne die Suppe zu verschütten.

Wenn Sie sie einfach nur in den Raum werfen und sagen: „Macht das!“, werden sie wahrscheinlich verwirrt sein, über einander stolpern und niemals lernen. Das ist das Problem, mit dem Forscher der UC Berkeley konfrontiert waren, als es um Roboter ging. Sie wollten, dass Roboter zusammenarbeiten, aber Standardmethoden des Computertrainings scheiterten, weil die Aufgaben zu lang, zu kompliziert und die Roboter nicht in der Lage waren, mit „einander zu sprechen“, um im Voraus zu planen.

Hier kommt CRAFT ins Spiel.

Betrachten Sie CRAFT als einen superintelligenten, KI-gestützten Trainer, der die Roboter nicht nur beobachtet, sondern ihnen aktiv beibringt, wie man lernt. So funktioniert dieser „Trainer“ in einfachen Schritten:

1. Der Trainer unterteilt den großen Job in kleine Übungen (Curriculum Generation)

Stellen Sie sich einen Fußballtrainer vor. Er sagt einem neuen Team nicht sofort: „Geht und gewinnt die Weltmeisterschaft!“ Stattdessen bricht er es herunter: „Heute üben wir das Passspiel. Morgen üben wir den Torschuss. Nächste Woche üben wir die Verteidigung.“

CRAFT nutzt ein Large Language Model (LLM) – eine Art von KI, die sehr gut darin ist, Sprache und Logik zu verstehen – um als dieser Trainer zu fungieren. Wenn ihm eine große, einschüchternde Aufgabe gegeben wird (wie „Zwei Roboter müssen ein Tor durchqueren“), bricht der Trainer diese in eine Liste kleinerer, leichterer Schritte auf:

Schritt 1: Lerne einfach zu laufen, ohne das Tor zu berühren.
Schritt 2: Lerne zu laufen, am Tor vorbei.
Schritt 3: Lerne zu koordinieren, sodass einer wartet, während der andere hindurchgeht.

2. Der Trainer schreibt die Regeln des Spiels (Reward Generation)

Beim Robotertraining lernen Roboter, indem sie „Punkte“ (Belohnungen) für gute Leistungen erhalten und Punkte verlieren, wenn sie Fehler machen. Normalerweise müssen Menschen diese Regeln schreiben, was jedoch schwierig ist.

Der CRAFT-Trainer nutzt die KI, um die Bewertungsregeln für jede kleine Übung zu schreiben.

Beispiel: Für die Übung „am Tor vorbeilaufen“ schreibt die KI eine Regel, die besagt: „Ihr bekommt Punkte, wenn ihr euch dem Tor nähert, aber ihr verliert Punkte, wenn ihr es berührt.“
Die KI schreibt diese Regel in einen Computercode, den die Roboter tatsächlich verstehen können.

3. Der Trainer beobachtet und kritisiert (Policy Evaluation)

Sob sobald die Roboter die Übung ausführen, beobachtet ein Vision-Language Model (VLM) – eine KI, die Videos „sehen“ und verstehen kann, was passiert – die Roboter. Es fungiert wie ein Schiedsrichter.

Haben sie es geschafft? Wenn ja, sagt der Trainer: „Gute Arbeit! Kommen wir zur nächsten Übung.“
Haben sie versagt? Wenn sie kollidiert sind oder steckengeblieben sind, sagt der Schiedsrichter nicht einfach nur „Fehlgeschlagen“. Er analysert das Video und die Score-Historie, um herauszufinden, warum es nicht geklappt hat. Vielleicht haben die Roboter versucht, sich zu sehr auf das Gleichgewicht zu konzentrieren und dabei vergessen, sich vorwärts zu bewegen.

4. Der Trainer passt die Regeln an (Reward Refinement)

Das ist der magische Teil. Wenn die Roboter scheitern, gibt der Trainer nicht auf.

Die „Schiedsrichter-KI“ gibt Feedback: „Die Roboter bekommen zu viele Punkte für das Balancieren und zu wenig für das Vorwärtsbewegen. Die Regel für die Vorwärtsbewegung muss stärker sein.“
Die „Trainer-KI“ nimmt diesen Rat entgegen und schreibt die Bewertungsregeln um, um das Problem zu lösen.
Die Roboter versuchen es erneut mit den neuen Regeln. Sie führen diese Schleife (Versuchen -> Beobachten -> Regeln korrigieren -> Erneut versuchen) immer wieder durch, bis sie diese spezifische kleine Übung gemeistert haben.

Das Ergebnis: Von der Simulation zur Realität

Die Forscher testeten dies an zwei Hauptherausforderungen:

Quadruped Navigation: Zwei vierbeinige Roboter (ähnlich wie Hunde), die lernen, durch ein schmales Tor zu laufen, ohne zu kollidieren.
Bimanual Manipulation: Zwei Roboterarme, die gemeinsam lernen, einen schweren Topf zu heben und dabei die Waage zu halten.

Was passierte?

Ohこと (Ohne) diesen Trainer scheiterten andere Methoden oder die Roboter lernten unnatürliche, seltsame Bewegungen (wie etwa ihre Gelenke in unmöglichen Winkeln zu verdrehen, nur um Punkte zu sammeln).
Mit CRAFT lernten die Roboter, reibungslos zu koordinieren. Sie lernten zuerst die Grundlagen und steigerten sich dann zu den schwierigen Aufgaben.
Der Realitätstest: Der beste Teil? Die Forscher nahmen die in der Computersimulation trainierten Roboter und setzten sie auf echte physische Roboter (Unitree Go1 und Go2). Ohne jegliche zusätzliche Feinabstimmung liefen die Roboter erfolgreich durch das Tor in der realen Welt, was bewies, dass das Training funktionierte – auch außerhalb des Computers.

Zusammenfassend

CRAFT ist wie ein geduldiger, intelligenter Tutor für Roboter. Anstatt darauf zu hoffen, dass Roboter komplexe Teamarbeit von selbst lernen,:

Vereinfacht es die große Aufgabe in kleine Schritte.
Erstellt maßgeschneiderte Regeln für jeden Schritt.
Beobachtet die Roboter und korrigiert die Regeln, wenn sie Fehler machen.
Führt sie von einfachen Drills zu komplexer Koordination und ermöglicht es ihnen schließlich, reale Aufgaben zu bewältigen, die sie auf anderem Wege nicht hätten lernen können.

Technisches Resümee: CRAFT – Coaching von Reinforcement Learning autonom durch Foundation Models für Multi-Roboter-Koordinationsaufgaben

1. Problemformulierung

Die Arbeit befasst sich mit der Herausforderung, Multi-Agenten-Reinforcement-Learning (MARL) auf reale Multi-Roboter-Koordinationsaufgaben anzuwenden. Während MARL einen Rahmen für dezentrale Entscheidungsfindung bietet, wird seine Anwendung in der Robotik durch folgende Faktoren behindert:

Hochdimensionale kontinuierliche gemeinsame Aktionsräume.
Dünnbesetzte (sparse) und komplexe Belohnungsgestaltung: Es ist schwierig, Belohnungen zu definieren, die sowohl individuelle Verhaltensweisen als auch notwendige Teamkoordination erfassen.
Nicht-Stationarität: Gleichzeitig lernende Agenten erzeugen eine sich ständig verändernde Umgebung füreinander.
Langfristige Aufgaben (Long-horizon tasks): Aufgaben, die kontaktreiche Verhaltensweisen über mehrere Phasen hinweg erfordern, scheitern oft, weil kleine Fehler in frühen Interaktionen den Erfolg in späteren Phasen verhindern.

Die Autoren argumentieren, dass Menschen komplexe Koordination durch „Coaching“ lernen – ein Prozess, der Curriculum-Design (Aufteilung in Teilaufgaben), die Bereitstellung von Lernsignalen (Belohnungen) und die Bewertung des Fortschritts umfasst. Sie behaupten, dass Foundation Models (Large Language Models – LLMs und Vision-Language Models – VLMs) diese Coaching-Rolle automatisieren können, indem sie Aufgaben zerlegen, Belohnungen generieren und diese basierend auf visuellem und quantitativem Feedback verfeinern.

2. Methodik: Das CRAFT-Framework

CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) operiert als automatisierte Coaching-Schleife, die aus vier Schlüsselmodulen besteht:

2.1 Curriculum-Generierungsmodul

Ein Curriculum-LLM zerlegt eine langfristige Zielaufgabe ( $M_{target}$ ) in eine Sequenz von $K$ Teilaufgaben ( $M_1, \dots, M_K$ ).

Prozess: Das LLM erhält eine natürliche Sprachbeschreibung der Aufgabe und der Umgebung. Um die Stochastizität der LLM-Ausgaben abzumildern, generiert das System mehrere Kandidaten-Curricula und fordert das LLM auf, diese zu einem einzigen, kohärenten Curriculum zu verfeinern.
Erdung (Grounding): Teilaufgaben werden unter Verwendung spezifischer Umgebungsvariablen (z. B. „minimiere den euklidischen Abstand zum Griff“) statt vager natürlicher Sprache beschrieben, um eine präzise Belohnungsgestaltung zu gewährleisten.

2.2 Belohnungsfunktions-Generierungsmodul

Für jede Teilaufgabe $M_k$ übersetzt ein Reward-Generation-LLM die natürliche Sprachbeschreibung in eine ausführbare Python-Belohnungsfunktion ( $R_k$ ).

Kontext: Dem LLM werden Umgebungsbeschreibungen, Hilfsfunktionen (zur Verarbeitung hochdimensionaler Zustände) und Belohnungsfunktionen aus vorherigen Teilaufgaben zur Verfügung gestellt, um katastrophales Vergessen zu verhindern.
Struktur: Die Belohnung wird in interpretierbare Komponenten zerlegt (z. B. lift_reward, balance_reward), um eine spätere Analyse zu erleichtern.
Training: Eine dezentrale Policy $\pi_k$ wird mittels eines Centralized Training and Decentralized Execution (CTDE) Algorithmus (speziell MAPPO) trainiert.

2.3 Policy-Evaluationsmodul

Bevor zur nächsten Teilaufgabe übergegangen wird, bewertet ein Evaluations-VLM die trainierte Policy $\pi_k$ .

Eingaben: Das VLM analysiert Rollout-Bilder (visuelle Schnappschüsse) und Zustandsvariablen-Trajektorien.
Entscheidung: Es stellt fest, ob die Policy die Teilaufgabe erfolgreich abgeschlossen hat.
- Erfolg: Das Curriculum schreitet zu $M_{k+1}$ fort.
- Fehlgeschlagen: Das VLM liefert einen Grund für das Scheitern, was eine Verfeinerungsschleife auslöst.

2.4 Belohnungsverfeinerungsmodul

Wenn eine Policy fehlschlägt, tritt das System in eine Verfeinerungsschleife ein (bis zu $J$ Iterationen, typischerweise $J=3$ ):

Advice-Generierung: Ein Advice-VLM analysiert den Grund des Scheiterns, den aktuellen Belohnungscode und die Lernkurven der Belohnungskomponenten (Diagramme, die zeigen, wie sich spezifische Belohnungsterme während des Trainings entwickelt haben). Es generiert freien Text-Rat, wie die Belohnung modifiziert werden soll (z. B. „erhöhe das Gewicht des Lift-Terms“, „entferne das Quadrat bei der Elevation“).
Belohnungsverfeinerung: Ein Refine-LLM nimmt den fehlgeschlagenen Belohnungscode und den Rat des VLM entgegen, um eine neue, verfeinerte Belohnungsfunktion ( $R^{j+1}_k$ ) zu generieren.
Retraining: Die Policy wird mit der neuen Belohnung neu trainiert. Wenn alle Versuche fehlschlagen, wird die beste Policy aus den Iterationen ausgewählt und das Curriculum geht zur nächsten Teilaufgabe über.

Warm-Starting: Beim Übergang zu einer neuen Teilaufgabe werden die Policy-Gewichte aus der erfolgreichen Policy der vorherigen Teilaufgabe initialisiert. Um die „Verlust der Plastizität“ (Konvergenz zu lokalen Optima) zu verhindern, setzt das System die Explorationsparameter (Policy-Standardabweichung) und die Werte-Netzwerk-Gewichte zurück, behält jedoch die Actor-Gewichte bei.

3. Kernbeiträge

CRAFT-Framework: Ein neuartiges Framework, das die Denkfähigkeiten von Foundation Models nutzt, um Multi-Roboter-Teams autonom durch langfristige Koordinationsaufgaben zu coachen.
Automatisches Curriculum- und Belohnungsdesign: Die Integration von LLMs für die Aufgabenzerlegung und Belohnungsgenerierung, gekoppelt mit VLMs für die visuelle Evaluierung und Belohnungsverfeinerung, reduziert die Notwendigkeit für menschenentworfenen Curricula und Belohnungsfunktionen.
Empirische Validierung: Demonstration der Effektivität von CRAFT bei komplexen Multi-Roboter-Aufgaben (Multi-Quadruped Navigation und Bimanual Manipulation), bei denen Standard-MARL und Baseline-LLM-Methoden versagen.
Real-Welt-Transfer: Erfolgreicher Zero-Shot-Transfer der gelernten Policies von der Simulation auf physische Hardware (Unitree Go1 und Go2 Quadrupeden) ohne Feinabstimmung.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CRAFT in drei Umgebungen: Quadruped Gate (Passieren einer engen Pforte), Quadruped Seesaw (Balancieren und Klettern) und Two-Arm Lift (kooperatives Heben eines Topfes).

Leistung im Vergleich zu Baselines:
- CRAFT erreichte die höchsten Erfolgsraten bei Seesaw (59,33 %) und Lift (94,67 %) und blieb bei Gate (78,33 %) wettbewerbsfähig.
- Baselines: „Env Reward“ (menschenentworfen) und „Example Reward“ erreichten nahezu null oder sehr niedrige Erfolgsraten. „From Scratch“ (CRAFT-Belohnungen ohne Curriculum) schnitt signifikant schlechter ab als CRAFT, was die Notwendigkeit des Curriculums unterstreicht.
- LLM-Baselines: Im Vergleich zu Eureka (LLM-Belohnungssuche ohne Curriculum) und CurricuLLM (LLM-Curriculum ohne VLM-Verfeinerung) übertraf CRAFT beide. Eureka lernte oft Policies mit unnatürlichen Gelenkkonfigurationen, die physikalisch unplausibel waren, während CurricuLLM aufgrund des Fehlens der Belohnungsverfeinerung eine geringere Zuverlässigkeit aufwies.
Effektivität der Belohnungsverfeinerung: Die VLM-gestützte Verfeinerungsschleife verbesserte die „Curriculum Success Ratio“ (der Anteil der Versuche, die zu einer erfolgreichen Policy führten) und die „Maximum Success Rate“ im Vergleich zu CurricuLLM signifikant.
VLM-Zuverlässigkeit: Das VLM-Policy-Evaluationsmodul erreichte eine Genauigkeit von 85,71 % gegenüber der Ground Truth, wobei die Fehler konservative False Negatives waren (Ablehnung erfolgreicher Policies), was tolerierbar ist, da es lediglich eine weitere Verfeinerung auslöst.
Hardware-Transfer: In der Quadruped Gate-Aufgabe erreichte die in der Simulation trainierte Policy eine Erfolgsrate von 65 % auf echten Robotern über 20 Durchläufe ohne jegliche Feinabstimmung, was einen robusten Sim-to-Real-Transfer demonstriert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CRAFT die Lebensfähigkeit zeigt, Foundation Models als autonome Coaches für Multi-Roboter-Systeme einzusetzen. Seine Bedeutung liegt in:

Reduzierung menschlicher Intervention: Automatisierung des mühsamen Prozesses des Designs von Curricula und Belohnungsfunktionen für komplexe Koordinationsaufgaben.
Ermöglichung komplexer Koordination: Erfolgreiches Erlernen von Verhaltensweisen, die durch direktes Training oder statisches Belohnungsdesign schwer zu erwerben sind, insbesondere in langfristigen, kontaktreichen Szenarien.
Physikalische Plausibilität: Der gestufte Curriculum-Ansatz führt die Agenten zu physikalisch machbaren Verhaltensweisen (z. B. stabiles Greifen vor dem Heben), anstatt lediglich auf den Enderfolg zu optimieren, was bei direkten Optimierungsmethoden wie Eureka oft zu unnatürlichen Bewegungen führt.

Anerkannte Einschränkungen:

Stochastizität: Die Abhängigkeit von Foundation Models führt zu Variabilität; einige Versuche können aufgrund eines schlechten Curricula oder einer schlechten Belohnungsgenerierung fehlschlagen, was in der Simulation jedoch durch mehrfache Versuche handhabbar ist.
VLM-Abhängigkeit: Das Evaluationsmodul stützt sich stark auf numerische Zustands-Trajektorien statt rein visueller Informationen, was die Erkennung visuell begründeter Fehler (z. B. schlechte räumliche Koordination) einschränken könnte.
Skalierbarkeit: Der aktuelle Ansatz erfordert mehrere LLM/VLM-Abfragen pro Teilaufgabe, was rechenintensiv sein kann, wobei die Autoren anmerken, dass dies für die getesteten Aufgaben ausreichend ist.

Die Autoren kommen zu dem Schluss, dass Foundation Models trotz der durch sie eingeführten Stochastizität durch ihre Fähigkeit, Aufgaben zu zerlegen und Belohnungen autonom zu verfeinern, einen vielversprechenden Weg für skalierbare und zuverlässige Multi-Roboter-Koordination in realen Umgebungen bieten.