Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine komplexe Mahlzeit zuzubereiten, wie zum Beispiel ein Gourmet-Sandwich. Sie können dem Roboter nicht einfach sagen: „Mach ein Sandwich“, und erwarten, dass er selbst herausfindet, wie man die Tomate schneidet, das Brot buttert und die Schichten perfekt stapelt. Wenn Sie dem Roboter lediglich am Ende ein „Gut gemacht“ oder „Schlecht gemacht“-Signal geben, wird er wahrscheinlich jahrelang ziellos umherwandern, ohne jemals die spezifischen Schritte zu lernen. Dies ist die Welt des Reinforcement Learning (RL), bei dem Software-Agenten durch Versuch und Irrtum lernen. Das schwierige Problem dabei ist das „Sparse Reward“-Problem (dünnbesetzte Belohnung): Wenn der Roboter erst dann eine Belohnung erhält, wenn die Aufgabe zu 100 % abgeschlossen ist, hat er keine Vorstellung davon, ob er sich der Aufgabe nähert oder sich von ihr entfernt. Um dies zu beheben, verwenden Wissenschaftler oft Curriculum Learning, eine Methode, bei der der Roboter zuerst an einfacheren Versionen einer Aufgabe übt (wie etwa nur das Aufheben des Brotes), bevor er zu schwierigeren Aufgaben übergeht (wie dem Schneiden der Tomate). Aber hier liegt der Haken: Das Entwerfen dieser einfachen-zu-schwierigen Schritte erfordert normalerweise einen menschlichen Experten, der jede einzelne Regel und jeden Schwierigkeitsgrad manuell festlegt, was langsam, langweilig und schwierig ist, wenn man es für jede neue Aufgabe tun muss.

Hier kommt LEACL (LLM-Enhanced Automatic Curriculum Learning) ins Spiel, ein neuer Ansatz, der eine sehr kluge Frage stellt: „Können wir ein superintelligentes KI-Sprachmodell die langweilige Planungsarbeit für uns erledigen lassen?“ Die Forscher hinter dieser Arbeit wollten sehen, ob sie ein Large Language Model (LLM) – dieselbe Art von Technologie, die Chatbots antreibt – nutzen können, um als meisterhafter Lehrer zu fungieren. Anstatt dass Menschen die Lehrpläne manuell schreiben, würde das LLM ein Ziel in natürlicher Sprache (wie „die Schublade öffnen“) lesen und dieses automatisch in eine Sequenz kleinerer, handhabbarer Schritte zerlegen. Noch besser: Das LLM würde dann die spezifischen „Trainingsräder“ (die Schwierigkeitseinstellungen und Parameter) für jeden Schritt entwerfen, sodass der Roboter lernen kann, indem er nur das einfache „Erfolg/Misserfolg“-Signal am Ende nutzt, ohne dass komplexe, handgeschriebene Belohnungsanweisungen für jede winzige Bewegung erforderlich sind.

Die Arbeit testet diese Idee an fünf schwierigen Roboteraufgaben, wie etwa das Öffnen einer Schublade, das Platzieren einer Schüssel auf einem Teller oder das Einschalten eines Herdes. Die Ergebnisse sind sehr vielversprechend. Die Forscher fanden heraus, dass der Roboter, wenn das LLM das Curriculum entwarf, diese langen, komplexen Aufgaben viel schneller und erfolgreicher lernte, als wenn er versucht hätte, sie alle gleichzeitig ohne Hilfe zu lernen. Tatsächlich schnitt das LLM-gesteuerte System genauso gut ab wie – und manchmal sogar besser als – Systeme, bei denen menschliche Experten Stunden damit verbracht haben, die Trainingsschritte und Belohnungsregeln manuell zu gestalten. Die Studie legt nahe, dass wir, indem wir die KI die „Lehrplanplanung“ übernehmen lassen, Roboter dazu bringen können, komplexe, mehrstufige Aufgaben zu erledigen, ohne dass wir jeden einzelnen Detail des Trainingsprozesses manuell steuern müssen.

Der Schultag des Roboters: Wie LEACL funktioniert

Stellen Sie sich einen Roboter vor, der versucht, eine „Long-Horizon“-Aufgabe (eine „Long-Horizon“-Aufgabe ist nur eine schicke Bezeichnung für eine Aufgabe, die viele Schritte benötigt) zu lernen, wie einen Schüler, der versucht, eine Abschlussprüfung zu bestehen. Wenn der Lehrer erst am Ende eine Note gibt, lernt der Schüler vielleicht die falschen Dinge oder gibt ganz auf. Automatic Curriculum Learning (ACL) ist wie ein Tutor, der einen Lehrplan erstellt, indem er mit leichten Fragen beginnt und diese allmählich schwieriger macht. Aber normalerweise muss ein Mensch diesen Lehrplan schreiben.

LEACL ändert das Spiel, indem es ein LLM als Schulleiter einsetzt. Der Prozess läuft in drei spannenden Phasen ab:

1. Die Zerlegung (Task Decomposition):
   Stellen Sie sich vor, Sie sagen dem Roboter: „Öffne die obere Schublade des Schranks.“ Ein Mensch denkt vielleicht: „Okay, das ist nur ein Job.“ Aber das LLM sieht es und sagt: „Keineswegs! Das sind eigentlich drei Jobs: Erstens, nach der Schublade greifen. Zweitens, den Griff greifen. Drittens, sie aufziehen.“ Das LLM nutzt sein massives Wissen darüber, wie die Welt funktioniert (wie zum Beispiel das Wissen, dass man eine Schublade nicht aufziehen kann, wenn man nicht den Griff hält), um das große Ziel in eine logische Kette kleinerer Teilaufgaben zu zerlegen. Es schreibt diese in eine spezielle „Rezeptsprache“ namens PDDL, die der Roboter verstehen kann.

2. Der Lehrplan (Meta-Task Generation):
   Jetzt, da der Roboter die Schritte kennt, muss er wissen, wie er sie üben soll. Soll er mit der Schublade, die leicht geöffnet ist, beginnen? Oder mit einer, die komplett geschlossen ist? Soll der Griff nah oder weit entfernt sein? Hier glänzt das LLM erneut. Es agiert als kreativer Curriculum-Designer und generiert einen „Task Space“ (Aufgabenraum) für jeden Schritt. Es erstellt ein Python-Skript, das tausende leicht unterschiedliche Versionen der „Griff greifen“-Aufgabe generieren kann. Einige sind super einfach (der Griff ist direkt vor dem Roboter), andere sind schwieriger (der Griff ist etwas weiter entfernt). Das LLM findet auch heraus, welche Versionen „schwieriger“ sind als andere, und erstellt so eine perfekte Leiter der Schwierigkeit, die der Roboter erklimmen kann.

3. Das Üben (Automatic Curriculum Learning):
   Schließlich beginnt der Roboter mit dem Training. Er nutzt einen Algorithmus, der beobachtet, wie gut der Roboter abschneidet. Wenn der Roboter die „leichten“ Versionen der Aufgabe meistert, wechselt das System automatisch zu den „mittleren“ Schwierigkeitsstufen. Wenn der Roboter Schwierigkeiten hat, kehrt es zu den leichten Versionen zurück. Der Roboter lernt durch ein einfaches „1“ für Erfolg und „0“ für Misserfolg am Ende jeder Teilaufgabe. Er benötigt keinen Menschen, der sagt: „Gut gemacht, du hast deinen Arm 2 Zoll näher bewegt.“ Das vom LLM vorgeplante Curriculum übernimmt die gesamte schwere Arbeit der Führung des Roboters.

Die Ergebnisse: Hat der Roboter die Prüfung bestanden?

Die Forscher testeten dieses System bei fünf verschiedenen Herausforderungen unter Verwendung einer Simulation namens LIBERO (die sie zu LIBERO+ aufgewertet haben, um diese neuen Arten von Aufgaben zu bewältigen). Die Aufgaben umfassten:

• Das Öffnen einer unteren Schublade.
• Das Platzieren einer weißen Schüssel auf einem Teller.
• Das Aufheben von Ketchup und das Platzieren in einem Korb.
• Das Einschalten eines Herdes und das Platzieren eines Topfes darauf.
• Das Platzieren einer Tasse in der Mikrowelle und das Schließen der Tür.

Sie verglichen ihr LLM-gestütztes System (LEACL) mit mehreren anderen Methoden:

• Der „Nichts tun“-Ansatz: Einfach den Roboter versuchen lassen, die ganze Aufgabe mit einer dünnbesetzten Belohnung zu lernen. (Spoiler: Es scheiterte völlig und erreichte bei den meisten Aufgaben 0 % Erfolg).
• Der „Kein Curriculum“-Ansatz: Die Aufgabe zwar in Schritte zu unterteilen, aber den Roboter jede Stufe ohne eine intelligente Schwierigkeitsleiter lernen zu lassen. (Dies scheiterte ebenfalls kläglich, mit Erfolgsraten nahe 0 % oder sehr niedrig).
• Der „Human Expert“-Ansatz: Wo Menschen die Schritte und die Belohnungsfunktionen manuell entworfen haben (dem Roboter zusätzliche Punkte gab, wenn er dem Ziel näher kam). Dies gilt normalerweise als Goldstandard.
• Der „LEAGUE“-Ansatz: Eine frühere Methode, die LLMs verwendet, um dichte Belohnungsfunktionen (komplexe Scoring-Regeln) für jeden Schritt zu schreiben.

Dies geschah:
Das LEACL-System, das das LLM zur Planung des Curriculums nutzte, aber nur auf das einfache „Erfolg/Misserfolg“-Signal angewiesen war, übertraf die Systeme, die versuchten, ohne Curriculum zu lernen. Beeindruckender noch: Es schnitt bei vier von fünf Aufgaben besser als das LEAGUE-System (das komplexe, handoptimierte Belohnungsregeln verwendete) ab.

In Bezug auf die reinen Zahlen erreichte das LEACL-System Erfolgsraten wie 99,8 % beim Öffnen der Schublade und 90,7 % beim Platzieren der Schüssel auf dem Teller. Diese Zahlen lagen sehr nah an – und übertrafen in einigen Fällen sogar – die Leistung des „Human Curriculum“, bei dem Experten alles manuell gestaltet hatten. Zum Beispiel erreichte das vom Menschen gestaltete System bei der Aufgabe „untere Schublade öffnen“ 99,8 ± 0,2 %, während LEACL 99,8 ± 0,1 % erreichte. Bei der Aufgabe „Tasse in die Mikrowelle stellen“ erreichte das menschliche System 89,0 ± 7,5 %, während LEACL 75,9 ± 3,4 % erzielte.

Warum das wichtig ist (und was es nicht tut)

Die wichtigste Erkenntnis ist, dass das Entwerfen komplexer Belohnungsfunktionen schwierig und oft unnötig ist. Die Arbeit argumentt, dass der Versuch, dem Roboter eine „dichte“ Belohnung zu geben (wie „Du bekommst 0,5 Punkte, wenn du den Arm näher bringst“), eigentlich eine Falle ist. Es kann den Roboter verwirren, ihn dazu bringen, die falschen Dinge zu priorisieren oder „schlampige“ Gewohnheiten zu entwickeln, bei denen er zwar nah ans Ziel kommt, die Aufgabe aber nie ganz abschließt. Indem wir das LLM die Struktur des Lernens (das Curriculum) überlassen und den Roboter durch die einfache Wahrheit von Erfolg oder Misserfolg lernen lassen, lernt der Roboter präzisere und zuverlässigere Fähigkeiten.

Dennoch weist die Arbeit vorsichtig auf einige Grenzen hin. Das LLM benötigt immer noch ein „Wörterbuch“ dessen, was möglich ist (einen vordefinierten Satz von Regeln oder Prädikaten), um arbeiten zu können. Es kann keine neue Physik oder neue Objekte aus dem Nichts erfinden; es muss innerhalb der Regeln der Simulation (wie der LIBERO+-Umgebung) arbeiten. Zudem war das LLM zwar sehr gut, aber das von Menschen entworfene Curriculum übertraf es bei drei der fünf Aufgaben immer noch leicht, was darauf hindeutet, dass die menschliche Intuition weiterhin eine Rolle spielt, auch wenn das LLM bereits sehr gut darin wird.

Kurz gesagt: LEACL legt nahe, dass wir nicht mehr die detaillierten Bedienungsanleitungen für Roboter schreiben müssen. Wir können einfach ein Ziel vorgeben, eine KI-Sprachmodell die beste Art und Weise planen lassen, es zu lehren, und dann zusehen, wie der Roboter lernt, komplexe, mehrstufige Aufgaben ganz von selbst zu erledigen.