SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding

Das Paper stellt SCALAR vor, ein bidirektionales Framework, das die symbolische Planung von LLMs mit Deep RL kombiniert, um durch iteratives Feedback und Trajektorienanalyse robuste Skills zu lernen und so die Leistung bei komplexen Aufgaben wie dem Sammeln von Diamanten in Craftax signifikant zu verbessern.

Das Wesentliche

🧠 Das Problem: Der kluge Chef und der ungeschickte Praktikant

Stell dir vor, du hast einen super-intelligenten Chef (das ist die KI, ein sogenanntes „Large Language Model" oder LLM). Dieser Chef kennt die Spielregeln, die Rezepte und die Strategie für ein riesiges Videospiel (wie Minecraft) auswendig. Er kann dir perfekt erklären, wie man einen Diamanten findet: „Zuerst musst du Holz sammeln, dann eine Werkbank bauen, dann einen Stein-Pickel herstellen..."

Aber hier liegt das Problem: Der Chef kann nicht selbst spielen. Er hat keine Hände, keine Füße und keine Erfahrung darin, wie es sich anfühlt, wenn ein Monster auf dich zukommt oder wenn du versehentlich in Lava fällst.

Wenn du den Chef einfach nur den Code schreiben lässt, um das Spiel zu steuern, scheitert er oft an den Details. Er sagt: „Baue einen Stein-Pickel!" – aber er vergisst, dass du dafür genau 3 Steine und genau 2 Hölzer brauchst. Oder er denkt, du kannst durch Wände laufen.

Auf der anderen Seite hast du einen ungeschickten Praktikanten (das ist die Reinforcement Learning-KI, oder RL). Dieser Praktikant ist extrem gut darin, durch Versuch und Irrtum zu lernen. Er kann lernen, wie man einem Monster ausweicht, indem er 10.000 Mal gegen die Wand rennt. Aber er ist dumm und hat keine Ahnung von der großen Strategie. Er weiß nicht, dass er erst einen Pickel braucht, um Diamanten zu finden. Er rennt ziellos herum.

⚡ Die Lösung: SCALAR – Die perfekte Teamarbeit

Die Forscher haben SCALAR erfunden. Das ist wie ein perfektes Team aus Chef und Praktikant, das sich gegenseitig hilft.

Stell dir SCALAR wie eine Bauarbeit vor, bei der der Chef die Pläne zeichnet und der Praktikant das Haus baut. Aber das Besondere ist: Sie reden ständig miteinander.

1. Der Plan (Der Chef schlägt vor)

Der Chef liest das Handbuch und sagt: „Okay, wir brauchen eine neue Fähigkeit: 'Stein-Pickel bauen'."
Er schreibt einen Zettel auf:

• Voraussetzung: Du brauchst 2 Hölzer und 3 Steine.
• Ergebnis: Du hast einen Pickel.
• Belohnung: Du bekommst einen Punkt, wenn du fertig bist.

2. Der Versuch (Der Praktikant baut)

Der Praktikant versucht, diesen Plan umzusetzen. Er rennt los, sammelt Holz und Steine.

• Szenario A: Er scheitert. Er hat nur 2 Steine, aber der Chef meinte, er brauchte 3. Der Praktikant kommt nicht weiter.
• Szenario B: Er schafft es! Aber er hat versehentlich 4 Steine verbraucht, obwohl 3 gereicht hätten.

3. Das Feedback (Die Rückkopplung)

Hier kommt das Geniale an SCALAR: Der Praktikant läuft nicht einfach weiter. Er schaut sich an, was passiert ist, und sagt zum Chef:

„Hey Chef! Ich habe es geschafft, aber ich habe 4 Steine gebraucht, nicht 3. Und ich habe gemerkt, dass ich vorher einen Stein-Pickel brauchte, um die Steine zu holen, aber das stand nicht auf deinem Zettel!"

Der Chef korrigiert seinen Plan sofort: „Ah, Entschuldigung! Ich habe mich verrechnet. Neue Regel: Wir brauchen 4 Steine und vorher einen Pickel."

4. Die Bibliothek der Fähigkeiten

Das Team wiederholt diesen Prozess für jede kleine Aufgabe (Holz sammeln, Werkbank bauen, Pickel schmieden). Jede Aufgabe wird zu einer fertigen Fähigkeit (einem „Skill").

• Der Chef weiß jetzt genau, was für eine Fähigkeit nötig ist.
• Der Praktikant ist jetzt ein Meister in dieser einen kleinen Fähigkeit.

Am Ende haben sie eine Bibliothek voller fertiger Fähigkeiten. Wenn sie dann einen Diamanten finden wollen, müssen sie nicht neu lernen, wie man läuft oder sammelt. Sie rufen einfach die fertigen Fähigkeiten ab: „Holz sammeln (fertig!) -> Werkbank bauen (fertig!) -> Pickel machen (fertig!) -> Diamant graben!"

🚀 Warum ist das so toll? (Die Analogie mit dem Bergsteiger)

Stell dir vor, du willst einen sehr hohen Berg besteigen (das ist die komplexe Aufgabe im Spiel).

• Die alten Methoden: Der Chef sagt dem Praktikanten: „Steige den Berg hoch!" Der Praktikant versucht es, fällt aber immer wieder ab, weil er nicht weiß, wo die nächsten sicheren Griffe sind. Er lernt nichts, weil der Weg zu lang ist.
• SCALAR: Der Chef sagt: „Wir teilen den Berg in kleine Abschnitte auf."
  • Abschnitt 1: „Klettere die ersten 10 Meter." (Der Praktikant übt das, bis er es perfekt kann).
  • Abschnitt 2: „Überquere die Brücke." (Der Chef merkt: „Oh, für die Brücke brauchst du ein Seil!", und korrigiert den Plan).
  • Abschnitt 3: „Klettere den Gipfel."

Durch das ständige Korrigieren der Pläne durch die Erfahrungen des Praktikanten wird der Weg zum Gipfel immer sicherer und schneller.

🏆 Das Ergebnis im Spiel

In dem Spiel „Craftax" (ein sehr schwieriges Videospiel für KI) haben die Forscher getestet, wie gut das funktioniert:

• Ohne SCALAR: Die besten anderen KIs haben es nur selten geschafft, Diamanten zu finden oder in die tiefen Minen zu kommen. Sie waren wie verirrt.
• Mit SCALAR: Das Team hat 88% der Zeit Diamanten gefunden! Das ist fast doppelt so gut wie die vorherigen Besten. Und dort, wo andere KIs komplett versagt haben (in den „gnomischen Minen"), hat SCALAR es 9% der Zeit geschafft.

🎓 Zusammenfassung für den Alltag

SCALAR ist wie ein Lernprozess, bei dem Theorie und Praxis sich gegenseitig verbessern:

1. Ein kluger Planer (LLM) macht Vorschläge.
2. Ein tüchtiger Praktiker (RL) setzt sie um.
3. Wenn etwas schiefgeht, meldet der Praktiker den Fehler zurück.
4. Der Planer korrigiert den Plan, und beide werden besser.

So lernen KI-Agenten nicht nur, was sie tun sollen, sondern auch wie sie es in der realen Welt (oder im Spiel) wirklich tun müssen, ohne dass ein Mensch jedes kleine Detail programmieren muss. Sie lernen durch Fehler und Korrektur, genau wie wir Menschen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding" auf Deutsch.

1. Problemstellung

Ein zentrales Hindernis bei der Entwicklung von Agenten auf Basis von Large Language Models (LLMs) ist die Verankerung (Grounding) von hochsprachlichen Anweisungen in der niedrigschwelligen Kontrolle der physischen oder simulierten Welt.

• Das Dilemma: LLMs sind hervorragend im Erstellen von Code für hochlevelige APIs (z. B. „Baue eine Axt"), scheitern jedoch oft an der direkten motorischen Steuerung oder der Ausführung komplexer, langfristiger Aufgaben in Umgebungen mit spärlichen Belohnungen (Sparse Rewards).
• Limitationen bestehender Ansätze: Bisherige Methoden, bei denen LLMs einmalig Belohnungsfunktionen oder Subziele für Reinforcement Learning (RL) generieren, arbeiten oft im „One-Shot"-Modus. Wenn die LLM-Spezifikation Fehler enthält (z. B. falsche Ressourcenbedarfe oder fehlende Voraussetzungen), scheitert das RL-Training, und es gibt keinen Feedback-Kanal, um diese Spezifikationsfehler zu korrigieren.
• Ziel: Es gilt, Aufgaben in der richtigen Granularität zu definieren: strukturiert genug, damit LLMs sie aus Vorwissen ableiten können, aber kurz genug, damit RL-Agenten sie durch Exploration effizient lernen können. Diese Einheiten werden als Fähigkeiten (Skills) bezeichnet.

2. Methodik: Das SCALAR-Framework

SCALAR (Self-supervised Composition and Learning of Actions with Reinforcement Learning) ist ein bidirektionales Framework, das symbolische LLM-Planung mit tiefem RL über eine gelernte Bibliothek von Fähigkeiten verbindet. Der Kern ist ein geschlossener Feedback-Loop.

A. Symbolische Repräsentation (Operatoren und Optionen)

• Operatoren (LLM-Seite): Fähigkeiten werden als symbolische Operatoren definiert (ähnlich STRIPS-Planung), bestehend aus:
  • Prekonditionen (PRE): Zustand, der vor der Ausführung erfüllt sein muss.
  • Effekte (EFF+ / EFF-): Was nach Erfolg hinzukommt bzw. verbraucht wird.
  • Belohnungsfunktion & Terminierung: Code, der das Lernen steuert.
• Optionen (RL-Seite): Jede Fähigkeit wird durch eine gelernte RL-Policy (Option) implementiert, die den Agenten vom Startzustand bis zur Erfüllung der Effekte führt.

B. Der LLM-RL-Loop (Algorithmus 1)

1. Vorschlag (Proposal): Das LLM schlägt basierend auf einem Handbuch oder Tutorial neue Fähigkeiten vor (Namen, Effekte, Bedingungen).
2. Validierung: Das System prüft, ob die Prekonditionen einer Fähigkeit durch bereits gelernte Fähigkeiten erreichbar sind (Erreichbarkeitsgraph).
3. Planung: Ein klassischer STRIPS-Planer sequenziert die bereits trainierten Fähigkeiten, um einen Zustand zu erreichen, in dem die Prekonditionen der neuen Zielfähigkeit erfüllt sind.
4. Training: Ein RL-Agent trainiert die Policy für die Zielfähigkeit, indem er die vorgeschalteten Fähigkeiten ausführt und dann selbst explorativ lernt.
5. Analyse und Verfeinerung (Trajectory Analysis): Dies ist der entscheidende Innovationsschritt. Nach dem Training analysiert das System erfolgreiche Trajektorien. Das LLM vergleicht die ursprüngliche Spezifikation mit den tatsächlichen Beobachtungen (z. B. „Wir brauchten nur 1 Eisen, nicht 3") und korrigiert die Prekonditionen und Effekte. Bei signifikanten Änderungen wird das Training der Fähigkeit neu gestartet.

C. Schlüsseltechniken zur Effizienzsteigerung

• Pivotal Trajectory Analysis: Korrektur von LLM-Vorannahmen durch Analyse erfolgreicher Episoden. Dies deckt verborgene Voraussetzungen auf (z. B. Überleben durch Essen/Schlafen während des Wachsens einer Pflanze), die im Handbuch nicht explizit stehen.
• Frontier Checkpointing: Um die Sample-Effizienz bei tiefen Abhängigkeitsketten zu erhöhen, speichert das System den Umgebungsstatus („Frontier"), sobald die Prekonditionen für eine neue Fähigkeit erfüllt sind. Beim Reset wird oft zu diesem Zustand zurückgesprungen, anstatt die gesamten Voraussetzungen neu auszuführen. Dies spart Rechenzeit für das Training der eigentlichen Zielfähigkeit.

3. Wichtige Beiträge

1. Bidirektionaler Feedback-Loop: Im Gegensatz zu vorherigen One-Shot-Ansätzen nutzt SCALAR RL-Ergebnisse, um LLM-Spezifikationen iterativ zu verfeinern und Fehler frühzeitig zu korrigieren.
2. Trajektorienanalyse: Eine Methode, um LLM-Priors durch empirische Daten zu korrigieren, was zu präziseren Ressourcenabschätzungen und der Entdeckung nicht-offensichtlicher Voraussetzungen führt.
3. Frontier Checkpointing: Eine Technik zur drastischen Verbesserung der Sample-Effizienz bei langen Aufgabenketten durch das Wiederverwenden von Umgebungsständen.
4. Ergebnisse auf Deep-Prerequisite-Aufgaben: SCALAR demonstriert, dass compositional learning (Zusammensetzen von Fähigkeiten) monolithischem RL überlegen ist, wenn Aufgaben lange, strukturierte Abhängigkeitsketten erfordern.

4. Ergebnisse (Experimente auf Craftax)

Die Evaluation erfolgte in Craftax und Craftax-Classic, komplexen Open-Ended-Umgebungen mit spärlichen Belohnungen und langen Aufgabenketten (z. B. Diamant-Sammeln, Betreten der Gnomish Mines).

• Diamant-Sammeln (Craftax-Classic): SCALAR erreichte eine Erfolgsrate von 88,2 %. Das beste Baseline-Modell (PQN-RNN) erreichte nur 46,9 %. Dies entspricht einer 1,9-fachen Verbesserung.
• Betreten der Gnomish Mines (Craftax): Dies ist eine extrem schwierige Aufgabe, die den Kampf gegen 8 Orks erfordert. Bisherige Methoden scheiterten hier komplett (0 %). SCALAR erreichte 9,1 % Erfolgsrate.
• Ablationsstudien:
  • Ohne Trajectory Analysis fiel die Erfolgsrate beim Diamant-Sammeln auf 67,3 % und beim Betreten der Mines auf 0 %. Dies zeigt, dass die Korrektur von LLM-Fehlern essenziell ist.
  • Ohne Frontier Checkpointing sank die Erfolgsrate beim Betreten der Mines von 9,1 % auf 1,3 %, was die Bedeutung der Sample-Effizienz bei langen Ketten unterstreicht.
• Vergleich mit Baselines: Während Baselines oft bei mittleren Aufgaben (z. B. „Betrete den Dungeon") besser abschneiden, weil sie durch zufällige Exploration auch Nebenfähigkeiten (Kampf) lernen, ist SCALAR bei tiefen, strukturierten Ketten überlegen, da es den Lernfokus gezielt auf den kritischen Pfad lenkt.

5. Bedeutung und Ausblick

SCALAR adressiert eine fundamentale Lücke in der KI-Forschung: die Integration von symbolischem Planen (starkes Vorwissen, aber fehleranfällig) und sub-symbolischem Lernen (robust, aber ineffizient bei langen Horizonten).

• Automatisierung von Reward-Engineering: Das Framework reduziert den manuellen Aufwand für das Design von Belohnungsfunktionen und Skill-Strukturen erheblich.
• Robustheit: Durch die iterative Korrektur von Spezifikationen ist das System resilient gegen fehlerhafte Vorannahmen des LLMs.
• Anwendbarkeit: Der Ansatz ist besonders vielversprechend für Robotik (Greifen, Platzieren, Werkzeuggebrauch) und UI-Automatisierung, wo Aufgaben oft aus sequenziellen Schritten bestehen.
• Limitationen: Das System erfordert eine vordefinierte symbolische Abstraktion der Umgebung. Zudem erzwingt die feste Reihenfolge der Fähigkeiten keine opportunistische Verschmelzung von Teilaufgaben, und Frontier Checkpointing ist in Umgebungen ohne State-Serialization (z. B. reale Robotik) schwer umsetzbar.

Zusammenfassend beweist SCALAR, dass die Kombination aus LLM-gesteuerten symbolischen Plänen und RL-basiertem Grounding mit Feedback-Schleifen der Schlüssel zum Bewältigen komplexer, langfristiger Aufgaben ist, die weder reine LLMs noch reines RL allein lösen können.