🤖 AI

When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

Das Papier stellt PACT vor, eine hybride Architektur, die reaktive Reinforcement-Learning-Policies durch die asynchrone Integration eines deliberativen Small Language Models verbessert, welches sichere Aktionspläne generiert und validiert, wodurch die Methode Baseline-Verfahren in anspruchsvollen Umgebungen übertrifft, ohne dass ein Retraining der Policy erforderlich ist.

Ursprüngliche Autoren: Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie fahren ein Auto. Meistens fahren Sie auf „Autopilot“. Sie sehen ein Stoppschild und bremsen. Sie sehen eine grüne Ampel und fahren los. Das geht schnell, automatisch und erfordert kaum Nachdenken. In der Welt der KI wird dies als Reinforcement Learning (RL) bezeichnet. Es ist großartig, wenn man auf einer vertrauten Straße unterwegs ist, aber wenn man plötzlich in einer völlig neuen Stadt mit fremden Verkehrsregeln landet, könnte der Autopilot abstürzen, weil er diese Situation noch nicht gesehen hat.

Stellen Sie sich auf der anderen Seite einen sehr weisen, langsam denkenden Navigatore vor, der auf dem Beifersitz sitzt. Dieser Navigator hat jede Karte der Welt gelesen und kann eine Route für eine komplexe Reise planen. Er ist jedoch langsam im Sprechen, braucht lange zum Nachdenken und lässt sich manchmal ablenken. In dem Paper wird dies als das Small Language Model (SLM) bezeichnet.

Das Paper stellt ein neues System namens PACT (Plan, Align, Commit, Think) vor, das diese beiden Fahrer zu einem perfekten Team kombiniert. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Die „Vertraute-Straße-Falle“

Standard-KI-Agenten sind wie der Autopilot-Fahrer. Sie sind exzellent darin, auf Dinge zu reagieren, die sie geübt haben. Aber wenn sie auf etwas Neues treffen (wie eine rutschige Straße oder ein riesiges Labyrinth), geraten sie in Panik und machen Fehler. Ihnen fehlt die Fähung, „vorauszudenken“.

Die Lösung: Das PACT-Team

PACT erschafft ein Hybrid-Team mit zwei unterschiedlichen Rollen:

Der schnelle Fahrer (Die RL-Policy): Dies ist der Autopilot. Er erledigt 90 % der Fahrt. Er ist schnell, effizient und kennt die lokalen Regeln.
Der langsame Navigator (Das SLM): Dies ist der Planer. Er fährt das Auto nicht. Stattdessen sitzt er entspannt zurück und meldet sich nur zu Wort, wenn der schnelle Fahrer verwirrt ist.

Wie PACT funktioniert: Der „Zweifel“-Trigger

Das System hat eine einfache Regel: „Im Zweifelsfall, erst planen.“

Der Trigger: Der schnelle Fahrer überprüft ständig sein eigenes Vertrauen. Wenn er etwas Vertrautes sieht, fährt er einfach weiter. Aber wenn er sich „unsicher“ fühlt (wie bei einem glatten Fleck oder einem riesigen Labyrinth, das er noch nicht gesehen hat), tritt er auf die Bremse und sagt: „Ich bin mir nicht sicher, was ich als Nächstes tun soll.“
Die Planungsphase: Wenn der schnelle Fahrer anhält, wacht der langsame Navigator auf. Er sagt nicht einfach nur „Biege links ab“. Er erstellt eine vollständige Roadmap (einen Plan) für die nächsten Schritte.
Der Sicherheitscheck (Simulation): Bevor der Plan des Navigators verwendet wird, führt das System eine „mentale Simulation“ durch. Es fragt: Wenn wir diesen Plan befolgen, werden wir dann abstürzen? Ist es sicher? Werden wir das Ziel tatsächlich erreichen? Wenn der Plan riskant ist, versucht der Navigator es erneut, bis er eine sichere Route findet.
Das Commitment (Verpflichtung): Sobald ein sicherer Plan verifiziert wurde, verpflichtet sich der schnelle Fahrer darauf. Das System ignoriert den Autopiloten für eine Weile und folgt Schritt für Schritt der Roadmap des Navigators. Selbst wenn die Straße etwas holprig wird (Stochastik), hält das Team am Plan fest, anstatt in Panik zu geraten und jede Sekunde die Richtung zu ändern.
Die Ausrichtung (Alignment): Wenn das Auto leicht vom Kurs abkommt (vielleicht war die Straße rutschig und das Auto ist seitlich gerutscht), passt der Navigator die Route schnell an, um das Auto wieder auf den geplanten Pfad zurückzuführen, anstatt ganz von vorne zu beginnen.

Die Ergebnisse: Warum es gewinnt

Die Forscher testeten dieses Team in drei verschiedenen „Fahrszenarien“ (genannt FrozenLake-Umgebungen):

Die leichte Straße (6x6 Karte): Der schnelle Fahrer war gut, aber das PACT-Team war sogar noch besser.
Die rutschige Straße (6x6 mit Eis): Hier versagten andere Teams. Der schnelle Fahrer rutschte und stürzte ab. Andere KI-Systeme, die den Navigator bei jedem einzelnen Schritt um Rat fragten, wurden verwirrt und verloren die Orientierung. Aber PACT blieb, weil es einen verifizierten Plan verfolgte, stabil. Es rutschte nur ein wenig und erholte sich wieder.
Das riesige Labyrinth (8x8 Karte): Dies war eine lange, komplexe Reise. Der schnelle Fahrer verirrte sich. Der Navigator allein war zu langsam und wanderte ziellos umher. Aber PACT kombinierte sie: Der Navigator zeichnete einen klaren Pfad und der schnelle Fahrer führte ihn perfekt aus. PACT erreichte eine Punktzahl von 100 % mit null Fehlern, während alle anderen kämpften.

Das Wichtigste in Kürze

Das Paper argumentiert, dass man keinen Supercomputer (ein massives KI-Modell) braucht, um schwierige Probleme zu lösen. Man braucht nur das richtige Teamwork.

Fragen Sie den Navigator nicht bei jeder Abbiegung: Das ist zu langsam und verwirrend.
Lassen Sie den Fahrer nicht im Dunkeln raten: Das führt zu Unfällen.
Machen Sie es so: Lassen Sie den Fahrer das einfache Zeug erledigen. Wenn es seltsam wird, halten Sie inne, lassen Sie den Navigator eine sichere, verifizierte Karte zeichnen und halten Sie sich dann an diese Karte, bis die Aufgabe erledigt ist.

Kurz gesagt: PACT beweist, dass ein kleiner, intelligenter Planer, der mit einem schnellen, reaktionsfähigen Fahrer zusammenarbeitet, viel leistungsfähiger ist als jeder von beiden allein.

Technische Zusammenfassung: Plan, Align, Commit, Think (PACT)

Problemstellung

Reinforcement Learning (RL)-Agenten, die mit Standard-Model-Free-Policies trainiert wurden, glänzen in vertrauten Umgebungen, verschlechtern sich jedoch signifikant, wenn sie in unbekannten Bedingungen oder neuartigen Kontexten eingesetzt werden. Diese Einschränkung resultiert aus ihrer rein reaktiven Natur: Sie bilden Zustände auf Aktionen ab, ohne explizite Deliberation oder Vorausplanung (Lookahead) zu betreiben. Während Large Language Models (LMs) über transferierbares Wissen und Common-Sense-Reasoning verfügen, das für die High-Level-Planung geeignet ist, stehen sie in diesem Bereich vor zwei kritischen Barrieren:

Zuverlässigkeit: Selbst Frontière-LMs haben Schwierigkeiten mit konsistenter Multi-Step-Planung und Zustandsverfolgung (State Tracking) auf eigene Faust.
Effizienz: Große Modelle sind rechenintensiv, was sie für die Entscheidungsfindung mit geringer Latenz in Echtzeit unpraktisch macht.

Bestehende hybride Ansätze behandeln LMs oft als Advisor auf Schrittebene (Abfrage des Modells bei jedem unsicheren Schritt) oder erfordern manuell konstruierte Planungsmodelle (wie in BDI-Systemen), wodurch die Lücke zwischen reaktiver Ausführung und Langzeitplanung (Long-Horizon Planning) ohne kostspieliges Retraining nicht geschlossen werden kann.

Methodik: Die PACT-Architektur

Die Autoren schlagen Plan, Align, Commit, Think (PACT) vor, eine hybride Architektur, die eine schnelle, reaktive RL-Policy mit einem langsamen, deliberativen Small Language Model (SLM) Planner integriert. Basierend auf Kahnemans Dual-Process-Theorie und Belief-Desire-Intention (BDI)-Systemen trennt PACT die Entscheidungsfindung in zwei Komponenten:

Schnelle Komponente (Reaktives RL): Eine vortrainierte Policy (z. B. PPO) übernimmt die Entscheidungsfindung unter vertrauten Bedingungen. Sie operiert kontinuierlich, sofern sie nicht anders ausgelöst wird.
Langsame Komponente (Deliberatives SLM): Ein asynchrones SLM (speziell ein 2B-Parameter-Modell) wird nur aufgerufen, wenn die epistemische Unsicherheit der RL-Policy einen vordefinierten Schwellenwert ( $\tau$ ) überschreitet.

Der PACT-Prozess besteht aus drei distinkten Modulen:

Plan Generation: Bei hoher Unsicherheit wird das SLM mit der Aufgabenbeschreibung und der aktuellen Beobachtung gepromptet, um eine Kandidaten-Aktionssequenz ( $\rho$ ) von bis zu $n$ Schritten zu generieren. Diese Generierung stützt sich auf eine handgefertigte oder gelernte Transitionsfunktion, um zukünftige Zustände innerhalb des Prompts zu simulieren.
Plan Verification: Die Kandidaten-Planung wird simuliert, um sicherzustellen, dass sie sicher (keine Constraint-Verletzungen), machbar (innerhalb des Aktionsraums) und vollständig (erreicht das Ziel) ist. Tritt eine Verletzung auf, wird das SLM aufgefordert, einen sicheren Plan zu regenerieren.
Agent Alignment: Dieses Modul überbrückt die Lücke zwischen der idealisierten Simulation, die für die Planung genutzt wird, und dem tatsächlichen aktuellen Zustand des Agenten. Falls der Agent aufgrund stochastischer Transitionen vom Plan abweicht, wird das SLM aufgefordert, eine kurze Trajektorie zu generieren, die den Agenten zum nächstliegenden erreichbaren Wegpunkt im verifizierten Plan zurückführt.

Exekutionsstrategie: Sobald ein Plan verifiziert und ausgerichtet (aligned) wurde, verpflichtet (commits) sich das System darauf. Die reaktive RL-Policy wird umgangen, und der Agent führt die Aktionen direkt aus dem Plan aus, bis der Plan abgeschlossen ist, das Ziel erreicht wurde oder ein Fehler auftritt. Dieser Commitment-Mechanismus unterscheidet PACT von Advisor-Ansätzen auf Schrittebene, denen es an einer einheitlichen Trajektorie mangelt, um von Abweichungen zu erholen.

Kernbeiträge

Hybride Architektur: Ein neuartiges Framework, das reaktives RL mit deliberativer SLM-Planung kombiniert, ohne dass ein Retraining der RL-Policy erforderlich ist.
Commitment-Mechanismus: Im Gegensatz zu Step-Level-Advisoren verpflichtet sich PACT auf eine verifizierte, strukturierte Trajektorie, was es dem Agenten ermöglicht, sich durch Re-Alignment an den Plan von stochastischen Abweichungen zu erholen, anstatt das Modell bei jedem Schritt neu abzufragen.
Effizienz durch kleine Modelle: Es wird demonstriert, dass recheneffiziente 2B-Parameter-SLMs, wenn sie in einen Verifizierungs- und Commitment-Loop eingebettet sind, Standalone-RL-Policies oder größere Modelle in komplexen, unsicheren Umgebungen übertreffen können.
Unsicherheit-getriggerte Planung: Das System ruft die Deliberation nur auf, wenn die RL-Policy epistemisch unsicher ist, was den Trade-off zwischen Geschwindigkeit und Planungstiefe optimiert.

Experimentelle Ergebnisse

Die Autoren evaluierten PACT in der FrozenLake-Umgebung über drei Konfigurationen zunehmender Schwierigkeit:

6×6 (Deterministisch): PACT erreichte eine Belohnung von 0,98 ± 0,14 und übertraf damit PPO (0,93), Standalone-SLM (0,47) und andere LM-RL-Baselines (SAYCAN: 0,88, ASK: 0,89).
6×6 (Stochastisch/Glatteis): PACT behielt eine hohe Performance bei (0,93 ± 0,26) und zeigte Robustheit gegenüber Stochastik. Im Gegensatz dazu sank PPO auf 0,64, SAYCAN auf 0,53 und ASK auf 0,63. PACT benötigte durchschnittlich 2,85 Replans pro Episode aufgrund stochastischer Abweichungen, hielt aber eine hohe Erfolgsquote.
8×8 (Long Horizon): PACT erreichte eine perfekte Belohnung von 1,00 ± 0,00 mit null Varianz. PPO sank auf 0,79, SAYCAN auf 0,62 und ASK auf 0,74. Das Standalone-SLM performte schlecht (0,42) mit hoher Varianz, was auf zielloses Umherwandern ohne Verifizierung hindeutet.

Wichtigste Erkenntnisse:

LM-Nutzung vs. Performance: Die Performance von PACT korreliert nicht mit der Häufigkeit der LM-Abfragen, sondern mit der Struktur und dem Commitment zu den generierten Plänen. Beispielsweise fragte SAYCAN in der stochastischen Einstellung in einem ähnlichen Maße wie PACT (59,7 %) das LM ab, erreichte aber signifikant niedrigere Belohnungen (0,53), da es keinen Plan-Commitment besaß.
Skalierbarkeit: Die LM-Nutzung von PACT stieg mit der Aufgabenkomplexität (27,9 % in deterministischen, 58,4 % in stochastischen, 81,2 % in Long-Horizon-Szenarien), was zeigt, dass das System deliberative Ressourcen dynamisch basierend auf den Anforderungen der Umgebung zuweist.

Bedeutung und Behauptungen

Das Paper behauptet, dass deliberative Planung und reaktive Ausführung in Kombination mächtiger sind als jede für sich allein. Speziell zeigt PACT:

Commitment ist entscheidend: Die Fähigkeit, sich auf einen verifizierten Plan zu verpflichten und sich wieder an diesen auszurichten, anstatt das LLM als Schritt-für-Schritt-Advisor zu behandeln, bietet eine Robustheit gegen Stochastik und lange Zeithorizonte, die anderen Methoden fehlt.
Verifizierung reduziert die Skalierungsanforderungen: Durch die Einbettung des SLM in einen simulationsbasierten Verifizierungs-Loop benötigt das System keine massiven Parameterzahlen, um zuverlässige Planung zu erreichen; ein 2B-Parameter-Modell genügt.
Kein Retraining erforderlich: Die Architektur erlaubt die Integration vortrainierter Agenten mit LLMs, ohne dass ein kostspieliges Retraining oder Fine-Tuning der RL-Policy notwendig ist.

Limitierungen:
Die Autoren räumen ein, dass PACT derzeit auf eine handgefertigte oder gelernte Transitionsfunktion für die Plan-Simulation angewiesen ist, was die Anwendbarkeit auf Umgebungen beschränkt, in denen solche Dynamiken nicht verfügbar sind. Zudem war die Evaluation auf direkte Ziel-Aufgaben beschränkt, und die Performance des Systems bei Aufgaben, die komplexe Sub-Goal-Dekomposition erfordern (z. B. "Door Key"-Umgebungen), bleibt ein Thema für zukünftige empirische Validierung.