🤖 AI

When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

Het artikel introduceert PACT, een hybride architectuur die reactieve Reinforcement Learning-policies verbetert door asynchroon een deliberatief Small Language Model te integreren om veilige actieplannen te genereren en te valideren, waardoor het basismethoden in uitdagende omgevingen overtreft zonder dat herprogrammering van de policy vereist is.

Oorspronkelijke auteurs: Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto bestuurt. De meeste tijd rijd je op "autopiloot". Je ziet een stopbord, je trapt op de rem. Je ziet een groen licht, je rijdt door. Dit gaat snel, automatisch en vereist heel weinig nadenken. In de wereld van AI wordt dit Reinforcement Learning (RL) genoemd. Het is geweldig wanneer je op een bekende weg rijdt, maar als je plotseling in een compleet nieuwe stad terechtkomt met vreemde verkeersregels, kan je autopilot crashen omdat hij deze situatie nog niet eerder heeft gezien.

Aan de andere kant, stel je een zeer wijze, langzaam denkende navigator voor die op de passagiersstoel zit. Deze navigator heeft elke kaart ter wereld gelezen en kan een route plannen voor een complexe reis. Echter, deze navigator is traag in spreken, heeft veel tijd nodig om na te denken en raakt soms afgeleid. In het artikel wordt dit de Small Language Model (SLM) genoemd.

Het artikel introduceert een nieuw systeem genaamd PACT (Plan, Align, Commit, Think) dat deze twee bestuurders combineert tot één perfect team. Zo werkt het, gebruikmakend van eenvoudige analogieën:

Het Probleem: De "Bekende Weg"-valstrik

Standaard AI-agenten zijn als de autopilot-bestuurder. Ze zijn uitstekend in het reageren op dingen die ze geoefend hebben. Maar als ze iets nieuws tegenkomen (zoals een glad wegdek of een enorme doolhof), raken ze in paniek en maken ze fouten. Ze missen het vermogen om "vooruit te denken".

De Oplossing: Het PACT-team

PACT creëert een hybride team met twee duidelijke rollen:

De Snelle Bestuurder (De RL Policy): Dit is de autopilot. Hij regelt 90% van de rit. Hij is snel, efficiënt en kent de lokale regels.
De Langzame Navigator (De SLM): Dit is de planner. Hij bestuurt de auto niet. In plaats daarvan zit hij achterover en spreekt hij pas als de snelle bestuurder in de war is.

Hoe PACT werkt: De "Twijfel"-trigger

Het systeem heeft een simpele regel: "Bij twijfel, plan het uit."

De Trigger: De snelle bestuurder controleert constant zijn eigen zelfvertrouwen. Als hij iets vertrouwds ziet, blijft hij rijden. Maar als hij zich "onzeker" voelt (zoals bij het zien van een glad stuk weg of een gigantisch doolhof dat hij nog niet heeft gezien), trapt hij op de rem en zegt: "Ik weet niet zeker wat ik nu moet doen."
De Planningsfase: Wanneer de snelle bestuurder stopt, wordt de langzame navigator wakker. Hij zegt niet alleen "Sla linksaf". Hij maakt een volledige routekaart (een plan) voor de volgende paar stappen.
De Veiligheidscontrole (Simulatie): Voordat het plan van de navigator wordt gebruikt, voert het systeem een "mentale simulatie" uit. Het vraagt: Als we dit plan volgen, zullen we dan crashen? Is het veilig? Zal het ons daadwerkelijk bij het doel brengen? Als het plan riskant is, probeert de navigator het opnieuw totdat er een veilige route is gevonden.
De Toezegging (Commitment): Zodra een veilig plan is geverifieerd, committeert de snelle bestuurder zich eraan. Het systeem negeert de autopilot voor een tijdje en volgt stap voor stap de routekaart van de navigator. Zelfs als de weg een beetje hobbelig wordt (stochastiek), houdt het team zich aan het plan in plaats van te panikeren en elke seconde van richting te veranderen.
De Afstemming (Alignment): Als de auto iets uit koers raakt (misschien was de weg glad en gleed de auto uit), past de navigator de route snel aan om de auto weer op het geplande pad te krijgen, in plaats van helemaal opnieuw te beginnen.

De Resultaten: Waarom het wint

De onderzoekers testten dit team in drie verschillende "rijscenario's" (FrozenLake-omgevingen):

De Makkelijke Weg (6x6 kaart): De snelle bestuurder was goed, maar het PACT-team was zelfs nog beter.
De Gladde Weg (6x6 met ijs): Dit is waar andere teams faalden. De snelle bestuurder gleed uit en crashte. Andere AI-systemen die de navigator bij elke stap om advies vroegen, raakten in de war en verdwaalden. Maar PACT, omdat het zich vast hield aan een geverifieerd plan, bleef stabiel. Het gleed slechts een beetje uit en herstelde het evenwicht.
Het Gigantische Doolhof (8x8 kaart): Dit was een lange, complexe reis. De snelle bestuurder raakte verdwaald. De navigator alleen was te traag en dwaalde doelloos rond. Maar PACT combineerde hen: de navigator tekende een duidelijk pad, en de snelle bestuurder voerde het perfect uit. PACT behaalde een perfecte score met nul fouten, terwijl iedereen anders worstelde.

De Belangrijkste Les

Het artikel betoogt dat je geen supercomputer (een enorm AI-model) nodig hebt om moeilijke problemen op te lossen. Je hebt alleen de juiste teamwork nodig.

Vraag de navigator niet voor elke bocht: Dat is te traag en verwarrend.
Laat de bestuurder niet in het donker gokken: Dat leidt tot crashes.
Doe dit: Laat de bestuurder het makkelijke werk doen. Wanneer de situatie vreemd wordt, pauzeer, laat de navigator een veilige, geverifieerde kaart tekenen, en houd je dan aan die kaart totdat de taak volbracht is.

Kortom, PACT bewijst dat een kleine, slimme planner die samenwerkt met een snelle, reactieve bestuurder, veel krachtiger is dan wanneer een van beiden het werk alleen probeert te doen.

Technische Samenvatting: Plan, Align, Commit, Think (PACT)

Probleemstelling

Reinforcement Learning (RL) agents die getraind zijn met standaard model-vrije policies blinken uit in vertrouwde omgevingen, maar presteren aanzienlijk slechter wanneer ze worden ingezet in onbekende omstandigheden of nieuwe contexten. Deze beperking komt voort uit hun puur reactieve aard: ze mappen staten naar acties zonder expliciete deliberatie of vooruitblik. Hoewel Large Language Models (LMs) over overdraagbare kennis en common sense redeneren beschikken dat geschikt is voor hoogwaardige planning, worden zij in dit domein geconfronteerd met twee kritieke barrières:

Betrouwbaarheid: Zelfs grensverleggende LMs worstelen met consistente planning over meerdere stappen en state tracking op eigen kracht.
Efficiëntie: Grote modellen zijn computationeel duur, wat ze onpraktisch maakt voor real-time besluitvorming met een lage latentie.

Bestaande hybride benaderingen behandelen LMs vaak als adviseurs op stapniveau (waarbij het model bij elke onzekere stap wordt geraadpleegd) of vereisen handmatige engineering van planningsmodellen (zoals in BDI-systemen), waardoor het gat tussen reactieve executie en planning over lange termijn niet wordt gedicht zonder kostbare hertraining.

Methodologie: De PACT-architectuur

De auteurs stellen Plan, Align, Commit, Think (PACT) voor, een hybride architectuur die een snelle, reactieve RL-policy integreert met een trage, deliberatieve Small Language Model (SLM) planner. Gebaseerd op de dual-process theorie van Kahneman en Belief-Desire-Intention (BDI) systemen, scheidt PACT besluitvorming in twee componenten:

Fast Component (Reactive RL): Een vooraf getrainde policy (bijv. PPO) handelt de besluitvorming af in vertrouwde omstandigheden. Deze opereert continu, tenzij anders getriggerd.
Slow Component (Deliberative SLM): Een asynchrone SLM (specifiek een model met 2 miljard parameters) wordt alleen aangeroepen wanneer de epistemische onzekerheid van de RL-policy een vooraf ingestelde drempel ( $\tau$ ) overschrijdt.

Het PACT-proces bestaat uit drie afzonderlijke modules:

Plan Generation: Bij hoge onzekerheid wordt de SLM geprompt met de taakbeschrijving en de huidige observatie om een kandidaat-actiesequentie ( $\rho$ ) van maximaal $n$ stappen te genereren. Deze generatie steunt op een handmatig ontworpen of geleerde transitiefunctie om toekomstige staten binnen de prompt te simuleren.
Plan Verification: De kandidaat-plan wordt gesimuleerd om te waarborgen dat deze veilig is (geen schending van restricties), haalbaar is (binnen de actieruimte) en volledig is (bereikt het doel). Als er een schending optreedt, wordt de SLM geprompt om een veilig plan te regenereren.
Agent Alignment: Deze module overbrugt de kloof tussen de geïdealiseerde simulatie die gebruikt wordt voor planning en de werkelijke huidige staat van de agent. Als de agent door stochastische transities is afgedwaald van het plan, wordt de SLM geprompt om een korte traject te genereren om de agent terug te leiden naar het dichtstbijzijnde bereikbare waypoint in het geverifieerde plan.

Executiestrategie: Zodra een plan is geverifieerd en uitgelijnd, committe het systeem zich eraan. De reactieve RL-policy wordt gepasseerd, en de agent voert de acties rechtstreeks uit vanuit het plan totdat het plan is voltooid, het doel is bereikt, of er een fout optreedt. Dit commitment-mechanisme onderscheidt PACT van adviseurs op stapniveau, die geen verenigd traject hebben om afwijkingen te herstellen.

Kernbijdragen

Hybride Architectuur: Een nieuw framework dat reactieve RL combineert met deliberatieve SLM-planning zonder dat de RL-policy opnieuw getraind hoeft te worden.
Commitment Mechanisme: In tegen afstelling tot adviseurs op stapniveau, committeert PACT zich aan een geverifieerd, gestructureerd traject, waardoor de agent kan herstellen van stochastische afwijkingen door te her-alignen met het plan in plaats van bij elke stap het model opnieuw te raadplegen.
Efficiëntie met Kleine Modellen: Demonstreert dat computationeel efficiënte 2B-parameter SLMs, wanneer ze worden ingekapseld in een verificatie- en commitment-loop, de prestaties van grotere modellen of standalone RL-policies kunnen evenaren in complexe, onzekere omgevingen.
Onzekerheid-getriggerde Planning: Het systeem roept deliberatie alleen aan wanneer de RL-policy epistemisch onzeker is, wat de afweging tussen snelheid en diepte van planning optimaliseert.

Experimentele Resultaten

De auteurs evalueerden PACT op de FrozenLake omgeving over drie configuraties van toenemende moeilijkheidsgraad:

6×6 (Deterministisch): PACT behaalde een beloning van 0.98 ± 0.14, waarmee het PPO (0.93), standalone SLM (0.47) en andere LM-RL baselines (SAYCAN: 0.88, ASK: 0.89) versloeg.
6×6 (Stochastisch/Glibberig): PACT behield een hoge prestatie (0.93 ± 0.26), wat robuustheid tegen stochastiek aantoont. In contrast daalde PPO naar 0.64, SAYCAN naar 0.53 en ASK naar 0.63. PACT had gemiddeld 2.85 replans per episode nodig vanwege stochastische afwijkingen, maar behield een hoog succespercentage.
8×8 (Lange Horizon): PACT behaalde een perfecte beloning van 1.00 ± 0.00 met nul variantie. PPO daalde naar 0.79, SAYCAN naar 0.62 en ASK naar 0.74. De standalone SLM presteerde slecht (0.42) met een hoge variantie, wat duidt op richtingloos dwalen zonder verificatie.

Belangrijkste bevindingen:

LM-gebruik vs. Prestatie: De prestaties van PACT zijn niet gecorreleerd aan de frequentie van LM-queries, maar aan de structuur en commitment aan de gegenereerde plannen. Zo vroeg SAYCAN in de stochastische setting een vergelijkbaar aantal queries op (59.7%) maar behaalde aanzienlijk lagere beloningen (0.53) omdat het geen plan-commitment had.
Schaalbaarheid: Het LM-gebruik van PACT nam toe met de taakcomplexiteit (27.9% in deterministisch, 58.4% in stochastisch, 81.2% in long-horizon), wat aangeeft dat het systeem deliberatieve middelen dynamisch toewijst op basis van de eisen van de omgeving.

Significantie en Claims

Het paper claimt dat deliberatieve planning en reactieve executie krachtiger zijn in samenwerking dan elk afzonderlijk. Specifiek demonstreert PACT dat:

Commitment cruciaal is: Het vermogen om je te committeren aan een geverifieerd plan en hierop te her-alignen, in plaats van de LLM als een stap-voor-stap adviseur te behandelen, biedt een robuustheid tegen stochastiek en lange horizonten die andere methoden missen.
Verificatie schaalvereisten verlaagt: Door de SLM in een simulatie-gebaseerde verificatieloop te kapselen, heeft het systeem geen enorme parameter-aantallen nodig om betrouwbare planning te bereiken; een 2B-parameter model volstaat.
Geen Hertraining Vereist: De architectuur maakt de integratie van vooraf getrainde agents met LLM's mogelijk zonder de noodzaak voor kostbare hertraining of fine-tuning van de RL-policy.

Beperkingen:
De auteurs erkennen dat PACT momenteel vertrouwt op een handmatig ontworpen of geleerde transitiefunctie voor plan-simulatie, wat de toepasbaarheid beperkt in omgevingen waar dergelijke dynamieken niet beschikbaar zijn. Bovendien was de evaluatie beperkt tot directe doel-taken, en blijft de prestatie van het systeem in taken die complexe sub-doel decompositie vereisen (bijv. "Door Key" omgevingen) een onderwerp voor toekomstige empirische validatie.