Technische Samenvatting: Efficiënte Agente Redenering Door Zelf-gereguleerde Simulatieve Planning

Probleemstelling

Huidige agente Large Language Models (LLM's) opereren voornamelijk als reactieve beleidslijnen met adaptieve berekening, waarbij ze vertrouwen op onbeperkte chain-of-thought (CoT) redenering waarbij planningscapaciteiten impliciet geacht worden te ontstaan uit end-to-end training. De auteurs betogen dat deze aanpak lijdt aan een fundamenteel gebrek aan controle over de aanwezigheid, structuur of horizon van planning. Bijgevolg vertonen deze systemen vaak dramatische toenames in redeneerlengte (tokenverbruik) tijdens training zonder betrouwbare winst in nauwkeurigheid. Bovendien verhindert de afwezigheid van een expliciete planningsstructuur de analyse, regulering of onafhankelijke verbetering van het planningsproces. Bestaande alternatieven, zoals inspanningsadaptieve benaderingen of mode-routing, adresseren slechts subsets van het probleem (bijvoorbeeld het controleren van de hoeveelheid redenering of het selecteren van uitvoeringsmodi bij taakstart), maar falen in het combineren van expliciete simulatieve planning met autonome, per-beurt zelfregulatie.

Methodologie: SR2AM

Om deze inefficiënties aan te pakken, stelt het artikel SR2AM (Self-Regulated Simulative Reasoning Agentic LLM) voor, dat agentendeliberatie decomposeert in drie interactieve systemen:

1. Reactieve Uitvoering (Systeem I): Handelt fijngestructureerde redenering en directe actie-uitvoering af.
2. Simulatieve Redenering (Systeem II): Een "Simulatieve Planner" die deliberatie verankert in voorspelling van toekomstige toestanden met behulp van een wereldmodel. In tegenstelling tot onbeperkte CoT, stelt dit systeem kandidaat-acties voor, voorspelt het hun consequenties (geloofstoestanden) en selecteert sequenties die de verwachte langetermijnvooruitgang maximaliseren. In SR2AM dient de LLM zelf als wereldmodel in taalspace.
3. Zelfregulatie (Systeem III): Een geleerde "Configurator" die autonoom beslist wanneer en hoe diep er per beurt wordt gepland. Het beoordeelt de huidige geloofstoestand en bepaalt of een nieuw plan moet worden opgeroepen, een bestaand plan moet worden voortgezet, of dat planning volledig moet worden overgeslagen om direct te handelen.

Instantiaties en Training

De auteurs verkennen twee instantiaties van dit raamwerk, beide getraind via Supervised Fine-Tuning (SFT) gevolgd door Reinforcement Learning (RL):

• SR2AM-v0.1 (8B): Demonstreert haalbaarheid door beslissingen vast te leggen van een multi-module geprompt systeem (met o4-mini als leraar). De configurator en planner worden geïmplementeerd als aparte geprompte LLM's met aanvullende modules voor geloofsformatie en reflectie.
• SR2AM-v1.0 (30B): Een schaalbare aanpak die gestructureerde plannen reconstrueert uit de sporen van een voorgetrainde redenerende LLM (DeepSeek-V3.2). Een annotator-LLM leidt configuratorbeslissingen en simulatieve planningsinhoud (toestand-actie-toekomsttoestand-sequenties) af uit bestaande CoT-sporen, waarbij de originele vrije-vorm redenering behouden blijft terwijl deze wordt aangevuld met gestructureerde planning.

De modellen worden getraind op interactieve redeneertaken die wiskunde, wetenschap, tabeldata-analyse en web-informatiezoektochten omvatten, met gebruikmaking van hulpmiddelen zoals webzoekopdrachten, webbrowsing en een Python-sandbox. De RL-doelstelling (gebaseerd op Group Relative Policy Optimization) prioriteert antwoordnauwkeurigheid terwijl het gradiëntsignalen biedt voor structurele naleving.

Belangrijkste Bijdragen

1. Architecturale Decompositie: Het artikel formaliseert een drie-systeem decompositie (Systeem I+II+III) die zelfregulatie, simulatieve planning en reactieve uitvoering scheidt. Dit maakt expliciete controle over planningshorizons en -structuren mogelijk zonder domeinspecifieke engineering.
2. Efficiënte Agente Redenering: Door het besluit om te plannen te ontkoppelen van de daad van plannen, vermijdt SR2AM de inefficiëntie van ongereguleerde deliberatie (overdenken) en de rigiditeit van altijd-aan planning.
3. Empirische Validatie van Zelfregulatie: De studie toont aan dat een geleerde configurator de planningsdiepte effectief kan moduleren, wat leidt tot aanzienlijke tokenbesparingen zonder in te boeten aan nauwkeurigheid.
4. RL-dynamiek: Het artikel analyseert hoe RL de interactie tussen systemen verfijnt, en laat zien dat verbeteringen voortkomen uit het vergroten van de planningskwaliteit (horizon) in plaats van de planningsfrequentie.

Resultaten

De auteurs evalueerden SR2AM over 11 benchmarks (wiskunde, wetenschap, tabellen, web) en vergeleken het met referentiesystemen, ongereguleerde deliberatiemodellen en gedeeltelijk-gereguleerde baselines.

• Prestaties versus Schaal:
  • SR2AM-v0.1-8B behaalde een algehele Pass@1 van 57,0, en presteerde beter dan andere 7–8B-modellen en concurreerde met ongereguleerde agente LLM's van 30–32B en voorgetrainde LLM's met hulpmiddelen van 120–355B.
  • SR2AM-v1.0-30B behaalde een algehele Pass@1 van 71,3, concurrerend met DeepSeek-V3.2 (685B) en Kimi-K2.5 (1,0T) in dezelfde hulpmiddelen-harnas, en overtrof GPT-5.4-xhigh als een tekst-only redenerend model.
• Redeneer-efficiëntie:
  • SR2AM-v1.0-30B verbruikte 25,8–95,3% minder redeneertokens dan concurrerende agente LLM's van vergelijkbare schaal (30–32B).
  • In vergelijking met MiroThinker-v1.5-30B behaalde SR2AM-v1.0-30B vergelijkbare nauwkeurigheid terwijl het 51,2% minder tokens gebruikte (5.518 versus 11.295).
• RL-impact: Analyse toonde aan dat RL de gemiddelde planningshorizon met 22,8% verhoogde terwijl de planningsfrequentie slechts met 2,0% groeide. Dit geeft aan dat het model leert verder vooruit te plannen wanneer nodig, in plaats van vaker te plannen.
• Ablatiestudies: Het verwijderen van een van de drie systemen (vrije-vorm redenering, simulatieve planning of selectieve planning) verslechterde de prestaties of efficiëntie, wat hun complementaire rollen bevestigt. Specifiek veroorzaakte het verwijderen van selectieve planning (Systeem III) de grootste toename in tokenverbruik.

Betekenis en Claims

Het artikel claimt dat efficiënte agente redenering profiteert van het decomponeren van deliberatie in simulatieve planning die wordt bestuurd door geleerde zelfregulatie, en die naast reactieve uitvoering opereert. De auteurs betogen dat de behoefte aan steeds langere redeneersporen in huidige modellen een gevolg is van het bouwen van agenten als ongedifferentieerde reactieve beleidslijnen die geen interne agentie hebben over hun eigen planning.

De betekenis van dit werk ligt in:

1. Algemeen-toepasbare Planning: Het raamwerk voor simulatieve planning bereikt sterke prestaties over diverse taakcategorieën zonder per-domein procedures, wat het standpunt ondersteunt dat simulatieve redenering een algemeen mechanisme is.
2. Autonome Regulatie: De configurator instantieert een principe van autonome regulatie van redeneerprocessen. De auteurs veronderstellen dat dit principe zich kan uitstrekken tot buiten planning op inferentietijd naar hoe agenten hun eigen leren en aanpassing besturen.
3. Schaalbaarheid: De v1.0-instantiatie toont aan dat gestructureerde planning en zelfregulatie kunnen worden gereconstrueerd uit bestaande redeneersporen, wat een schaalbare weg biedt naar het trainen van efficiënte agente modellen.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat hun wereldmodel momenteel beperkt is tot taalspace en dat de kalibratie van de configurator voor wanneer niet te plannen (stopcriteria) een verbeteringsgebied blijft, zoals blijkt uit occasionele over-verificatie in specifieke taken. Zij suggereren dat toekomstig werk geëmbodiede settings, multimodale wereldmodellen en de uitbreiding van zelfregulatie naar meerdere interactieve processen moet verkennen.