Technische Samenvatting: NeSyFS – Een Neuro-Symbolisch Fast-Slow Thinking Framework voor LLM-agenten onder Partiële Observabiliteit

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als autonome agenten in complexe omgevingen, zoals zelfreflectie, retrieval-augmented generatie en wetenschappelijke ontdekking. Echter, een fundamentele uitdaging ontstaat door partiële observabiliteit: in tegen tegenstelling tot gesuperviseerde settings met volledige inputcontexten, onthullen agentische omgevingen doorgaans alleen lokale en onmiddellijke observaties, terwijl de werkelijke onderliggende staat latent blijft.

Deze partiële observabiliteit introduceert drie kritieke uitdagingen voor LLM-agenten:

1. Belief State Inference: Agenten moeten een belief over de verborgen staat afleiden uit onvolledige en potentieel ruisgevoelige interactiegeschiedenissen, die vaak te lang zijn om effectief te comprimeren binnen beperkte contextvensters.
2. Taakdoel-Misalignment: Onzekerheid en ontbrekende staatinformatie kunnen ervoor zorgen dat agenten acties ondernemen die afwijken van het globale taakdoel.
3. Plannen onder Onzekerheid: Het onvermogen om toegang te krijgen tot de ware staat bemoeilijkt de voorspelling van toekomstige situaties tijdens het plannen.

Eerdere benaderingen conditioneren acties doorgaans op volledige of samengevatte actie-observatiegeschiedenissen. Deze methoden vertrouwen vaak op ongestructureerd geheugen, waarbij redundante en irrelevante informatie de besluitvorming kan misleiden.

Methodologie: Het NeSyFS Framework

De auteurs stellen NeSyFS voor, een nieuw neuro-symbolisch Fast–Slow thinking framework dat is ontworpen om deze uitdagingen op een verenigde wijze aan te pakken. Het framework integreert een gestructureerd geheugensysteem met een dual-process cognitieve architectuur geïnspireerd door menselijke cognitie (Kahneman 2011).

1. Neuro-Symbolisch Geheugen (Knowledge Graph)

In plaats van ongestructureerde interactiegeschiedenissen gebruikt NeSyFS een Knowledge Graph (KG) om de latente staat van de omgeving te representeren.

• Representatie: De omgevingsstaat wordt gecodeerd als gestructureerde triplets (bijv. (entiteit, relatie, entiteit), (entiteit, attribuut, waarde), (entiteit, verleden_tijd_werkwoord, entiteit)).
• Dynamische Update: Terwijl de agent interageert met de omgeving, worden nieuwe observaties en acties getransformeerd naar triplets en opgenomen in de KG. Verouderde triplets worden gepruned om een consistente en dynamisch bijgewerkte representatie te waarborgen.
• Retrieval: Elke module binnen NeSyFS haalt taakrelevante triplets uit de KG om te dienen als gestructureerde context, wat de onderliggende staat van de Partially Observable Markov Decision Process (POMDP) benadert.

2. Fast-Thinking Module (Reactieve Actie)

De fast-thinking module genereert efficiënt reactieve acties.

• Proces: Het haalt relevante triplets op uit de huidige KG op basis van de taakbeschrijving en de huidige observatie.
• Beslissing: Met behulp van Chain-of-Thought (CoT) redenering wordt de LLM geprompt om de volgende actie te selecteren op basis van deze gestructureerde context.
• Rol: Deze module handelt routinematige, lokaal plausibele acties af zonder de computationele overhead van diep plannen.

3. Reflectie Module (Alignment Check)

Om taakdoel-misalignment te mitigeren, evalueert een reflectiemodule de consistentie van fast-thinking acties met het taakdoel.

• Mechanisme: In tegenstelling tot zelfreflectiemethoden die introspectie plegen op gedrag, neemt deze module een derdepersoonsperpectief aan. Het gebruikt KG-gehaalde triplets als context om te verifiëren of een kandidaat-actie overeenkomt met het taakdoel.
• Zelfconsistentie: Om de willekeur van de LLM te verminderen, trekt de module meerdere samples (bijv. $n=5$) en keurt een actie pas goed als een hoge drempel (bijv. 80%) van de samples het eens is.
• Trigger: Als een actie wordt goedgekeurd ("Ja"), wordt deze uitgevoerd. Als deze wordt afgewezen ("Nee"), wordt de reflectiegedachte teruggestuurd naar de fast-thinking module om een nieuwe actie te genereren. Als afwijzing herhaaldelijk optreedt (bijv. $K=3$ keer), escaleert het systeem naar de slow-thinking module.

4. Slow-Thinking Module (Onzekerheidsbewust Plannen)

Wanneer fast-thinking onbetrouwbaar is, gaat de agent over naar deliberatief plannen met behulp van een nieuw Neuro-Symbolic Twisted Sequential Monte Carlo (TSMC) algoritme.

• Particle Representatie: Het algoritme houdt een set gewogen particles vast, waarbij elke particle een mogelijke toekomstige traject representeert bestaande uit voorspelde observaties, latente staten (KGs) en acties.
• Propagatie: Voor elke particle voorspelt de LLM de volgende actie, de resulterende observatie, en werkt de latente staat (KG) dienovereenkomstig bij.
• Gewicht Update: De gewichten van de particles worden bijgewerkt op basis van een binaire LLM-evaluatie van of de staatsovergang progressie boekt richting de taak. De beknopte KG-representatie helpt hallucinaties in deze evaluatie te verminderen.
• Resampling: Particles die slechte taakprogressie vertonen worden weggegooid, terwijl veelbelovende particles worden behouden. Dit mechanisme maakt het plannen robuust tegen tijdelijke fouten in de LLM-evaluatie.
• Executie: Na het plannen over een horizon $H$, wordt een particle gesampled en wordt de eerste actie uitgevoerd in de werkelijke omgeving.

Belangrijkste Bijdragen

1. Verenigd Framework: Een neuro-symbolisch fast-slow thinking framework dat gelijktijdig latent staat-inferentie, taak-misalignment en plannen onder onzekerheid aanpakt.
2. TSMC-stijl Planning: De introductie van een TSMC-stijl planningsalgoritme binnen de slow-thinking module, specifiek aangepast voor LLM-agenten met behulp van KG-gehaalde triplets om onzekerheid onder partiële observabiliteit te beheersen.
3. KG-Augmented Reflectie: Een reflectiemodule die KG-gehaalde triplets gebruikt om efficiënte, stapsgewijze reflectie mogelijk te maken (in tegenstelling tot traject-niveau reflectie), wat de alignment met taakdoelen aanzienlijk verbetert.
4. Gestructureerde Context: Demonstratie dat het gebruik van KG-gehaalde triplets als context beter presteert dan volledige geschiedenis of gesamenvatte belief-benaderingen in besluitvorming, reflectie en wereldmodellering.

Experimentele Resultaten

Het framework werd geëvalueerd op drie representatieve benchmarks: ALFWorld (belichaamde huishoudelijke taken), WebShop (online shopping besluitvorming) en ScienceWorld (procedurele en wetenschappelijke redenering).

• Algemene Prestaties: NeSyFS presteerde consequent en significant beter dan state-of-the-art baselines, waaronder ReAct, Reflexion, ABBEL, RAFA en SwiftSage.
  • Op GPT-5 behaalde NeSyFS een gemiddeld succespercentage van 93,6% op ALFWorld, 63,3% op WebShop en 69,4% op ScienceWorld, waarmee het de beste baseline (SwiftSage) met een aanzienlijke marge versloeg.
  • Vergelijkbare verbeteringen werden waargenomen met GPT-5-mini en Llama-3.3-70B.
• Reflectie Effectiviteit: Experimenten die de reflectiemodule isoleerden, toonden aan dat het gebruik van KG-geleverde context de Total Detection Errors (TDE) aanzienlijk verminderde en de Effective Reliability (ER) verhoogde vergeleken met het gebruik van volledige interactiegeschiedenis of door de LLM samengevatte belief-states.
• Context Vergelijking: In fast-thinking scenario's zonder reflectie leverden KG-gehaalde triplets hogere succespercentages op dan volledige geschiedenis of belief-samenvattingen, wat de superioriteit van gestructureerd symbolisch geheugen boven ongestructureerde tekst valideert.

Betekenis en Claims

Het artikel claimt dat NeSyFS een significante vooruitgang vertegenwoordigt in de LLM-agentarchitectuur voor partiële observabiliteit. Door af te stappen van ongestructureerde, redundante interactiegeschiedenissen naar een gestructureerde, symbolische Knowledge Graph, biedt het framework een robuustere en efficiëntere representatie van de latente staat.

De auteurs benadrukken dat zij de eersten zijn die een TSMC-stijl planningsmethode voor LLM-agenten hebben ontwikkeld, waarbij het resampling-mechanisme wordt benut om exploratie en exploitatie te balanceren terwijl het robuust blijft tegen LLM-evaluatiefouten. Bovendien adresseert de integratie van een KG-geaugmenteerde reflectiemodule het cruciale probleem van taak-misalignment effectiever dan conventionele traject-gewijze reflectie. De resultaten suggereren dat de synergie tussen gestructureerd geheugen (KG), reactief fast-thinking en deliberatief slow-thinking essentieel is voor high-performance autonome agenten in complexe, partiële observeerbare omgevingen.