Neuro-Symbolic Synergy for Interactive World Modeling

Dit paper introduceert NeSyS, een neuro-symbolisch kader dat de semantische expressiviteit van grote taalmodellen combineert met de logische consistentie van symbolische wereldmodellen om hallucinaties te verminderen en de data-efficiëntie te verhogen in interactieve omgevingen.

De kern

Stel je voor dat je een zeer slimme, creatieve assistent hebt die alles over de wereld weet: een Grote Taalmodel (zoals een super-LLM). Deze assistent is geweldig in het begrijpen van nuance, grappen en complexe verhalen. Maar als je hem vraagt om een strikt logisch spelletje te spelen of een wetenschappelijke formule te volgen, maakt hij soms rare fouten. Hij "hallucineert" dan, omdat hij probeert te raden wat logisch klinkt in plaats van wat echt waar is volgens de regels.

Aan de andere kant heb je een Strakke Regels-robot. Deze robot kent elke regel uit zijn hoofd en maakt nooit een fout. Als de regel zegt "je mag niet linksaf slaan", dan slaat hij nooit linksaf. Maar deze robot is erg dom als het gaat om context. Hij snapt niet waarom je linksaf zou willen slaan als er een hond voorbij loopt, en hij kan geen creatieve oplossingen bedenken.

Het probleem: Je hebt beide nodig voor een perfecte wereld. Je wilt de creativiteit van de assistent, maar de strikte logica van de robot.

De oplossing: NeSyS (Neuro-Symbolische Synergie)
De auteurs van dit paper hebben een slimme manier bedacht om deze twee samen te werken. Ze noemen het NeSyS. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Krachtige Rem" (In plaats van alleen maar praten)

Stel je voor dat je de creatieve assistent een vraag stelt. Normaal gesproken zou hij gewoon een antwoord kiezen. Bij NeSyS doen we iets anders:

• De assistent geeft een lijst met mogelijke antwoorden en zegt: "Ik denk dat antwoord A 60% kans heeft, en antwoord B 40%."
• De Strakke Regels-robot kijkt daar naar. Als antwoord A strijdig is met een vaste regel (bijvoorbeeld: "Je kunt niet door een muur lopen"), dan zegt de robot: "Stop! Dat is onmogelijk."
• In plaats van de assistent te vertellen wat hij moet zeggen (wat hij soms negeert), verandert de robot de kansberekening. Hij maakt de kans op het verkeerde antwoord letterlijk 0% en duwt de kans op het juiste antwoord omhoog.
• Analogie: Het is alsof je een auto bestuurt (de assistent) die soms de weg vergeet, maar je hebt een slimme navigatie (de robot) die direct de rem indrukt als je op weg bent naar een afgrond, zonder dat je hoeft te luisteren naar zijn stem.

2. De "Slimme Oefensessie" (Waarom ze minder hoeven te leren)

Normaal gesproken moet je een slimme assistent duizenden keren oefenen om hem goed te maken. Maar NeSyS is slimmer:

• De robot kan al veel simpele dingen zelf (zoals "als je op 'koop' klikt, moet het product in je mandje").
• De auteurs laten de assistent alleen oefenen op de moeilijke, rare situaties waar de robot het niet weet.
• Analogie: Stel je voor dat je een student (de assistent) voorbereidt op een examen. De leraar (de robot) zegt: "Ik weet al dat jij '2 + 2' kunt, en dat 'de zon in het oosten opkomt'. Die vragen hoef je niet te oefenen. Oefen alleen maar op die rare wiskundepuzzels waar ik het ook niet weet."
• Resultaat: De assistent leert in de helft van de tijd (of met de helft minder data) net zo goed, omdat hij geen tijd verspilt aan dingen die hij al snapt of die de robot al regelt.

3. De "Wisselwerking" (Ze leren van elkaars fouten)

Het systeem werkt in twee fases:

1. Fase 1: De assistent probeert het. Waar hij faalt, schrijft de robot een nieuwe regel op om die fout nooit meer te maken.
2. Fase 2: De assistent wordt getraind op de moeilijke gevallen die de robot niet kan oplossen.
3. Resultaat: Ze worden steeds beter in het vullen van elkaars gaten. De robot wordt slimmer door de fouten van de assistent te zien, en de assistent wordt slimmer door de regels van de robot te gebruiken.

Waarom is dit belangrijk?

In de echte wereld (zoals online winkelen, wetenschappelijke experimenten of gamen) zijn er regels die je moet volgen. Als een AI denkt dat je een auto kunt kopen zonder geld, is dat een ramp.

• Alleen een slimme AI: Zou denken dat het kan, omdat het klinkt als een verhaal.
• Alleen een robot: Zou vastlopen als de situatie complex is.
• NeSyS: Combineert de beste van beide werelden. Het is creatief genoeg om de context te begrijpen, maar strikt genoeg om de regels te volgen.

Kortom: NeSyS is als het huwelijk tussen een dromer en een accountant. De dromer bedenkt de ideeën, en de accountant zorgt dat het allemaal legaal en logisch is, zonder dat ze elkaar hoeven te blokkeren. Het resultaat is een systeem dat sneller leert, minder fouten maakt en betrouwbaarder is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Neuro-Symbolic Synergy for Interactive World Modeling" in het Nederlands.

Titel: Neuro-Symbolische Synergie voor Interactieve Wereldmodelleren

Auteurs: Hongyu Zhao, Siyu Zhou, Haolin Yang, Zengyi Qin, Tianyi Zhou.

---

1. Het Probleem

Grote Taalmodellen (LLMs) hebben sterke redeneervermogens en worden steeds vaker gebruikt als wereldmodellen (World Models - WMs) voor sequentiële besluitvorming. Echter, LLMs hebben twee fundamentele tekortkomingen in dit domein:

• Hallucinatie en gebrek aan strikte consistentie: LLMs zijn probabilistisch en neigen tot het hallucineren van overgangsdynamieken, vooral in deterministische omgevingen (zoals games of webinterfaces) waar strikte naleving van transitieregels essentieel is. Ze worstelen met "corner cases" en lange-termijn inconsistenties.
• Beperkte expressiviteit van symbolische modellen: Symbolische wereldmodellen bieden wel logische consistentie en deterministische regels, maar missen de semantische expressiviteit om complexe, hoog-dimensionale of ongedefinieerde real-world interacties te generaliseren.

Bestaande neuro-symbolische benaderingen (zoals het toevoegen van regels aan de prompt) zijn vaak afhankelijk van de instructie-volgende capaciteit van het model, wat onbetrouwbaar is bij kleinere of sterk gefinetunteerde modellen.

2. Methodologie: NeSyS Framework

De auteurs stellen Neuro-Symbolic Synergy (NeSyS) voor, een raamwerk dat de probabilistische semantische priors van LLMs combineert met uitvoerbare symbolische regels. Het kernidee is om symbolische regels niet als instructies te gebruiken, maar als energie-termen die de uitgangsverdeling van het LLM direct modificeren.

Architectuur

Het systeem bestaat uit twee componenten:

1. Neural WM: Een LLM dat de waarschijnlijkheid ($p_i$) berekent voor kandidaat-toestanden en beloningen.
2. Symbolic WM: Een gewogen verzameling uitvoerbare Python-functies ($F = \{(f_j, w_j)\}$). Elke regel genereert een score ($e_{ij} \in [-1, 1]$) die aangeeft hoe waarschijnlijk een kandidaat-toestand correct is onder die specifieke regel.

Inferentie en Probabiliteitsmodificatie

In plaats van de input van het LLM te veranderen, wordt de output-verdeling direct aangepast:

• De symbolische scores worden geaggregeerd tot een scalair verschuivingsfactor $E_i$ (energie) via gewogen sommatie.
• De aangepaste waarschijnlijkheid $\tilde{p}_i$ wordt berekend als:
  $$\tilde{p}_i = p_i \cdot \exp(\gamma E_i)$$
  Waarbij $\gamma$ een schalingsfactor is.
• Een negatieve $E_i$ straft een kandidaat (hard constraint), terwijl een positieve $E_i$ een kandidaat belooft (logische consistentie). Dit "hervormt" het kanslandschap van het LLM zonder afhankelijkheid van prompt-engineering.

Trainingspiplijn: Reciproque Verfijning

Het trainingsproces verloopt in twee fasen om redundantie te minimaliseren:

1. Fase 1 (Initialisatie):
   • Het Neural WM wordt geïnitieerd met een voorgeöefend LLM.
   • Fouten op een ontwikkelset worden geclusterd.
   • Een LLM (GPT-5-mini) genereert Python-regels om deze specifieke fouten te corrigeren.
2. Fase 2 (Reciproque Verfijning):
   • Data Selectie: Er wordt gebruik gemaakt van rule-guided data selection. Trajecten die al correct worden voorspeld door de symbolische regels (makkelijke gevallen) worden gefilterd.
   • Neural WM Finetuning: Het Neural WM wordt alleen gefinetunt op de "harde" data die de symbolische regels niet kunnen oplossen. Dit reduceert de trainingsdata met ongeveer 50% zonder prestatieverlies.
   • Symbolic WM Verfijning: Regels die het Neural WM nu negatief beïnvloeden, worden verwijderd. Nieuwe regels worden gegenereerd voor de resterende fouten van het verbeterde Neural WM.

3. Belangrijkste Bijdragen

1. Directe Probabiliteitsmodificatie: Een nieuw mechanisme om hard constraints op te leggen door de output-distributie van een LLM direct te manipuleren via symbolische energie-termen, in plaats van via prompts.
2. Complementair Trainingsparadigma: Een strategie waarbij elk model alleen wordt getraind op data die het andere model niet aankan, wat leidt tot een drastische reductie in trainingsdata (tot 50% minder) bij behoud van nauwkeurigheid.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat NeSyS consistent beter presteert dan baselines in diverse interactieve omgevingen en op verschillende modelgroottes.

4. Resultaten

Het framework is getest op drie benchmarks: ScienceWorld (fysiek redeneren), Webshop (webnavigatie) en Plancraft (Minecraft-crafting).

• ScienceWorld: NeSyS bereikte met de Llama3.2-1B backbone een gemiddelde nauwkeurigheid van 68,3% met slechts 45% van de trainingsdata, wat beter is dan de standaard SFT-baseline (64,4%) die 100% data gebruikt.
• Webshop: Symbolische regels bleken cruciaal voor strikt deterministische taken zoals "Search" en "Decision", waar pure LLMs vaak 0% nauwkeurigheid behaalden. NeSyS combineerde dit met semantisch begrip om 92,2% nauwkeurigheid te bereiken (tegenover 47,5% voor SFT).
• Plancraft: Dit experiment toonde de noodzaak van hybride modellering aan. Pure finetuning leidde tot "catastrophic forgetting" (daling van 54,7% naar 31,3% bij de Smelt-taak voor Llama). NeSyS behaalde hier 98,4% nauwkeurigheid, omdat het symbolische deel immuun is voor distributieveranderingen.
• Data-efficiëntie: Overal werd aangetoond dat het filteren van data die al door regels wordt gedekt, de trainingskosten halveert zonder in te leveren op prestaties.

5. Betekenis en Impact

Deze studie is significant omdat het een praktische oplossing biedt voor het "hallucinatieprobleem" van LLMs in strikt gestructureerde omgevingen zonder de flexibiliteit van taalmodellen op te offeren.

• Robuustheid: Het maakt wereldmodellen betrouwbaarder voor toepassingen waar logische consistentie cruciaal is (bijv. robotica, complexe games, e-commerce).
• Efficiëntie: Door te leren dat veel dynamiek kan worden vastgelegd in simpele regels, reduceert het de noodzaak voor enorme datasets en rekenkracht voor finetuning.
• Toekomstperspectief: Het paper suggereert dat dynamische routing tussen neurale en symbolische modules (in plaats van statische integratie) een veelbelovende richting is voor toekomstig onderzoek.

Kortom, NeSyS demonstreert dat de combinatie van neurale expressiviteit en symbolische striktheid de beste van beide werelden biedt, wat leidt tot nauwkeurigere, data-efficiëntere en robuustere agenten.