NeuroProlog: Multi-Task Fine-Tuning for Neurosymbolic Mathematical Reasoning via the Cocktail Effect

NeuroProlog is een neurosymbolisch raamwerk dat door middel van multi-task 'cocktail'-training en uitvoeringsgeleide foutcorrectie de betrouwbaarheid van grote taalmodellen bij wiskundig redeneren significant verbetert door problemen te vertalen naar verifieerbare Prolog-programma's.

De kern

🧠 De Grote Uitdaging: Slimme Modellen die Dromen

Stel je voor dat je een zeer slimme, maar soms dromerige student hebt (een Grote Taalmodel of LLM). Deze student kan prachtige verhalen schrijven en vloeiend spreken. Maar als je hem een wiskundig raadsel geeft, begint hij vaak te fantaseren. Hij schrijft een antwoord dat er heel logisch uitziet, maar dat in de echte wereld gewoon fout is. Het is alsof hij een verhaal verzonnen heeft over hoe hij een auto bouwt, maar hij vergeet de wielen.

Tot nu toe probeerden we dit op te lossen door de student te laten "nadenken" (Chain-of-Thought), maar hij blijft vaak hangen in patronen in plaats van echt te rekenen.

🛠️ De Oplossing: NeuroProlog (De Bouwmeester met een Blauwdruk)

De auteurs van dit paper hebben een nieuwe methode bedacht genaamd NeuroProlog. Ze combineren de creativiteit van de student met de strenge regels van een bouwmeester.

In plaats van alleen te laten schrijven, leren ze de student om een Prolog-programma te schrijven. Prolog is een speciale taal die werkt als een strikte blauwdruk. Als de blauwdruk klopt, werkt de machine. Als hij niet klopt, stopt de machine direct met werken en zegt hij: "Hier zit een fout!"

🍹 De "Cocktail"-Methode: Waarom mengen?

Het meest interessante deel van het paper is de "Cocktail"-trainingsstrategie.

Stel je voor dat je een kok bent die een nieuwe chef wilt opleiden. Je hebt drie soorten lessen:

1. De theorie (KB): Je leert de kok de formules en regels uit het hoofd (bijv. "Hoe bereken je een percentage?").
2. De praktijk (SOLVE): Je laat de kok echte problemen oplossen (bijv. "Hoeveel kost deze pizza als...?").
3. De controle: Je laat de kok controleren of zijn antwoord klopt.

De oude manier: Je gaf de kok eerst alleen theorie, en daarna alleen praktijk.
De Cocktail-methode: Je mengt de theorie en de praktijk door elkaar in één les.

Waarom werkt dit?
Het paper noemt dit het "Cocktail-effect". Net zoals een goede cocktail meer is dan de som van zijn ingrediënten, leert de student door het mengen van theorie en praktijk beter te begrijpen waarom iets werkt. De theorie helpt de praktijk, en de praktijk maakt de theorie tastbaar. De student leert niet alleen wat het antwoord is, maar hoe je er logisch bij komt.

🔍 De "Reparatie-Workshop" (Self-Debugging)

Als de student een fout maakt, stopt de computer niet. In plaats daarvan krijgt de student een reparatie-workshop.

1. De computer voert het programma uit.
2. Als er een fout is, krijgt de computer een specifiek signaal: "Je hebt een haakje vergeten" of "Je deelt door nul".
3. De student krijgt dit signaal terug en mag het programma opnieuw proberen om de fout te herstellen.

Dit is alsof de student niet alleen het antwoord moet geven, maar ook leert zijn eigen werk te controleren en te repareren voordat hij het inlevert.

📏 Wat hebben ze ontdekt? (De Grootte van de Student)

Het paper heeft een fascinerende ontdekking gedaan over de grootte van de modellen (het aantal "hersencellen" of parameters):

• De Grote Studenten (32 miljard parameters):
  Deze studenten zijn zo slim dat ze door de Cocktail-methode leren om hun betekenis te begrijpen. Als ze eerst een fout maakten omdat ze een getal met een woord verwarden (een "typefout"), leren ze nu om die fout te zien en te repareren. Ze worden van "dromers" naar "controleurs". Hun fouten worden minder en makkelijker te fixen.

• De Kleine Studenten (8 miljard parameters):
  Bij deze kleinere modellen werkt het anders. Door de training leren ze wel de grammatica van de taal (ze schrijven geen fouten meer in de zinsbouw), maar ze verliezen hun vermogen om de betekenis te controleren. Ze schrijven perfect Prolog, maar het antwoord is soms nog steeds fout. Het is alsof ze leren hoe je een boekje in de juiste volgorde legt, maar niet begrijpen wat erin staat.

• De Zeer Kleine Studenten (3 miljard parameters):
  Deze hebben simpelweg niet genoeg "hersencapaciteit" om deze complexe taak alleen te doen. Ze blijven worstelen, ongeacht hoe goed de training is.

🏆 Het Resultaat

Door deze "Cocktail"-methode te gebruiken, presteert hun model (met 20 miljard parameters) beter dan veel grotere modellen die alleen op code zijn getraind. Ze zijn slimmer en efficiënter.

Samengevat in één zin:
NeuroProlog leert AI-modellen niet alleen om antwoorden te "gokken", maar om als een bouwkundige te werken: ze leren de regels (theorie) en de praktijk door elkaar te mengen, zodat ze zelf hun fouten kunnen vinden en repareren voordat ze een antwoord geven.

Het is een stap in de richting van AI die we echt kunnen vertrouwen, omdat we kunnen zien hoe het tot het antwoord komt en of dat logisch klopt.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs) presteren uitstekend in natuurlijke taal, maar zijn vaak onbetrouwbaar in wiskundig redeneren. Ze genereren vaak vlot ogende, maar logisch inconsistente oplossingen. Traditionele aanpakken zoals Chain-of-Thought (CoT) of Program-of-Thoughts (PoT) vertrouwen op probabilistische patroonherkenning in plaats van formele logica.

Bestaande neurosymbolische methoden gebruiken vaak symbolische redenering als een post-hoc correctiemechanisme (bijv. een externe theorem-prover die het antwoord van de LLM controleert). Dit ontwerp is losgekoppeld: het model leert niet de symbolische structuur tijdens het trainen, maar gebruikt deze slechts als verificatietool. Hierdoor kunnen modellen zich niet goed generaliseren naar nieuwe probleemcomposities en missen ze de capaciteit om verifieerbare, uitvoerbare redeneersporen te produceren zonder externe ingrijpen.

2. Methodologie: NeuroProlog

De auteurs stellen NeuroProlog voor, een neurosymbolisch raamwerk dat wiskundig redeneren afdwingt door wiskundige woordproblemen te compileren naar uitvoerbare Prolog-programma's met formele verificatiegaranties. De kern van de methode bestaat uit drie componenten:

A. Multi-Task "Cocktail" Training

In plaats van één taak te trainen, gebruiken ze een gezamenlijke trainingsstrategie die drie synergetische doelen optimaliseert binnen één gedeelde symbolische representatieruimte:

1. Knowledge Base (KB): Vertaling van wiskundige formules naar Prolog-regels (Declaratieve kennis).
2. SOLVE: Vertaling van natuurlijke taal (woordproblemen) naar Prolog-programma's (Procedurale kennis).
3. Program-Answer Alignment: Uitlijning van het gegenereerde programma met het numerieke antwoord.

De dataset bevat:

• Een Mathematical Knowledge Base met 200 entries die fundamentele concepten (statistiek, logica, meetkunde) formaliseren als uitvoerbare Prolog-predicaten met semantische opmerkingen.
• Een Problem-Solving Dataset met 310 voorbeelden gebaseerd op de KB, plus 7.476 entries van GSM8K-Prolog.

Door deze taken te mengen (de "Cocktail Effect"), wordt positieve overdracht (positive transfer) bereikt: de symbolische gronding uit de KB verbetert direct de samenstellende redeneercapaciteiten bij het oplossen van problemen.

B. Uitvoeringsgeleide Decoding (Execution-Guided Decoding)

Tijdens inferentie wordt een iteratieve pijplijn gebruikt:

1. Het model genereert een initieel Prolog-programma.
2. Een Prolog-interpreter (SWI-Prolog) voert het uit.
3. Bij een fout wordt een gestructureerde feedbacklus geactiveerd. Het systeem classificeert de fout in een van 5 categorieën (Syntax, Type, Domain, Instantiation, Logical) en genereert een specifieke herstelprompt.
4. Het model probeert het programma te repareren (maximaal 3 iteraties) zonder dat er specifieke "correctie-training" nodig is (zero-shot self-debugging).

3. Belangrijkste Bijdragen

• Multi-Task Neurosymbolische Training: Een nieuwe trainingsparadigma dat declaratieve kennis (formules) en procedurale probleemoplossing combineert, wat leidt tot cross-task transfer.
• Zero-Shot Self-Debugging: Een pijplijn die het model in staat stelt om fouten te diagnosticeren en te repareren op basis van formele Prolog-fouttaxonomieën, zonder extra training voor correctie.
• Schaalafhankelijke Foutverschuiving: Een empirische ontdekking dat de effectiviteit van deze training sterk afhankelijk is van het modelgrootte (zie resultaten).
• Open Source: Publicatie van de volledige dataset (200 KB + 7786 SOLVE entries), trainingscode, en LoRA-adapters voor alle getrainde modellen.

4. Resultaten

De evaluatie werd uitgevoerd op het GSM8K-dataset met vier modellen van verschillende schalen (3B tot 32B parameters).

• Algemene Prestaties: Cocktail-training leidde tot significante nauwkeurigheidsverbeteringen ten opzichte van single-task baselines:
  • Qwen-32B: +5,23% (tot 85,52%).
  • GPT-OSS-20B: +3,43% (tot 88,34%). Dit is de beste configuratie, die zelfs grotere modellen zoals ToRA-Code-34B (80,7%) en OpenMath-70B (84,6%) verslaat, ondanks het gebruik van 3,5x minder parameters.
  • Llama-3B: +5,54%.
• Foutcorrectie: Bij het 32B-model bereikte de cocktail-training een correctierate van 92,7% voor fouten die in de eerste poging mislukten.
• Schalingsdynamiek (Kritieke bevinding):
  • 32B Modellen: De training transformeerde onoplosbare Type Errors (semantische fouten) naar oplosbare Domain Errors (bijv. deling door nul). Het model leert de semantiek van typen.
  • 8B Modellen: De training elimineerde syntaxisfouten, maar introduceerde Type Errors. Het model leerde de syntaxis van Prolog, maar miste de semantische capaciteit om typeveilige redenering te begrijpen. Dit suggereert een capaciteitsdrempel van ongeveer 10B parameters voor effectief neurosymbolisch redeneren.
  • 3B Modellen: De prestaties bleven beperkt; het model kon geen betrouwbare compositional Prolog-generatie leren.

5. Betekenis en Conclusie

Het werk toont aan dat multi-task neurosymbolische training een veelbelovende route is voor robuust, interpreteerbaar en verifieerbaar wiskundig redeneren in LLM's.

De belangrijkste inzichten zijn:

1. Symbolische Grounding is cruciaal: Het mengen van declaratieve kennis (formules) met procedurale taken (oplossen) is effectiever dan alleen het trainen op probleemoplossing.
2. Modelgrootte bepaalt het leerresultaat: Kleine modellen (<10B) kunnen syntaxis leren maar falen in semantisch typebegrip, terwijl grote modellen (>30B) beide kunnen internaliseren.
3. Efficiëntie: NeuroProlog demonstreert dat kleinere, goed getrainde modellen (20B) beter kunnen presteren dan veel grotere, gespecialiseerde code-modellen, wat de parameter-efficiëntie van neurosymbolische benaderingen onderstreept.

De studie biedt een blauwdruk voor het ontwikkelen van AI-systemen die niet alleen "gokken" op antwoorden, maar formele, verifieerbare logische stappen kunnen doorlopen en zelf kunnen debuggen.