🤖 AI

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

Dit artikel stelt een neurosymbolische benadering voor voor Visual Question Answering die Answer-Set Programming-regels destilleert uit Large Language Models door gebruik te maken van few-shot voorbeelden en solver-feedback om redeneertheorieën automatisch uit te breiden, wat een schaalbaar en interpreteerbaar alternatief biedt voor traditioneel datagedreven regel-leren.

Oorspronkelijke auteurs: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Gepubliceerd 2026-06-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren Denken met Logica

Stel je voor dat je een zeer slimme robotassistent hebt die naar een foto kan kijken en vragen erover kan beantwoorden (zoals: "Draagt de kat een hoed?"). Dit wordt Visual Question Answering (VQA) genoemd.

Meestal worden deze robots getraind als atleten: ze oefenen miljoenen keren totdat ze het juiste antwoord geven door patronen te raden. Maar dit maakt ze een beetje een "black box" — je weet niet waarom ze het juiste antwoord gaven, en als je ze een iets ander type vraag stelt, kunnen ze in de war raken.

De auteurs van dit paper willen een robot bouwen die denkt als een menselijke logicus. Ze gebruiken een speciale "regelboek"-methode genaamd Answer-Set Programming (ASP). Denk aan dit regelboek als een set strikte, logische instructies (zoals een recept) die de robot precies vertelt hoe hij het antwoord moet afleiden.

Het Probleem: Deze regelboeken met de hand schrijven is moeilijk. Als je wilt dat de robot een nieuwe truc leert (zoals het tellen van objecten op een specifieke manier), moet een menselijke ontwikkelaar gaan zitten om vanaf nul nieuwe regels te schrijven. Het is traag en tijdrovend.

De Oplossing: De auteurs vroegen een superintelligente AI (een Large Language Model, of LLM) om deze regels voor hen te schrijven. Ze noemen dit proces "Distilling Rules" (Regels Destilleren).

Hoe het Werkt: De "Leraar en Leerling" Analogie

Stel je voor dat de LLM een briljante maar ietwat slordige student is die veel weet over logica, maar deze specifieke puzzel nog niet heeft gezien. De "Leraar" (het computersysteem) wil dat de student het juiste regelboek schrijft.

Hier is het stapsgewijze proces dat ze gebruikten:

De Opstelling: De leraar geeft de student een "defect" regelboek. Het werkt voor de meeste dingen, maar er mist een specifieke regel (bijv. hoe je het kortste pad op een kaart vindt).
Het Voorbeeld: De leraar laat de student één voorbeeld zien: "Hier is een foto van een kaart, hier is de vraag, en hier is het juiste antwoord."
De Poging: De student (de LLM) probeert een nieuwe regel te schrijven om het defecte boek te repareren.
- De Addertjes onder het gras: De student maakt soms fouten. Ze kunnen een regel schrijven met een foutieve grammatica (syntaxfout) of een regel die er goed uitziet maar het verkeerde antwoord geeft (logische fout).
De Correctielus (Het "Herstellen"):
- Syntax Check: De computer controleert of de regel in de juiste taal is geschreven. Als de student een symbool gebruikt dat niet in de taal van het regelboek voorkomt, zegt de computer: "Hé, verbeter je spelling," en de student probeert het opnieuw.
- Logica Check: De computer voert de nieuwe regel uit. Als het antwoord fout is, zegt de computer: "Je hebt het verkeerde antwoord gegeven. Probeer het opnieuw."
- Het "Veiligheidsnet" (Regression Testing): Zodra de student een regel schrijft die werkt voor het nieuwe voorbeeld, controleert de computer of die regel niet de oude voorbeelden verpest. Het is alsof je controleert of een nieuw ingrediënt in een taart niet de smaak van de vorige taarten die je hebt gebakken verpest.
Het Resultaat: Zodod de regel alle controles doorstaat, wordt deze toegevoegd aan het masterregelboek.

De "Magie" van Weinig Voorbeelden

Een van de coolste bevindingen in het paper is dat de student niet duizenden voorbeelden nodig had om te studeren. Slechts een handvol (soms slechts 1 of 2) was genoeg voor de slimste AI-modellen om de logica te begrijpen en de perfecte regel te schrijven.

Het is alsof je een geniale chef-kok één foto laat zien van een perfecte soufflé en hem vraagt het recept te schrijven. Hij hoeft niet 1.000 soufflés te proeven; hij hoeft alleen de logica van de ingrediënten te begrijpen.

De Medestrijders: Wie deed het het beste?

De onderzoekers testten verschillende verschillende "studenten" (AI-modellen) om te zien wie de beste regels kon schrijven:

De Topprestaties (GPT-4o, DeepSeek, Gemini-3): Dit waren de absolute uitschieters van de klas. Ze schreven bijna altijd perfecte regels, zelfs voor zeer lastige puzzels met betrekking tot kaarten en grafen.
- Gemini-3 was bijzonder speciaal. Het leek een "denkmodus" te hebben waarbij het pauzeerde om de eigen logica te controleren voordat het de regel schreef, wat resulteerde in zeer weinig fouten en zeer korte, heldere regelboeken.
De Moeizame Studenten (LLaMA3, Mistral): Deze modellen waren oké voor eenvoudige taken, maar raakten in de war door complexe logica. Soms maakte het geven van te veel hints (complexe prompts) hen juist slechter, alsover ze overweldigd werden door de instructies.

De "Pruning" (Het Opruimen van de Rommel)

Soms schreef de AI een regelboek dat weliswaar werkte, maar ook rommelig was. Het bevatte misschien vijf verschillende manieren om hetzelfde te zeggen, of regels die eigenlijk niet nodig waren.

De onderzoekers creëerden een "tuinier"-tool (een pruning heuristiek) die door het regelboek ging en de dode takken (overbodige regels) wegknipt.

Analogie: Stel je voor dat de AI een zin schrijft als: "Als het regent, neem een paraplu mee. Ook, als het regent, neem een paraplu mee. Ook, als het regent, neem een paraplu mee." De pruner verwijdert de extra kopieën, waardoor er slechts één duidelijke instructie overblijft.
Resultaat: Dit maakte de regelboeken kleiner en gemakkelijker leesbaar voor mensen, zonder de capaciteit van de robot om vragen correct te beantwoorden te veranderen.

Wat dit betekent (Volgens het Paper)

Het paper concludeert dat we niet langer handmatig complexe logica voor AI-systemen hoeven te coderen. We kunnen een slimme AI gebruiken om de logica voor ons te "destilleren", waarbij slechts een paar voorbeelden als gids dienen.

Het werkt het best wanneer de taak duidelijk is en het AI-model zeer intelligent is.
Het is verschillend van traditionele machine learning omdat het niet data "onthoudt"; het leert de logica van het probleem.
Het creëert transparantie: Omdat de output een set logische regels is (zoals een recept), kunnen mensen daadwerkelijk lezen en begrijpen waarom de robot een beslissing heeft genomen.

Kortom: De auteurs hebben een systeem gebouwd waarbij een mens een defecte logische puzzel en een paar voorbeelden aanlevert, en een slimme AI de ontbrekende stukjes van de puzzel schrijft, zijn eigen werk controleert en een schoon, werkend regelboek teruggeeft.

Technische Samenvatting: Distillatie van Answer-Set Programming-regels uit LLM's voor Neurosymbolische Visuele Beantwoording van Vragen

Probleemstelling
Visuele Beantwoording van Vragen (Visual Question Answering, VQA) vereist de integratie van multimodale inputs (visie en tekst) met complexe redeneerketens. Hoewel modulaire neurosymbolische benaderingen interpreteerbaarheid bieden door perceptie (neuraal) te scheiden van redeneren (symbolisch), kampen zij met een aanzienlijke onderhoudslast. Specifiek wanneer taakeisen veranderen — zoals de introductie van nieuwe vraagtypen of redeneeroperatoren — moet het symbolische redeneercomponent, vaak geïmplementeerd in Answer-Set Programming (ASP), handmatig worden uitgebreid of aangepast. Traditionele datagestuurde regelgeleermethoden (bijv. Inductieve Logica Programmering) vereisen doorgaans grote datasets en hard-gecodeerde zoekruimtes (mode-declaraties) om regels te generaliseren. Dit artikel adresseert de uitdaging om de automatisering van de uitbreiding van ASP-gebaseerde redeneertheorieën in VQA-systemen te realiseren zonder uitgebreide hertraining of handmatige regelengineering.

Methodologie
De auteurs stellen een declaratief kennisdistillatie-framework voor waarbij Large Language Models (LLM's) worden geprompt om ASP-regels te genereren of uit te breiden op basis van few-shot voorbeelden. Het systeem opereert binnen een modulaire neurosymbolische VQA-pipeline bestaande uit:

Visie-module: Zet afbeeldingen om in symbolische scènengrafen (ASP-feiten).
Taal-module: Zet natuurlijke taalvragen om in functionele programma's (ASP-feiten).
Redeneer-module: Een ASP-solver afleidt antwoorden uit de gecombineerde feiten en een ASP-theorie (een verzameling regels).

Het kernalgoritme (Algoritme 1) iterereert door een distillatiesuite van VQA-voorbeelden $(s, q, a)$ . Als de huidige ASP-theorie $T$ er niet in slaagt het juiste antwoord $a$ af te leiden voor een gegeven scène $s$ en vraag $q$ , vraagt het systeem een LLM om kandidaat-regels te genereren om het gat te dichten. Het proces maakt gebruik van een feedbackloop bestaande uit:

Prompting Strategieën:
- Multi-prompting: Verzoekt meerdere oplossingvarianten in één enkele aanroep.
- Chain-of-Thought (CoT): Instrueert de LLM om het probleem op te splitsen in tussenliggende logische stappen voordat regels worden gegenereerd (simpele en complexe versies).
Validatie en Herstel (Mending):
- Syntactisch Herstel: Als de LLM syntactisch ongeldige ASP genereert (bijv. gehalucineerde wiskundige symbolen), wordt de foutmelding van de solver teruggekoppeld naar de LLM voor correctie.
- Semantisch Herstel: Als de regels syntactisch correct zijn maar een foutief antwoord produceren, wordt de onjuiste output van de solver vergeleken met de grondwaarheid en teruggekoppeld naar de LLM voor revisie.
- Regressietesten: Nieuwe regels worden getest tegen eerder opgeloste voorbeelden om consistentie te waarborgen en regressie te voorkomen.
Eliminatie van Redundantie: Een heuristiek (Algoritme 2) snoeit regels weg die geen invloed hebben op de answer set, zodat de gedistilleerde theorie compact blijft.

Belangrijkste Bijdragen

Declaratieve Kennisdistillatie: Een methode om ASP-theorieën in VQA-systemen automatisch uit te breiden door LLM's te prompten met voorbeelden, in plaats van hen te gebruiken als trainingsdata voor statistisch leren.
Prompting Strategieën: Het ontwerp en de evaluatie van specifieke promptingtechnieken (multi-prompting, CoT) en herstelmechanismen (syntactisch/semantisch herstel) die op maat zijn gemaakt voor het genereren van logische programma's.
Compositionele Regel-synthese: Demonstratie dat LLM's nieuwe, hogere-ariteit predicaten (bijv. in_between, connected) kunnen samenstellen uit bestaande primitieve operaties binnen de ASP-theorie.
Empirische Evaluatie: Een uitgebreide evaluatie over drie diverse datasets:
- GQA: Real-world scènes met complexe objectrelaties.
- CLEVR: Synthetische geometrische scènes met compositionele vragen.
- CLEGRV: Grafiek-gebaseerde transitnetwerken die recursief redeneren vereisen (bijv. kortste paden).

Resultaten
De experimenten evalueerden verschillende LLM's (GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro) op het herstellen van verwijderde predicaten uit de ASP-theorieën.

Prestaties: Grootschalige modellen (GPT-4o, DeepSeek, Gemini-3) bereikten een bijna perfecte nauwkeurigheid (vaak >98%) op GQA en CLEVR met zeer weinig voorbeelden (doorgaans 1–4 per distillatiepoging).
Dataset Complexiteit: De prestaties daalden op de complexere CLEGRV-dataset (betrokken bij recursie), hoewel Gemini-3 Pro een hoge nauwkeurigheid behield (100% op verschillende predicaten), toegeschreven aan de "high reasoning" modus.
Modelgevoeligheid: Kleinere of minder capabele modellen (LLaMA3-70B, Mistral-Large) vertoonden een hoge variantie en worstelden met complexe taken. Interessant genoeg verbeterde het uitschakelen van complexe promptingstrategieën (zoals CoT) voor deze modellen soms de prestaties, wat suggereert dat ze "overbelast" kunnen raken door te uitgebreide instructies.
Efficiëntie: Gemini-3 Pro was het meest efficiënt, vereiste de minste voorbeelden en tokens, en produceerde de minst redundante regelsets.
Ablatie: De volledige prompting-pipeline (mending + CoT + multi-prompting) verhoogde de prestaties aanzienlijk voor top-tier modellen, maar was niet altijd noodzakelijk voor zwakkere modellen.

Betekenis en Claims
Het artikel claimt dat regeldistillatie uit LLM's een veelbelovend alternatief is voor traditioneel datagestuurd regelonderzoek (ILP/SRL). In tegen tegenstelling tot ILP, dat expliciete zoekruimte-definities en grote datasets vereist, maakt deze benadering gebruik van de impliciete kennis van LLM's, waarbij slechts enkele voorbeelden nodig zijn om correcte, generaliseerbare regels op te roepen.

Interpreteerbaarheid: De methode behoudt de transparantie van neurosymbolische systemen door menselijk leesbare logische regels te produceren in plaats van ondoorzichtige neurale gewichten.
Aanpasbaarheid: Het biedt een levensvatbaar mechanisme voor gebruikers om redeneermodules dynamisch uit te breiden naarmate de taakeisen evolueren, dienend als een "interactieve copiloot" voor logische programmering.
Beperkingen: De auteurs merken op dat de methode een decomponeerbare, compositionele vraagsemantiek veronderstelt en vertrouwt op empirische validatie (regressietesten) in plaats van formele bewijzen van correctheid. De benadering is momenteel het meest effectief voor grote, capabele LLM's.

Het werk suggereert dat hoewel LLM's het formele redeneerwerk wellicht niet vervangen, ze wel effectief kunnen dienen als een brug om de automatisering van het onderhoud en de uitbreiding van symbolische redeneercomponenten in complexe AI-systemen te faciliteren.