Distilling Answer Set Programming Theories from Large Language Models

Technische Samenvatting: Distillatie van Answer Set Programming-theorieën vanuit Large Language Models

Probleemstelling
Het vanaf nul schrijven van Answer Set Programming (ASP) theorieën is een arbeidsintensieve taak die honderden regels vereist om de operatoren van niet-triviale redeneertaken te dekken. Handgeschreven theorieën zijn vaak domeinspecifiek en vertalen zich niet naar datasets met verschillende schema's. Dit artikel onderzoekt of een Large Language Model (LLM), optredend als een autonome agent met een solver in de loop, een volledige en correcte ASP-theorie vanuit het niets kan distilleren. Het doel is om te bepalen of een LLM iteratief een theorie kan schrijven gegeven slechts een leeg bestand, een vaste prompt en toegang tot trainingsvoorbeelden, zonder menselijke templates of gedeeltelijke regelpatronen.

Methodologie
De auteurs stellen een dataset-agnostisch distillatieprotocol voor, geïnstantieerd op het domein van Visual Question Answering (VQA). Het systeem werkt binnen een "neurosymbolisch" framework waarbij het LLM fungeert als de auteur van de redeneermodule, terwijl een standaard ASP-solver (clingo) de executie-engine vormt.

• De Agent Harness: Het LLM is ingebed in een gesandboxed omgeving (Docker container) met behulp van de OpenCode agent CLI. Het model heeft toegang tot bestandsmanipulatietools (read, edit, write, glob, grep) en een beperkte bash-interface om uv run solve uit te voeren (om de ASP-solver op trainingsdata te draaien) en uv run lint (om syntaxis te controleren).
• Het Protocol:
  1. Initialisatie: De agent begint met een leeg theoriebestand en een minimale systeemprompt die het instructeert een theorie te produceren die ans(A) afleidt voor trainingsvoorbeelden.
  2. Iteratie: De agent leest enkele trainingsvoorbeelden, schrijft een initieel syntactisch geldige theorie en test deze tegen de solver.
  3. Feedback Loop: Op basis van de output van de solver (of het gebrek daaraan) identificeert de agent foutmodi, bewerkt de theorie en iteratert.
  4. Terminatie: De loop gaat door totdat de agent zelfstandig voltooiing verklaart of een tijdslimiet van 1 uur wordt bereikt.
  5. Evaluatie: De uiteindelijke theorie wordt gescoord op een onafhankelijke validatieset. De eenheid van werk is de volledige theorie, geschreven over vele bewerkingscycli.
• Experimentele Opzet: De studie evalueert negen modellen over drie VQA-benchmarks:
  • CLEVR: Synthetische 3D-scènes gericht op compositioneel redeneren.
  • GQA: Real-world afbeeldingen met een grote vocabulaire aan objecten en relaties.
  • CLEVRER: Korte video's die temporele, causale en contrafeitelijke redenering vereisen.
  • Model Tiers: Vier frontier-modellen (Claude Sonnet 4.6, Claude Opus 4.7, GPT-5, DeepSeek V4 Pro), twee mid-tier modellen en drie kleinere open-weights modellen.
  • Referentie Ablatie: Experimenten variëren de inclusie van handgeschreven referentietheorieën van andere datasets (0, 1 of 2 referenties) om overdraagbaarheid te testen.

Belangrijkste Bijdragen

1. Een Verenigd Distillatieprotocol: De auteurs stellen een vaste agent harness, systeemprompt en toolset vast die identiek is voor alle datasets en modellen. Dit isoleert de modelcapaciteit als de primaire variabele, waardoor prompt engineering als een verstorende factor wordt geëlimineerd.
2. Demonstratie van Theorie-distillatie: De studie levert empirisch bewijs dat agents volledige ASP-theorieën vanaf nul kunnen distilleren. Drie van de vier frontier-modellen bereikten prestaties die gelijk zijn aan of de handgeschreven referentietheorieën overtreffen op specifieke benchmarks.
3. Taxonomie van Foutmodi: Het artikel categoriseert geobserveerde fouten in parse-fouten, grounding-fouten, "no answer" (de theorie blijft stil) en semantische fouten. Het analyseert ook hoe model schaal en referentietheorieën interageren met deze foutmodi.

Resultaten

• Prestaties van Frontier Modellen:
  • CLEVR: Drie frontier-modellen (Sonnet, Opus, DeepSeek V4 Pro) bereikten 100% nauwkeurigheid. GPT-5 bereikte 98,7%.
  • GQA: Sonnet, Opus en DeepSeek V4 Pro scoorden tussen de 92,8% en 98,8%, waarmee ze de handgeschreven referentieplafond (77,5%) overtroffen. GPT-5 daalde significant naar 41,8%, primair door "no answer" fouten (de theorie slaagde er niet in een antwoord af te leiden voor de meeste voorbeelden).
  • CLEVRER: De drie succesvolle frontier-modellen scoorden tussen de 92,7% en 95,3%. GPT-5 scoorde 86,7%.
• Impact van Referentietheorieën:
  • Voor Sonnet, Opus en DeepSeek V4 Pro had het toevoegen van referentietheorieën van andere datasets een verwaarloosbaar effect (binnen ±3,4 procentpunten).
  • Voor GPT-5 veroorzaakte het toevoegen van referenties een consistente regressie in nauwkeurigheid (dalingen van 3–19 procentpunten). De auteurs observeren dat GPT-5 aanzienlijk kortere theorieën schrijft wanneer het referenties krijgt, wat suggereert dat de referentie het contextbudget consumeert dat nodig is voor het schrijven.
• Model Schaal en Sub-Frontier Prestaties:
  • Modellen onder de 27B parametersdrempel (bijv. qwen3.5-9b, gpt-oss-20b) faalden grotendeels in het produceren van parseerbare theorieën of kwamen tot stilstand voordat ze auteurschap voltooiden.
  • DeepSeek V4 Flash (mid-tier) presteerde goed op CLEVR en GQA, maar degradeerde op CLEVRER, vooral met referenties.
  • Kleinere modellen vertoonden een hoge variantie en specifieke foutmodi zoals malafide tool-aanroepen of het onvermogen om geldige clingo-syntaxis te genereren.
• Kenmerken van de Theorie: Succesvolle frontier-modellen produceerden theorieën van variërende lengtes (bijv. GPT-5 schreef 65 regels voor GQA versus 343 voor Opus), maar beide bereikten een hoge nauwkeurigheid, wat aangeeft dat het aantal regels een functie is van de schrijfstijl in plaats van de dekking.

Betekenis en Claims
Het artikel beweert dat neurosymbolische agents succesvol volledige, correcte ASP-theorieën vanaf nul kunnen distilleren, wat het idee uitdaagt dat dergelijke theorieën handmatig moeten worden gemaakt. De studie benadrukt dat hoewel frontier-modellen state-of-the-art resultaten kunnen behalen op compositionele en real-world VQA-taken, de prestaties niet uniform zijn over alle top-tier modellen; de specifieke mislukking van GPT-5 op GQA suggereert dat agent-loops "net-negatief" kunnen zijn voor bepaalde modellen bij specifieke taken.

De auteurs concluderen bescheiden dat hoewel het protocol werkt voor modellen met een hoge capaciteit, de "capaciteitsdrempel" niet louter een functie is van de parameter schaal, maar ook betrokken is bij specifieke competenties in toolgebruik en syntaxisgeneratie. Ze merken op dat de gedistilleerde theorieën momenteel statisch zijn en stellen toekomstig werk voor om ze te integreren in trainingsloops (bijv. NS-CL), en om de vraag-parsers automatisch te genereren, in plaats van te vertrouiteren op bestaande functionele-programma annotaties. Het werk claimt niet VQA end-to-end op te lossen, maar demonstreert de haalbaarheid van het automatiseren van de symbolische redeneercomponent van neurosymbolische pipelines.