Technische Samenvatting: ADVENT – LLM-gestuurde Automatische Predicaat-inventie voor ILP

1. Probleemstelling

Inductief Logisch Programmeren (ILP) is een paradigma binnen machine learning dat in staat is om menselijk interpreteerbare relationele regels te leren. De prestaties worden echter sterk beperkt door de kwaliteit van de vooraf gedefinieerde Achtergrondkennis (Background Knowledge, BK). Zonder geschikte predicaten kan een ILP-systeem geen regels ontdekken die concepten effectief verklaren. Predicaat-inventie (Predicate Invention, PI) pakt dit aan door hulp-predicaten te introduceren om de hypotheseruimte uit te breiden.

Bestaande PI-benaderingen kampen met twee fundamentele beperkingen:

1. Explosie van de Zoekruimte: Zonder menselijke begeleiding vervalt PI in een uitputtende syntactische enumeratie, waardoor het moeilijk wordt om automatisch nuttige patronen te ontdekken.
2. Gebrek aan Semantiek: Traditionele methoden werken via syntactische symboolmanipulatie, wat resulteert in onbenoemde predicaten (bijv. inv1, inv2) die een gebrek hebben aan conceptueel begrip. Dit belemmert de beoordeling van relevantie voor nieuwe taken en voorkomt effectieve kennishergebruik over taken heen of levenslang leren.

Hoewel Large Language Models (LLMs) potentieel bieden voor het herkennen van impliciete patronen en het genereren van betekenisvolle predicaatdefinities, introduceert het uitsluitend vertrouwen op LLM-redenering betrouwbaarheidsproblemen, waaronder syntactische schendingen en overfitting op specifieke voorbeelden.

2. Methodologie: ADVENT

De auteurs stellen ADVENT voor, een neuro-symbolisch framework dat LLM-abductieve redenering integreert met Prolog deductieve verificatie binnen een ILP-pipeline. Het systeem werkt via een triadische redeneringscyclus (Abductie, Deductie, Inductie) over vier stadia:

A. Representatiecontrole (Representation Check - RC)

Voordat er geprobeerd wordt tot inventie over te gaan, bepaalt een lichte heuristiek of de huidige BK voldoende is.

• Mechanisme: Het systeem neemt 10% van de voorbeelden en gebruikt 1% als "seeds" voor een beperkte zoektocht op variabeleniveau.
• Logica: Als de ILP-learner alleen grondvoudige eenheidsclausules kan produceren (die slechts de seed dekken) zonder algemene regels op variabeleniveau te vinden, triggert het systeem de inventielus. Als de RC slaagt, slaat het systeem de inventie over en gaat door naar regel-inductie.

B. LLM-PI Lus (Iteratieve Inventie)

Wanneer de RC faalt, begint een iteratieve lus:

1. Abductieve Generatie (LLM): De LLM ontvangt het BK-schema, een steekproef van positieve/negatieve voorbeelden en een Knowledge Pool (een lijst met eerder geïnventeerde predicaten met namen en definities). De LLM wordt geprompt om impliciete patronen te identificeren en kandidaat-predicaten voor te stellen met Prolog-definities, ariteiten en gebruiksmodi.
2. Deductieve Verificatie (Prolog): Voorgestelde predicaten ondergaan twee lagen van validatie:
   • Syntactische/Structurele Controle: Prolog probeert de definitie te consulteren om runtime-fouten of ongedefinieerde predicaten te vangen.
   • Gedragscontrole: Het predicaat wordt uitgevoerd op een subset van voorbeelden. Resultaten worden per klasse verdeeld (positief versus negatief) en contrastief gepresenteerd aan de LLM.
3. Verfijning: Op basis van de concrete uitvoeringsresultaten (bijv. vals positieven/negatieven) verfijnt de LLM de predicaatdefinitie. Deze lus gaat door tot een maximale iteratielimiet is bereikt of een geldig predicaat is gevonden.

C. ILP Regel-inductie

Zodra de RC bevestigt dat algemene patronen bestaan (ofwel initieel, ofwel na inventie), voert de ILP-learner (Aleph) de regel-inductie uit.

• De geïnventeerde hulp-predicaten worden geïnjecteerd in de BK.
• Het ILP-systeem voert een zoektocht op constant niveau uit, waarbij variabelen worden gegrond in specifieke waarden om instantie-specifieke onderscheid te leggen, wat de hoog-niveau inventies van de LLM complementeert.

D. Knowledge Pool & Cross-Task Hergebruik

Succesvol geïnventeerde predicaten en geleerde regels worden verzameld in een Knowledge Pool. Voor opeenvolgende taken dient deze pool als referentie, waardoor de LLM de relevantie kan beoordelen en nieuwe predicaten kan samenstellen uit eerdere inventies, wat cumulatief leren ondersteunt.

3. Belangrijkste Bijdragen

1. ADVENT Framework: Een nieuw mechanisme dat LLM-abductieve generatie koppelt aan Prolog deductieve verificatie om automatische predicaat-inventie in ILP te automatiseren.
2. Integratie van Formele Verificatie: De integratie van een Prolog-gebaseerde verifieerder die concrete deductieve resultaten levert om de LLM-verfijning te sturen, wat het betrouwbaarheidsgat in LLM-gegenereerde logica aanpakt.
3. Interpreteerbaar Cross-Task Hergebruik: Demonstratie dat LLMs predicaatdefinities kunnen interpreteren om relevantie te beoordelen, wat selectief hergebruik en compositie van kennis over taken heen mogelijk maakt terwijl de menselijke interpreteerbaarheid behouden blijft.

4. Experimentele Resultaten

Het framework werd geëvalueerd op negen pokerhand-concepten (gemapt naar het Michalski Train-probleem om domeinkennis te maskeren) met behulp van zeven verschillende LLMs.

• ILP Baseline: ILP alleen faalde volledig (0/9) in een positie-onafhankelijke relationele setting en behaalde slechts 6/9 in een positie-afhankelijke setting.
• LLM-gestuurde PI (Zonder Verificatie): Behaalde een gemiddeld succespercentage van 58% over de modellen, wat aantoont dat LLMs impliciete patronen (bijv. variabele ongelijkheid, rekenkundige reeksen) kunnen identificeren die ontoegankelijk zijn voor syntaxis-gestuurde zoektochten.
• Formele Verificatie (ADVENT): Verhoogde het gemiddelde succespercentage naar 80%. De betrouwbaarheidsintervallen overlapten niet met de conditie zonder verificatie, wat bevestigt dat Prolog-verificatie de verfijning effectief stuurt.
• Vergelijking met Self-Critique: Formele verificatie presteerde beter dan LLM self-critique in 5 van de 7 modellen. Self-critique was minder betrouwbaar en leidde soms tot overfitting op oppervlakkige kenmerken.
• Impact van de Knowledge Pool: Het gebruik van de knowledge pool verhoogde de succespercentages met wel +31 procentpunten voor compositionele concepten (bijv. Straight Flush, Royal Flush). Echter, voor eenvoudigere taken (bijv. Flush) introduceerde de pool onnodige complexiteit, wat resulteerde in een lichte daling in prestaties, wat wijst op een afweging tussen hergebruik en interferentie.

5. Betekenis en Claims

Het artikel beweert dat ADVENT een veelbelovende richting biedt voor het automatiseren van predicaat-inventie en het mogelijk maken van cross-task kennishergebruik in ILP.

• Overbruggen van de Kloof: Het slaagt erin de kloof te overbruggen tussen de symbolische strengheid van ILP en het semantische begrip van LLMs, waardoor het systeem predicaten kan verzinnen met betekenisvolle namen (bijv. has_duplicate_rank) in plaats van obscure symbolen.
• Betrouwbaarheid: De studie valideert dat het grondig maken van LLM-outputs via formele deductieve executie superieur is aan zelf-assessment voor het verfijnen van logische programma's.
• Beperkingen: De auteurs erkennen bescheiden de huidige beperkingen, waaronder de afhankelijkheid van het contextvenster van de LLM voor het beheren van de knowledge pool (wat de aandacht kan verwateren naarmate de pool groeit) en het feit dat de evaluatie beperkt is tot een getransformeerd pokerhand-domein. Toekomstig werk wordt voorgesteld om selectieve retrieval-mechanismen te ontwikkelen en te testen op bredere real-world datasets.