Technische Samenvatting: NeSy-RAG voor Verklarende Beantwoording van Vragen

1. Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen verbeteren Large Language Models (LLM's) door ze te funderen in externe tekstcorpora, maar ze lijden aan drie kritieke beperkingen in domeinen met een hoog risico:

1. Ondoorzichtige Redenering: Tussenliggende redeneerstappen zijn moeilijk te verifiëren, en gegenereerde antwoorden kunnen niet betrouwbaar worden toegeschreven aan specifieke broninformatie. Standaard Chain-of-Thought (CoT)-uitleg is vaak onbetrouwbaar.
2. Schaalbaarheid en Queryconstructie: Het construeren van symbolische queries over grote, monolithische kennisbases is broos. Bestaande neuro-symbolische benaderingen vertrouwen vaak op handmatig gecureerde regels of vereisen dat het model volledige kennisbases inspecteert, wat leidt tot schaalbaarheidsproblemen.
3. Ontbrekende Gebruikerscontext: Huidige RAG-pipelines detecteren zelden systematisch ontbrekende gebruikersspecifieke informatie. Dit leidt vaak tot onvolledige of incorrecte outputs, omdat LLM's moeite hebben om proactief om verhelderende informatie te vragen wanneer de gebruikerscontext incompleet is.

2. Methodologie: Het NeSy-RAG Framework

NeSy-RAG is een modulair neuro-symbolisch framework dat is ontwor een plug-in extensie voor bestaande RAG-systemen. Het synthetiseert en voert attribuabele Prolog-modules uit afkomstig van gearriveerde tekstfragmenten om verklarende beantwoording van vragen uit te voeren. De pipeline werkt als volgt:

2.1. Attribuabele Prolog-synthese

Voor elk gearriveerd tekstfragment synthetiseert het systeem een toegewijde Prolog-module die regels en feiten bevat die uitsluitend uit dat fragment zijn afgeleid.

• Modulariteit: Door fragmenten in isolatie te verwerken, zorgt het systeem ervoor dat elk feit en elke regel uniek kan worden toegerekend aan de brontekst, wat granulair verklaarbaarheid en verifieerbaarheid mogelijk maakt.
• Dynamische versus Universele Feiten: Het systeem maakt onderscheid tussen universele feiten (volledig gespecificeerd door domeinkennis) en dynamische feiten (bevatten argumenten waarvan de waarden op het moment van synthese onbekend zijn, bijv. gebruikersattributen). Dynamische feiten worden gemarkeerd voor runtime-instantiatie.

2.2. 0-Arity Predicaatabstractie & Hiërarchische Retrieval

Om de schaalbaarheidsproblematiek van querygeneratie aan te pakken, introduceert NeSy-RAG een twee-fasen retrievalstrategie:

1. Module Synthese: Tijdens de synthese van een Prolog-module genereert de LLM 0-arity regels (Booleaanse claims) die de functionaliteit van de module inkapselen zonder dat er variabele bindingen nodig zijn (bijv. can_not_get_winter_fuel_payment :- lives_in_cyprus(true)...).
2. Predicaat Retrieval: In plaats van de volledige kennisbasis te laden, gebruikt het systeem een gezamenlijk Natural Language–Prolog (NL-PL) embedding model om de top-$k$ meest relevante 0-arity regels te extraheren op basis van de vraag van de gebruiker.
3. Query Compositie: Een LLM stelt de uiteindelijke Prolog-query samen met behulp van alleen deze kleine, relevante subset van regels. Dit beperkt de generatieruimte, vermindert hallucinaties en houdt de contextvensters klein.

2.3. Symbolische Kennisgat-detectie

Het framework adresseert incomplete gebruikerscontext via een symbolisch mechanisme:

• Runtime Interactie: Tijdens de uitvoering van de Prolog-query, indien het systeem een dynamisch feit tegenkomt met een ongedefinieerde waarde, wordt een specifieke interactiemethode geactiveerd.
• Follow-up Generatie: Het systeem genereert automatisch gerichte vervolgvragen aan de gebruiker om de ontbrekende waarheidswaarde op te lossen.
• Uitkomstafhandeling: Als een gebruiker de benodigde informatie niet kan verstrekken, evalueert het systeem de query onder beide Booleaanse toekenningen. Als de uitkomst varieert, geeft het systeem "meer" terug (wat aangeeft dat het antwoord onbepaald is) in plaats van te gokken.

2.4. Antwoordgeneratie

Het systeem voert de samengestelde Prolog-query uit tegen de gearriveerde modules. De output bevat:

• Een deterministisch antwoord (Ja/Nee/Meer/Irrelevant).
• Een executietrace die elke redeneerstap koppelt aan de oorspronkelijke tekstfragmenten en documenten, wat transparante rechtvaardiging biedt.

3. Belangrijkste Bijdragen

Het artikel stelt vier hoofd bijdragen voor:

1. Modulair Neuro-Symbolisch Framework: Een systeem dat attribuabele Prolog-modules synthetiseert en uitvoert vanuit geariveerde tekstfragmenten, waardoor elke redeneerstap traceerbaar is naar de bron.
2. 0-Arity Predicaatabstractie: Een nieuwe methode om Prolog-modules te presenteren als Booleaanse claims, wat geconstrueerde en schaalbare queryconstructie via natural language-to-code retrieval (NL2C) mogelijk maakt.
3. Symbolische Kennisgat-detectie: Een mechanisme dat ontbrekende gebruikersfeiten tijdens symbolische inferentie identificeert en proactief vervolginteracties triggert, wat voortijdige of incorrecte conclusies voorkomt.
4. Empirische Validatie: Demonstratie dat NeSy-RAG de domein-agnostische LLM-baselines op de ShARC-benchmark overtreft zonder dat er domeinspecifieke training nodig is.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de ShARC-benchmark, een conversatie-gebaseerde vraagstelling-dataset gebaseerd op Britse juridische teksten van de overheid. De evaluatie simuleerde een setting waarbij de gebruikerscontext aanvankelijk wordt achtergehouden, wat vereist dat het systeem ontbrekende informatie herstelt via vervolgvragen.

• Nauwkeurigheid: NeSy-RAG behaalde een nauwkeurigheid van 61,1% (met $k=10$ geariveerde 0-arity predicaten), wat aanzienlijk beter is dan de LLM RAG-baseline (42,8%) en de LLM RAG-baseline met een groter model (53,7%).
• Efficiëntie: NeSy-RAG had een lagere gemiddelde executietijd (7,4s) vergeleken met de RAG-baseline (11,4s). Deze efficiëntie wordt toegeschreven aan module-herbruikbaarheid, kleinere contextvensters tijdens querygeneratie en algoritmische follow-up triggering in plaats van LLM-gebaseerde generatie.
• Kennisgat Afhandeling: NeSy-RAG classificeerde 61% van de instanties die verdere informatie vereisten (gelabeld als "meer") correct, vergeleken met slechts 19% voor de LLM RAG-baseline. Dit onderstreept de effectiviteit van het symbolische gat-detectiemechanisme.
• Foutanalyse: De primaire foutmodus voor NeSy-RAG was de overgeneratie van dynamische predicaten, wat leidde tot conservatieve "meer"-classificaties voor beantwoordbare vragen (31% van de "Ja"-instanties werden foutief geclassificeerd als "meer"). Deze conservatieve bias wordt echter opgemerkt als wenselijk boven valse zekerheid in domeinen met een hoog risico.

5. Betekenis en Claims

Het artikel stelt dat NeSy-RAG een levensvatbaar pad biedt naar betrouwbare, verklaarbare AI in domeinen met een hoog risico, zoals de juridische sector en de gezondheidszorg. Door dense retrieval te combineren met symbolische redenering, pakt het direct de ondoorzichtigheid en het gebrek aan verantwoording aan in standaard RAG-pipelines.

De auteurs claimen dat de significantie van het framework ligt in het vermogen om:

• Transparante executietraces te bieden die redeneerstappen koppelen aan brontekst, een capaciteit die pure LLM-pipelines missen.
• Schaalbare redenering mogelijk te maken over grote domeincorpora zonder dat er monolithische kennisbases of handmatige regelcuratie nodig is.
• Ontbrekende gebruikerscontext systematisch te detecteren en op te lossen, wat voorkomt dat het systeem antwoorden hallucineert wanneer informatie onvoldoende is.

Hoewel de aanpak momenteel steunt op een enkel relevant fragment (single-hop retrieval) en zich richt op Booleaanse dynamische feiten, beschouwen de auteurs de succesvolle integratie van modulaire Prolog-synthese met RAG als een fundamentele stap richting robuustere, verifieerbare en interactieve vraagstelling-systemen.