💬 NLP

Rule-Based Explanations for Retrieval-Augmented LLM Systems

Deze paper introduceert een geoptimaliseerde, regelgebaseerde methode om de output van retrieval-augmented generation (RAG) systemen te verklaren door te analyseren welke combinatie van opgehaalde bronnen leidt tot een specifiek antwoord van een groot taalmodel.

Oorspronkelijke auteurs: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt: een Grote Taalmodel (LLM). Deze assistent kan vragen beantwoorden, maar hij heeft een probleem: hij weet niet alles uit zijn hoofd en maakt soms fouten.

Om hem te helpen, geven we hem een rechercheur die bij het zoeken naar antwoorden een stapel documenten (zoals nieuwsartikelen of medische rapporten) bij elkaar haalt. Dit systeem noemen we RAG (Retrieval-Augmented Generation). De assistent leest deze documenten en geeft dan een antwoord.

Het probleem is: Waarom gaf hij precies dát antwoord? Soms geeft hij een foutief of gevaarlijk advies. We willen weten: Welke documenten in die stapel hebben de assistent op het verkeerde been gezet?

Dit is waar dit onderzoek om de hoek komt kijken. De auteurs hebben een nieuwe manier bedacht om dit te verklaren, met behulp van regels (zoals "Als... dan...").

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Magische" Doos

Stel je voor dat de assistent een magische doos is. Je gooit er documenten in, en er komt een antwoord uit. Je ziet niet wat er binnenin gebeurt.

Huidige methoden: Vaak kijken onderzoekers naar de assistent en zeggen: "Document A was 30% belangrijk, Document B 20%." Dit is vaag. Het helpt niet echt om te weten hoe je het antwoord kunt veranderen.
Het nieuwe idee: De auteurs willen kristalheldere regels vinden. Bijvoorbeeld: "Als document X en document Y in de stapel zitten, dan geeft de assistent altijd een fout antwoord."

2. De Oplossing: De "Recept-Test"

Om deze regels te vinden, hebben de auteurs een slimme test bedacht. Stel je voor dat je een kok bent die een gerecht (het antwoord) probeert te maken met ingrediënten (de documenten).

Je wilt weten welk ingrediënt het gerecht bederft.

De brute kracht-methode: Je zou elke mogelijke combinatie van ingrediënten moeten proberen. Heb je 10 documenten? Dan zijn er meer dan 1000 combinaties. Dat is te veel werk en te langzaam.
De slimme methode (de "Pruning" of "Wegsnijding"): De auteurs gebruiken een slimme truc, vergelijkbaar met het zoeken naar de beste route in een doolhof.
- Ze beginnen met de volledige stapel documenten.
- Als ze zien dat de assistent met alle documenten een fout antwoord geeft, proberen ze er één weg te halen.
- De magische regel: Als je een document verwijdert en het antwoord wordt goed, dan wisten ze dat dat document de boosdoener was.
- De "Wegsnijding": Als ze zien dat een bepaalde combinatie (bijv. documenten A, B en C) al een fout antwoord geeft, hoeven ze niet meer te kijken naar combinaties die nog meer documenten bevatten. Ze weten al dat het fout is. Ze "snijden" die takken van de boom af. Dit bespaart enorm veel tijd.

3. Twee Soorten Regels: "Blijven" of "Verdwijnen"

De auteurs hebben twee soorten regels bedacht, alsof je twee kanten van dezelfde medaille bekijkt:

De "Blijf-regel" (Retention Rule):
- Voorbeeld: "Als document X blijft zitten, dan geeft de assistent een fout antwoord."
- Betekenis: Dit document is giftig. Zolang het erbij zit, gaat het mis.
De "Verdwijn-regel" (Omission Rule):
- Voorbeeld: "Als document X verdwijnt, dan geeft de assistent een goed antwoord."
- Betekenis: Dit document is de sleutel tot het probleem. Haal het weg, en alles is weer goed.

4. Een Praktisch Voorbeeld: De Medische Raad

Stel je voor dat een ziekenhuis een AI gebruikt om medisch advies te geven over "Long COVID".

De AI raadpleegt 5 documenten.
Soms adviseert de AI gevaarlijke behandelingen.
De onderzoekers gebruiken hun regels om te vinden: "Elke keer dat document D2 en D4 samen in de stapel zitten, adviseert de AI een gevaarlijke behandeling."
Het resultaat: De doktoren weten nu precies welke documenten ze moeten verwijderen of corrigeren in hun database. Ze hoeven niet te raden; ze hebben een harde regel.

5. Waarom is dit zo slim? (De "Twee-in-één" Truc)

Normaal gesproken zou je twee keer door de stapel moeten zoeken: één keer om te zien wat er fout gaat als je dingen toevoegt, en één keer om te zien wat er fout gaat als je dingen weghaalt.
De auteurs hebben een algoritme bedacht (de "Dual Rule Miner") dat dit in één keer doet. Het is alsof je met één blik door een spiegel kunt kijken en beide kanten van de realiteit ziet. Dit maakt het veel sneller en efficiënter.

Samenvatting in één zin

Deze paper introduceert een slimme manier om te ontdekken welke specifieke stukjes informatie een AI-systeem laten falen of slagen, door te zoeken naar duidelijke "Als-Dan" regels in plaats van vage statistieken, en doet dit zo snel mogelijk door slimme wegwerptechnieken.

Waarom is dit belangrijk?
Het maakt AI-systemen veiliger en betrouwbaarder. In plaats van te zeggen "De AI is soms raar", kunnen we nu zeggen: "Haal document X uit de database, en de AI doet het nooit meer fout." Dat is een enorme stap vooruit voor de veiligheid en controle van AI.

Probleemstelling

Grote Taalmodellen (LLMs) die zijn aangevuld met Retrieval-Augmented Generation (RAG), genereren antwoorden op basis van zowel hun vooraf getrainde kennis als dynamisch opgehaalde bronnen (documenten) tijdens de inferentie. Hoewel RAG de controle over de data verbetert, maakt het de herkomst (provenance) van informatie in de antwoorden complexer. Bestaande methoden voor Explainable AI (XAI) hebben beperkingen in deze context:

Feature Attribution (bijv. LIME, SHAP) is niet actiegericht en kan onbetrouwbaar zijn.
Counterfactual Explanations kunnen overweldigend zijn voor gebruikers omdat er vaak vele minimale tegenstrijdige scenario's zijn voor één voorspelling.
Er ontbreekt een methode om patronen in RAG-systemen samen te vatten via if-then regels die specifiek de aanwezigheid of afwezigheid van opgehaalde bronnen koppelen aan de output van het model.

Het paper adresseert deze kloof door een raamwerk te introduceren om RAG-systemen te verklaren via regels die de relatie leggen tussen sets van opgehaalde documenten en specifieke outputcondities (bijv. een foutief antwoord of hallucinatie).

Methodologie

1. Formulering van Regels

De auteurs definiëren een regel als een conjunctie van predicaten over de inputkenmerken (de opgehaalde bronnen $s$ ) die garandeert dat het model een specifieke output $y$ produceert die voldoet aan een door de gebruiker gedefinieerde predicate $O$ . Er worden twee varianten onderscheiden:

Retentie-regels: Als een specifieke subset van bronnen $s'$ aanwezig is, is de output altijd consistent met de predicate (bijv. "Als document X wordt opgehaald, geeft het model een fout antwoord").
Omissie-regels: Als een specifieke subset van bronnen $s'$ afwezig is, is de output consistent met de predicate (bijv. "Als document X niet wordt opgehaald, geeft het model een correct antwoord").

De validiteit van een regel is recursief gedefinieerd: een regel is geldig als de predicate geldt voor alle mogelijke supersets (voor retentie) of subsets (voor omissie) van de betrokken input. Dit creëert een hiërarchische structuur (een tralie of lattice) van alle mogelijke broncombinaties.

2. Minimaliteit en Subsumptie

Het doel is om minimale regels te vinden. Een regel is minimaal als er geen andere regel bestaat die deze subsumeert (d.w.z. een regel met een kleinere subset die al dezelfde geldigheid garandeert). Minimale regels hebben de hoogste verklarende kracht omdat ze de breedste dekking hebben.

3. Mining Algoritmen

Om de zoekruimte (de powerset van alle bronnen, $2^{|s|}$ ) efficiënt te doorzoeken, stellen de auteurs twee algoritmen voor die inspiratie halen uit de Apriori-algoritmen uit frequent itemset mining, maar aangepast voor dit specifieke probleem:

Mono Rule Miner: Zoekt naar regels van één type (ofwel retentie, ofwel omissie) in één pass.
- Techniek: Gebruikt een top-down Breadth-First Search (BFS) over de tralie.
- Optimalisaties:
  - Dynamic Programming: Caching van validiteit van directe ouders om herhaling te voorkomen.
  - Early Termination (Pruning): Als een knoop (subset) ongeldig is, kunnen alle afstammelingen (subsets) van die knoop ook niet geldig zijn voor dat type regel. Deze takken worden direct afgesneden.
Dual Rule Miner: Zoekt gelijktijdig naar zowel retentie- als omissie-regels in één pass.
- Techniek: Gebruikt een "mask representation" om elke subset in twee richtingen te interpreteren (aanwezig vs. afwezig).
- Optimalisaties: Pruning vindt alleen plaats als een subset ongeldig is voor beide regeltypen. Dit is minder agressief dan Mono, maar efficiënter dan het uitvoeren van twee aparte Mono-passes.

Belangrijkste Bijdragen

Eerste Regelgebaseerde Uitleg voor RAG: Het paper introduceert het eerste raamwerk voor het genereren van if-then regels om de output van black-box RAG-systemen te verklaren, gebaseerd op de aanwezigheid/afwezigheid van bronnen.
Efficiënte Mining Algoritmen: Ontwikkeling van Mono en Dual Rule Miners die de zoekruimte drastisch verkleinen door gebruik te maken van de monotonie-eigenschap (vergelijkbaar met de Apriori-eigenschap) en vroege terminatie.
Empirische Validatie: Uitgebreide experimenten die de efficiëntie, schaalbaarheid en robuustheid van de methoden aantonen in zowel synthetische als real-world scenario's.

Resultaten en Evaluatie

De auteurs evalueren hun methoden op twee manieren:

1. Kwalitatieve Case Studies

Gezondheidszorg: Een scenario waarin een RAG-systeem onjuiste medische adviezen geeft over Long COVID. De algoritmen identificeerden dat de combinatie van twee specifieke documenten ( $D2$ en $D4$ ) consistent leidde tot foutieve antwoorden, terwijl deze documenten individueel geen probleem veroorzaakten. Dit stelde ontwikkelaars in staat om deze bronnen te markeren en te corrigeren.
AI Veiligheid (Red Teaming): Een test om te zien of specifieke combinaties van kwaadaardige bronnen prompt-injecties mogelijk maken. Door een "divide-and-conquer" strategie toe te passen op 50 bronnen, slaagden de auteurs erin om de kritieke combinatie van twee bronnen te vinden die de beveiliging omzeilden, met slechts 78 inferentie-aanroepen in plaats van $2^{50}$ .

2. Kwantitatieve Evaluatie

Efficiëntie: Gebruikmakend van de HotpotQA-dataset (vragen met meerdere stappen), toonden de experimenten aan dat de algoritmen tot 70% van de tralieknopen kunnen weglaten (prunen) in vergelijking met een brute-force benadering.
- De Dual Rule Miner is efficiënter dan het tweemaal uitvoeren van de Mono Rule Miner, vooral bij kleinere aantallen bronnen.
- De schaalbaarheid is beperkt tot ongeveer $|s| = 10$ bronnen voor volledige exhaustieve zoekopdrachten binnen een redelijke tijd, wat overeenkomt met de top-10 resultaten van veel zoeksystemen. Voor grotere sets wordt een recursieve strategie voorgesteld.
Robuustheid: De regels werden getest op verschillende commerciële LLMs (GPT-5, Gemini, Claude). Ondanks de stochastische aard van LLMs (die soms verschillende antwoorden geven op dezelfde prompt), bleken de gegenereerde regels robuust, vooral wanneer er gebruik werd gemaakt van meerderheidsvoting over meerdere samples. De "LLM-as-a-judge" component die de output beoordeelt, behaalde een precisie van 98,89% en een recall van 100% in vergelijking met menselijke validatie.

Significantie

Dit paper is significant omdat het een brug slaat tussen data mining (associatieregels) en moderne LLM-explainability.

Actiegericht: In tegenstelling tot attributiemethoden die alleen "belangrijkheid" scoren, bieden deze regels directe actiepunten (bijv. "Verwijder document X om fouten te voorkomen").
Garantie: De regels zijn exact (100% betrouwbaarheid binnen de geteste ruimte), in tegenstelling tot benaderende methoden.
Veiligheid en Audit: Het biedt een krachtig hulpmiddel voor auditors en ontwikkelaars om systematisch zwakke plekken, bias of hallucinaties in RAG-systemen op te sporen die door complexe interacties tussen bronnen ontstaan, wat essentieel is voor de veilige implementatie van AI in kritieke domeinen zoals de gezondheidszorg.