Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG" in het Nederlands.

Probleemstelling

Retrieval-Augmented Generation (RAG) systemen zijn ontworpen om Large Language Models (LLM's) te grondvesten in opgehaalde documenten om hallucinaties te verminderen. Echter, zelfs wanneer de relevante informatie in de prompt aanwezig is, kunnen LLM's nog steeds claims genereren die niet worden ondersteund door of in strijd zijn met de opgehaalde context.

De huidige uitdagingen bij het detecteren van dergelijke fouten zijn:

1. Gebrek aan granulariteit: Bestaande detectoren leveren vaak alleen een holistische score voor het hele antwoord (answer-level), zonder aan te geven welk specifiek deel van het antwoord onbetrouwbaar is.
2. Gebrek aan bewijs: Zelfs span-level detectoren (die specifieke zinnen markeren) leveren vaak geen expliciet bewijs uit de context dat de fout onderbouwt.
3. Onnauwkeurige benchmarks: Bestaande benchmarks zoals RAGTruth bevatten aanzienlijke "false negatives" (geannoteerde hallucinaties die over het hoofd werden gezien), waardoor de prestaties van detectoren worden onderschat of verkeerd geëvalueerd.

Het paper definieert "trouw" (faithfulness) strikt met betrekking tot de opgehaalde context, niet tot externe kennis of het parametrische geheugen van het model. Dit is cruciaal voor operationele scenario's waar documenten de autoritaire bron zijn.

Methodologie: RT4CHART

De auteurs stellen RT4CHART (Retromorphic Testing for Context-grounded Hallucination Assessment in Retrieval-Augmented Text) voor. Dit is een raamwerk dat hallucinatie-detectie behandelt als een traceerbaarheidsprobleem: elke gegenereerde claim moet kunnen worden teruggespoord naar de oorspronkelijke input (de context).

Het systeem gebruikt een hiërarchische verificatiepiplijn bestaande uit vier fasen:

1. Claim Decompositie:
   Het gegenereerde antwoord wordt opgesplitst in een lijst van zelfstandige, verifieerbare claims. Elke claim behoudt zijn oorspronkelijke qualifiers (zoals ontkenningen, kwantiteiten en tijdsmarkeringen) en wordt gekoppeld aan de specifieke zin in het antwoord.

2. Lokale Verificatie (Local Verification):
   De context wordt opgesplitst in overlappende chunks (vensters van zinnen). Voor elke claim wordt gecontroleerd of er ondersteunend of tegenstrijdig bewijs in deze lokale chunks aanwezig is.

   • Er wordt een OR-join logica toegepast: als één chunk een tegenstrijdigheid (Contradicted) vindt, is de claim lokaal als zodanig gemarkeerd. Als één chunk ondersteuning (Entailed) vindt, is de claim lokaal ondersteund. Als geen enkele chunk beslissend is, wordt de claim als "Baseless" (Nic) gemarkeerd voor die lokale check.
   • Dit helpt bij het vinden van subtiele tegenstrijdigheden die in een volledige context-lezing over het hoofd zouden kunnen worden gezien.

3. Globale Verificatie (Global Verification):
   Elke claim wordt opnieuw beoordeeld tegen de volledige context, gebruikmakend van de resultaten van de lokale verificatie als zoekhints.

   • Als een claim lokaal als "Baseless" werd gemarkeerd, maar de bewijslast is verspreid over meerdere chunks, kan de globale verificatie dit corrigeren naar "Entailed".
   • Als een claim lokaal als "Contradicted" werd gemarkeerd, wordt gecontroleerd of de bredere context deze conclusie bevestigt of corrigeert.
   • De globale judge moet altijd het volledige bewijs uit de context halen; lokale resultaten zijn slechts hints, geen definitief bewijs.

4. Aggregatie op Antwoordniveau:
   De definitieve labels van de claims worden samengevoegd via een AND-join. Als één claim als "Contradicted" of "Baseless" wordt gemarkeerd, wordt het hele antwoord als een hallucinatie beschouwd.

Retromorphic Testing:
Het theoretische fundament is "retromorphic testing". In plaats van te kijken of het antwoord overeenkomt met een gouden standaard, wordt het antwoord (output) "teruggekaatst" naar de input (context) via een achterwaartse programma (verificator). De consistentie tussen de gegenereerde claims en de broncontext wordt gecontroleerd.

Belangrijkste Bijdragen

1. RT4CHART Framework: Een nieuw detectiemodel dat claim-niveau oordelen, gelokaliseerde antwoordspans en expliciet context-bewijs levert, in plaats van alleen een score.
2. Hiërarchische Verificatie: Een unieke combinatie van lokale (chunk-based) en globale verificatie die zorgt voor fijne granulariteit bij lange contexten, terwijl de globale consistentie behouden blijft.
3. Verbeterde Benchmark (RAGTruth-Enhance): De auteurs hebben een bredere her-annotatie uitgevoerd van de RAGTruth dataset. Ze ontdekten dat de originele labels 1,68 keer minder hallucinaties bevatten dan de nieuwe annotaties, wat aantoont dat bestaande benchmarks hallucinaties sterk onderschatten.
4. Empirische Validatie: Uitgebreide evaluaties op RAGTruth++ en de nieuwe RAGTruth-Enhance dataset.

Resultaten

RT4CHART presteert significant beter dan bestaande baselines (zoals Vectara, Lettuce, MetaQA en SelfCheckGPT):

• Antwoordniveau Detectie:

  • Op RAGTruth++ bereikt RT4CHART een F1-score van 0,776, wat een verbetering is van 83% ten opzichte van de sterkste baseline (0,424).
  • Op RAGTruth-Enhance wordt een F1-score van 0,845 behaald (een verbetering van 17% ten opzichte van de baseline).
  • De verbetering komt vooral door een veel hogere recall, wat betekent dat het systeem meer hallucinaties opspoort die door andere methoden worden gemist.

• Span-niveau Lokalisatie:

  • RT4CHART behaalt de beste F1-score voor het lokaliseren van fouten in het antwoord (47,5% op RAGTruth-Enhance).
  • Het levert bovendien expliciet bewijs uit de context voor elke gemarkeerde fout, wat essentieel is voor auditing.

• Ablatie Studies:

  • De lokale verificatie is de belangrijkste drijvende kracht achter de prestaties.
  • De globale verificatie is complementair en vooral nuttig wanneer bewijs verspreid is over meerdere chunks.
  • De methode is robuust voor verschillende LLM-modellen (bijv. GPT-4o mini vs. GLM-4.7) en reproduceerbaar.

• Kosten: De kosten per sample bedragen ongeveer $0,01, wat het praktisch toepasbaar maakt voor routine-audits.

Betekenis en Conclusie

Dit paper biedt een doorbraak in het auditeren van RAG-systemen door hallucinatie-detectie te verschuiven van "zwart-wit" scores naar een transparant, bewijsgebaseerd proces. De belangrijkste inzichten zijn:

1. Benchmarks zijn onvolledig: Standaard datasets zoals RAGTruth onderschatten hallucinaties aanzienlijk door gebrek aan fijne granulariteit in annotaties.
2. Hiërarchie is cruciaal: Het combineren van lokale screening met globale verificatie is noodzakelijk om zowel lokale fouten als verspreide bewijslast correct te interpreteren.
3. Audit-vriendelijkheid: Door het leveren van specifiek bewijs (zinnen uit de context die een claim ondersteunen of weerleggen), maakt RT4CHART het mogelijk voor ontwikkelaars om fouten snel te diagnosticeren en te corrigeren, wat essentieel is voor de inzet van LLM's in kritieke toepassingen.

RT4CHART positioneert zich niet als een vervanging voor menselijke controle, maar als een krachtig hulpmiddel om verdachte outputs te prioriteren en de betrouwbaarheid van RAG-systemen te waarborgen.