💬 NLP

The RAT: A Unified Bayesian Model for RAG Evaluation

Dit artikel introduceert "The RAT", een verenigd Bayesiaans raamwerk dat RAG-evaluatie ontleedt in componenten voor retrieval, abstention en generatie om verborgen gedragsverschillen te onthullen, annotatiestrategieën te optimaliseren en menselijke en LLM-als-judge-beoordelingen te integreren binnen één enkel probabilistisch model.

Oorspronkelijke auteurs: Pius von Däniken, Felix Matthias Saaro, Mark Cieliebak, Jan Deriu

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pius von Däniken, Felix Matthias Saaro, Mark Cieliebak, Jan Deriu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne landschap van kunstmatige intelligentie is een populaire benadering, bekend als retrieval-augmented generation, opgekomen als een manier om grote taalmodellen betrouwbaarder te maken. Deze systemen werken door eerst een enorme bibliotheek aan documenten te doorzoeken om informatie te vinden die relevant is voor de vraag van een gebruiker, en vervolgens die gevonden informatie te gebruiken om het model te helpen bij het construeren van een antwoord. Dit tweestaps-proces is ontworign om te voorkomen dat het model dingen verzint, een veelvoorkomend probleem waarbij AI-systemen vol vertrouwen onwaarheden beweren. Het evalueren van hoe goed deze systemen werken, is echter moeilijk gebleken. Traditionele methoden kijken vaak alleen naar het eindresultaat: kreeg de gebruiker een correct antwoord? Deze enkele metriek, hoewel nuttig, verbergt een complexe realiteit. Het slaagt er niet in om onderscheid te maken tussen een systeem dat de juiste informatie vond en correct antwoordde, en een systeem dat correct gokte ondanks dat het niets had gevonden, of een systeem dat de juiste informatie vond maar er niet in slaagde deze te gebruiken. Om deze machines werkelijk te begrijpen, moeten onderzoekers in de pijplijn kijken, waarbij ze niet alleen het uiteindelijke resultaat observeren, maar ook hoe de zoekopdracht, de beslissing om te antwoorden en de uiteindelijke reactie met elkaar interageren.

Een team van onderzoekers aan de Zurich University of Applied Sciences heeft een nieuwe manier ontwikkend om in deze black box te kijken, waarbij zij de evaluatie van deze systemen behandelen als een verenigde statistische puzzel in plaats van een eenvoudige checklist. Zij introduceerden een raamwerk dat het succes van de zoekopdracht scheidt van het gedrag van de antwoordgenerator. In hun model wordt een systeem alleen als succesvol beschouwd als het zich gepast gedraagt in verhouding tot de kwaliteit van de gevonden informatie. Dit betekent dat een systeem dat geen relevante documenten vindt en wijs genoeg is om niet te antwoorden, als correct gedrag wordt beoordeeld, net zoals een systeem dat de juiste documenten vindt en accuraat antwoordt. Daarentegen wordt een systeem dat niets vindt maar toch gokt, of alles vindt maar onjuist antwoordt, gemarkeerd als een falen van zijn interne beleid, zelfs als het uiteindelijke antwoord toevallig juist is door geluk. Door deze afzonderlijke stappen samen te modelleren, konden de onderzoekers volgen hoe fouten in de zoekfase doorwerken naar het uiteindelijke antwoord, en hoe verschillende modellen met onzekerheid omgaan.

Om deze aanpak te testen, voerde het team een massaal experiment uit met twintig-zeven verschillende configuraties van deze systemen. Zij combineerden drie verschillende zoekmachines, drie verschillende taalmodellen en drie verschillende sets vragen die variërend waren van factchecking tot complexe redeneringen. Wanneer zij alleen naar de eindscores keken, leken veel van deze systemen bijna identiek. Echter, het nieuwe raamwerk onthulde diepe gedragsverschillen die de standaardmetrieken hadden verborgen. Zo weigerde één model consequent te antwoorden wanneer de zoekopdracht faalde, waarbij het strikt vasthield aan een beleid om alleen te spreken wanneer het over bewijs beschikte. Een ander model, dat een vergelijkbaar algemeen succespercentage behaalde, gaf regelmatig antwoorden terwijl de zoekopdracht niets had gevonden. De studie toonde aan dat twee systemen oppervlakkig gezien even goed kunnen lijken, terwijl ze opereren op basis van totaal verschillende principes, waarbij het ene systeem veel betrouwbaarder is in scenario's in de echte wereld waar informatie vaak ontbreekt.

De onderzoekers pakten ook een praktisch probleem aan waar iedereen die deze systemen probeert te verbeteren voor staat: hoe besteed je een beperkt budget voor menselijke beoordeling. Het controleren van elke stap van elke query is duur en tijdrovend. Het team onderzocht of het beter was om mensen de zoekresultaten te laten verifiëren (of de zoekopdracht de juiste documenten vond), of het uiteindelijke antwoord (of ze het juiste antwoord vonden), of beide. Zij ontdekten een opvallende asymmetrie: het verifiëren van de zoekresultaten bood aanzienlijk meer inzicht in de vraag of het systeem zijn regels volgde dan het verifiëren van het uiteindelijke antwoord. Dit komt omdat de beslissing om wel of niet te antwoorden sterk afhankelijk is van de vraag of de zoekopdracht geslaagd is. Als een mens bevestigt dat de zoekopdracht faalde, weet hij direct dat het systeem stil had moeten blijven; als het systeem toch antwoordde, heeft het zijn beleid geschonden. Het weten van het uiteindelijke antwoord zegt hen echter minder over de vraag of het systeem op dat moment een goede beslissing heeft genomen. Deze bevinding suggereert dat voor ontwikkelaars die deze systemen willen afstemmen om eerlijker en voorzichtiger te zijn, het richten van de menselijke aandacht op de kwaliteit van de opgehaalde informatie een veel groter rendement oplevert dan het uitsluitend focussen op de uiteindelijke output.

Ten slotte onderzocht de studie de rol van geautomatiseerde rechters, waarbij één kunstmatige intelligentie wordt gebruikt om een andere te beoordelen, een gangbare praktijk om kosten te besparen. De onderzoekers ontdekten dat hoewel deze geautomatiseerde beoordelaars enorme hoeveelheden gegevens kunnen verwerken, ze gevoelig zijn voor een specifiek type fout: ze zeggen vaak dat een zoekopdracht succesvol was terwijl dat niet zo was. Vanwege deze neiging om succes te overschatten, leverde het simpelweg toevoegen van duizenden geautomatiseerde labels weinig verbetering op voor de nauwkeurigheid van de evaluatie. De studie concludeerde dat een klein aantal zorgvuldige menselijke oordelen, die goed gekalibreerd zijn, veel waardevoller blijven dan een berg ruisende geautomatiseerde oordelen. Het werk biedt een helderdere, eerlijkere kaart van hoe deze complexe systemen denken en falen, en biedt een pad voorwaarts voor het bouwen van AI die niet alleen correct is, maar ook betrouwbaar in haar redenering.

Technische Samenvatting: De RAT: Een Verenigd Bayesiaans Model voor RAG-Evaluatie

Probleemstelling

Het evalueren van Retrieval-Augmented Generation (RAG) systemen vormt een aanzienlijke uitdaging omdat standaard end-to-end metrieken vaak verschillende aspecten van systeemgedrag met elkaar verwarren. Huidige benchmarks evalueren de retrieval- en generatiecomponenten vaak geïsoleerd, of vertrouwen op marginale metrieken die de foutenpropagatie door de pipeline verhullen. Specifiek wordt "taaksucces" (of de gebruiker een correct antwoord heeft ontvangen) vaak gelijkgesteld aan systeemkwaliteit, waarbij wordt genegeerd of de "generator succesvol" was (of de generator zich gepast gedroeg gegeven de uitkomst van de retrieval). Een generator die nooit onthoudt, kan een redelijk taaksucces behalen terwijl hij systematisch de gewenste policy overtreedt om te onthouden wanneer de retrieval faalt. Bovendien behandelen bestaande frameworks pipeline-dimensies doorgaans onafhankelijk, waardoor ze falen in het modelleren van de statistische afhankelijkheden tussen retrieval-uitkomsten, onthoudingsbeslissingen en de correctheid van het antwoord.

Methodologie

De auteurs stellen RAT voor, een verenigd Bayesiaans evaluatieframework dat expliciet de afhankelijkheden binnen een RAG-pipeline modelleert.

Het Probabilistische Model

Het framework deelt de gezamenlijke distributie van RAG-gedrag op in vier binaire variabelen die de informatiestroom van de pipeline volgen:

Retrieval Succes ( $R$ ): Of de opgehaalde context alle noodzakelijke informatie bevat ( $R=1$ ) of niet ( $R=0$ ).
Onthouding ( $A$ ): Of de generator weigert te antwoorden ( $A=1$ ) of een antwoord probeert te geven ( $A=0$ ).
Taaksucces ( $T$ ): Of het uiteindelijke antwoord correct is ( $T=1$ ). Merk op dat $T$ alleen betekenisvol is wanneer $A=0$ .
Generator Succes ( $G$ ): Een deterministische variabele die beleidsnaleving representeert. $G=1$ als de generator onthoudt wanneer de retrieval faalt ( $R=0, A=1$ ) of correct antwoordt wanneer de retrieval slaagt ( $R=1, A=0, T=1$ ).

Deze factorisatie is als volgt:
$P(R, A, T) = P(R) \cdot P(A | R) \cdot P(T | A, R)$

Deze factorisatie maakt het mogelijk om conditionele kansen te schatten met directe gedragsinterpretaties: de kwaliteit van de retrieval ( $P(R)$ ), onthoudingsgedrag geconditioneerd op de retrieval ( $P(A|R)$ ), en de correctheid van het antwoord geconditioneerd op zowel de retrieval als de beslissing om te antwoorden ( $P(T|A, R)$ ).

Bayesiaanse Inferentie en Extensies

Het model wordt geïmplementeerd in Stan met behulp van Hamiltonian Monte Carlo (NUTS) om onzekerheid door de gehele afhankelijkheidsstructuur te propageren. Deze aanpak biedt twee belangrijke voordelen:

Onzekerheidskwantificering: Het kwantificeert onzekerheid niet alleen voor primitieve kansen, maar ook voor afgeleide grootheden zoals beleidsnaleving ( $G$ ).
Partiële Observeerbaarheid: Het gaat om scenario's waarbij sommige annotaties duur zijn (bijv. menselijke gouden standaarden voor retrieval) terwijl andere goedkoop zijn (bijv. string matching voor onthouding) door te marginaliseren over niet-geobserveerde variabelen.

Het framework wordt uitgebreid om LLM-as-a-judge annotaties te integreren. Deze worden behandeld als gekalibreerde, ruisige observaties van de grondwaarheid-variabelen ( $R$ en $T$ ). Een kalibratiemodel schat de True Positive Rate (TPR) en False Positive Rate (FPR) van de judge in, waardoor de integratie van grote hoeveelheden geautomatiseerde oordelen met beperkte menselijke annotaties binnen hetzelfde probabilistische framework mogelijk wordt.

Experimentele Opzet

De auteurs evalueerden het model over 27 RAG-configuraties, een combinatie van:

3 Datasets: FEVER (fact-checking), HotpotQA (multi-hop QA), en Natural Questions (open-domain QA), die allemaal gebaseerd zijn op een gedeelde Wikipedia-snapshot.
3 Retrievers: Sparse (BM25), Dense (semantische embeddings), en Hybrid (Reciprocal Rank Fusion).
3 Generators: Apertus 8B, Gemma3 12B, en Qwen3.5 9B.

Belangrijkste Resultaten

1. Conditionele Decompositie Onthult Verborgen Verschillen

Marginale metrieken (bijv. algemeen taaksucces) verhullen vaak significante gedragsverschillen. Bijvoorbeeld, op de Natural Questions dataset met dense retrieval, behaalden Apertus, Gemma3 en Qwen3.5 bijna identieke taaksuccespercentages (~0,24). Echter, hun beleidsnaleving ( $P(G=1)$ ) verschilde scherp (0,164, 0,414 en 0,496, respectievelijk). De conditionele decompositie onthulde dat deze verschillen primair werden gedreven door onthoudingspolicies: Qwen3.5 en Gemma3 onthielden effectief wanneer de retrieval faalde, terwijl Apertus zelden onthield, wat leidde tot een lagere beleidsnaleving ondanks vergelijkbaar end-task accuraatheid.

2. Het Probleem van Annotatie-allocatie

De auteurs analyseerden hoe men een vast budget voor annotatie optimaal kan alloceren tussen retrieval-succes en taak-succes annotaties om beleidsnaleving ( $G$ ) te schatten.

Asymmetrie: Annotaties voor retrieval-succes zijn aanzienlijk informatiever voor het schatten van beleidsnaleving dan annotaties voor taasksucces.
Informatietheoretische Verklaring: Omdat $G$ in drie van de vier gevallen wordt bepaald door $(R, A)$ , lost het observeren van $R$ de waarde van $G$ op in 75% van de scenario's. In contrast hiermee lost het observeren van $T$ alleen $G$ op in het specifieke geval waar de generator antwoordt ( $A=0$ ) en het antwoord correct is ( $T=1$ ), wat een deelverzameling is van de resterende gevallen.
Empirische Validatie: Experimenten toonden aan dat strategieën die focussen op retrieval-annotaties (All-R) de schattingsfout voor $P(G=1)$ effectiever verminderen dan taak-gerichte strategieën (All-T), en vaak de prestaties evenaren van volledige gezamenlijke annotaties.

3. Impact van LLM-as-a-Judge

Bij het integreren van geautomatiseerde oordelen benadrukten de resultaten het cruciale belang van kalibratie. De gebruikte LLM-judge (gpt-4o-mini) vertoonde een hoge sensitiviteit maar een substantiële false-positive rate. Bijgevolg leverde het toevoegen van duizenden geautomatiseerde annotaties slechts marginale verbeteringen in de kwaliteit van de schatting (een lichte vermindering van de breedte van het geloofwaardigheidsinterval) vergeleken met een kleine set hoogwaardige menselijke annotaties. Dit onderstreept dat zonder precieze kalibratie, geautomatiseerd volume de menselijke accuratesse niet kan vervangen.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

Verenigd Framework: Het introduceert een Bayesiaans model dat de RAG-evaluatie factoriseert volgens de informatiestroom, waarbij onderscheid wordt gemaakt tussen taaksucces en generator succes (beleidsnaleving).
Gedragsinzicht: Het demonstreert dat conditionele decompositie gedragsverschillen aan het licht brengt tussen systemen die onder marginale metrieken equivalent lijken, met name met betrekking tot hoe systemen omgaan met falende retrieval.
Annotatie-efficiëntie: Het biedt een informatie-theoretische verklaring en empirische validatie voor de asymmetrie in de waarde van annotaties, waarbij wordt aangetoond dat retrieval-succes annotaties efficiënter zijn voor het schatten van beleidsnaleving dan taak-succes annotaties.
Praktische Integratie: Het breidt het model uit om gekalibreerde LLM-as-a-judge annotaties te incorporeren, wat een gefundeerde manier biedt om dure menselijke oordelen te combineren met goedkopere geautomatiseerde beoordelingen.

De auteurs concluderen dat het beschouwen van RAG-evaluatie als Bayesiaanse inferentie het mogelijk maakt om te redeneren over onzekerheid, partiële observeerbaarheid en annotatie-efficiëntie, wat een genuanceerder beeld geeft van systeemprestaties dan traditionele end-to-end metrieken.

Limieten

Het paper erkent enkele beperkingen:

Binaire Vereenvoudiging: Het model gaat uit van binaire oordelen (succes/falen), terwijl IR vaak continue metrieken gebruikt (bijv. MAP, MRX).
Vaste Policy: Generator succes wordt gedefend door een enkele vaste policy (onthoud indien retrieval faalt), wat mogelijk niet alle applicatie-specifieke policies dekt (bijv. gedeeltelijke antwoorden).
Scope: De experimenten zijn beperkt tot drie datasets en drie relatief kleine open-weight modellen.
Pipeline Complexiteit: Het model dekt een minimale retrieve-then-generate pipeline en houdt nog geen rekening met reranking, query-herformulering of multi-turn conversationele contexten.
Detectie van Onthouding: Onthouding wordt gedetecteerd via exacte string matching, wat mogelijk niet de nuances van 'hedging' of indirecte weigeringen in vrije tekstvorm vangt.