URAG: A Benchmark for Uncertainty Quantification in Retrieval-Augmented Large Language Models

Probleemstelling

Retrieval-Augmented Generation (RAG) is een veelgebruikte aanpak om Large Language Models (LLMs) te verbeteren door externe kennisbronnen te raadplegen, wat vooral nuttig is voor feitelijke taken. Echter, de huidige evaluatiestandaarden voor RAG-systemen richten zich bijna uitsluitend op nauwkeurigheid (correctheid van het antwoord). Dit negeert een cruciaal aspect: onzekerheid (uncertainty).

Bestaande systemen kunnen vaak "oververzekerd" zijn, zelfs wanneer de opgehaalde informatie (retrieval) ruis bevat, tegenstrijdig is of onvolledig is. Dit leidt tot hallucinaties en foutieve beslissingen in gevoelige domeinen zoals gezondheidszorg, wetenschap en juridische zaken. Er ontbreekt een gestandaardiseerde framework om te meten hoe retrieval de betrouwbaarheid en het zelfvertrouwen van een model beïnvloedt, en hoe dit varieert tussen verschillende RAG-architecturen en domeinen.

Methodologie: De URAG Benchmark

De auteurs introduceren URAG, het eerste uitgebreide benchmark-framework dat zowel nauwkeurigheid als voorspellende onzekerheid evalueert voor RAG-systemen. De kernmethodologie omvat:

1. Omzetting naar Meerkeuzevragen (MCQA):
   Omdat het meten van onzekerheid bij open-ended generatie (vrije tekst) moeilijk en onbetrouwbaar is, worden alle open-ended taken omgezet naar Meerkeuzevragen (Multiple Choice Question Answering). Dit maakt het mogelijk om kansverdelingen over een eindige set antwoorden te analyseren.

2. Conformal Prediction (CP) voor Onzekerheidsmeting:
   In plaats van alleen op entropie of perplexity te vertrouwen (die gevoelig zijn voor temperatuurinstellingen), gebruikt URAG Conformal Prediction. Dit biedt een wiskundig onderbouwde garantie voor de dekking (coverage rate).

   • Het systeem genereert een "voorspellingsset" (prediction set) van mogelijke antwoorden.
   • Een kleine set duidt op hoog vertrouwen; een grote set duidt op onzekerheid.
   • Twee methoden worden gebruikt om de "nonconformity score" te berekenen: LAC (Least Ambiguous set-valued Classifiers) en APS (Adaptive Prediction Sets).

3. Dataset Constructie en "Distractors":
   Een uitdaging bij MCQA is het genereren van geloofwaardige, maar verkeerde antwoorden (distractors). De auteurs ontwikkelen een iteratieve pipeline:

   • Een LLM genereert een foutief antwoord en een nep-document dat dit antwoord ondersteunt.
   • Een Natural Language Inference (NLI) model controleert of de distractor "verwarrend" is (d.w.z. of het logisch gezien zou kunnen worden afgeleid uit het juiste antwoord of sterk lijkt op het juiste antwoord).
   • Dit zorgt voor moeilijke vragen die echte onzekerheid in het model activeren.

4. Experimenteel Opzet:

   • Domeinen: 5 domeinen (Gezondheidszorg, Programmeren, Wetenschap, Wiskunde, Algemene Tekst).
   • Datasets: 8 datasets (o.a. CRAG, HealthVer, ODEX, SciFact).
   • RAG-methoden: 8 verschillende methoden worden getest, variërend van training-vrije methoden (Naive RAG, HyDE, Fusion) tot geavanceerde, end-to-end of sequentieel getrainde methoden (Self-RAG, RAPTOR, REPLUG, RAT).
   • Analyse: De auteurs testen ook de impact van irrelevante context (ruis), de afhankelijkheid van parametrische kennis (wat het model al weet vs. wat het moet ophalen), en de reactie op "misleidende" zelfvertrouwenssignalen.

Belangrijkste Resultaten

De analyse van de 8 RAG-methoden leidt tot de volgende inzichten:

1. Niet alle RAG-methoden zijn even betrouwbaar:

   • Simpele, modulaire methoden (zoals Fusion en Naive RAG) bieden vaak de beste afweging tussen hoge nauwkeurigheid en lage onzekerheid.
   • Complexere methoden met geavanceerde redeneringspijplijnen (zoals RAT) presteren vaak slechter in termen van nauwkeurigheid en vertonen hogere onzekerheid.
   • Methodes die probabilistisch aggregatie gebruiken (zoals REPLUG) kunnen hoge nauwkeurigheid behalen maar vertonen vaak een ondervertrouwen (underconfidence), wat resulteert in zeer grote voorspellingssets.

2. De relatie tussen nauwkeurigheid en onzekerheid breekt bij ruis:
   Over het algemeen correleren hogere nauwkeurigheid en lagere onzekerheid. Echter, wanneer de opgehaalde informatie ruis bevat (irrelevante documenten) of tegenstrijdig is, breekt deze relatie. In deze scenario's kunnen modellen oververzekerd worden bij verkeerde antwoorden.

3. Geen universele oplossing:
   Er is geen enkele RAG-methode die in alle domeinen perfect presteert. Wat werkt voor wiskunde (waar iteratieve redenering zoals RAT helpt), werkt niet noodzakelijk voor gezondheidszorg of code.

4. Impact van Retrieval en Parametrische Kennis:

   • Als een LLM het antwoord al uit zijn eigen kennis (parametrische kennis) kent, kan retrieval de nauwkeurigheid soms zelfs verlagen of het vertrouwen onnodig beïnvloeden.
   • Retrieval diepte: Het ophalen van meer documenten helpt niet altijd; bij methoden zoals HyDE kan het ophalen van extra documenten op basis van gegenereerde hypothese juist meer ruis introduceren en de prestaties verslechteren.

5. Kwetsbaarheid voor misleidende signalen:
   Experimenten waarbij het model werd blootgesteld aan "verkeerde" zelfvertrouwenssignalen (wrong-aware prompting) toonden aan dat RAG-systemen vatbaar zijn voor prompt-injectie die hallucinaties induceert, zelfs zonder de feitelijke context te veranderen.

Bijdragen

De paper levert drie hoofdbijdragen:

1. URAG Benchmark: Het eerste uitgebreide framework dat nauwkeurigheid en onzekerheid gelijktijdig evalueert over meerdere domeinen en RAG-architecturen.
2. Nieuwe MCQA-pipeline: Een robuuste methode om hoge kwaliteit, verwarrende distractors te genereren, waardoor onzekerheidsmeting betrouwbaarder wordt.
3. Systematische Analyse: Diepgaande inzichten in hoe retrieval ruis, kennisafhankelijkheid en prompt-strategieën de betrouwbaarheid van LLMs beïnvloeden, met de conclusie dat retrieval zowel prestaties kan verbeteren als hallucinaties kan versterken.

Betekenis en Impact

URAG is een cruciale stap naar het bouwen van vertrouwenswaardige AI-systemen. Door onzekerheid te kwantificeren, kunnen ontwikkelaars beter begrijpen wanneer een RAG-systeem "onzeker" is en mogelijk een menselijke expert moet inschakelen, in plaats van een foutief antwoord met hoog vertrouwen te geven. Dit is essentieel voor de veilige implementatie van AI in hoog-risico domeinen zoals de gezondheidszorg en juridische sector. De benchmark stelt de gemeenschap in staat om niet alleen te kijken naar of een model het juiste antwoord geeft, maar ook hoe zeker het daarover is.