Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

Technische Samenvatting: Op weg naar Betrouwbare Retrieval-Augmented Generation met Voorspelling van Feitelijke Zekerheid

Probleemstelling
Retrieval-Augmented Generation (RAG) is een standaard geworden voor het toerusten van Large Language Models (LLM's) met domeinspecifieke kennis. Er blijft echter een kritieke kwetsbaarheid bestaan: er is geen inherente garantie dat de context die door similariteitszoekopdrachten wordt opgehaald, de gegenereerde feiten daadwerkelijk ondersteunt, noch dat de LLM geen informatie hallucineert ondanks de aanwezigheid van relevante context. Bestaande methoden voor veiligheidsborging vertrouwen vaak op heuristische verbeteringen of specifieke aanpassingen van componenten, en missen een algemeen, architectuur-onafhankelijk protocol om certificeerbare garanties te bieden voor de RAG-pijplijn. De kernuitdaging bestaat erin betekenisvolle zekerheidsmaten te koppelen aan zowel het ophaalproces (ter waarborging van brontrouw) als het generatieproces (ter waarborging van feitelijke juistheid ten opzichte van de opgehaalde context).

Methodologie
De auteurs stellen een tweestaps, architectuur-onafhankelijk certificeringsprotocol voor dat werkt zonder de onderliggende ophaal- of LLM-componenten aan te passen.

1. Schatting van Ophaalvertrouwen (Blok 1):

   • Benadering: De auteurs passen Conformal Prediction (CP) toe op het ophaalproces om uitsluitend die documentfragmenten te selecteren met een statistisch gegarandeerde kans van herkomst uit de juiste bron.
   • Mechanisme: Met behulp van een kalibratieset van vraag-referentie-antwoord-triplets berekent het systeem een niet-overeenkomende drempelwaarde op basis van ophaalscores en een similariteitsmetriek (RougeL). Er wordt een drempelwaarde $s_{thres}$ vastgesteld om juiste fragmenten te onderscheiden van onjuiste.
   • Garantie: Onder de aanname van uitwisselbaarheid van steekproeven biedt deze methode een statistische garantie (gecontroleerd door de foutenrate $\alpha$) dat de set van "vertrouwde" fragmenten het ware bronfragment bevat.
   • Diagnostiek: De auteurs introduceren twee metrieken, $m_1$ (binair bestaan van een vertrouwd fragment) en $m_2$ (aandeel van vertrouwde fragmenten), om te diagnosticeren of een specifieke combinatie van ophaalapparaat en dataset voldoet aan de uitwisselbaarheidsaanname die vereist is voor het geldig zijn van CP.

2. Schatting van Antwoordvertrouwen (Blok 2):

   • Benadering: Om hallucinaties in het uiteindelijke antwoord te detecteren, maken de auteurs gebruik van een op aandacht gebaseerde feitelijke classifier.
   • Mechanisme: Het systeem haalt tussentijdse aandachtswaarden op uit de LLM tijdens de generatie. Specifiek berekent het chunk-gerelateerde terugkijkverhoudingen (CW LR), die de gemiddelde aandacht meten die het model besteedt aan specifieke opgehaalde contextfragmenten ten opzichte van de totale aandacht die wordt besteed aan de context en de gegenereerde output.
   • Classifier: Een eenvoudige logistische regressie-eenheid wordt getraind op deze terugkijkverhoudingen om een feitelijke score te voorspellen. Cruciaal is dat de auteurs aandacht van systeemprompts en de gebruikersvraag uitsluiten uit het kenmerkvector om te voorkomen dat de classifier domeinspecifieke biases leert (bijvoorbeeld "financiële vragen zijn moeilijker") in plaats van feitelijke onderbouwing.

Belangrijkste Bijdragen

• Certificeerbare RAG-pijplijn: Een nieuw workflow dat conformal prediction integreert voor ophalen en op aandacht gebaseerde detectie voor generatie, en aparte zekerheidsmetrieken biedt voor elke fase.
• Diagnostische Metrieken: De introductie van de $m_1$- en $m_2$-metrieken om de geschiktheid van een RAG-configuratie te beoordelen. Het artikel toont aan dat als deze metrieken een slechte prestatie van het ophaalapparaat aangeven (schending van uitwisselbaarheid), de statistische garanties van CP falen en het filteren van fragmenten de antwoordkwaliteit kan verslechteren.
• Verfijnde Hallucinatiedetectie: Een demonstratie dat hoewel modellen voor volledige context-aandacht (inclusief prompts) een hogere AUROC kunnen bereiken in kruisvalidatie, chunk-gerelateerde terugkijkverhoudingen betrouwbaardere feitelijke onderbouwing bieden door niet-ophalende aandachtbronnen uit te sluiten die de classifier zouden kunnen misleiden.

Resultaten
De methodologie werd geëvalueerd op de Natural Questions (NQ)-dataset en de Ragbench (RB)-collectie (12 diverse datasets) met behulp van Llama-3-8B-Instruct en BM25-ophalen.

• Ophaalvertrouwen:

  • Op datasets waar het ophaalapparaat goed presteert (bijvoorbeeld NQ, RB-cuad), stemt de $m_1$-metriek overeen met de theoretische verwachting van $1-\alpha$, wat de uitwisselbaarheidsaanname valideert.
  • Op datasets met moeilijke ophaaltaken (bijvoorbeeld RB-finqa, RB-tatqa) daalt $m_1$ aanzienlijk, wat aangeeft dat juiste fragmenten niet in de top-K voorkomen. In deze gevallen verslechterde het toepassen van op CP gebaseerd filteren de consistentie van het antwoord met tot 10%, wat bevestigt dat de statistische garanties niet gelden wanneer het ophaalapparaat de bron niet vindt.
  • Voor sterke ophaalapparaten verbeterde het filteren van onbetrouwde fragmenten de consistentie van het antwoord met tot 6%.

• Antwoordvertrouwen:

  • De classifier voor chunk-gerelateerde terugkijkverhoudingen behaalde een maximale test-AUROC van 77% in kruisvalidatie binnen dezelfde groep.
  • Kruisvalidatie over verschillende datasetgroepen toonde prestatiedalingen van tot 16%, wat de uitdaging van generalisatie benadrukt.
  • Vergelijkingen toonden aan dat Full-Context (FC) terugkijkverhoudingen (inclusief prompts) hogere AUROCs opleverden (tot 82%), maar als minder betrouwbaar werden beschouwd voor feitelijke onderbouwing vanwege potentiële bias door promptpatronen. De voorgestelde Chunk-Wise (CW) aanpak wordt verkiest voor betrouwbare systemen, ondanks een iets lagere AUROC.

Betekenis en Aanspraken
Het artikel claimt een fundament te leggen voor gecertificeerde RAG-systemen die geschikt zijn voor veiligheidskritische industrietoepassingen. De primaire betekenis ligt in de verschuiving van heuristische robuustheid naar statistische certificering. De auteurs benadrukken dat hun aanpak geen "zilveren kogel" is voor alle RAG-configuraties; het biedt eerder een diagnostisch kader. Het artikel stelt expliciet dat de geldigheid van de garanties voor ophaalvertrouwen afhankelijk is van de uitwisselbaarheid van steekproeven, wat weer afhankelijk is van het vermogen van het ophaalapparaat om juiste fragmenten aan het licht te brengen. Daarom zijn de voorgestelde metrieken ($m_1, m_2$) essentiële voorwaarden om te bepalen of een specifieke RAG-configuratie geschikt is voor implementatie met deze zekerheidsgaranties. Het werk beoogt de ontwikkeling van betrouwbare RAG-toepassingen te sturen door te identificeren waar de pijplijn zwak is (ophalen versus generatie) en kwantificeerbare maatstaven voor vertrouwen aan te bieden.