Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval

Technische Samenvatting: Evaluatie van RAG-betrouwbaarheid onder Schone, Misleidende en Gemengde Retrieval

Probleemstelling
Retrieval-Augmented Generation (RAG)-systemen zijn ontworpen om de feitelijke betrouwbaarheid van Large Language Models (LLM's) te verbeteren door responsen te funderen in externe bewijslast. Er bestaat echter een kritieke kwetsbaarheid in realistische informatieomgevingen waar de opgehaalde inhoud vaak heterogene data bevat, inclusief plausibele maar onjuiste informatie (misinformatie). Huidige evaluatieframeworks gaan er vaak van uit dat de opgehaalde context betrouwbaar is of richten zich primair op beveiligingsgerichte "poisoning"-aanvallen. Er is een gebrek aan systematische analyse over hoe RAG-systemen zich gedragen wanneer de opgehaalde context variërende niveaus van misinformatie bevat, met name in scenario's waarin het model al het juiste antwoord bezit in zijn parametrische (interne) kennis. Het kernprobleem is bepalen of en hoe misleidend bewijs de correcte interne kennis overrulet en de modelvertrouwen beïnvloedt.

Methodologie
De studie stelt een evaluatieprotocol voor om de RAG-robuustheid te testen over vier afzonderlijke contextuele scenario's:

1. Clean (Schoon): Context die alleen correcte passages bevat.
2. Poisoned (Vergiftigd): Context die alleen onjuiste (misleidende) passages bevat.
3. Mixed-33 (Gemengd-33): Context met één onjuiste en twee correcte passages.
4. Mixed-67 (Gemengd-67): Context met twee onjuiste en één correcte passage.

Experimentele Opzet:

• Dataset: Een subset van 100 feitgebaseerde vragen werd gesampled uit de TruthfulQA-dataset. Cruciaal is dat de studie filterde op vragen die de modellen correct beantwoordden in een Parametric-Only setting (zonder retrieval), om te garanderen dat eventuele daaropvolgende fouten toegeschreven konden worden aan de invloed van de context in plaats van aan kennistekorten.
• Modellen: Experimenten werden uitgevoerd met GPT-4o (een sterk closed-weight model) en LLaMA-3.1-8B (een kleiner open-weight model) om de impact van modelcapaciteit te beoordelen.
• Contextconstructie: Schone contexten werden via BM25 opgehaald uit Wikipedia. Misleidende ("vergiftigde") contexten werden synthetisch gegenereerd door LLaMA-3.1-8B om plausibel, informatief en feitelijk tegenstrijdig te zijn aan het gouden antwoord, waarbij de realistische misinformatie werd nagebootst zonder afhankelijk te zijn van propriëtaire API's voor generatie.
• Evaluatiemetrieken: Het artikel introduceert drie specifieke metrieken om verder te gaan dan eenvoudige nauwkeurigheid:
  1. Parametric Override Rate (POR): Meet de frequentie waarmee de opgehaalde context een model ertoe brengt een correct parametrisch antwoord te verlaten ten gunste van een onjuist antwoord.
  2. Confidence Inflation (CI): Kwantificeert de toename in de stelligheid (vertrouwen) van het model bij het genereren van onjuiste antwoorden onder misleidende contexten vergeleken met schone contexten.
  3. Poison Ratio Curve (PRC): Volgt de evolutie van de algehele modelnauwkeurigheid naarmate het aandeel misleidende passages in de context toeneemt van 0% tot 100%.

Belangrijkste Resultaten

• Parametric Override: Beide modellen vertoonden een significante vatbaarheid voor het overruelen van correcte interne kennis. Zelfs in het Clean scenario werd een aanzienlijk deel van de correcte parametrische antwoorden overrulet (een POR van 0,378 voor GPT-4o en 0,417 voor LLaMA-3.1), wat suggereert dat de loutere aanwezigheid van opgehaalde context kan interfereren met intern redeneren. Naarmate het aandeel onjuiste context toenam, steeg de POR systematisch. In het Poisoned scenario verlieten beide modellen de correcte kennis in meer dan 56% van de gevallen.
• Modelgevoeligheid: LLaMA-3.1 demonstreerde een hogere gevoeligheid voor tegenstrijdig bewijs dan GPT-4o, met een scherpere daling in prestaties in gemengde scenario's (bijv. sprong de POR naar 0,583 in Mixed-67 voor LLaMA-3.1).
• Confidence Inflation: Misleidende contexten zorgde ervoor dat modellen onjuiste antwoorden met aanzienlijk hogere zekerheid uitten. In het volledig vergiftigde scenario vertoonden beide modellen vergelijkbare niveaus van confidence inflation (ongeveer 1,6), wat aangeeft dat overmoed in het licht van misinformatie een algemeen kenmerk is van RAG-systemen in plaats van een architectuur-specifiek defect.
• Degradatie van Nauwkeurigheid: De Poison Ratio Curve onthulde een duidelijke inverse relatie tussen de hoeveelheid misinformatie en de modelnauwkeurigheid. Statistische tests (Cochran's Q) bevestigden dat de degradatie in nauwkeurigheid over de contextcondities significant was voor beide modellen.

Betekenis en Bijdragen
Het artikel beweert het eerste systematische evaluatieframework te bieden dat expliciet meet in welke mate modellen afwijken van correcte parametrische kennis onder invloed van opgehaalde context. De primaire bijdragen zijn:

1. Gedragsinzicht: Het aantonen dat RAG-betrouwbaarheid niet alleen gaat over de nauwkeurigheid van de retrieval, maar zwaar afhankelijk is van hoe modellen conflicten tussen interne kennis en extern bewijs oplossen.
2. Nieuwe Metrieken: Introductie van POR, CI en PRC om het "override"-effect en de gevaarlijke combinatie van onjuiste antwoorden met een hoog vertrouwen te kwantificeren.
3. Realistische Beoordeling: Het benadrukken dat RAG-systemen kwetsbaar zijn, zelfs in "gemengde" omgevingen waar misinformatie niet dominant is, wat de aanname uitdaagt dat correcte informatie in de context van nature zal prevaleren.

De auteurs concluderen dat in omgevingen met veel misinformatie, de betrouwbaarheid van opgehaalde bewijslast even cruciaal is als de relevantie ervan. De studie suggereert dat toekomstige RAG-systemen behoefte hebben aan kredibiliteit-bewuste retrieval-mechanismen en conflictdetectiestrategieën om te voorkomen dat modellen met hoge zekerheid misleidende informatie adopteren boven hun eigen geverifieerde kennis.