💬 NLP

Rag Performance Prediction for Question Answering

Dit artikel presenteert een nieuwe, toezicht-gebaseerde voorspeller die semantische relaties tussen vraag, gevonden passages en het gegenereerde antwoord modelleert om de meerwaarde van Retrieval-Augmented Generation (RAG) voor vraagbeantwoording het meest effectief te voorspellen.

Oorspronkelijke auteurs: Or Dado, David Carmel. Oren Kurland

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Or Dado, David Carmel. Oren Kurland

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Moet je de bibliotheek raadplegen of gewoon je eigen kennis gebruiken?

Stel je voor dat je een kunstmatige intelligentie (een slimme chatbot) hebt die vragen beantwoordt. Deze chatbot heeft twee manieren om antwoorden te geven:

Zonder hulpmiddelen: Hij gebruikt alleen zijn eigen "hersenen" (de kennis die hij heeft opgeslagen tijdens het leren).
Met hulpmiddelen (RAG): Hij mag eerst snel in een enorme bibliotheek (het internet of een documentenbestand) zoeken naar relevante informatie en die informatie meenemen naar zijn "hersenen" om het antwoord te vormen.

Dit tweede systeem heet RAG (Retrieval-Augmented Generation). Meestal werkt dit fantastisch: de chatbot is slimmer en maakt minder fouten. Maar soms is het juist een ramp. Soms is de informatie in de bibliotheek verouderd, verkeerd of gewoon irrelevant. Als de chatbot die slechte informatie leest, kan hij in de war raken en een slechter antwoord geven dan wanneer hij gewoon op zijn eigen kennis had vertrouwd.

Het probleem: We weten van tevoren niet welke vragen beter zijn met een zoektocht en welke beter zonder. We gooien nu vaak "blind" een zoektocht op voor elke vraag, wat tijd en geld kost.

De oplossing uit dit papier: De onderzoekers willen een voorspeller bouwen. Een slimme "orakel" die vooraf kan zeggen: "Voor deze specifieke vraag is het zoeken naar informatie nuttig" of "Nee, laat die chatbot gewoon zelf antwoorden, het zoeken gaat alleen maar kwaad."

Hoe hebben ze dit onderzocht?

De onderzoekers hebben drie soorten "orakels" (voorspellers) getest, net als iemand die probeert te raden of een reisplan goed zal werken:

De "Vooraf"-voorspeller (Pre-retrieval):
- De analogie: Iemand die alleen naar de vraag kijkt voordat hij de bibliotheek binnenloopt. Hij zegt: "Oh, dit is een moeilijke vraag, ik ga zeker zoeken!" of "Dit is een simpele vraag, ik ga niet zoeken."
- Het resultaat: Dit werkt niet. Alleen naar de vraag kijken zegt niets over of de bibliotheek nuttige informatie heeft. Het is alsof je probeert te raden of er een paraplu nodig is door alleen naar de lucht te kijken zonder naar de wolken te kijken.
De "Na het zoeken"-voorspeller (Post-retrieval):
- De analogie: Iemand die de bibliotheek binnenloopt, de boeken eruit haalt, en dan zegt: "Hm, deze boeken lijken wel relevant, dus het antwoord wordt waarschijnlijk goed."
- Het resultaat: Dit werkt redelijk goed. Als de gevonden boeken duidelijk relevant zijn, is de kans groot dat het antwoord verbetert. Een slimme versie hiervan (een "supervised" model) die leert welke patronen in de gevonden teksten werken, doet het nog beter.
De "Na het antwoord"-voorspeller (Post-generation) – De winnaar!
- De analogie: Dit is de slimste methode. Hier kijkt de orakel naar drie dingen tegelijk:
  1. De vraag.
  2. De gevonden boeken uit de bibliotheek.
  3. Het antwoord dat de chatbot heeft geschreven (zowel met als zonder de boeken).
- De orakel vergelijkt dan: "Kijk, toen de chatbot de boeken las, werd zijn antwoord logischer en slimmer. Dan was het zoeken nuttig!" Of: "Hm, toen hij de boeken las, raakte hij in de war en gaf hij een onzin antwoord. Dan was het zoeken een fout."
- Het resultaat: Dit werkt ongelofelijk goed. De onderzoekers hebben een nieuw model gebouwd (noem het Bert-Gen) dat precies deze verbanden leert te zien. Het kan met bijna 90% nauwkeurigheid voorspellen of RAG helpt.

Waarom is dit belangrijk? (De "Waarom"-vergelijking)

Stel je een restaurant voor.

Situatie A: De kok (de AI) maakt elke dag een gerecht. Soms gebruikt hij verse ingrediënten van de markt (RAG), soms niet.
Het probleem: Soms is de markt gesloten of zijn de groenten rot. Als de kok dan toch probeert te koken met rotte groenten, wordt het eten slechter. En het kost tijd om naar de markt te gaan.
De oplossing van dit papier: We willen een keukenmanager die vooraf kan zeggen: "Vandaag is het gerecht 'Pizza' (een simpele vraag), de kok kan dat uit zijn hoofd. Ga niet naar de markt." Maar voor "Zeldzame Aziatische soep" (een moeilijke vraag) zegt hij: "Ja, ga nu naar de markt, want daar vind je de specifieke kruiden die nodig zijn."

Dit bespaart tijd (rekenkracht) en zorgt voor betere kwaliteit. Als je weet dat RAG niet helpt, sla je het over. Als het wel helpt, doe je het.

Samenvatting in één zin

De onderzoekers hebben bewezen dat je niet kunt voorspellen of een zoektocht helpt door alleen naar de vraag te kijken, en dat je het ook niet perfect kunt voorspellen door alleen naar de gevonden informatie te kijken; je moet ook kijken naar het antwoord dat de AI heeft bedacht om echt te weten of het zoeken nuttig was. Hun nieuwe methode doet dit en werkt uitstekend.

Titel: RAG-prestatievoorspelling voor Vraag-Antwoord (Question Answering)

Auteurs: Or Dado, David Carmel, en Oren Kurland (Technion & Technology Innovation Institute)
Datum: April 2026 (Preprint)

1. Probleemstelling

Retrieval-Augmented Generation (RAG) is een veelgebruikte techniek om Large Language Models (LLMs) te verbeteren door externe kennis toe te voegen aan de prompt. Hoewel RAG vaak nuttig is om hallucinaties te verminderen en antwoorden te onderbouwen, levert het niet altijd voordelen op. In veel gevallen kan de opgehaalde content onnuttig of zelfs afleidend zijn, wat de kwaliteit van het gegenereerde antwoord verslechtert.

De centrale vraag van dit onderzoek is: Kan het voordeel (de "gain") van het toepassen van RAG op een specifieke vraag worden voorspeld ten opzichte van het niet gebruiken van RAG?
Een betrouwbare voorspelling zou het mogelijk maken om RAG selectief toe te passen (per instance), wat zowel de systematische effectiviteit als de computationele efficiëntie zou verbeteren door onnodige ophaal- en generatieprocessen te vermijden.

2. Methodologie

Definitie van RAG Gain

De auteurs definiëren de relatieve winst (gain) als de logaritmische verhouding tussen de kwaliteit van het antwoord met RAG-context en het antwoord zonder RAG:
$\text{Gain}(C|q, r, Q, \theta) = \log \frac{Q(\theta(q; C), r)}{Q(\theta(q), r)}$
Waarbij $Q$ een kwaliteitsmeting is en $r$ het referentieantwoord (ground truth). De voorspelling moet plaatsvinden zonder kennis van het referentieantwoord.

Kwaliteitsmetrieken

Om de kwaliteit van antwoorden te meten, gebruiken de auteurs drie semantische metrieken die beter presteren dan traditionele Exact Match (EM) of F1-scores:

QE5: Cosine-similariteit tussen embedding-vectoren (E5-large-v2) van het gegenereerde en het referentieantwoord.
QCE: Semantische associatiescore via een cross-encoder (RoBERTa-large).
QNLI: Een Natural Language Inference (NLI) taak om te bepalen of het gegenereerde antwoord semantisch wordt afgeleid uit het referentieantwoord (DeBERTa-v3-large-NLI).

Voorspellers (Predictors)

De studie evalueert drie categorieën van voorspellers, geordend op het moment van analyse in de RAG-pijplijn:

Pre-retrieval Predictors: Analyseren alleen de vraag en statistieken van het corpus (geen opgehaalde content).
- Methoden: SCQ, IDF, VAR (gebaseerd op tf-idf en termverdeling).
- Resultaat: Deze bleken volledig inefficiënt voor RAG-gain voorspelling.
Post-retrieval Predictors: Analyseren de vraag en de opgehaalde passages (voordat het LLM antwoordt).
- Onbewaakt (Unsupervised): WIG, NQC, SMV, REF (gebaseerd op scores van de opgehaalde lijst).
- Bewaakt (Supervised): Bert-Post. Een model dat de vraag en de top-5 passages combineert om de gain te voorspellen.
Post-generation Predictors: Analyseren de vraag, de passages, én de gegenereerde antwoorden (zowel met als zonder RAG).
- Onbewaakt: Uncertainty (reductie in entropie/onzekerheid van het LLM bij gebruik van RAG) en Entailment (NLI-score tussen context en antwoord).
- Bewaakt (Supervised): Bert-Gen. Een nieuw model dat de vraag, de passages, en beide gegenereerde antwoorden (met en zonder RAG) als input neemt om de gain te voorspellen.

Experimenteel Opzet

LLMs: Falcon-3-10B en Llama-3.1-8B.
Retrieval: BM25 (spars) en E5 (dicht) op Wikipedia.
Datasets: NQ-Open, HotpotQA, TriviaQA.
Training: Supervised regression met Mean Squared Error (MSE) loss om de daadwerkelijke gain te voorspellen.

3. Belangrijkste Resultaten

De resultaten, gemeten aan de hand van de Pearson-correlatie ( $r$ ) tussen de voorspelde en de werkelijke gain, tonen duidelijke trends:

Pre-retrieval faalt: Alle pre-retrieval methoden hebben een correlatie dicht bij nul (0.0 - 0.1). Het is onmogelijk om de RAG-winst te voorspellen puur op basis van de vraag en corpusstatistieken.
Post-retrieval is beperkt maar nuttig: Onbewaakte methoden tonen lage correlaties (0.1 - 0.3). De bewaakte methode Bert-Post presteert aanzienlijk beter (tot ~0.45), wat aantoont dat het modelleren van semantische relaties tussen vraag en documenten essentieel is.
Post-generation is superieur: De hoogste correlaties worden bereikt door methoden die het gegenereerde antwoord meenemen.
- Uncertainty (onbewaakt) is een sterke indicator (0.35 - 0.55), wat suggereert dat een daling in LLM-onzekerheid een goede proxy is voor RAG-winst.
- Bert-Gen (bewaakt) is de beste methode. Het bereikt correlaties van 0.71 tot 0.89 afhankelijk van het dataset en de LLM. Het is statistisch significant beter dan alle andere methoden.

Conclusie van de resultaten: De meest effectieve voorspelling vereist een holistische benadering die de interactie tussen de vraag, de opgehaalde documenten en het gegenereerde antwoord expliciet modelleert.

4. Bijdragen

Systeematisch onderzoek: Een uitgebreide evaluatie van bestaande query-performance predictors (uit de ad-hoc retrieval literatuur) en nieuwe methoden voor RAG-gain voorspelling.
Nieuwe methode (Bert-Gen): Introductie van een bewaakte post-generation predictor die semantische relaties tussen vraag, context en antwoord leert te modelleren. Dit model bereikt state-of-the-art prestaties.
Empirisch inzicht: Aantonen dat pre-retrieval voorspellers nutteloos zijn voor RAG, terwijl post-generation signalen (vooral onbewaakte onzekerheid en bewaakte modellen) zeer krachtig zijn.
Validatie: De resultaten zijn robuust over verschillende LLM-architecturen (Falcon, Llama), retrieval-methoden (BM25, E5) en datasets.

5. Betekenis en Toekomstperspectief

De studie heeft grote implicaties voor de implementatie van RAG-systemen in de praktijk:

Selectieve RAG: Door de winst van RAG vooraf te kunnen voorspellen, kunnen systemen dynamisch beslissen of ze een zoekopdracht moeten uitvoeren. Dit bespaart rekenkracht en verlaagt latentie voor vragen waar RAG geen meerwaarde biedt.
Efficiëntie vs. Kwaliteit: Het stelt ontwikkelaars in staat om een afweging te maken tussen kosten en kwaliteit door een drempelwaarde voor de voorspelde gain in te stellen.
Toekomstig werk: De auteurs plannen om deze voorspellers te integreren in "selective RAG" frameworks, waarbij de beslissing om te zoeken per vraag wordt genomen op basis van de verwachte gain.

Kortom, dit paper biedt een solide theoretische en empirische basis voor het bouwen van slimme, efficiënte RAG-systemen die niet blindelings zoeken, maar de noodzaak tot zoeken intelligent voorspellen.