Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

Titel: Principled Context Engineering voor RAG: Statistische Garantiën via Conformal Prediction

Auteurs: Debashish Chakraborty, Eugene Yang, Daniel Khashabi, Dawn Lawrie en Kevin Duh (Johns Hopkins University).

---

1. Het Probleem

Retrieval-Augmented Generation (RAG) systemen verbeteren de feitelijke grondslag van Large Language Models (LLM's) door externe bewijsstukken op te halen. Echter, deze systemen kampen met twee fundamentele beperkingen:

• Verlies van aandacht in lange contexten: LLM's vertonen het "lost-in-the-middle" effect, waarbij ze slecht presteren op informatie in het midden van een lange prompt. Hun effectieve aandachtspanne is vaak beperkt tot slechts 10-20% van de totale context.
• Ruis en ongecalibreerde scores: Bestaande filters gebruiken vaak heuristieken (zoals top-k) of ongecalibreerde LLM-vertrouwensscores. Deze methoden bieden geen statistische controle over welke bewijsstukken worden behouden. Dit leidt tot prompts die vol zitten met irrelevante of marginale informatie, wat de nauwkeurigheid verlaagt en de tokenkosten verhoogt.

Er is behoefte aan een methode die irrelevante content verwijdert terwijl de recall (het behoud van alle relevante stukjes) statistisch gegarandeerd blijft, zonder dat het model opnieuw getraind hoeft te worden.

---

2. Methodologie

De auteurs introduceren een raamwerk voor "Context Engineering" dat Split Conformal Prediction toepast direct na de ophaalfase (retrieval) en voor de generatiefase.

Kernconcepten:

• Doel: Een gefilterde subset $K_q$ van opgehaalde snippets $S_q$ selecteren die voldoet aan een door de gebruiker gespecificeerde miscoverage-rate $\alpha$. Dit betekent dat er met een kans van minstens $1-\alpha$ gegarandeerd wordt dat een relevant snippet behouden blijft.
• Workflow:
  1. Retrieval & Segmentatie: Een query haalt documenten op, die worden opgesplitst in snippets (bijv. 500 tekens met overlap).
  2. Scoring: Elke snippet krijgt een score $A(q, s)$ die de relevantie aangeeft (lagere score = relevanter). De auteurs testen twee scoring-functies:
     • Embedding-based: Gebruik van Qwen3-Embedding-8B (cosine-afstand).
     • LLM-based: Gebruik van GPT-4o om relevantie te beoordelen op een schaal van 0-1.
  3. Calibratie: Een gescheiden calibratie-set ($D_{cal}$) wordt gebruikt om de drempelwaarde $\hat{\tau}_\alpha$ te bepalen. Deze drempel is de $(1-\alpha)$-quantiel van de scores van de bekende relevante snippets.
  4. Filtering: Tijdens het testen worden alleen snippets behouden waarvan de score lager is dan of gelijk is aan $\hat{\tau}_\alpha$.
  5. Generatie: De gefilterde snippets worden aan de generator (Llama 3.3-70B) gegeven voor het beantwoorden van de vraag.

Voorwaarde: De methode veronderstelt uitwisselbaarheid (exchangeability) tussen de calibratie- en testdata (dezelfde verdeling van onderwerpen).

---

3. Belangrijkste Bijdragen

1. Statistisch Onderbouwd Filteren: De eerste toepassing van conformal prediction in RAG om voorafgaand aan de generatie context te filteren, met formele garanties over de recall van relevante informatie.
2. Efficiëntie zonder Hertraining: Het systeem vereist geen hertraining van het LLM of de retriever. Het werkt model-agnostisch en kan worden toegepast op bestaande pipelines.
3. Empirische Validatie: Uitgebreide evaluatie op twee datasets (NeuCLIR en RAGTIME) die aantoont dat contextgrootte drastisch kan worden verkleind zonder verlies aan feitelijke nauwkeurigheid.

---

4. Resultaten

De experimenten zijn uitgevoerd op de NeuCLIR en RAGTIME collecties.

• Garantie van Coverage:
  • Zowel de embedding- als de LLM-based methoden voldeden aan of overtroffen de theoretische coverage-garanties ($1-\alpha$).
  • De embedding-methode volgde de doelstelling nauwkeuriger, terwijl de LLM-methode iets meer "over-coverage" vertoonde door de gediscriteerde scores.
• Contextreductie:
  • Conformal filtering kon de contextgrootte met 2 tot 3 keer verminderen ten opzichte van ongefilterde retrieval.
  • Bij strikte filtering (lage $\alpha$) werd 25-55% van de snippets verwijderd bij volledige coverage. Bij minder strikte filtering kon tot 70% worden verwijderd.
• Feitelijke Nauwkeurigheid (ARGUE F1):
  • Op de NeuCLIR dataset verbeterde de feitelijke nauwkeurigheid (gemeten met ARGUE F1) onder strikte filtering (van 0.69 naar 0.72).
  • Bij moderate filtering bleef de nauwkeurigheid statistisch gelijk aan de ongefilterde baseline.
  • Conclusie: Het grootste deel van de verwijderde content was redundant of irrelevant; het verwijderen ervan verhoogde zelfs de kwaliteit door ruis te elimineren.

Vergelijking met Baselines:

• Traditionele heuristieken (zoals top-k of vaste drempels) leverden geen controleerbare coverage op. Bijvoorbeeld, een top-k van 30 leverde slechts 76% coverage op, terwijl conformal filtering doelbewust 90-95% kon garanderen.

---

5. Significantie en Toekomstperspectief

Dit werk positioneert conformal prediction als een fundamenteel, lichtgewicht instrument voor Context Engineering in RAG-systemen.

• Betrouwbaarheid: Het biedt een manier om de "attention budget" van een LLM te beheren met wiskundige zekerheid, in plaats van te vertrouwen op giswerk of heuristieken.
• Kostenefficiëntie: Door irrelevante tokens te verwijderen, worden de inferentiekosten verlaagd en de prestaties van het model verbeterd door minder ruis.
• Toekomst: De auteurs wijzen op de noodzaak van verdere onderzoek naar adaptieve recalibratie om de aanname van uitwisselbaarheid te verzwakken, zodat het systeem ook robuust blijft bij distributieveranderingen (bijv. nieuwe domeinen of onderwerpen).

Samenvattend bewijst dit artikel dat het mogelijk is om RAG-systemen slimmer en compacter te maken door statistische principes toe te passen, waardoor ze betrouwbaarder worden in het hanteren van lange contexten.