💻 computer science

Context Attribution with Multi-Armed Bandit Optimization

Deze paper introduceert een nieuw raamwerk dat contextattributie voor retrieval-augmented generation formuleert als een combinatorisch multi-armed bandit-probleem, waarbij Lineaire Thompson Sampling wordt gebruikt om adaptief de meest invloedrijke contextsegmenten te identificeren met tot 30% minder modelqueries dan bestaande methoden.

Oorspronkelijke auteurs: Deng Pan, Keerthiram Murugesan, Ting Hua, Nuno Moniz, Nitesh Chawla

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Deng Pan, Keerthiram Murugesan, Ting Hua, Nuno Moniz, Nitesh Chawla

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt (een Large Language Model of LLM). Je stelt hem een vraag en hij geeft een antwoord, waarbij hij een stapel boeken (de "context") heeft gebruikt om zijn antwoord te vormen.

Het probleem? Soms verzonnen deze assistenten dingen (hallucinaties) of gebruiken ze de verkeerde boeken. We willen weten: Welke specifieke zinnen uit die stapel boeken waren eigenlijk belangrijk voor het antwoord?

Deze paper introduceert een nieuwe manier om dat te achterhalen, genaamd CAMAB. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Grote Stapel Boeken"

Stel je voor dat je een detective bent die een moord moet oplossen. Je hebt 100 getuigenverklaringen (de context). Je wilt weten welke 3 of 4 verklaringen de sleutel tot de zaak zijn.

De oude manier (zoals SHAP): Je neemt elke verklaring, leest hem hardop voor, en vraagt de detective: "Wat als deze verklaring niet bestond?" Dan doe je dat voor elke combinatie van verklaringen. Als je 100 verklaringen hebt, moet je dit miljoenen keren doen. Dat kost enorm veel tijd en geld (zoals het betalen van de detective per uur).
Het doel: We willen weten welke zinnen belangrijk zijn, maar we hebben niet de tijd of het geld om alles oneindig te testen.

2. De Oplossing: Een Slimme Gokker (Multi-Armed Bandit)

De auteurs vergelijken het probleem met een slotmachine (een "Multi-Armed Bandit").

Elke zinnen in de tekst is een hendel van de slotmachine.
Als je een hendel trekt (een zin selecteert), krijg je een beloning (een goed antwoord van de AI).
Het doel is om de beste hendels te vinden, maar je mag maar een beperkt aantal keren trekken (want elke trekking kost geld/tijd).

De meeste methoden trekken willekeurig aan hendels. CAMAB is slimmer: het is een gokker die leert terwijl hij speelt.

3. Hoe werkt CAMAB? (De "Slimme Gokker")

In plaats van willekeurig te proberen, gebruikt CAMAB een techniek genaamd Linear Thompson Sampling. Hier is hoe dat werkt in een metafoor:

Stel je voor dat je een chef-kok bent die een recept probeert te reconstrueren. Je hebt een lijst met 50 ingrediënten (de zinnen). Je wilt weten welke ingrediënten het gerecht echt lekker maken.

De Gok: De chef maakt een gok: "Ik denk dat knoflook en basilicum belangrijk zijn, maar suiker misschien niet." Hij kiest een willekeurige combinatie van ingrediënten op basis van zijn huidige kennis.
De Test: Hij maakt het gerecht met alleen die ingrediënten en proeft het (dit is het vragen aan de AI).
De Leerervaring:
- Als het gerecht lekker smaakt, denkt hij: "Aha! Die combinatie werkt!"
- Als het niet lekker is, denkt hij: "Oké, die combinatie was fout."
De Aanpassing: De volgende keer kiest hij een nieuwe combinatie, maar nu slimmer. Hij focust meer op de ingrediënten die eerder goed werkten en probeert minder op diegene die faalden.

Dit proces herhaalt zich. In plaats van 1000 keer te proberen (zoals de oude methoden), heeft deze slimme chef na slechts 40 proeven al een heel goed idee welke ingrediënten de sterren zijn.

4. Waarom is dit zo goed?

Efficiëntie: De paper laat zien dat CAMAB 30% minder vragen nodig heeft dan bestaande methoden om hetzelfde goede resultaat te krijgen. Het is alsof je een zoektocht doet in een bibliotheek en in plaats van elke plank te controleren, je direct naar de juiste sectie loopt.
Zelflerend: Het systeem past zich aan. Als het merkt dat twee zinnen samen werken (bijvoorbeeld twee zinnen over dezelfde persoon), leert het dat ze "samenwerken" en past zijn strategie daarop aan.
Werkt overal: Het werkt zelfs als je de "recepten" van de AI niet kunt zien (zoals bij betaalde API's van OpenAI of Google), zolang je maar de uitkomst kunt meten.

Samenvatting in één zin

CAMAB is als een slimme detective die niet elke verdachte afzonderlijk ondervraagt, maar slimme combinaties van verdachten test om in recordtijd te achterhalen wie de dader is, terwijl hij zijn budget (tijd en geld) bespaart.

Kortom: Het is een snellere, goedkopere en slimmere manier om te begrijpen waarom een AI iets zegt, zodat we kunnen vertrouwen op zijn antwoorden.

Titel: Context Attribution met Multi-Armed Bandit-Optimalisatie (CAMAB)

Auteurs: Deng Pan, Keerthiram Murugesan, Ting Hua, Nuno Moniz, Nitesh V. Chawla.
Publicatie: ACL 2026 (Findings).

1. Het Probleem: Context Attribution in RAG

Retrieval-Augmented Generation (RAG) is een dominante aanpak voor kennisintensieve vraag- en antwoordtaken, waarbij Large Language Models (LLM's) worden verrijkt met externe context. Een kritieke uitdaging blijft echter het garanderen dat de gegenereerde antwoorden echt gebaseerd zijn op de verstrekte context en niet op "hallucinaties" of onterechte informatie.

Bestaande methoden voor attributie (het toewijzen van de bijdrage van specifieke contextsegmenten aan het antwoord) hebben twee grote beperkingen:

Trainingsgebaseerde methoden: Vereisen dat modellen tijdens het genereren expliciet citeren, maar de betrouwbaarheid hiervan is niet garandeerbaar.
Post-hoc perturbatiemethoden (bijv. SHAP, LIME, ContextCite): Deze werken door systematisch contextsegmenten te maskeren of te verstoren om de impact op de output te meten. Hoewel ze accuraat zijn, zijn ze computatierijk en inefficiënt. Ze vereisen vaak uniforme steekproeven van een enorm aantal mogelijke subsetcombinaties, wat ze onpraktisch maakt voor lange contexten of scenario's met een beperkt query-budget (bijv. bij dure API's of black-box modellen).

2. Methodologie: CAMAB Framework

De auteurs stellen CAMAB (Context Attribution with Multi-Armed Bandit) voor, een nieuw raamwerk dat contextattributie formuleert als een Combinatorisch Multi-Armed Bandit (CMAB) probleem. In plaats van alle mogelijke combinaties te testen, wordt het proces gezien als een zoektocht naar de meest invloedrijke segmenten binnen een beperkt budget.

Kerncomponenten:

Probleemformulering (CMAB):
- Elke contextsegment (bijv. een zin) wordt behandeld als een "arm" van de bandit.
- Een actie bestaat uit het selecteren van een subset van segmenten (een "super-arm").
- Het doel is om de meest invloedrijke segmenten te identificeren met een minimaal aantal LLM-query's.
Beloning (Reward) Modellering:
- De kwaliteit van een geselecteerde subset $S$ wordt gemeten aan de hand van de token-log-probabiliteiten van het oorspronkelijke antwoord.
- De beloning $V(S)$ is de gemiddelde log-probabiliteit van de gegenereerde tokens gegeven de subset $S$ :
  $V(S) = \frac{1}{T} \sum_{t=1}^{T} \log P_M(r_t | Q, S, r_{1}, \dots, r_{t-1})$
- Dit maakt de methode toepasbaar op zowel open-source als black-box API-modellen (zolang token-log-probabiliteiten beschikbaar zijn).
Linear Thompson Sampling (LinTS):
- Om de combinatorische zoekruimte efficiënt te navigeren, gebruiken de auteurs Linear Thompson Sampling.
- Ze nemen aan dat de beloning lineair afhankelijk is van de bijdragen van individuele segmenten: $V(S) = w^T x + \epsilon$ , waarbij $w$ de latente gewichten (attributiescores) zijn en $x$ een binaire vector is die aangeeft welke segmenten in de subset zitten.
- Bayesiaanse Update: Het algoritme onderhoudt een posterior-verdeling over de gewichten $w$ . In elke ronde wordt een mogelijke vector $\tilde{w}$ getrokken uit deze verdeling. Segmenten met een positief gesampled gewicht worden geselecteerd voor de volgende query.
- Interactie-effecten: Hoewel het model lineair is, vangt de precisiematrix $B_t$ (de inverse van de covariantiematrix) impliciete interacties tussen segmenten op. Als segmenten vaak samen goed presteren, wordt dit weerspiegeld in hun individuele gewichten zonder expliciete niet-lineaire modellering.
Algoritme Loop:
1. Initialiseer prior over gewichten.
2. Sample een gewichtvector $\tilde{w}$ .
3. Construeer een subset $S$ van segmenten met $\tilde{w}_j > 0$ .
4. Query het LLM met $S$ en observeer de beloning.
5. Update de posterior (precisie- en informatiematrix).
6. Herhaal tot het budget is opgebruikt. De finale attributiescores zijn de posterior-middens.

3. Belangrijkste Bijdragen

Formulering als CMAB: Het eerste raamwerk dat segmentniveau-attributie formuleert als een combinatorisch bandit-probleem, wat een fundamenteel nieuwe kijk biedt op het optimaliseren van perturbatiestrategieën.
Efficiëntie via LinTS: Het gebruik van Linear Thompson Sampling stelt het systeem in staat om adaptief informatieve subsets te verkennen, wat leidt tot een drastische reductie in het aantal benodigde modelqueries.
Black-box Toepasbaarheid: De methode werkt uitsluitend op basis van token-log-probabiliteiten, waardoor het compatibel is met commerciële API's en black-box modellen, in tegenstelling tot methoden die volledige logit-distributies nodig hebben.

4. Resultaten

De auteurs evalueren CAMAB op drie benchmarks: HotpotQA (multi-hop QA), CNN/DailyMail (samenvatting) en TyDi QA (meertalige QA), met behulp van LLaMA-3.1-8B en Qwen2.5-7B.

Query-efficiëntie: CAMAB bereikt vergelijkbare of betere attributiekwaliteit met tot 30% minder queries dan bestaande methoden. Bijvoorbeeld, CAMAB met 40 queries presteert vaak beter dan SHAP met 60 queries.
Kwaliteitsmetrieken:
- Top-k Log-Probability Drop: CAMAB toont een grotere daling in waarschijnlijkheid wanneer de juiste segmenten worden verwijderd, wat aangeeft dat het de kritieke informatie beter heeft geïdentificeerd.
- BERTScore: CAMAB behoudt de semantische consistentie van het antwoord beter bij het verwijderen van niet-relevante segmenten.
Vergelijking met Baselines:
- CAMAB overtreft consistent SHAP en ContextCite, vooral onder strikte budgetten (bijv. 20-40 queries).
- ContextCite presteert slecht bij lage budgets omdat het Lasso-regressie vereist, wat meer steekproeven nodig heeft voor stabiele feature-selectie.
Alignement met Gouden Feiten: Op HotpotQA toont CAMAB een hogere precisie (P@1) en F1-score in het identificeren van menselijk gelabelde ondersteunende feiten dan SHAP.
Interactie-effecten: Visualisaties van de precisiematrix tonen aan dat het model correlaties tussen gerelateerde segmenten (sub-thema's) succesvol vangt, wat de beperkingen van puur marginale scores opheft.

5. Betekenis en Conclusie

CAMAB biedt een schaalbare en kosteneffectieve oplossing voor contextattributie in generatieve AI-systemen. Door het probleem te herformuleren als een bandit-optimalisatie, lost het de "curse of dimensionality" op die perturbatiemethoden vaak parten speelt bij lange contexten.

Belangrijkste implicaties:

Het maakt betrouwbare attributie haalbaar voor black-box modellen en scenario's met hoge kosten/latentie.
Het biedt een nieuwe richting voor interpretability onderzoek die zich richt op actieve exploratie in plaats van passieve, uniforme steekproeven.
De code is open-source beschikbaar, wat de adoptie en verdere ontwikkeling in de gemeenschap stimuleert.

De auteurs merken op dat de methode mogelijk suboptimale lokale oplossingen kan vinden in zeer ruisige omgevingen als de balans tussen exploratie en exploitatie niet goed wordt ingesteld, maar voor de meeste praktische RAG-scenario's is het een superieure keuze.