💬 NLP

BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering

BERAG is een nieuw framework voor Retrieval-Augmented Generation dat, in plaats van documenten samen te voegen, de bijdrage van individuele bronnen tijdens het genereren van antwoorden berekent via Bayesiaanse gewichten, wat leidt tot betere prestaties en minder fouten bij complexe visuele vraagbeantwoording.

Oorspronkelijke auteurs: Jinghong Chen, Jingbiao Mei, Guangyu Yang, Bill Byrne

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jinghong Chen, Jingbiao Mei, Guangyu Yang, Bill Byrne

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hele moeilijke vraag moet beantwoorden voor een examen, en je mag een enorme stapel boeken gebruiken om het antwoord te vinden.

De huidige manier waarop computers dit doen (we noemen dat RAG), is een beetje alsof je alle pagina's uit al die boeken uitknipt, ze op één gigantische, kilometerslange papierstrook plakt en die strook aan een robot geeft. De robot moet dan die hele strook lezen om het antwoord te vinden.

Het probleem met die "papierstrook-methode":

Verdwalen in het midden: Als de strook te lang wordt, raakt de robot de draad kwijt. Hij ziet het begin en het einde nog wel, maar de belangrijkste informatie die ergens in het midden staat, mist hij volledig. Dit noemen wetenschappers het "lost-in-the-middle" effect.
Traag en zwaar: Hoe langer de strook, hoe meer energie en tijd het kost om hem te lezen. Het is alsof je een marathon moet rennen terwijl je een muur voor je uit sleept.
Wie zei dat eigenlijk?: Als de robot een antwoord geeft, weet je niet uit welk boek die specifieke zin kwam. Het is één grote brij van informatie geworden.

De oplossing: BERAG (De "Slimme Jury-methode")

De onderzoekers van de Universiteit van Cambridge hebben iets nieuws bedacht: BERAG. In plaats van alles aan elkaar te plakken, werkt dit systeem als een slimme jury van experts.

Stel je voor dat je de vraag stelt aan 50 verschillende experts. Elke expert krijgt slechts één boek te lezen. Ze werken allemaal tegelijkertijd (dat is veel sneller!).

Hoe werkt die "Jury" (het Bayesiaanse proces)?
Het mooie is dat deze experts niet zomaar wat roepen. Ze werken met een soort "vertrouwen-meter":

De eerste indruk (De Prior): Voordat ze beginnen, kijkt de jury naar de boeken en zegt: "Boek A ziet er relevant uit, maar Boek B lijkt een geschiedenisboek en dat hebben we niet nodig."
Het gesprek (De Posterior): Terwijl de experts het antwoord woord voor woord opbouwen, kijken ze naar elkaar. Als Expert A een woord zegt dat perfect past bij de vraag, denkt de rest: "Hé, die expert heeft gelijk! Ik ga hem meer geloof waarderen." Als Expert B iets zegt dat nergens op slaat, wordt zijn stem in de jury direct zachter gemaakt.
De conclusie: Het uiteindelijke antwoord is een optelsom van de stemmen, waarbij de experts die het meest relevante bewijs leveren, de meeste macht hebben.

Waarom is dit zo geweldig? (De voordelen)

Geen verwarring meer: Omdat de experts niet met een gigantische papierstrook worstelen, maar met losse boekjes, raken ze nooit de draad kwijt in het midden.
Super snel (met een trucje): De onderzoekers ontdekten dat ze de "domme" experts (de boeken die totaal niet relevant zijn) direct uit de jury kunnen zetten. Dit heet pruning. Hierdoor gaat het systeem zelfs sneller dan de oude methode!
Eerlijkheid en eerlijk zeggen dat je het niet weet: Als de jury merkt dat geen enkele expert een goed antwoord heeft in zijn boek, kunnen ze collectief besluiten: "Sorry, we weten het niet." Dit voorkomt dat de computer gaat hallucineren (dingen verzinnen die niet waar zijn).
Bronvermelding: Je kunt precies zien welke expert (welk boek) de meeste stemmen kreeg. Je weet dus precies waar de informatie vandaan komt.

Samenvatting

In plaats van een robot te dwingen een eindeloze rol papier te lezen, geeft BERAG de robot een team van slimme specialisten die samenwerken, elkaar corrigeren en precies weten wanneer ze hun mond moeten houden. Het is slimmer, sneller en veel betrouwbaarder!

Technische Samenvatting: BERAG

1. Het Probleem: Beperkingen van Concatenaatieve RAG

De huidige standaard voor Retrieval-Augmented Generation (RAG) is ConcatRAG. Hierbij worden relevante documenten achter elkaar geplakt in één lange context die naar een taalmodel (LLM) wordt gestuurd. Dit brengt drie grote problemen met zich mee:

Slechte schaalbaarheid: De computationele kosten (attention cost) groeien kwadratisch met de contextlengte. Bij visuele data (VQA) wordt dit probleem extra ernstig door de enorme hoeveelheid tokens.
"Lost-in-the-middle" effect: Modellen presteren vaak minder goed wanneer relevante informatie in het midden van een lange context staat; ze focussen vooral op het begin en het einde.
Gebrek aan interpreteerbaarheid: Het is moeilijk te kwantificeren welk specifiek document heeft bijgedragen aan een bepaald deel van het gegenereerde antwoord.

2. Methodologie: BERAG en BEFT

De auteurs stellen een nieuw raamwerk voor dat afstapt van het samenvoegen van documenten en in plaats daarvan gebruikmaakt van een Bayesiaans ensemble.

A. Bayesian Ensemble Retrieval-Augmented Generation (BERAG)
In plaats van één lange context, wordt de kans op een antwoord $y$ berekend door te marginaliseren over de individuele documenten ( $z_k$ ) in de verzameling $Z$ .

Bayesiaanse updates: Tijdens het genereren van elk token wordt de relevantie van een document bijgewerkt met de Bayes-regel. Het model berekent een document posterior (achteraf bepaalde waarschijnlijkheid) op basis van de reeds gegenereerde tokens.
Document Prior: Voordat de generatie begint, wordt een prior (voorafgaande waarschijnlijkheid) bepaald via een getrainde MLP (Multi-Layer Perceptron) die de embeddings van de documenten analyseert.
Parallelle verwerking: Omdat elk document als een afzonderlijke, kortere context wordt behandeld, kunnen ze parallel worden verwerkt, wat het geheugengebruik efficiënter maakt.

B. Bayesian Ensemble Fine-Tuning (BEFT)
Om dit systeem effectief te maken, is een nieuwe trainingsmethode nodig. BEFT traint het model end-to-end met een log-likelihood loss die gewogen is door de document posterior. Het model leert hiermee om automatisch de documenten te prioriteren die de beste verklaring bieden voor het juiste antwoord, zonder dat expliciete labels voor documentrelevantie nodig zijn.

3. Belangrijkste Bijdragen

Nieuw paradigma: Een verschuiving van "concatenatie" naar "probabilistisch ensembelen" voor RAG.
Oplossing voor context-problemen: Het elimineert het "lost-in-the-middle" effect omdat de volgorde van documenten in de lijst de output niet beïnvloedt (ordering-agnostic).
Interpreteerbaarheid & Deflectie: De document posterior biedt een directe maatstaf voor de bijdrage van een document. Dit kan worden gebruikt voor "deflection": het weigeren van een antwoord als de posterior aangeeft dat geen enkel document relevant is.
Efficiëntie via Pruning: Door documenten met een lage posterior-waarschijnlijkheid tijdens het decoderen te verwijderen (Top-P pruning), kan BERAG sneller genereren dan standaard RAG bij grote hoeveelheden documenten.

4. Resultaten

Het model werd uitgebreid getest op Knowledge-based Visual Question Answering (KB-VQA) en andere taken:

E-VQA & Infoseek: BEFT presteert significant beter dan standaard SFT (Supervised Fine-Tuning) en DPO (Direct Preference Optimization) methoden, vooral wanneer de lijst met opgehaalde documenten groter is ( $K=50$ ).
SlideVQA: Het model vertoonde een enorme verbetering in het selecteren van bewijsmateriaal uit PowerPoint-presentaties (+15.4 punten op Evidence Selection EM).
Multi-modal Needle-in-a-Haystack (MMNeedle): BEFT-getrainde modellen presteerden beter dan geavanceerde modellen zoals GPT-4o en Claude 3 Opus bij het vinden van specifieke visuele informatie in een grote "hooiberg" van afbeeldingen.
Snelheid: Met Top-P pruning bleek BERAG sneller te zijn dan ConcatRAG bij een grote $K$ (bijv. $K=50$ ).

5. Betekenis en Conclusie

Dit onderzoek is significant omdat het aantoont dat een probabilistische benadering van RAG fundamentele tekortkomingen van huidige LLM's (zoals context-gevoeligheid en schaalbaarheid) kan oplossen. BERAG maakt het mogelijk om veel grotere hoeveelheden informatie (hoge Recall@K) te gebruiken zonder de nadelen van extreem lange contextvensters. Het biedt een robuust kader voor systemen die niet alleen antwoorden moeten geven, maar ook moeten kunnen aangeven wanneer ze de informatie niet hebben (betrouwbaarheid).