RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations

Dit paper introduceert RobustVisRAG, een causaliteitsbewust dual-path framework dat de robuustheid van vision-based retrieval-augmented generation verbetert onder visuele degradaties door semantiek en vervormingen effectief te scheiden, wat leidt tot aanzienlijke prestatieverbeteringen op het nieuwe Distortion-VisRAG-benchmark.

De kern

Stel je voor dat je een zeer slimme bibliothecaris hebt die niet alleen teksten kan lezen, maar ook foto's, grafieken en handgeschreven notities. Deze bibliothecaris heet VisRAG. Zijn taak is om naar een vraag te kijken, de juiste pagina's in de bibliotheek te vinden en daaruit een goed antwoord te formuleren.

Het probleem is echter: wat gebeurt er als de boeken in de bibliotheek vies, beschadigd of wazig zijn?

Stel je voor dat je een foto van een grafiek hebt die:

• Wazig is (alsof je door een beslagen raam kijkt).
• Veel ruis heeft (alsof er statische ruis op een oude TV zit).
• Te donker is (alsof het licht uit is).
• Schaduwen heeft die belangrijke tekst verbergen.

Deze "visuele degradaties" maken de slimme bibliothecaris gek. Hij kan de foto niet goed lezen, zoekt de verkeerde pagina's op en geeft een antwoord dat helemaal niet klopt. In de techniek noemen we dit dat de betekenis (wat er op de foto staat) en de ruis (de beschadiging) door elkaar lopen. De computer denkt dat de ruis een belangrijk onderdeel van de betekenis is.

De Oplossing: RobustVisRAG

De auteurs van dit paper hebben een nieuwe, slimmere bibliothecaris bedacht: RobustVisRAG. Ze gebruiken een slim idee uit de filosofie en statistiek genaamd causaliteit (oorzaak en gevolg).

Hier is hoe het werkt, vertaald naar een makkelijk verhaal:

1. Twee aparte wegen (Het Twee-Pad Systeem)

Stel je voor dat RobustVisRAG twee verschillende hersenstammen heeft die samenwerken, maar nooit met elkaar praten op de verkeerde manier:

• Pad A: De "Ruis-Scanner" (Niet-oorzakelijk pad)
  Deze kant van de hersenen kijkt alleen naar wat er mis is. Hij zegt: "Oh, deze foto is wazig," of "Deze foto is te donker." Hij verzamelt alle informatie over de beschadiging, maar kijkt niet naar de inhoud van de tekst. Hij fungeert als een waarschuwingssysteem.
• Pad B: De "Betekenis-Filter" (Oorzakelijk pad)
  Dit is de echte slimme kant. Hij probeert de inhoud te begrijpen. Maar hij krijgt hulp van Pad A. Pad A zegt: "Vergeet die wazigheid maar, kijk alleen naar de letters." Dankzij deze hulp kan Pad B de "schone" betekenis uit de foto halen, alsof de beschadiging er nooit was.

De Analogie:
Stel je voor dat je een brief leest die door een modderpoel is getrokken.

• Een gewone computer (oude VisRAG) probeert de hele brief te lezen, inclusief de modder. Hij denkt dat de modder een belangrijk woord is.
• RobustVisRAG heeft een assistent (Pad A) die zegt: "Dat is modder, dat is niet de tekst." De lezer (Pad B) veegt de modder er dan mentaal af en leest alleen de schone tekst.

2. De Training: Leren onderscheiden

Om dit te leren, hebben de onderzoekers een enorme nieuwe bibliotheek gemaakt genaamd Distortion-VisRAG.

• Ze hebben duizenden documenten genomen en er bewust ruis op gezet (wazig maken, donker maken, krassen erop zetten).
• Ze hebben de computer getraind om te zeggen: "Dit is de vraag, dit is de beschadiging, en dit is het echte antwoord."
• Het doel is om de computer te leren dat de oorzaak van het antwoord de tekst is, en niet de modder op de foto.

3. Waarom is dit zo goed?

De resultaten zijn indrukwekkend:

• Bij schone foto's: Hij werkt net zo goed als de oude versie. Hij verliest niets aan snelheid of slimheid.
• Bij vieze foto's: Hij is veel sterker. Waar de oude bibliothecaris in paniek raakte en fouten maakte, blijft RobustVisRAG kalm en geeft hij het juiste antwoord.
• Geen extra werk: Het beste deel? Op het moment dat je de computer gebruikt (bijvoorbeeld om een vraag te stellen), hoef je geen extra stappen te doen. Het systeem doet de "modder-veeg" automatisch en onzichtbaar in één keer.

Samenvatting in één zin

RobustVisRAG is als een slimme bibliothecaris die een onzichtbare bril draagt: hij ziet de beschadigingen op de pagina's (zoals vlekken of wazigheid), veegt ze mentaal weg, en leest alleen de schone tekst, zodat hij altijd het juiste antwoord geeft, ongeacht hoe vies de foto eruitziet.

Technische samenvatting

Probleemstelling

Vision-based Retrieval-Augmented Generation (VisRAG) systemen gebruiken Vision-Language Models (VLM's) om relevante visuele documenten op te halen en daarop gebaseerde antwoorden te genereren. Hoewel deze systemen effectief zijn bij schone invoer, vertonen ze een aanzienlijke prestatiedaling wanneer visuele inputs vervormingen ondergaan, zoals wazigheid (blur), ruis, slechte verlichting, schaduwen of compressie-artefacten.

De kern van het probleem is semantische vervormingsverstrengeling (semantic-distortion entanglement). In bestaande VLM's worden semantische informatie (de inhoud van het document) en degradatiefactoren (de vervorming) door de vooraf getrainde visuele encoders in één latenterepresentatie verweven. Dit leidt tot twee soorten fouten:

1. Retrieval-fouten: De encoder haalt onjuiste documenten op omdat de vervormde visuele representatie niet overeenkomt met de schone query.
2. Generatiefouten: Zelfs als het juiste document wordt opgehaald, kan de vervormde invoer de generatiestap misleiden, wat leidt tot hallucinaties of semantisch inconsistente antwoorden.

Bestaande oplossingen, zoals het gebruik van twee-staps herstelmethodes (image restoration) of het finetunen van VLM's (zowel PEFT als full fine-tuning), blijken onvoldoende. Herstelmethodes verbeteren vaak de perceptuele kwaliteit maar niet de semantische consistentie, terwijl finetuning vaak overpast op vervormingspatronen en leidt tot het vergeten van vooraf geleerde kennis.

Methodologie: RobustVisRAG

De auteurs stellen RobustVisRAG voor, een causaal geleid dual-path framework dat semantische en degradatie-informatie expliciet scheidt tijdens het visuele coderingsproces. De methode is gebaseerd op een Structureel Causaal Model (SCM) en bestaat uit de volgende componenten:

1. Causale Formulering
Het model behandelt de visuele input $X$ als een combinatie van semantische factoren ($S$) en degradatiefactoren ($D$). Het doel is om een gefactoriseerde representatie $Z = [Z_{sem}, Z_{deg}]$ te leren, waarbij $Z_{sem}$ onafhankelijk is van $D$. Dit stelt het model in staat om een interventiedistributie te benaderen: $P(A | do(D=d_0))$, waarbij de invloed van degradatie wordt "weggehaald".

2. Dual-Path Architectuur
Het framework gebruikt twee complementaire paden binnen de encoder:

• Non-Causal Path (Degradatie-pad): Dit pad gebruikt een unidirectionele attentiemechanisme. Een speciale "non-causal token" mag naar alle patch-tokens kijken, maar patch-tokens mogen niet terugkijken naar deze token. Hierdoor verzamelt deze token uitsluitend degradatie-informatie zonder semantische informatie te besmetten.
• Causal Path (Semantisch-pad): Dit pad focust op de aggregatie van semantische informatie via bidirectionele attentie tussen patch-tokens. De non-causal token is hieruit uitgesloten om te voorkomen dat degradatie-informatie in de semantische embedding lekt.

3. Leerdoelen (Loss Functions)
Om de functionaliteit van deze paden te waarborgen, worden twee specifieke objectieven geïntroduceerd:

• Non-Causal Distortion Modeling (NCDM): Een contrastief doel dat de non-causal token dwingt om degradatiesystematisch te modelleren. Het zorgt ervoor dat afbeeldingen met dezelfde vervorming dicht bij elkaar clusteren in de latent space, ongeacht hun inhoud.
• Causal Semantic Alignment (CSA): Een doel dat de semantische representatie ($Z_{sem}$) zuivert. Het bestaat uit twee delen:
  • Semantische consistentie: De semantische embedding van een vervormde afbeelding moet overeenkomen met die van de schone versie.
  • Onafhankelijkheid: De semantische embedding moet statistisch onafhankelijk zijn van de degradatie-embedding ($Z_{deg}$).

4. Inference
Tijdens de inferentie wordt alleen het causale pad ($Z_{sem}$) gebruikt voor retrieval en generatie. Het non-causale pad wordt verwijderd, wat betekent dat RobustVisRAG geen extra inferentiekosten heeft ten opzichte van een standaard VisRAG-pijplijn.

Belangrijkste Bijdragen

1. RobustVisRAG Framework: Een nieuw, causaal geleid dual-path systeem dat semantiek en degradatie effectief ontkoppelt zonder extra inferentiekosten. Het behoudt de schaalbaarheid en zero-shot generalisatie van bestaande modellen.
2. Distortion-VisRAG Dataset: Een uitgebreid benchmark-dataset voor de evaluatie van VisRAG onder vervormde omstandigheden. Het bevat:
   • 367.608 vraag-documentparen over 7 domeinen (wetenschappelijke papers, grafieken, formulieren, etc.).
   • Een synthetisch subset met 12 vervormingstypes op 5 ernstniveaus.
   • Een real-world subset met 5 vervormingstypes (waaronder slechte verlichting en schaduw) gefotografeerd onder gecontroleerde maar realistische omstandigheden.
3. Uitgebreide Evaluatie: Een systematische analyse van retrieval, generatie en end-to-end prestaties onder zowel synthetische als echte vervormingen.

Resultaten

Experimentele resultaten tonen aan dat RobustVisRAG significant beter presteert dan bestaande baselines (zoals VisRAG, VisRAG met finetuning, en twee-staps herstelmethodes):

• Retrieval: Een verbetering van 7,35% op real-world vervormde data (MRR@10).
• Generatie: Een verbetering van 6,35% op real-world vervormde data (Accuracy).
• End-to-End: Een totale prestatieverbetering van 12,40% op real-world data.
• Clean Data: Het model behoudt vergelijkbare nauwkeurigheid op schone invoer als de originele VisRAG-modellen, wat aantoont dat er geen "catastrophic forgetting" optreedt.
• Vergelijking: RobustVisRAG overtreft zelfs geavanceerde adversarial fine-tuning methoden (zoals FARE) en full fine-tuning strategieën, omdat het expliciet de causale structuur van degradatie modelleert in plaats van alleen te proberen robust te zijn tegen ruis.

Betekenis en Impact

Dit werk is significant omdat het een fundamentele oplossing biedt voor een van de grootste beperkingen van multimodale AI-systemen in de praktijk: de kwetsbaarheid voor visuele degradaties. Door causale principes toe te passen om semantiek en ruis te scheiden, biedt RobustVisRAG een schaalbare en efficiënte manier om VisRAG-systemen robuust te maken voor real-world toepassingen (zoals het verwerken van oude documenten, slecht gefotografeerde formulieren of mobiele scans). De introductie van de Distortion-VisRAG dataset vult bovendien een kritieke lacune in de literatuur door een standaard te bieden voor het evalueren van robustheid onder realistische, niet-ideale omstandigheden.