Technische Samenvatting: VisRAG2.0 (EVisRAG)

Probleemstelling

Visual Retrieval-Augmented Generation (VRAG) beoogt Vision-Language Models (VLM's) uit te rusten met extern visueel bewijs om vragen te beantwoorden die de parametrische kennis overstijgen. Bestaande VRAG-benaderingen kampen echter met aanzienlijke uitdagingen in multi-image scenario's:

1. Visuele Hallucinaties: VLM's falen vaak in het accuraat identificeren van vraag-relevante bewijslast over meerdere opgehaalde afbeeldingen, wat leidt tot onjuiste antwoorden of het fabriceren van niet-bestaande visuele inhoud.
2. Gebrek aan Expliciete Bewijsverzameling: Huidige methoden transporteren vaak tekstgebaseerde RAG-praktijken naar het visuele domein zonder een expliciet proces voor cross-image bewijsverzameling. Ze vertrouwen op externe agenten of tools, wat de architecturale complexiteit en computationele kosten verhoogt.
3. Trainingsinstabiliteit: Het gezamenlijk optimaliseren van visuele perceptie en redenering met gemengde beloningen leidt vaak tot instabiele training. Het gebrek aan duidelijke credit assignment veroorzaakt interferentie tussen signalen, waarbij gradiënten van heterogene doelstellingen concurreren over irrelevante tokens.

Methodologie: EVisRAG

De auteurs stellen EVisRAG voor (Evidence-guided Vision Retrieval-augmented Generation), een framework dat is ontworpen om VLM's in staat te stellen precieze visuele perceptie en redenering uit te voeren over meerdere afbeeldingen.

1. Evidence-Guided Reasoning Proces

EVisRAG structureert het generatieproces in vier afzonderlijke stadia, waarbij het verder gaat dan standaard Chain-of-Thought (CoT) door observatie, bewijsregistratie en redenering expliciet te scheiden:

• Retrieval (Ophalen): Haalt de top-$k$ documentpagina-snapshots op die relevant zijn voor de query.
• Visual Perception (Observatie): Het model observeert sequentieel de opgehaalde afbeeldingen en genereert een grove, pagina-bewuste observatie ($y_o$) om een begrip van de visuele inhoud te vestigen.
• Evidence Recording (Bewijsregistratie): Geconditioneerd op de query en observaties, genereert het model per-afbeelding bewijssequenties ($y_e$). Cruciaal is dat het expliciet "geen relevante informatie" registreert voor afbeeldingen die geen bewijs bevatten, wat voorkomt dat het model irrelevante details in de redenering dwingt.
• Answer Reasoning (Antwoord Redenering): Het model voert een "detective-stijl" redenering ($y_r$) uit over de geaggregeerde bewijslast ($y_p = \{y_o, y_e\}$), waarbij hypothesen formuleert, tegenstrijdigheden controleert en een coherente traject organiseert voordat het uiteindelijke antwoord ($y_a$) wordt gegenereerd.

2. Reward-Scoped Group Relative Policy Optimization (RS-GRPO)

Om EVisRAG effectief te trainen, introduceren de auteurs RS-GRPO, een uitbreiding van Group Relative Policy Optimization (GRPO) die het credit assignment probleem in multi-stage redenering aanpakt.

• Reward Scopes (Beloningsbereiken): De output-sequentie wordt gesegmenteerd in vier scopes: Observatie ($T_o$), Bewijsregistratie ($T_e$), Redenering ($T_r$) en Antwoord ($T_a$).
• Fine-Grained Rewards (Gedetailleerde Beloningen): Drie specifieke beloningen worden toegepast:
  • Format Reward ($R_{format}$): Dwingt naleving af van de gestructureerde workflow (observeren $\to$ registreren $\to$ redeneren $\to$ antwoorden).
  • Perception Reward ($R_{perception}$): Evalueert of vraag-relevante regio's correct zijn gelokaliseerd en samengevat in de bewijsregistratiefase.
  • Derivation Reward ($R_{derivation}$): Evalueert of het uiteindelijke antwoord correct is afgeleid uit de geregistreerde bewijslast.
• Scoped Optimization (Bereik-specifieke Optimalisatie): In tegen tegenstelling tot traditionele methoden die beloningen over de gehele sequentie uitzenden, beperkt RS-GRPO elke beloning tot zijn effectieve token-scope (bijv. $R_{perception}$ superviseert alleen $T_o$ en $T_e$). Dit vermindert cross-stage interferentie, verscherpt de optimalisatiesignalen en stabiliseert de training.

Belangrijkste Bijdragen

1. EVisRAG Framework: Een nieuwe architectuur die visuele bewijsverzameling expliciet scheidt van redenering, waardoor VLM's als "detectives" kunnen optreden door bewijs beeld voor beeld te verzamelen en te verifiëren voordat ze een conclusie trekken.
2. RS-GRPO Algoritme: Een trainingsstrategie die scope-specifieke beloningen introduceert om beloningssignalen af te stemmen op specifieke token-spans. Dit mitigeert de interferentie tussen perceptie- en redeneerdoelstellingen, wat leidt tot een stabielere en effectievere gezamenlijke optimalisatie.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over vijf diverse VQA-benchmarks (ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek) die de effectiviteit van de aanpak demonstreren.

Experimentele Resultaten

• Prestatiewinst: EVisRAG (gebruikmakend van een 7B-parameter backbone) presteert consequent beter dan de baseline Qwen2.5-VL-7B met een gemiddelde van 19% in accuratesse en 27% in F1-score. Het overtreft ook grotere 32B-modellen en andere state-of-the-art VLRM's en VRAG-methoden.
• Reductie van Hallucinaties: Het framework vermindert visuele hallucinaties aanzienlijk. In scenario's met onjuiste retrieval vertoont EVisRAG een gecontroleerde toename in onthouding (weigeren te antwoorden) in plaats van het genereren van onjuiste antwoorden, wat wijst op een verbeterde getrouwheid aan de opgehaalde inhoud.
• Ablatie-studies:
  • Het vervangen van generieke CoT door Evidence-Guided Reasoning levert consistente winsten op, wat de waarde van gestructureerde bewijslokalisatie bewijst.
  • RS-GRPO presteert beter dan DAPO en StepGRPO, wat bevestigt dat scoped credit assignment cruciaal is voor prestaties.
• Aandachtsanalyse: EVisRAG bereikt de hoogste visuele bewijs-aandachtsratio (concentratie op door mensen geannoteerde bewijsboxen) vergeleken met de onderzochte methoden, wat sterk correleert met een hogere redeneernauwkeurigheid.
• Efficiëntie: Ondanks de multi-stage generatie behoudt EVisRAG een concurrente inferentie-latentie (ongeveer 100s) en outputlengte, waarbij het baselines zoals R1-Router overtreft die hogere computationele kosten met zich meebrengen voor een vergelijkbare of lagere nauwkeurigheid.

Betekenis

Het artikel stelt dat expliciete bewijsverzameling en scoped reward design effectieve mechanismen zijn voor het verbeteren van visuele grounding en de betrouwbaarheid van redeneringen in multi-image settings. Door perceptie te ontkoppelen van redenering en gerichte supervisie toe te passen, pakt EVisRAG de kernoorzaken van visuele hallucinaties in VRAG aan. Het werk demonstreert dat een 7B-model uitgerust met dit framework de prestaties van aanzienlijk grotere modellen kan evenaren, wat een praktische en schaalbare weg biedt naar meer betrouwbare, interpreteerbare en hallucinatie-resistente visuele retrieval-augmented generatiesystemen.