Technische Samenvatting: VLD-RAG

Probleemstelling

Visueel rijke documenten (bijv. rapporten, slides, handleidingen) verdelen de bewijslast die nodig is om een vraag te beantwoorden vaak over meerdere pagina's, waarbij tekst wordt gemengd met complexe lay-outs, tabellen, grafieken en figuren. Standaard Retrieval-Augmented Generation (RAG)-pipelines, die primair zijn ontworpen voor tekstgecentreerde omgevingen, presteren in deze scenario's minder goed. Het converteren van pagina's naar platte tekst leidt vaak tot informatieverlies, waarbij lay-outsemantiek, ruimtelijke relaties en niet-tekstuele aanwijzingen die essentieel zijn voor een correcte interpretatie, worden vertroebeld. Bovendien kampen bestaande vision-first benaderingen met uitdagingen: de afhankelijkheid van geëxtraheerde tekst of OCR kan structurele signalen missen; naïeve fusie van lexicale en semantische signalen kan broos zijn wanneer modaliteiten van mening verschillen; en single-shot retrieval is vaak onvoldoende voor lange documenten die een multi-step ontdekking van verspreide bewijslast vereisen.

Methodologie: VLD-RAG Framework

De auteurs stellen VLD-RAG voor, een agentic multimodal RAG-framework ontworpen voor multi-page bewijsretrieval en cross-page redeneren. Het systeem werkt in drie primaire stadia:

1. Dual-Space Document Representatie

VLD-RAG maakt gebruik van een dual-index architectuur om complementaire signalen te behouden:

• Visual Index: Pagina-afbeeldingen worden gecodeerd in dense vision-language embeddings ($v_i$) met behulp van een vision encoder (ColPali). Dit behoudt de visuele lay-out en tekstuele semantiek in een verenigde ruimte, conform de "retrieve by page image"-filosofie.
• Text Index: Pagina's worden geparsed naar gestructureerde Markdown, waarbij lay-outinformatie (tabellen, figuren, koppen) behouden blijft. Deze worden geserialiseerd en geïndexeerd als chunk embeddings ($t_{i,j}$). Dit maakt een getrouwe reconstructie van bewijs en precieze lexicale matching (ID's, getallen, zeldzame entiteiten) mogelijk.

2. Multimodale Query Formulering en Hybride Retrieval

Bij het ontvangen van een query $q$ voert het systeem een multimodale query-decompositie uit om gestructureerde retrieval-intents te genereren, inclusief saillante entiteiten, visuele ankers en verwachte bewijstypen. Het retrievalproces combineert twee takken:

• Sparse Lexical Retrieval: Extraheert trefwoorden ($k$) uit de query om een standaard zoekopdracht op basis van term-frequentie uit te voeren.
• Dense Semantic Retrieval: Genereert een "hypothetisch document" ($h$) geconditioneerd op de query met behulp van een taalmodel (Gemma3n). Dit synthetische document benadert de inhoud van een ideale antwoord-dragende pagina, waardoor de semantische kloof tussen de query en het document wordt overbrugd. Het hypothetische document wordt gecodeerd in een dense vision-language embedding ($e_h$) en gematcht tegen pagina-embeddings via ANN-search.

Modality-Consistent Fusion:
Kandidaten uit beide takken worden samengevoegd. Om cross-modale discrepanties op te vangen, wordt een consistency-constrained fusion score toegepast:
$$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$$
waarbij $\Delta(i)$ kandidaten bestraft waar sparse en dense signalen significant van mening verschillen.

3. Agentic Workflow en Iteratieve Verfijning

VLD-RAG maakt gebruik van een verifier-guided agent workflow bestaande uit een Retrieval Agent, Answer Agent en Validation Agent.

• Evidence-Grounded Generation: De generator produceert een antwoord dat gebaseerd is op opgehaalde pagina-regio's, geparste Markdown-spans en metadata.
• Verification Loop: Een validation agent controleert of het gegenereerde antwoord voldoende wordt ondersteund door het bewijs (vertrouwensdrempel $\tau$). Als de validatie faalt (bijv. ontbrekende citaties of lage betrouwbaarheid), triggert het systeem een iteratieve verfijning stap. De query wordt verfijnd ($q'$) op basis van het ontbrekende bewijs, en het retrievalproces wordt herhaald met bijgewerkte intents.

Belangrijkste Bijdragen

1. Dual-Index Architectuur: Een vision-language document RAG-framework dat zowel visuele lay-out-aanwijzingen (via pagina-level embeddings) als precieze lexicale signalen (via gestructureerde Markdown-serialisatie) behoudt.
2. Modality-Consistent Hybrid Retrieval: Een retrievalstrategie die expliciet overeenstemming tussen sparse en dense modaliteiten modelleert, gebruikmakend van consistency constraints om de robuustheid tegen cross-modale mismatches te verbeteren.
3. Verifier-Guided Agentic Loop: Een mechanisme dat betrouwbare multi-page bewijsontdekking mogelijk maakt door iteratieve query-verfijning, wat de ontoereikendheid van single-shot retrieval voor complexe, cross-page vragen aanpakt.

Experimentele Resultaten

Het framework werd geëvalueerd op twee multimodale long-document benchmarks: LongDocURL en MMLongBench-Doc.

• Retrieval Performance: VLD-Rage vertoonde consistente verbeteringen ten opzichte van baselines (inclusief M3DocRAG, MDocAgent en MoLoRAG) in Recall@K, NDCG en MRR over alle top-K instellingen ($K \in \{1, 3, 5\}$).
  • Op MMLongBench-Doc behaalde VLD-RAG de hoogste Recall en ranking-kwaliteit metrieken.
  • Op LongDocURL (die langere documenten en een hoger percentage multi-page vragen bevat) liet VLD-RAG bijzonder sterke winsten zien in Recall en NDCG, waarbij het text-only en image-only baselines overtrof.
• Analyse: De resultaten geven aan dat de hybride aanpak effectief positie-bewuste relevantie vastlegt, wat cruciaal is voor multi-page retrieval. De integratie van hypothetische documentgeneratie hielp de semantische kloof te overbruggen, vooral wanneer bewijs ingebed was in complexe lay-outs. Hoewel sommige baselines een hogere Precision behaalden bij intermediaire K-waarden, suggereert de superieure Recall en ranking-metrieken van VLD-RAG een betere algehele effectiviteit voor retrieval-augmented generation taken die een uitgebreide bewijslast vereisen.

Betekenis

Het artikel stelt dat gecoördineerde agent-verificatie en multimodale hybride retrieval cruciaal zijn voor betrouwbare grounding wanneer correcte antwoorden afhangen van bewijs dat verspreid is over pagina's. Door visuele lay-outinformatie te behouden terwijl precieze lexicale matching behouden blijft, adresseert VLD-RAG de beperkingen van bestaande RAG-systemen in visueel rijke, long-document contexten. De bevindingen benadrukken dat effectieve multimodale RAG niet alleen betere encoders vereist, maar ook structurele strategieën voor het fuseren van modaliteiten en iteratieve mechanismen om ontbrekend bewijs te herstellen.