Technische Samenvatting: Voorbij de Zak van Patches: Leren van Globale Lay-out via Tekstuele Supervisie voor Late-Interactie Visuele Documentretrieval

1. Probleemstelling

Visuele Documentretrieval (VDR) is een kritisch onderdeel van Retrieval-Augmented Generation (RAG), waarbij de kwaliteit van de retrieval de feitelijke onderbouwing van gegenereerde inhoud bepaalt. Hoewel recente VDR-modellen late-interactie-architecturen (bijv. ColPali, ColQwen) hebben overgenomen die documenten representeren als verzamelingen van lokale patch-embeddings, lijden deze benaderingen onder een fundamentele structurele beperking.

Het standaard late-interactiemechanisme, dat doorgaans een MaxSim-scoringfunctie (maximum similarity) gebruikt, behandelt een documentpagina als een "zak van patches". Deze formulering prioriteert lokale gelijkenis tussen query-tokens en geïsoleerde documentpatches (bijv. specifieke tabelcellen of figuurgebieden) terwijl het ruimtelijke relaties en de globale lay-outstructuur van de pagina negeert. In praktische domeinen met heterogene lay-outs (combinaties van tekst, tabellen en figuren) hangt relevantie vaak af van hoe deze elementen over de pagina heen met elkaar interageren. Bijgevolg slagen late-interactiemodellen er vaak niet in onderscheid te maken tussen een globaal relevante pagina met verspreide bewijslast en een afleidende pagina met oppervlakkige lokale lexicale overlappingen maar zonder de nodige structurele context.

2. Methodologie

De auteurs stellen Gbl-Desc-FT voor, een multimodaal encoder dat standaard late-interactie-retrieval aanvult met een leerbare globale structurele bottleneck. De kerninnovatie is de introductie van een trainbaar globaal token ($g_v$) dat is geoptimaliseerd om pagina-niveau lay-outinformatie te vangen zonder dat er tijdens de inferentie tekstuele beschrijvers nodig zijn.

2.1 Architectuur

Het model bouwt voort op een Vision Large Language Model (VLLM)-ruggengraat (specifiek geïnitieerd vanuit ColQwen2.5).

• Globaal Token: Een trainbaar token $g_v \in \mathbb{R}^d$ wordt toegevoegd aan de reeks visuele patch-embeddings $I$.
• Contextualisatie: De gecombineerde reeks $[I; g_v]$ wordt verwerkt door de self-attention-lagen van de VLLM. Dit stelt het globale token in staat om gelijktijdig naar alle patches te kijken, waardoor het relatieve ruimtelijke relaties (bijv. de nabijheid van een bijschrift tot een grafiek) codeert die verloren gaan bij onafhankelijke patch-matching.
• Inferentie: Tijdens de inferentie werkt het model puur als visuele retriever. Het globale token wordt toegevoegd aan zowel query- als documentreeksen, en relevantie wordt gescoord met de standaard late-interactie MaxSim-functie over de aangevulde reeksen. Er zijn in dit stadium geen tekstuele beschrijvers vereist.

2.2 Trainingsstrategie: Beschrijversgeleide Structurele Supervisie

Om het globale token te leren lay-out-priors te representeren, hanteren de auteurs een strategie van tekstuele structurele supervisie met behulp van automatisch gegenereerde beschrijvers. Deze beschrijvers vatten de ruimtelijke organisatie van de pagina samen (bijv. kolompositionering, aanwezigheid van tabellen, hiërarchie van koppen) zonder fijnmazige tekstuele inhoud op te nemen.

Het trainingsdoel is een gezamenlijke verliesfunctie die uit drie componenten bestaat:

1. Retrieval-verlies ($L_{retrieval}$): Standaard late-interactie-verlies dat query-tokens afstemt op document patch-embeddings.
2. Globale Afstemmingsverlies ($L_{global}$): Een InfoNCE contrastief verlies dat het visuele globale token ($g_v$) afstemt op een tekstueel globaal token ($g_{desc}$) afgeleid van de lay-outbeschrijver. Dit dwingt het visuele token om te fungeren als een latente proxy voor hoogwaardige lay-outsemantiek.
3. Lokale Afstemmingsverlies ($L_{local}$): Een verlies dat lokale patch-embeddings aanmoedigt om af te stemmen op de meest relevante tokens in de tekstuele beschrijver, waardoor structurele coherentie op patch-niveau wordt gewaarborgd.

Updates zijn beperkt tot LoRA-adapters binnen de VLLM, waarbij de basis visuele encoder en LLM-weights bevroren blijven om rekenkundige efficiëntie te behouden.

3. Belangrijkste Bijdragen

Het artikel identificeert en adresseert drie specifieke gaten in het huidige VDR-onderzoek:

1. Identificatie van Structurele Beperking: De auteurs tonen empirisch aan dat late-interactie MaxSim-scoring een mechanisme mist om pagina-niveau structuur te modelleren, wat leidt tot retrievalfouten in lay-outintensieve documenten.
2. Leerbare Globale Bottleneck: Zij introduceren een trainbaar globaal token dat structurele relaties over regio's heen codeert, waardoor lokale patches kunnen worden gecontextualiseerd door de lay-out op pagina-niveau.
3. Supervisie Alleen tijdens Training: Zij tonen aan dat structurele signalen tijdens de training via tekstuele beschrijvers in de modelparameters kunnen worden gedistilleerd, waardoor het model globale lay-out-priors kan vangen zonder de rekenkundige overhead van het genereren van beschrijvers tijdens de inferentie.

4. Experimentele Resultaten

Het model werd geëvalueerd op de ViDoRe-v2-benchmark, die vier diverse datasets omvat: Economie, Biomedisch, ESGH (door mensen gelabeld) en ESGR (Restaurant).

• Prestatiewinst: Gbl-Desc-FT presteerde beter dan de sterkste architecturaal vergelijkbare baseline, ColQwen2.5, met gemiddeld +2.4 nDCG@5 en +2.3 MAP@5.
• Statistische Significantie: De verbeteringen waren statistisch significant (Wilcoxon Signed-Rank test, $p < 0.05$) per dataset in vergelijking met ColQwen2.5.
• Efficiëntie: Het 3B-parameter Gbl-Desc-FT-model behaalde concurrerende of superieure prestaties in vergelijking met aanzienlijk grotere modellen (bijv. Nemo-3b bij 4.4B en ColNomic-7B bij 7B), met name op lay-outzware datasets zoals ESGH en ESGR.
• Ablatiestudies:
  • Het verwijderen van lokale patches veroorzaakte een enorme daling in prestaties, wat bevestigt dat lokale bewijslast primair blijft voor fijnmazige matching.
  • Het verwijderen van het globale token resulteerde in een kleinere maar consistente daling, wat bewijst dat het token optimale structurele verankering biedt.
  • Het vervangen van het geleerde globale token door eenvoudige pooling-strategieën (Gemiddelde, Max, Mediaan) resulteerde in ernstige prestatiedegradatie, wat valideert dat het geleerde token niet-triviale structurele signalen vangt.
• Oracle-vergelijking: Het model presteerde op gelijke hoogte met CrossContext-FT (een fine-tuned baseline die tekstuele beschrijvers concateneert tijdens inferentie) en presteerde beter dan CrossContext-ZS (een zero-shot baseline die beschrijvers gebruikt tijdens inferentie). Dit bevestigt dat het model lay-outinformatie tijdens de training succesvol internaliseert.

5. Betekenis en Claims

Het artikel claimt dat de aanpak een structurele inductieve bias biedt voor visuele documentretrieval die niet alleen uit patch-niveau gelijkenis kan worden teruggevonden. Door te leren globale lay-outsignalen te coderen als onderdeel van de retrievalrepresentatie zelf, maakt de methode robuustere retrieval mogelijk in domeinen waar relevantie afhankelijk is van interacties over regio's heen (bijv. het koppelen van narratieve tekst aan specifieke grafieken).

De auteurs benadrukken dat hun methode de efficiëntie van standaard visuele retrievalpijplijnen behoudt (verwaarloosbare overhead tijdens inferentie) terwijl het de "zak van patches"-beperking overwint. De resultaten suggereren dat compacte modellen met expliciete structurele biases kunnen matchen of zelfs kunnen overtreffen aanzienlijk grotere encoders op visueel heterogene documenten, en bieden zo een schaalbare oplossing voor RAG-systemen die te maken hebben met complexe documentlay-outs.