CMDR: Contextual Multimodal Document Retrieval

Technische Samenvatting: CMDR: Contextuele Multimodale Document Retrieval

1. Probleemdefinitie

Bestaande benchmarks en methoden voor multimodale document retrieval (MDR) richten zich primair op directe retrieval, waarbij een query wordt gematcht met individuele pagina's middels eenvoudige lexicale of semantische gelijkenis. Deze benaderingen coderen pagina's doorgaans onafhankelijk, waarbij impliciet wordt aangenomen dat contextuele informatie verwaarloosbare voordelen biedt. Echter, real-world documenten verdelen informatie vaak over meerdere pagina's, wat modellen vereist om queries op te lossen die afhankelijk zijn van cross-page afhankelijkheden en de globale documentstructuur.

Huidige beperkingen omvatten:

• Gebrek aan Contextuele Evaluatie: Bestaande benchmarks (bijv. MMLB-Doc, ViDoRe) beoordelen niet het vermogen om pagina's te extraheren die niet expliciet in de query worden genoemd, maar die noodzakelijk zijn om deze via documentcontext op te lossen.
• Onafhankelijke Codering: De meeste state-of-the-art retrievers (bijv. ColPali, ColQwen) coderen pagina's in isolatie, waardoor ze relaties tussen pagina's niet kunnen vastleggen.
• Ambiguïteit Resolutie: Queries vereisen vaak redeneren over tekstcompletie, coreferentie-resolutie, gestructureerd begrip of multi-hop redeneren dat zich uitstrekt over meerdere pagina's, wat onafhankelijke encoders niet kunnen afhandelen.

Om dit aan te pakken, introduceren de auteurs CMDR (Contextual Multimodal Document Retrieval), een taak waarbij systemen relevante pagina's uit een meerpagina-document moeten extraheren door gebruik te maken van de omliggende documentcontext.

2. Methodologie

A. CMDR-Bench (De Benchmark)
De auteurs hebben een nieuwe benchmark geconstrueerd bestaande uit 800 hoogwaardige, door mensen geannoteerde queries verspreid over 255 documenten (gemiddelde lengte: 183,5 pagina's) over zes domeinen (handleidingen, wetenschappelijke artikelen, scripties, etc.). De queries zijn gecategoriseerd in vier typen die contextueel redeneren vereisen:

1. Text Completion (TC): Het reconstrueren van de semantische flow die over pagina's heen is gesplitst.
2. Coreference Resolution (CR): Het oplossen van voornaamwoorden of afkortingen met behulp van aanwijzingen van andere pagina's.
3. Structured Understanding (SU): Het begrijpen van relaties tussen gestructureerde componenten (bijv. tabelkoppen en rijen) over paginagrenzen heen.
4. Multi-hop Reasoning (MR): Het verbinden van entiteiten in de query met relevante pagina's via een pad van contextuele informatie.

B. CMDR-Embed (Het Model)
CMDR-Embed is een contextueel multimodaal embedding-framework ontworpen om meerdere pagina's gezamenlijk te coderen terwijl de pagina-niveau discriminabiliteit behouden blijft.

• Contextuele Multimodale Codering: In plaats van pagina's onafhankelijk te coderen, hanteert het model een chunk-then-split strategie. Achtereenvolgende pagina's worden gegroepeerd in overlappende chunks (met behulp van een sliding window met stapgrootte $s$ en venstergrootte $w$) en gevoed aan een Large Vision-Language Model (LVLM). De resulterende token-level representaties worden vervolgens weer gesplitst in pagina-level embeddings. Dit stelt het model in staat om cross-page context in de representatie van elke pagina te integreren.
• Multimodale Late Interaction (LI): De gelijkenis tussen een query en een pagina wordt berekend met behulp van Late Interaction, wat fijnmazige token-level matching tussen query-vectoren en gecontextualiseerde pagina-vectoren vastlegt.

C. CMCL (Contextuele Multimodale Contrastieve Learning)
Een cruciale uitdaging in gezamenlijke codering is informatielekkage, waarbij pagina's binnen hetzelfde document te veel op elkaar gaan lijken, wat de discriminabiliteit vermindert. Om dit op te lossen, stellen de auteurs CMCL voor, een contrastieve leerdoelstelling die de balans bewaart tussen contextuele modellering en pagina-niveau onderscheidend vermogen.

• Hard Negatives: De loss-functie incorporeert twee soorten context-bewuste hard negatives:
  • In-Chunk Negatives: Verschillende pagina's binnen dezelfde encoding chunk.
  • In-Document Negatives: Andere chunks uit hetzelfde document.
• Loss Functie: De totale loss is een gewogen som van een context-bewuste loss ($L_{Context}$) en een standaard in-batch contrastieve loss ($L_{Batch}$):
  $$L_{CMCL} = \lambda L_{Context} + (1 - \lambda) L_{Batch}$$
  Dit zorgt ervoor dat het model leert om semantisch gelijkaardige pagina's binnen hetzelfde document te onderscheiden, terwijl het nog steeds gebruikmaakt van hun gedeelde context.

3. Belangrijkste Resultaten

Experimenten werden uitgevoerd op CMDR-Bench met behulp van nDCG@5 als primaire metriek.

• Prestatiewinst: CMDR-Embed presteert aanzienlijk beter dan niet-contextuele baselines. Gebruikmakend van de ColQwen-backbone, behaalde CMDR-EmbedQwen een algemene score van 56,6, wat een verbetering van 16,2 punten betekent ten opzijde van de beste niet-contextuele baseline (ColQwen gefinetuned op dezelfde data, die een score van 40,4 behaalde).
• Ablatie-studies:
  • Het verwijderen van de CMCL-loss (gebruikmakend van enkel in-batch negatives) veroorzaakte een significante daling (7,2 punten voor CMDR-EmbedQwen), wat de noodzaak van hard negatives bevestigt voor het behoud van discriminabiliteit.
  • Het verwijderen van Late Interaction (vervanging door mean pooling) resulteerde in een enorme prestatiedaling (18,5 punten), wat het belang van fijnmazige token matching onderstreept.
  • Zowel In-Chunk als In-Document negatives droegen bij aan de prestaties, waarbij In-Chunk negatives effectiever waren voor kort-bereik context en In-Document negatives voor lang-bereik context.
• Efficiëntie: Het model behaalt deze winsten met minimale computationele overhead. Hiërarchische token pooling kan de opslag met 80% verminderen en de zoekactie met 3,57× versnellen met verwaarloosbaar prestatieverlies.
• Generalisatie: Wanneer getraind met multitask learning (combinatie van CMDR-Synth en ViDoRe), verbeterde het model de niet-contextuele retrieval prestaties met 4,7% terwijl het sterke contextuele retrieval capaciteiten behield.

4. Betekenis en Claims

Het paper claimt dat context-bewuste multimodale embeddings essentieel zijn voor het verbeteren van document retrieval in real-world scenario's.

• Voorbij Geïsoleerde Pagina's: Het werk demonstreert dat het behandelen van documenten als geïsoleerde pagina's onvoldoende is voor complexe queries. Het expliciet modelleren van documentcontext stelt systemen in staat om ambiguïteiten op te lossen en informatie te extraheren die niet lexicaal aanwezig is op de doelpagina.
• Nieuwe Standaard: CMDR-Bench vestigt de eerste benchmark die gezamenlijk multi-pagina redeneren en multimodale retrieval vereist, waarmee een gat wordt gevuld dat is achtergelaten door bestaande datasets die zich richten op directe matching.
• Praktische Leefbaarheid: De voorgestelde methode (CMDR-Embed) bewijst dat contextuele modellering kan worden geïntegreerd in bestaande LVLM-gebaseerde retrieval architecturen zonder op te offeren aan pagina-niveau discriminabiliteit of efficiëntie.

De auteurs concluderen dat toekomstige multimodale document retrieval systemen verder moeten gaan dan geïsoleerde pagina-representaties om expliciet document-niveau context te modelleren om de complexiteit van langdurige, meerpagina-documenten aan te kunnen.