CMRAG: Co-modality-based visual document retrieval and question answering

Dit paper introduceert CMRAG, een co-modale RAG-framework dat tekst en afbeeldingen gelijktijdig benut via een unificatie-encoderingmodel en een co-modale zoekmethode om de prestaties van visuele documentvraag-antwoordsystemen te verbeteren.

De kern

Stel je voor dat je een enorme, rommelige bibliotheek binnenloopt. Deze bibliotheek bevat niet alleen boeken met tekst, maar ook posters, foto's, grafieken en handgeschreven notities. Je stelt een vraag, bijvoorbeeld: "Hoeveel procent van de mensen denkt dat het weer warmer wordt?"

De meeste oude systemen om deze vraag te beantwoorden hadden twee manieren van werken, en beide hadden een groot probleem:

1. De "Tekst-Leslie": Deze robot las alleen de tekst uit de boeken. Maar als het antwoord in een foto of een ingewikkelde grafiek stond, was hij volledig blind. Hij zag de tekst niet, dus hij kon het antwoord niet vinden.
2. De "Foto-Frank": Deze robot keek alleen naar de plaatjes. Hij kon prachtige foto's herkennen, maar als er een cruciaal antwoord in een klein lettertje in de tekst stond, miste hij dat vaak. Hij zag de "smaak" van het plaatje, maar niet de precieze details.

CMRAG: De Super-Regisseur

De auteurs van dit paper (Wang Chen en zijn team) hebben een nieuwe methode bedacht, genaamd CMRAG. Je kunt dit zien als een super-geavanceerde regisseur die zowel de tekst als de plaatjes tegelijkertijd in de gaten houdt.

Hier is hoe het werkt, in simpele termen:

1. De Vertaler (UEM)

Stel je voor dat tekst en plaatjes twee verschillende talen spreken. De tekst spreekt "Woorden", en de plaatjes spreken "Beelden". Normaal gesproken praten ze niet goed met elkaar.

CMRAG heeft een slimme vertaler (het Unified Encoding Model) gebouwd. Deze vertaler neemt een vraag, een stukje tekst én een plaatje en vertaalt ze allemaal naar één gemeenschappelijke taal: een soort "gevoels-code" of embeddings.

• Het is alsof je een vraag over "rode auto's" en een foto van een rode auto beide omzet in hetzelfde nummer in een database. Zo weet het systeem direct: "Ah, deze vraag past bij dit plaatje én bij deze tekst!"

2. De Gelijke Weegschaal (UCMR)

Er is nog een probleem: Soms is de tekst heel duidelijk en geeft hij een hoge score, terwijl het plaatje vaag is en een lage score geeft. Als je ze zomaar optelt, is het alsof je een kilo veren en een kilo lood op één weegschaal legt en denkt dat ze even zwaar zijn. Ze hebben een andere "dichtheid".

CMRAG gebruikt een slimme statistische weegschaal. Het kijkt naar alle scores, past ze aan zodat ze eerlijk met elkaar kunnen worden vergeleken (dit noemen ze "normalisatie").

• De analogie: Het is alsof je een wedstrijd hebt tussen een sprinter (tekst) en een marathonloper (plaatjes). Je kunt hun tijden niet direct vergelijken. CMRAG zet ze beide om in een "percentage van hun persoonlijke record", zodat je eerlijk kunt zeggen wie er beter presteert in deze specifieke situatie.

3. Het Grote Geheel

Uiteindelijk geeft CMRAG de beste stukjes tekst én de beste plaatjes aan een slimme AI (een VLM). Deze AI leest de tekst, kijkt naar de foto's, en geeft het perfecte antwoord.

Waarom is dit zo cool?

• Geen gaten meer: Als het antwoord in een tabel staat, ziet de "Tekst-Leslie" het, en als het antwoord in een diagram staat, ziet de "Foto-Frank" het. CMRAG ziet alles.
• Snelheid: Het systeem is zo ontworpen dat het niet langzamer is dan de oude methoden. Het is alsof je een tweede paar ogen krijgt zonder dat je langer hoeft te wachten.

Kortom:
CMRAG is als een detective die niet alleen leest wat er staat, maar ook kijkt naar wat er getekend is. Door beide bronnen slim te combineren en ze eerlijk met elkaar te vergelijken, kan hij vragen beantwoorden die voor andere systemen onmogelijk waren. Of het nu gaat om een financieel verslag met grafieken of een handleiding met foto's: deze nieuwe methode vindt het antwoord, ongeacht of het in woorden of in beelden staat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CMRAG: Co-modality–based visual document retrieval and question answering", geschreven in het Nederlands.

Probleemstelling

Retrieval-Augmented Generation (RAG) is een kernparadigma voor documentvragenbeantwoording, maar bestaande methoden hebben beperkingen bij het verwerken van multimodale documenten (zoals PDF's met tekst, tabellen, formules en afbeeldingen). De huidige aanpakken vallen in twee categorieën, beide met nadelen:

1. Tekst-gebaseerde RAG: Deze methoden vertrouwen op layout-analyse en tekstextractie (OCR). Ze missen visuele informatie zoals afbeeldingen en niet-gestructureerde inhoud, wat leidt tot verlies van context.
2. Beeld-gebaseerde RAG: Deze methoden behandelen documentpagina's als afbeeldingen en gebruiken Vision Language Models (VLMs) voor directe verwerking. Ze negeren echter de semantische precisie van tekst, wat resulteert in suboptimale zoekresultaten en generatie, vooral bij tekst-dichte documenten.

Er is een duidelijke behoefte aan een framework dat zowel tekst als afbeeldingen effectief combineert om de retrieval en generatie in Visual Document Question Answering (VDQA) te verbeteren.

Methodologie: Het CMRAG Framework

De auteurs stellen CMRAG (Co-Modality-based RAG) voor, een framework dat tekst en afbeeldingen unificeert in een enkele zoek- en generatiepijplijn. Het bestaat uit drie hoofdfasen:

1. Document Parsing:
   Documentpagina's worden offline verwerkt door een VLM om gestructureerde multimodale content te extraheren: een visuele representatie (de volledige pagina-afbeelding) en een tekstuele representatie (geparsingde tekst in HTML-formaat).

2. CMRAG-Retrieval (CMRAG-R):
   Dit is het kernonderdeel voor het vinden van relevante documentpagina's. Het omvat twee innovatieve componenten:

   • Unified Encoding Model (UEM): Een model dat queries, geparsingde teksten en afbeeldingen projecteert in een gedeelde, vergelijkbare latente ruimte. Het bouwt voort op de SigLIP-architectuur en gebruikt drie encoders (voor query, afbeelding en tekst). De tekst-encoder wordt geïnitieerd als een kopie van de query-encoder om lange teksten te hanteren. Het model wordt getraind met een Dual-Sigmoid Alignment (DSA) verliesfunctie, waarbij alleen de tekst-encoder wordt bijgewerkt terwijl de beeld- en query-encoders "bevroren" blijven om pre-trained kennis te behouden.
   • Unified Co-Modality-informed Retrieval (UCMR): Een methode om de similariteitscores van tekst en beeld te fuseren. Omdat de ruwe scores van verschillende modaliteiten niet direct vergelijkbaar zijn (verschillende schalen en verdelingen), past UCMR een statistische normalisatie toe:
     1. Toepassing van een sigmoid-functie om scores naar het bereik [0,1] te brengen.
     2. Toepassing van Z-score normalisatie om de verdelingen van beide modaliteiten te standaardiseren (gemiddelde 0, variantie 1).
     3. Een gewogen som van de genormaliseerde scores om de definitieve retrieval-score te berekenen.

3. Generatie:
   De top-k meest relevante pagina's (zowel de afbeelding als de tekst) worden samen met de query ingevoerd in een generator (een krachtige VLM) om het uiteindelijke antwoord te genereren.

Belangrijkste Bijdragen

• CMRAG Framework: Een nieuw RAG-framework dat tekst en beeld unificeert voor superieure retrieval en generatie op visuele documenten.
• UEM (Unified Encoding Model): Een enkelvoudig encoderingsmodel dat een gedeelde embeddingruimte creëert voor queries, teksten en afbeeldingen, getraind met een paar-gewijze sigmoid-verliesfunctie.
• UCMR (Unified Co-Modality-informed Retrieval): Een innovatieve retrieval-methode die statistische normalisatie gebruikt om de inherente verschillen in verdeling tussen cross-modal scores op te lossen, waardoor een effectieve fusie mogelijk wordt.
• Dataset: De auteurs hebben een groot schaal triplet-dataset (query, tekst, afbeelding) geconstrueerd en vrijgegeven, gebaseerd op een open-source corpus van visuele documenten, om onderzoek in co-modality learning te stimuleren.
• Uitgebreide Evaluatie: Experimenten op meerdere VDQA-benchmarks tonen aan dat de methode consistent beter presteert dan sterke single-modality baselines.

Resultaten

De experimenten zijn uitgevoerd op diverse benchmarks, waaronder MMLongBench, REAL-MM-RAG, en LongDocURL.

• Retrieval: CMRAG-R overtreft consistent single-modality baselines (zoals BGE voor tekst en CLIP/SigLIP voor afbeeldingen) in termen van MRR@10, Recall en nDCG. Het presteert vooral goed op documenten die zowel visuele als tekstuele elementen bevatten.
• Generatie: Het framework levert betere antwoorden op dan baselines, wat bevestigt dat hoogwaardige co-modality retrieval cruciaal is voor VDQA.
• Ablatie-studies:
  • Het verwijderen van de normalisatiestap (UCMR) leidt tot een significante daling in prestaties, wat het belang van het unificeren van scores onderstreept.
  • Een ensemble van SigLIP (beeld) en BGE (tekst) presteert zeer goed, wat aangeeft dat de UEM nog potentie heeft om verder te groeien met grotere trainingsdatasets.
• Case Studies: In gevallen met dichte tekst (zoals financiële rapporten) faalt een puur beeld-gebaseerde aanpak vaak bij het begrijpen van specifieke cijfers, terwijl CMRAG door de toevoeging van geparsingde tekst accurate antwoorden kan genereren.

Betekenis en Toekomstperspectief

CMRAG adresseert een fundamentele beperking in huidige multimodale RAG-systemen: de keuze tussen tekst of beeld. Door beide modaliteiten te unificeren, biedt het een robuuste oplossing voor complexe documentvragen.

• Praktische Toepassingen: Het framework is breed toepasbaar in zakelijke zoekopdrachten (zoeken in rapporten, handleidingen, slides), technische troubleshooting (koppeling van screenshots met beschrijvingen) en wetenschappelijke documentanalyse.
• Toekomstige Richtingen: De auteurs wijzen erop dat dynamische controle van de hoeveelheid en het type context (beeld vs. tekst) een veelbelovende richting is, vooral om hallucinaties bij niet-antwoordbare vragen te voorkomen.
• Ethiek: De auteurs benadrukken dat het model niet direct moet worden ingezet in hoog-risico domeinen (zoals gezondheidszorg of recht) zonder menselijk toezicht, vanwege mogelijke biases in de trainingsdata.

Kortom, CMRAG demonstreert dat het integreren van co-modality informatie in een unificatieframework een effectieve strategie is om de prestaties van complexe VDQA-systemen aanzienlijk te verbeteren.