Document-as-Image Representations Fall Short for Scientific Retrieval

Probleemstelling

Recente document-embeddingmodellen worden steeds vaker getraind op "document-as-image" representaties, waarbij gerenderde pagina's als afbeeldingen worden verwerkt in plaats van de onderliggende broncode (zoals tekst of LaTeX). Bestaande benchmarks voor wetenschappelijk documentretrieval, zoals ArXivQA en ViDoRe, behandelen documenten vaak als afbeeldingen van pagina's, wat deze aanpak implicit bevoordeelt.

De auteurs betogen dat dit paradigma niet optimaal is voor tekstrijke multimodale wetenschappelijke documenten. In wetenschappelijke papers is kritisch bewijsmateriaal verspreid over gestructureerde bronnen: tekst, tabellen, figuren en vergelijkingen. Het omzetten van deze gestructureerde inhoud naar pixels (afbeeldingen) verbergt de documentstructuur, maakt cross-referenties onduidelijk en dwingt modellen om tekstuele en logische relaties visueel te infereren in plaats van ze direct te verwerken. Dit leidt tot vragen over de schaalbaarheid en effectiviteit van afbeeldingsgebaseerde methoden, vooral bij lange, dichte wetenschappelijke documenten.

Methodologie: De ArXivDoc Benchmark

Om deze kwestie systematisch te onderzoeken, introduceren de auteurs ArXivDoc, een nieuwe benchmark gebaseerd op de onderliggende LaTeX-bronbestanden van wetenschappelijke papers.

• Dataset: De dataset bevat 8.210 volledige wetenschappelijke papers (144.653 pagina's) met 547 handmatig geverifieerde, context-onafhankelijke zoekopdrachten.
• Zoekopdrachten: De queries zijn specifiek gebaseerd op drie bewijstypes: tekst (229), tabellen (218) en figuren (100). Ze zijn ontworpen om "open-domain" retrieval te testen, waarbij het doel is om het juiste document te vinden uit een corpus van duizenden papers, zonder dat de query afhankelijk is van de context van het document zelf.
• Representaties: De auteurs construeren meerdere documentrepresentaties vanuit dezelfde LaTeX-bron om een eerlijke vergelijking mogelijk te maken:
  1. Alleen tekst: Raw LaTeX (genormaliseerd) en tekst aangevuld met VLM-gecapiteerde beschrijvingen van figuren.
  2. Alleen afbeeldingen: Alleen de gerenderde figuren.
  3. Document-as-Image: Volledige pagina's gerenderd als afbeeldingen.
  4. Interleaved (Tekst + Afbeelding): Een sequentie waarbij tekstfragmenten en bijbehorende figuren in de oorspronkelijke volgorde worden samengevoegd.
• Modellen: Er wordt getest met verschillende embedding-modellen, waaronder single-vector modellen (Qwen3-Embedding, Qwen-VL-Embedding, OpenCLIP) en late-interaction modellen (ColQwen).

Belangrijkste Resultaten

De experimentele resultaten tonen duidelijke trends die de huidige dominantie van "document-as-image" methoden in twijfel trekken voor wetenschappelijke toepassingen:

1. Document-as-Image is suboptimaal: Afbeeldingsgebaseerde representaties presteren consistent slechter dan alternatieven, zelfs voor queries die specifiek over figuren gaan. Zelfs voor visuele queries is de beste prestatie vaak te behalen met tekstuele representaties (aangevuld met VLM-captions).
2. Tekst is krachtiger dan verwacht: Tekst-only modellen presteren verrassend goed op figure-gebaseerde queries. Dit komt doordat wetenschappelijke teksten figuren vaak uitgebreid beschrijven en interpreteren in de omringende tekst en bijschriften.
3. Interleaved overtreft afbeeldingen: Representaties die tekst en afbeeldingen interleaved (geweven) combineren, presteren beter dan "document-as-image", zelfs zonder dat de embedding-modellen specifiek zijn getraind op deze input. Dit benadrukt het belang van het behoud van de native documentstructuur.
4. Schaalbaarheid: Naarmate de hoeveelheid tekst op een pagina toeneemt, degradeert de prestatie van "document-as-image" representaties sneller dan tekstuele representaties. Tekstuele methoden zijn dus beter geschikt voor lange wetenschappelijke documenten.
5. Efficiëntie vs. Performance: Single-vector modellen (die elk document in één embedding vector coderen) presteren beter dan late-interaction modellen (zoals ColQwen), terwijl ze tot 40 keer minder opslagruimte vereisen.

Vergelijking met Bestaande Benchmarks

De auteurs vergelijken hun bevindingen met benchmarks zoals ViDoRe. Ze stellen vast dat ViDoRe (bestaande uit presentaties en rapporten met veel lay-out en infographics) beter werkt met afbeeldingsrepresentaties vanwege de visuele aard en de pagina-gebaseerde evaluatie. ArXivDoc daarentegen, met zijn dichte, gestructureerde wetenschappelijke tekst, toont aan dat tekstuele representaties superieur zijn. De verschillen in query-lengte en documentdichtheid verklaren de tegenstrijdige resultaten tussen de benchmarks.

Bijdrage en Significantie

De belangrijkste bijdragen van dit werk zijn:

• ArXivDoc: De eerste grote, open-domain benchmark voor wetenschappelijke retrieval die toegang biedt tot ruwe LaTeX-bronnen, waardoor een directe vergelijking tussen tekst- en afbeeldingsrepresentaties mogelijk is.
• Paradigmaverschuiving: Het paper daagt de trend uit om alle documenten als afbeeldingen te behandelen. Het toont aan dat voor tekstrijke, gestructureerde domeinen (zoals de wetenschap) het behoud van de semantische en structurele informatie via tekst essentieel is.
• Praktische implicaties: Het resultaat suggereert dat het trainen van embedding-modellen op interleaved tekst-afbeelding input (in plaats van alleen gerenderde pagina's) een veelbelovende richting is voor toekomstige wetenschappelijke zoeksystemen.

Kortom, voor wetenschappelijke zoekopdrachten is het verlies van gestructureerde informatie bij het omzetten naar afbeeldingen te groot; tekstuele representaties, eventueel verrijkt met visuele beschrijvingen, bieden een robuustere en efficiëntere oplossing.