Document-as-Image Representations Fall Short for Scientific Retrieval

1. Problemstellung

Das zentrale Problem der Arbeit ist die Ineffizienz bestehender Dokumenten-Embedding-Modelle für die wissenschaftliche Dokumentenretrieval. Viele aktuelle Modelle basieren auf der „Document-as-Image"-Paradigma, bei der gerenderte PDF-Seiten als Bilder verarbeitet werden (z. B. durch Vision-Language-Modelle wie ColPali oder Qwen-VL).

Die Autoren argumentieren, dass dieser Ansatz für textreiche, multimodale wissenschaftliche Dokumente (wie ArXiv-Papers) suboptimal ist, da:

• Strukturverlust: Die zugrundeliegende strukturierte Markup-Sprache (LaTeX/XML) geht verloren. Grenzen zwischen Text, Tabellen, Formeln und Abbildungen müssen visuell inferiert werden, was fehleranfällig ist.
• Skalierungsprobleme: Bei langen Dokumenten mit hohem Textanteil verschlechtert sich die Leistung von bildbasierten Ansätzen, da relevante Beweise oft in dichtem Text oder Gleichungen liegen, nicht nur in Abbildungen.
• Benchmark-Bias: Bestehende Benchmarks (wie ArXivQA oder ViDoRe) behandeln Dokumente oft als Bildseiten, was die Evaluation zugunsten von Bildmodellen verzerrt und den Vergleich mit textbasierten Ansätzen erschwert.

2. Methodik und Einführung von ArXivDoc

Um diese Lücke zu schließen, stellen die Autoren ArXivDoc vor, ein neues Benchmark-Dataset für das wissenschaftliche Retrieval.

• Datengrundlage: Das Dataset besteht aus 8.210 wissenschaftlichen Papern (insgesamt 144.653 Seiten), die direkt aus den rohen LaTeX-Quellen von ArXiv stammen. Dies ermöglicht den direkten Zugriff auf strukturierte Elemente (Sektionen, Tabellen, Figuren, Gleichungen) ohne OCR.
• Query-Generierung: Es wurden 547 manuell verifizierte, evidenzbasierte Suchanfragen erstellt. Diese sind kontextunabhängig (dekontextualisiert) und beziehen sich spezifisch auf Text, Tabellen oder Abbildungen.
  • Der Prozess umfasst: Generierung durch LLMs (gpt-5.2), Dekontextualisierung, Schwierigkeitsfilterung (BM25-Test) und manuelle Validierung durch Annotatoren.
• Vergleichsrahmen: Die Autoren konstruieren verschiedene Dokumentendarstellungen aus derselben LaTeX-Quelle, um einen fairen Vergleich zu ermöglichen:
  1. Nur Text: Roher LaTeX-Text (bereinigt von Formatierungsbefehlen) und Text + VLM-Captions (Beschreibungen von Abbildungen durch ein Vision-Language-Modell).
  2. Nur Bilder: Nur gerenderte Abbildungen.
  3. Document-as-Image: Vollständige Seiten als Bilder.
  4. Interleaved Text+Image: Eine sequenzielle Mischung aus Textchunks und den zugehörigen Abbildungen, die die narrative Struktur des Dokuments bewahrt.
• Modelle: Es wurden verschiedene Embedding-Modelle getestet, darunter Single-Vector-Modelle (Qwen3-Embedding, Qwen3-VL-Embedding) und Late-Interaction-Modelle (ColQwen2).

3. Schlüsselbeiträge

1. ArXivDoc Benchmark: Ein großes, offenes Benchmark für wissenschaftliches Retrieval, das als einziges sowohl gerenderte Bilder als auch die zugrundeliegenden LaTeX-Quellen für kontrollierte Experimente bereitstellt.
2. Systematischer Vergleich: Der erste umfassende Vergleich von Text-only, Image-only und multimodalen Darstellungen (Interleaved) auf Dokumentenebene unter kontrollierten Bedingungen.
3. Erkenntnisse zur Repräsentation: Die Arbeit widerlegt die Annahme, dass bildbasierte Darstellungen für wissenschaftliche Dokumente überlegen sind, und zeigt stattdessen die Überlegenheit strukturierter Textdarstellungen.

4. Ergebnisse

Die experimentellen Ergebnisse (gemessen an nDCG@10) zeigen folgende Haupttrends:

• Document-as-Image ist suboptimal: Bildbasierte Darstellungen schneiden bei allen Query-Typen (Text, Tabelle, Abbildung) schlechter ab als textbasierte Alternativen. Selbst bei Abbildungs-Queries ist die beste Leistung mit reinem Text + VLM-Captions erreichbar.
• Text reicht für Abbildungs-Queries: Textbasierte Modelle erreichen bei Abbildungs-Queries eine sehr hohe Leistung. Die Analyse zeigt, dass wissenschaftliche Texte Abbildungen oft detailliert beschreiben, referenzieren und interpretieren. Der Text allein enthält somit den notwendigen Informationsgehalt.
• Interleaved Text+Image übertrifft Document-as-Image: Selbst ohne spezifisches Training auf Interleaved-Daten schneiden Modelle, die Text und Bilder in ihrer natürlichen Reihenfolge verarbeiten, besser ab als Modelle, die ganze Seiten als Bild verarbeiten. Dies unterstreicht die Bedeutung der Erhaltung der Dokumentenstruktur.
• Skalierungsverhalten: Mit zunehmender Dokumentenlänge (Token-Anzahl) verschlechtert sich die Leistung von Document-as-Image-Modellen schneller als bei textbasierten Modellen. Textdarstellungen sind daher besser für lange wissenschaftliche Dokumente geeignet.
• Single-Vector vs. Late-Interaction: Single-Vector-Modelle (z. B. Qwen-Embedding) übertreffen Late-Interaction-Modelle (z. B. ColQwen) in der Retrieval-Leistung, obwohl Letztere bis zu 40-mal größere Indexgrößen benötigen. Dies deutet auf ein ungünstiges Effizienz-Leistungs-Verhältnis bei Late-Interaction-Ansätzen für dieses Szenario hin.
• Unterschied zu ViDoRe: Im Gegensatz zu ViDoRe (das aus visuell dominierten Folien/Reports besteht), wo Bildmodelle besser funktionieren, dominieren in textdichten wissenschaftlichen Papern Textmodelle.

5. Bedeutung und Fazit

Die Arbeit hat erhebliche Implikationen für das Design von Suchsystemen in der Wissenschaft:

• Paradigmenwechsel: Sie fordert die aktuelle Tendenz zur ausschließlichen Nutzung von „Document-as-Image"-Embeddings in Frage. Für wissenschaftliche Dokumente ist die Nutzung der strukturierten Quelldaten (LaTeX) überlegen.
• Effizienz: Textbasierte Ansätze sind nicht nur genauer, sondern auch effizienter (kleinere Indizes, schnellere Inferenz).
• Zukunftsperspektive: Die Ergebnisse legen nahe, dass das Training von Embedding-Modellen auf interleaved Text-Bild-Sequenzen (anstatt auf gerenderten Seiten) ein vielversprechender Weg ist, um die Stärken beider Modalitäten zu kombinieren, ohne die Struktur zu verlieren.

Zusammenfassend zeigt das Paper, dass für die Retrieval-Aufgabe in wissenschaftlichen Kontexten die semantische Struktur des Textes entscheidender ist als die visuelle Darstellung der Seite, und dass bestehende Benchmarks diese Nuance oft übersehen.