Boosting Document Parsing Efficiency and Performance with Coarse-to-Fine Visual Processing

1. Problemstellung

Das Dokumenten-Parsing ist eine feinkörnige Aufgabe, bei der die Bildauflösung einen erheblichen Einfluss auf die Genauigkeit hat. Aktuelle Ansätze, die auf fortschrittlichen Vision-Language-Modellen (VLMs) basieren, profitieren zwar von hochauflösenden Eingaben, leiden jedoch unter zwei Hauptproblemen:

• Quadratischer Anstieg der Rechenkosten: Hochauflösende Eingaben führen zu einer quadratischen Zunahme der Anzahl der Vision-Tokens, was die Inferenzkosten und die Latenz drastisch erhöht.
• Visuelle Redundanz: Dokumentenbilder enthalten oft große redundante Bereiche (z. B. Hintergrund, dekorative Elemente), die keine semantische Information tragen. In vielen Dokumenten (z. B. Präsentationen) machen gültige visuelle Regionen weniger als 50 % der Gesamtfläche aus. Die gleichmäßige Verarbeitung des gesamten Bildes durch End-to-End-Modelle führt daher zu ineffizienter Ressourcennutzung und unnötigem Rechenaufwand.

2. Methodik: PaddleOCR-VL

Die Autoren stellen PaddleOCR-VL vor, ein neuartiges Coarse-to-Fine-Framework, das die Verarbeitung in zwei entkoppelte Stufen unterteilt, um Redundanz zu eliminieren und die Effizienz zu steigern.

A. Architektur

Das System besteht aus zwei Hauptkomponenten:

1. Valid Region Focus Module (VRFM) – Die „Coarse"-Stufe:

   • Dies ist ein leichtgewichtiges Modul, das auf RT-DETR basiert und um ein Pointer Network erweitert wurde.
   • Aufgabe: Es identifiziert und lokalisiert effizient die visuell informativen Regionen (Textblöcke, Tabellen, Formeln) in einem unstrukturierten Dokument.
   • Reading Order: Es sagt nicht nur die Kategorien der Elemente vorher, sondern modelliert auch die paarweisen Beziehungen zwischen den Regionen, um die korrekte Lesereihenfolge vorherzusagen.
   • Ergebnis: Das VRFM filtert irrelevante Hintergrundbereiche heraus und liefert nur die „gültigen" (valid) Bildausschnitte an die nächste Stufe weiter.

2. PaddleOCR-VL-0.9B – Die „Fine"-Stufe:

   • Ein kompaktes Vision-Language-Modell mit nur 0,9 Milliarden Parametern.
   • Architektur: Es integriert einen NaViT-style Vision Encoder (für native, dynamische Auflösung ohne Verzerrung), einen MLP-Projektor und ein kompaktes Sprachmodell (ERNIE-4.5-0.3B mit 3D-RoPE).
   • Aufgabe: Es führt die detaillierte Erkennung (Text, Tabellen, Formeln, Diagramme) ausschließlich innerhalb der vom VRFM extrahierten gültigen Regionen durch.
   • Vorteil: Da das Modell nur kleine, relevante Bildausschnitte verarbeitet, wird die Anzahl der Vision-Tokens drastisch reduziert, was zu schnellerer Inferenz und geringerem Speicherverbrauch führt.

B. Datengrundlage

Ein entscheidender Faktor für den Erfolg ist die Entwicklung einer hochwertigen Datenpipeline:

• Datensammlung: Über 30 Millionen Stichproben aus öffentlichen Quellen, synthetischen Daten, Web-Crawling und internen Beständen.
• Automatische Annotation: Nutzung von Expertenmodellen (PP-StructureV3) zur Vorbeschriftung, gefolgt von einer Verfeinerung durch große Multimodal-Modelle (ERNIE-4.5-VL, Qwen2.5-VL) und einem Halluzinationsfilter.
• Hard-Case Mining: Gezielte Generierung von Daten für schwierige Fälle (z. B. Handschrift, komplexe Formeln), um Schwachstellen zu adressieren.

3. Hauptbeiträge

1. Coarse-to-Fine Paradigma: Ein Framework, das die Berechnung gezielt auf semantisch relevante Regionen konzentriert und redundante Bereiche unterdrückt. Dies ermöglicht hohe Genauigkeit bei hoher Auflösung ohne die üblichen quadratischen Kostensteigerungen.
2. Entkoppelte Zwei-Stufen-Architektur: Die Trennung von Layout-Analyse (VRFM) und Inhaltserkennung (PaddleOCR-VL-0.9B) erlaubt eine spezialisierte Optimierung beider Module, was sowohl die Effizienz als auch die Erkennungsqualität verbessert.
3. State-of-the-Art (SOTA) Leistung: Das Modell erreicht Spitzenleistungen auf mehreren Benchmarks bei gleichzeitig minimalem Parameter- und Token-Verbrauch. Es unterstützt 109 Sprachen und ist robust gegenüber handschriftlichen und historischen Dokumenten.

4. Ergebnisse

Die Evaluation erfolgte auf dem Benchmark OmniDocBench v1.5 sowie auf internen Datensätzen für Text, Tabellen, Formeln und Diagramme.

• Gesamtleistung: PaddleOCR-VL-L (Large) erreicht einen Gesamtscore von 92,62 auf OmniDocBench v1.5 und übertrifft damit alle bestehenden Pipeline-Tools, allgemeine VLMs (wie GPT-4o, InternVL) und spezialisierte Modelle (wie MinerU2.5, MonkeyOCR).
• Effizienz: Das Modell nutzt mit 2.561 Vision-Tokens deutlich weniger Tokens als die Konkurrenz (z. B. MinerU2.5 nutzt 3.256 Tokens, Qwen2.5-VL-72B nutzt 5.626+ Tokens), erzielt aber bessere Ergebnisse.
• Einzelne Aufgaben:
  • Text: Niedrigster Edit-Distance-Wert (0,035).
  • Formeln: Höchster CDM-Score (90,90).
  • Tabellen: Führende TEDS-Scores (90,48).
  • Lesereihenfolge: Beste Ergebnisse (0,043).
• Inferenzgeschwindigkeit: Auf einer NVIDIA A100 GPU erreicht PaddleOCR-VL-L eine Durchsatzrate von 1,619 Seiten pro Sekunde und ist damit signifikant schneller als MinerU2.5 (1,057 Seiten/s) und dots.ocr, bei gleichzeitig 46 % geringerem VRAM-Verbrauch im Vergleich zu dots.ocr.

5. Bedeutung

PaddleOCR-VL adressiert das fundamentale Dilemma zwischen hoher Auflösung (für Genauigkeit) und Recheneffizienz im Dokumenten-Parsing.

• Skalierbarkeit: Durch die Reduzierung der Vision-Tokens wird das Modell für hochdurchsatzfähige Anwendungen in der realen Welt (z. B. RAG-Systeme, Training von LLMs) praktikabel.
• Kosteneffizienz: Die Kombination aus einem kleinen Modell (0,9B Parameter) und einer intelligenten Vorverarbeitung (VRFM) senkt die Hardware-Anforderungen und Betriebskosten erheblich.
• Vielseitigkeit: Die Unterstützung von 109 Sprachen und die robuste Leistung bei komplexen Layouts (z. B. vertikaler Text, Handschrift) machen es zu einer universellen Lösung für das Dokumentenverständnis.

Zusammenfassend demonstriert PaddleOCR-VL, dass gezieltes, hierarchisches Parsing (Coarse-to-Fine) effektiver ist als das reine Skalieren von End-to-End-Modellen, und setzt neue Maßstäbe für Genauigkeit und Effizienz im Bereich des Document Intelligence.