Technische Zusammenfassung: MonkeyOCRv2

Problemstellung

Gängige visuelle Fundamentallmodelle (z. B. CLIP, DINO, SAM) sind primär auf natürlichen Bildern vortrainiert und konzentrieren sich auf hochgradige Objektsemantik, globale Ausrichtung und Szenenkontext. Diese Modelle weisen eine Repräsentations-Diskrepanz auf, wenn sie auf Dokumentenbildern angewendet werden. Dokumentenbilder sind durch dichten Text, feingliedrige Schriftzeichenstriche, komplexe Layouts und eine Semantik gekennzeichnet, die stark auf lokalen visuellen Details beruht (z. B. Interpunktion, hochgestellte Zeichen, Variationen der Strichführung). Bestehende Modelle verwerfen diese feingliedrigen Details oft zugunsten einer semantischen Abstraktion, was sie für Aufgaben wie das Parsen, Verstehen und verwandte Aufgaben von Dokumenten ungeeignet macht. Darüber hinaus sind bestehende dokumentenorientierte Vortrainingsdatensätze begrenzt in Bezug auf Skalierung, Sprachvielfalt und Annotationsgranularität, da sie oft nur Chinesisch und Englisch abdecken oder eine mangelnde dichte Überwachung aufweisen.

Methodik

1. Data Engine: MonkeyDoc v2

Um die Datenknappheit und die Verteilungslücke zu adressieren, haben die Autoren MonkeyDoc v2 konstruiert, den bisher größten bekannten Korpus für visuell-textuelles Vortraining auf Dokumentenebene.

• Skalierung: 113 Millionen Bilder.
• Diversität: Deckt 17 Sprachen ab (einschließlich vereinfachtem/traditionellem Chinesisch, Englisch, Arabisch, Deutsch usw.) sowie diverse Dokumenttypen (wissenschaftliche Arbeiten, Rechnungen, handschriftliche Notizen, antike Texte, Formeln, Tabellen).
• Zusammensetzung: 61 Mio. reale Samples und 52 Mio. synthetische Samples.
• Annotations-Pipeline: Nutzt eine Multi-Experten-Konsens-Pipeline, bei der mehrere komplementäre OCR-Modelle die ausgeschnittenen Elemente transkribieren; das Vorhersageergebnis mit der höchsten paarweisen Übereinstimmung wird beibehalten, um modellspezifische Fehler zu unterdrücken. Qualitätsarme Samples werden mittels Layout-Verifizierung und logischer Konsistenzprüfungen durch Large Language Models gefiltert.

2. Vortrainingsstrategie: Gemeinsame Generierung und Rekonstruktion

MonkeyOCRv2 verwendet eine duale Zielsetzung für das Vortraining, um dokumentennative visuelle Repräsentationen zu erlernen:

• Bild-zu-Text-Generierung: Richtet visuelle Repräsentationen an textuellen Inhalten aus unter Verwendung eines Standard-Autoregressiven Cross-Entropy-Loss ($L_{text}$). Dies bietet eine dichte Überwachung für das semantische Verständnis.
• Pixel-Ebene-Dokumentenrekonstruktion: Regt den Encoder dazu an, feingliedrige visuelle Details (Schriftzeichenstriche, Glyphenformen, Layoutstrukturen) zu bewahren, die unter rein textueller Überwachung möglicherweise verworfen würden. Dies wird durch einen Mean Squared Error (MSE) Loss ($L_{pix}$) und optional durch einen struktur-bewussten Loss ($L_{struct}$) erreicht, der Kanten- und Distanz-zu-Kante-Maps abgleicht.
• Kombiniertes Ziel: $L_{pretrain} = L_{text} + \lambda L_{rec}$. Die Rekonstruktionszielsetzung fungiert als Regularisator, der sicherstellt, dass der Encoder visuelle Belege beibehält, selbst wenn der linguistische Kontext schwach oder nicht vorhanden ist.

3. Architektur

Die Modellfamilie umfasst drei Varianten des Vision-Encoders, die von Grund auf auf MonkeyDoc v2 trainiert wurden:

• MonkeyOCRv2-S: ViT-Small (28 Mio. Parameter).
• MonkeyOCRv2-B: ViT-Base (113 Mio. Parameter).
• MonkeyOCRv2-AS: ViTAEv2-Small (21 Mio. Parameter), optimiert für Aufgaben, die von Multi-Skalen-Induktions-Bias profitieren (z. B. Detektion, Segmentierung).

Zentrale Beiträge

1. MonkeyOCRv2: Ein visuell-textuelles Fundamentmodell, das speziell für die Dokumenten-KI vortrainiert wurde und die Repräsentations-Diskrepanz zwischen natürlichen Bild-Encodern und Dokumentenbildern durch gemeinsame Textgenerierung und Pixel-Ebene-Rekonstruktion adressiert.
2. MonkeyDoc v2: Ein massiver, multilingualer (17 Sprachen), multityper (113 Mio. Bilder) Vortrainingskorpus, der die Skalierung und Diversität bestehender Dokumentendatensätze signifikant übertrifft.
3. Dual-Objective Pretraining: Demonstriert, dass die Kopplung von Bild-zu-Text-Generierung mit Pixel-Ebene-Rekonstruktion die Robustheit verbessert, insbesondere wenn der linguistische Kontext entfernt oder degradiert wird.

Experimentelle Ergebnisse

Leistung bei Downstream-Aufgaben

Der Ersatz der ursprünglichen Encoder durch MonkeyOCRv2 führte zu konsistenten Verbesserungen bei fünf repräsentativen Dokumentenanalyse-Aufgaben:

• Texterkennung: Verbesserung der CRNN-Genauigkeit von 58,7 % auf 67,3 % bei anspruchsvollen Benchmarks. PARSeq mit MonkeyOCRv2 erreichte State-of-the-Art (SOTA) Leistungen auf Union14M und chinesischen Benchmarks.
• Formelerkennung: Ein 110-Mio.-Parameter-Modell (UniMERNet-T + MonkeyOCRv2) übertraf das 325-Mio.-Parameter-Modell UniMERNet-B, was zeigt, dass ein stärkerer dokumentenorientierter Encoder eine reduzierte Modellkapazität kompensieren kann.
• Texterkennung (Detection): Konsistente F-Maß-Gewinne über ICDAR2015, ArT, Total-Text und CTW1500, wobei es sowohl mit ImageNet vortrainierte Encoder als auch oCLIP (ein textspezifischer Encoder) übertrifft.
• Dokumentenfälschungsdetektion: Erzielte SOTA F1-Scores auf DocTamper-Test, DocTamper-FCD und DocTamper-SCD, was eine starke Generalisierung über Domänenverschiebungen hinweg zeigt.
• Überlappende Textsegmentierung: Verbesserung des mIoU um 4,3 % bis 6,3 % auf dem MOT-Datensatz.

Dokumentenparsing und -verständnis

• Dokumentenparsing (MDPBench): MonkeyOCRv2-B-Parsing (0,7B Gesamtparameter, 0,1B Vision-Encoder) erreichte 83,3 % auf MDPBench und übertraf damit den bisherigen Open-Source SOTA (dots.mocr, 3B Parameter) um 2,8 Prozentpunkte absolut, obwohl es einen etwa 11-mal kleineren Vision-Encoder verwendet. Es übertraf zudem größere allgemeine VLMs wie Qwen3-VL-235B und GPT-5.2 auf OmniDocBench.
• Dokumentenverständnis: In einem kontrollierten Setting (eingefrorene Encoder gepaart mit demselben Qwen3-1.7B LLM) erreichte MonkeyOCRv2-B einen Durchschnittswert von 57,2 über acht Benchmarks und übertraf damit signifikant CLIP, DINO, SAM und andere dokumentenorientierte Encoder.

Robustheitsanalyse

• Abhängigkeit vom linguistischen Kontext: Eine kontrollierte Studie mit skalierten Texten zeigte, dass MonkeyOCRv2 robuster gegenüber Auflösungsdegradierung und der Entfernung des linguistischen Kontexts ist. Das Ziel der Pixel-Rekonstruktion verringerte die Genauigkeitslücke zwischen semantisch kohärentem und skaliertem Text, was auf eine stärkere Abhängigkeit von visuellen Belegen statt von linguistischen Priors hindeutet.
• Halluzination: Auf CHAOS-Bench erreichte MonkeyOCRv2-Parsing den höchsten Page-Average-Recall für perturbierte Wörter, was eine überlegene Treue gegenüber visuellen Belegen im Vergleich zu Modellen wie HunyuanOCR-1.5 und PaddleOCR-VL-1.6 zeigt.

Bedeutung und Ansprüche

Das Paper postuliert, dass dokumentenorientiertes visuelles Vortraining als eigenständiges Fundament für die Dokumentenintelligenz dienen kann, anstatt sich auf Encoder zu verlassen, die für natürliche Szenen gebaut wurden.

• Fundamentaler Wandel: Die Arbeit stellt das Paradigma in Frage, allgemeine Visionsmodelle auf Dokumente anzupassen, und argumenttiert, dass die einzigartige visuelle Statistik von Dokumenten (dichter Text, feingliedrige Striche) dedizierte Vortrainingsziele erfordert.
• Effizienz: Es demonstriert, dass ein kompakter, dokumentennativer Encoder (0,1B) massive allgemeine VLMs (Hunderte von Milliarden Parametern) bei dokumentenspezifischen Aufgaben übertreffen kann, wenn die visuelle Repräsentation für die Domäne optimiert ist.
• Bewahrung visueller Belege: Die Studie validiert, dass Pixel-Ebene-Rekonstruktionsziele entscheidend sind, um feine Details zu bewahren, was die Robustheit in Szenarien verbessert, in denen der linguistische Kontext mehrdeutig oder abwesend ist.

Die Autoren kommen zu dem Schluss, dass MonkeyOCRv2 und MonkeyDoc v2 wiederverwendbare Grundlagen für multilingualen OCR, Dokumentenverständnis und breitere Dokumentenintelligenz-Systeme bieten und Text als eine „visuelle Klasse erster Ordnung“ etablieren.