💻 computer science

Reading or Reasoning? Format Decoupled Reinforcement Learning for Document OCR

Dieses Paper schlägt Format Decoupled Reinforcement Learning (FD-RL) vor, einen neuartigen Ansatz, der entropiebasierte Datenfiltration und formatspezifische Belohnungen nutzt, um die hohe Output-Unsicherheit bei komplexer Dokumenten-OCR zu adressieren und dabei einen neuen State-of-the-Art-Wert von 90,41 auf dem OmniDocBench-Benchmark erreicht.

Ursprüngliche Autoren: Yufeng Zhong, Lei Chen, Zhixiong Zeng, Xuanle Zhao, Deyang Jiang, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Siqi Yang, Lin Ma

Veröffentlicht 2026-01-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yufeng Zhong, Lei Chen, Zhixiong Zeng, Xuanle Zhao, Deyang Jiang, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Siqi Yang, Lin Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Lesen eines unordentlichen, komplizierten Dokuments bei. Dieses Dokument ist nicht einfach nur ein einfacher Brief; es ist eine Mischung aus normalen Absätzen, komplexen mathematischen Gleichungen und kniffligen Tabellen.

Lange Zeit dachten Forscher, beim Lesen ginge es nur darum, die Wörter klar zu „sehen“. Sie versuchten, dem Roboter immer mehr Beispiele (Data Engineering) einzufüttern, um ihm zu helfen, das Aussehen von Dingen auswendig zu lernen. Aber die Autoren dieser Arbeit bemerkten ein Problem: Der Roboter wird sehr verwirrt, wenn das Dokument viel Struktur aufweist.

Hier ist die einfache Aufschlüsselung ihrer Entdeckung und Lösung:

1. Das Problem: Der „Verwirrungs- ever“ des Roboters

Die Autoren fanden heraus, dass der Roboter sehr selbstbewusst ist, wenn er einfachen Text liest. Aber wenn er eine mathematische Formel oder eine Tabelle sieht, sinkt sein „Selbstvertrauens-Meter“ (den sie Entropie nennen) drastartig. Es ist wie ein Schüler, der problemlos ein Gedicht rezitieren kann, aber erstarrt, wenn er eine Infinitätsrechnung lösen oder eine Tabelle organisieren soll.

Der Roboter versucht, das nächste Wort zu erraten, aber da es so viele Möglichkeiten gibt, eine Formel zu schreiben oder eine Tabelle anzuordnen, verliert er sich. Er beginnt zu raten, was zu Fehlern führt.

2. Die Lösung: „Format Decoupled Reinforcement Learning“ (FD-RL)

Anstatt den Roboter nur dazu zu zwingen, mehr Beispiele auswendig zu lernen, brachten die Autoren ihm bei, über die Struktur nachzudenken. Sie nennen ihre Methode FD-RL.

Stellen Sie sich das wie das Training eines Kochs vor:

Der alte Weg (SFT): Sie geben dem Koch eine Million Rezepte und sagen: „Lerne diese auswendig.“ Der Koch lernt, die Rezepte perfekt zu kopieren, könnte aber scheitern, wenn man ihn nach einem Gericht mit einer leicht anderen Zutatenliste fragt.
Der neue Weg (FD-RL): Sie lehren den Koch, warum ein Kuchen aufgeht oder warum eine Sauce eindickt. Sie geben ihm spezifische Regeln für verschiedene Arten des Kochens.

3. Wie sie es gemacht haben (Das Zwei-Schritte-Training)

Schritt 1: Das „SFT“ (Supervised Fine-Tuning) – Die Grundlagen lernen
Zuerst fütterten sie den Roboter mit einer riesigen Bibliothek von Dokumenten (Büchern, PDFs, synthetischen Daten), um ihm beizubringen, wie man Text, Formeln und Tabellen im Allgemeinen liest. Dies ist vergleichbar mit dem Erlernen des ABCs und der grundlegenden Grammatik durch den Roboter.

Schritt 2: Das „RL“ (Reinforcement Learning) – Das spezialisierte Coaching
Hier geschieht die Magie. Sie verwendeten zwei kluge Tricks, um die Verwirrung des Roboters zu beheben:

Trick A: Der „Hard Mode“-Filter (Entropie-basierte Filterung)
Anstatt den Roboter an jedem Dokument trainieren zu lassen, verwendeten sie einen Filter, um nur die schwierigsten, verwirrendsten Dokumente auszuwählen (diejenigen mit hoher „Entropie“).
- Analogie: Stellen Sie sich einen Mathematiklehrer vor, der dem Schüler nicht mehr einfache Additionsaufgaben gibt, sondern ihm nur noch komplexe Analysisaufgaben stellt. Indem er sich nur auf den schweren Stoff konzentriert, lernt der Schüler, durch die Verwirrung zu argumentieren, anstatt nur zu raten.
Trick B: Der „Spezialisierte Richter“ (Format Decoupled Rewards)
In der Vergangenheit wurde der Roboter mit einer einzigen Note bewertet: „Hast du die Wörter richtig geschrieben?“ Wenn der Roboter die richtigen Wörter schrieb, aber die falsche Tabellenstruktur verwendete, bekam er trotzdem eine schlechte Note, aber der Roboter wusste nicht, warum.

Die Autoren änderten das Bewertungssystem. Sie gaben dem Roboter drei verschiedene Richter:
1. Der Text-Richter: Prüft, ob die normalen Wörter richtig geschrieben sind.
2. Der Mathe-Richter: Prüft, ob die Formeln mathematisch Sinn ergeben (selbst wenn die Symbole leicht anders aussehen).
3. Der Tabellen-Richter: Prüft, ob die Zeilen und Spalten der Tabelle korrekt ausgerichtet sind.
Analogie: Wenn Sie ein Haus bauen, fragen Sie nicht nur: „Ist das Haus gebaut?“ Sie lassen einen Klempner die Rohre prüfen, einen Elektriker die Leitungen und einen Zimmermann den Rahmen. Wenn der Rahmen schief ist, gibt der Zimmermann eine spezifische „schlechte Note“, damit der Erbauer weiß, dass er den Rahmen reparieren muss und nicht die Farbe.

4. Das Ergebnis

Durch diese Methode wurde der Roboter wesentlich besser darin, komplexe Dokumente zu lesen.

Sie testeten ihn auf einem berühmten Benchmark namens OmniDocBench (der 1.355 schwierige Seiten umfasst).
Der Roboter erreichte einen Wert von 90,41 und schlug damit alle anderen „End-to-End“-Modelle (Modelle, die versuchen, alles in einem Schritt zu erledigen).
Er war besonders gut darin, die „Verwirrung“ in Formeln und Tabellen zu beheben, was bewies, dass es besser ist, dem Roboter beizubringen, über die Struktur zu argumentieren, als ihm nur mehr Text auswendig zu lernen.

Zusammenfassung

Die Arbeit argumentiert, dass das Lesen komplexer Dokumente nicht nur daraus besteht, Text zu „sehen“; es geht darum, durch die Struktur zu argumentieren. Indem sie die einfachen Beispiele herausfilterten und dem Roboter spezifisches, separates Feedback für Text, Mathematik und Tabellen gaben, brachten sie ihn dazu, aufzuhören zu raten und stat{s} die Regeln des Dokuments zu verstehen.

Technisches Resümee: Format-entkoppeltes Reinforcement Learning für Dokumenten-OCR

1. Problemstellung

Obwohl die optische Zeichenerkennung (OCR) seit langem ein Forschungsschwerpunkt ist, weisen bestehende fortgeschrittene Modelle immer noch erhebliche Einschränkungen bei der Verarbeitung formatsensibler Dokumenteninhalte auf. Die Autoren beobachten, dass, während das Lesen von Text oft als perzeptive Aufgabe wahrgenommen wird, fortgeschrittene OCR-Modelle bei der Verarbeitung strukturierter Elemente wie Formeln und Tabellen im Vergleich zu reinem Text eine signifikant höhere Output-Unsicherheit (Entropie) aufweisen.

Empirische Analysen zeigen, dass Dokumentenproben mit einem höheren Anteil an formatiertem Text während der Inferenz eine wesentlich höhere Token-Entropie aufweisen. Diese hohe Entropie deutet auf eine geringere Modellgewissheit hin und legt nahe, dass formatierter Text vielfältige, semantisch äquivalente Lesepfade ermöglicht (z. B. unterschiedliche LaTeX-Darstellungen für dieselbe Formel). Bestehende Reinforcement Learning (RL)-Ansätze in der OCR lassen oft spezifische Designüberlegungen für diese hoch-entropischen, formatierten Regionen vermissen und scheitern daran, über die Token-Ebene der Auswendiglernung hinaus zu einer Format-Ebene des logischen Schlussfolgerns (Reasoning) zu gelangen.

2. Methodik

Das Paper schlägt Format Decoupled Reinforcement Learning (FD-RL) vor, ein Framework, das darauf ausgelegt ist, die OCR-Leistung durch explizite Zielsetzung auf formatsensitive Inhalte durch ein zweistufiges Trainingsparadigma zu optimieren: Supervised Fine-Tuning (SFT) gefolgt von RL.

2.1 Data Engineering

Um ein robustes Training zu unterstützen, konstruierten die Autoren einen groß angelegten, formatreichen Korpus, der drei verschiedene Quellen integriert:

Verbesserung von Open-Source-Datensätzen: Datensätze (z. B. PDFA, DocGenome) wurden auf fehlende Inhalte, falsche Lesereihenfolgen und Repetitionen geprüft. Ein leichtgewichtiges Modell (GOT) wurde zur Re-Annotation verwendet, und eine ähnlichkeitsbasierte Filterung stellte die Beibehaltung qualitativ hochwertiger Ground-Truth-Daten sicher.
Konstruktion von Real-World-PDFs: Diverse PDFs wurden verarbeitet, um layout-bewusste (seiten-, regions-, mehrseitige) und inhaltsbewusste Annotationen zu erstellen. Tools wie MinerU und dots.ocr wurden genutzt, um strukturierte Markdown-, LaTeX- und HTML-Outputs zu generieren.
Synthetische OCR-Datengenerierung: Um den Mangel an Bildungs- und akademischen Daten zu beheben, wurden synthetische Stichproben aus Online-Ressourcen (K12 bis hin zu Graduate STEM Q&A) generiert. Diese wurden in hochauflösende Bilder mit realistischen visuellen Parametern (Schriftarten, Abstände) gerendert und mit Markdown-Labels gepaart.

2.2 Trainingsstrategie

Die Trainingspipeline besteht aus zwei distinkten Phasen:

Phase 1: Supervised Fine-Tuning (SFT)
Ein vortrainiertes Vision-Language-Modell (Qwen3-VL-4B) wird auf dem umfassenden Datensatz feinjustiert. Während dieser Phase werden der visuelle Encoder und der Projector eingefroren, während nur die Parameter des Large Language Models (LLM) aktualisiert werden. Dies etabliert eine starke Baseline für allgemeine OCR-Fähigkeiten über diverse Layouts und Formate hinweg.

Phase 2: Format Decoupled Reinforcement Learning (FD-RL)
Die RL-Phase führt zwei Kerninnovationen ein, um die Optimierung von der Token-Genauigkeit hin zur Format-Validität zu verschieben:

Entropie-basierte Datenfiltration:
Anstatt alle SFT-Daten zu verwenden, filtern die Autoren den Datensatz, um hoch-entropische Stichproben zu behalten. Das SFT-Modell führt eine Inferenz auf Kandidaten-Stichproben durch, und die durchschnittliche Token-Entropie wird berechnet. Stichproben, die einen spezifischen Entropie-Schwellenwert ( $\tau$ ) überschreiten, werden für das RL-Training ausgewählt. Diese Strategie konzentriert das Lernen auf komplexe, formatintensive Instanzen, bei denen das Modell die größte Unsicherheit zeigt.
Format-entkoppelter Reward:
Anstatt ein einheitliches Reward-Signal anzuwenden, entkoppelt das Framework die Rewards basierend auf dem Inhaltstyp:

Reiner Text: Wird mittels normalisierter String-Übereinstimmung (Edit Distance) evaluiert.
Formeln: Werden mittels Ausdruckskorrektheit evaluiert (Konvertierung in äquivalentes LaTeX und Anwendung von BLEU-Scores).
Tabellen: Werden mittels struktureller Kohärenz evaluiert (TEDS-Score).

Der Gesamt-Reward $R$ ist eine gewichtete Summe dieser spezifischen Rewards, wodurch sichergestellt wird, dass strukturelle Fehler (z. B. unterbrochene Tabellenhierarchien oder fehlerhaftes LaTeX) nicht durch Inhaltsfehler überlagert werden. Das Modell wird unter Verwendung des GRPO-Algorithmus optimiert, der gruppen-normalisierte Advantages nutzt, ohne ein separates Critic-Modell zu benötigen.

3. Wichtigste Beiträge

FD-RL Framework: Schlägt ein neuartiges SFT-dann-RL-Paradigma vor, das speziell für das "Reasoning-nach-dem-Lesen" in der Dokumenten-OCR konzipiert ist und die hoch-entropische Natur formatierter Texte adressiert.
Groß angelegter formatreicher Korpus: Konstruiert einen robusten Trainingsdatensatz durch die Integration von Open-Source-, Real-World- und synthetischen Daten mit optimierten Mischverhältnissen.
Entropie-basierte Kuration & entkoppelte Rewards: Führt eine Datenfiltrationsstrategie ein, die auf hoch-unsichere Stichproben abzielt, sowie einen Reward-Mechanismus, der die Evaluationsmetriken an spezifische Inhaltsformate (Text, Formel, Tabelle) anpasst.
State-of-the-Art Performance: Erreicht einen neuen Rekord auf dem OmniDocBench-Benchmark und validiert die Effektivität des vorgeschlagenen Ansatzes durch umfassende Ablationsstudien.

4. Experimentelle Ergebnisse

Die Methode wurde auf OmniDocBench evaluiert, einem Benchmark, der 1.355 Seiten aus neun Dokumenttypen (Bücher, Notizen, Folien usw.) umfasst.

Gesamtleistung: FD-RL erreichte eine Gesamtpunktzahl von 90,41 und setzte damit einen neuen Rekord für End-to-End-Modelle. Es übertraf das vorherige beste End-to-End-Modell (dots.ocr) um 2,0 Punkte und das beste Pipeline-basierte Modell (PaddleOCR-VL) in spezifischen Metriken deutlich, obwohl PaddleOCR-VL insgesamt 92,56 erreichte (Hinweis: PaddleOCR-VL wird in Tabelle 1 als Pipeline-basiert gelistet, während FD-RL End-to-End ist).
Spezifische Metriken:
- Formelerkennung: Erreichte den besten CDM-Score von 88,67.
- Tabellen-Parsing: Erreichte einen Spitzen-TEDS-Score von 87,35 und einen TEDS-S-Score von 92,10.
- Texterkennung: Erreichte eine Edit Distance von 0,049, was nur von dots.ocr (0,048) übertroffen wird.
Generalisierung: FD-RL sicherte sich die Spitzenleistung in 4 von 9 Dokumentenkategorien (z. B. Folien, Prüfungsaufgaben) und belegte in den restlichen 5 den zweiten Platz, was eine starke domänenübergreifende Generalisierung demonstriert.

Ablationsstudien:

Datenquellen: Die progressive Integration von Open-Source-, Real-World- und synthetischen Daten, gefolgt von RL, zeigte konsistente Leistungssteigerungen, wobei die vollständige Pipeline die höchste Punktzahl lieferte.
Trainingsstrategie: Die direkte Anwendung von RL auf ein allgemeines VLM ohne SFT brachte minimale Gewinne (49,37), während SFT allein 87,13 erreichte. Die Kombination aus SFT+RL war notwendig, um 90,41 zu erreichen.
Filtration: Eine 50%-ige entropiebasierte Filtrationsrate lieferte optimale Ergebnisse; sowohl 0 % (keine Filtration) als auch 75 % (übermäßige Filtration) führten zu einer Verschlechterung der Leistung.
Reward-Design: Das vollständige format-entkoppelte Reward-Schema übertraf vereinheitlichte String-Matching-Rewards, was bestätigt, dass spezialisierte Evaluationen für Formeln und Tabellen entscheidend sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die primäre Bedeutung dieser Arbeit darin liegt, die hoch-entropische Natur formatierter Texte als Signal für eine gezielte Optimierung zu identifizieren und zu nutzen. Durch die Beobachtung, dass fortgeschrittene Modelle Schwierigkeiten mit formatsensitiven Inhalten haben, da es vielfältige valide strukturelle Ausdrücke gibt, argumentieren die Autoren, dass das Reasoning über diverse Lesepfade essenziell ist, um die OCR zu verbessern.

Die Autoren behaupten, dass FD-RL erfolgreich das Optimierungsziel von einfacher Token-Ebene des Auswendiglernens hin zur Format-Ebene der Validität verschiebt. Dies wird durch die Fähigkeit des Modells belegt, korrekte HTML-Strukturen für Tabellen und valides LaTeX für Formeln zu generieren – Aufgaben, bei denen Baseline-Modelle oft scheitern, indem sie entweder reinen Text oder Fehler beim Befolgen von Instruktionen produzieren. Die Arbeit validiert, dass entropiebasierte Datenkuratierung und formatspezifisches Reward-Design effektive Strategien zur Steigerung der Robustheit von End-to-End-Dokumenten-Parsing-Systemen sind.