Technische Samenvatting: Format Decoupled Reinforcement Learning voor Document OCR

1. Probleemstelling

Hoewel Optical Character Recognition (OCR) al lang een focus van onderzoek is, vertonen bestaande geavanceerde modellen nog steeds significante beperkingen bij het verwerken van formaatgevoelige documentinhoud. De auteurs observeren dat hoewel tekstlezen vaak als een perceptuele taak wordt beschouwd, geavanceerde OCR-modellen moeite hebben met een hoge output-onzekerheid (entropie) bij het omgaan met gestructureerde elementen zoals formules en tabellen vergeleken met gewone tekst.

Empirische analyse laat zien dat documentmonsters met een hoger aandeel geformatteerde tekst een substantieel hogere token-entropie vertonen tijdens inferentie. Deze hoge entropie duidt op een lagere zekerheid van het model en suggereert dat geformatteerde tekst ruimte biedt voor diverse, semantisch equivalente leespaden (bijv. verschillende LaTeX-representaties voor dezelfde formule). Bestaande Reinforcement Learning (RL) pogingen in OCR missen vaak specifieke ontwerpoverwegingen voor deze hoog-entropische geformatteerde regio's, waardoor ze niet verder komen dan token-niveau memorisatie naar formaat-niveau redeneren.

2. Methodologie

Het paper stelt Format Decoupled Reinforcement Learning (FD-RL) voor, een framework dat is ontworpen om de OCR-prestaties te optimaliseren door expliciet te richten op formaatgevoelige inhoud via een twee-fasen trainingsparadigma: Supervised Fine-Tuning (SFT) gevolgd door RL.

2.1 Data Engineering

Om robuuste training te ondersteunen, hebben de auteurs een grootschalige, formaat-rijke corpus geconstrueerd die drie verschillende bronnen integreert:

• Verbetering van Open-Source Datasets: Datasets (bijv. PDFA, DocGenome) zijn gecontroleerd op ontbrekende inhoud, foutieve leesvolgordes en duplicaten. Een lichtgewicht model (GOT) werd gebruikt voor her-annotatie, en op gelijkenis gebaseerde filtering zorgde voor het behoud van hoogwaardige grondwaarheid (ground truth).
• Real-World PDF Constructie: Diverse PDF's werden verwerkt om layout-bewuste (pagina-niveau, regio-niveau, multi-pagina) en inhoud-bewuste annotaties te creëren. Tools zoals MinerU en dots.ocr werden gebruikt om gestructureerde Markdown, LaTeX en HTML outputs te genereren.
• Synthetische OCR Data Generatie: Om het tekort aan educatieve en academische data aan te pakken, werden synthetische monsters gegenereerd uit online bronnen (K12 tot graduate STEM Q&A). Deze werden gerenderd in hoog-resolutie afbeeldingen met realistische visuele parameters (lettertypen, spatiëring) en gekoppeld aan Markdown-labels.

2.2 Trainingsstrategie

De trainingspipeline bestaat uit twee afzonderlijke fasen:

Fase 1: Supervised Fine-Tuning (SFT)
Een pre-trained Vision-Language Model (Qwen3-VL-4B) wordt gefinetuned op de uitgebreide dataset. Tijdens deze fase worden de visuele encoder en projector bevroren, terwijl alleen de parameters van het Large Language Model (LLM) worden bijgewerkt. Dit vestigt een sterke baseline voor algemene OCR-capaciteiten over diverse layouts en formaten.

Fase 2: Format Decoupled Reinforcement Learning (FD-RL)
De RL-fase introduceert twee kerninnovaties om de optimalisatie te verschuiven van token-niveau nauwkeurigheid naar formaat-niveau validiteit:

1. Entropie-gebaseerde Filtratie:
   In plaats van alle SFT-data te gebruiken, filteren de auteurs de dataset om hoog-entropische monsters te behouden. Het SFT-model voert inferentie uit op kandidaat-monsters, en de gemiddelde token-entropie wordt berekend. Monsters die een specifieke entropiedrempel ($\tau$) overschrijden, worden geselecteerd voor RL-training. Deze strategie concentreert het leren op complexe, formaat-intensieve instanties waar het model de meeste onzekerheid vertoont.

2. Format Decoupled Reward:
   In plaats van een uniform beloningssignaal toe te passen, ontkoppelt het framework de beloningen op basis van contenttype:

• Gewone Tekst: Geëvalueerd met genormaliseerde string-matching (Edit Distance).
• Formules: Geëvalueerd met expressie-correctheid (omzetten naar equivalente LaTeX en het toepassen van BLEU-scores).
• Tabellen: Geëvalueerd met structurele coherentie (TEDS-score).

De totale beloning $R$ is een gewogen som van deze specifieke beloningen, wat ervoor zorgt dat structurele fouten (bijv. gebroken tabelhiërarchieën of malafide LaTeX) niet worden overstemd door inhoudelijke fouten. Het model wordt geoptimaliseerd met het GRPO-algoritme, dat gebruikmaakt van groep-genormaliseerde voordelen zonder een aparte critic-model te vereisen.

3. Belangrijkste Bijdragen

• FD-RL Framework: Stelt een nieuw SFT-dan-RL paradigma voor dat specifiek is ontworpen voor "redeneren na het lezen" in document OCR, waarbij de hoog-entropische aard van geformatteerde tekst wordt geadresseerd.
• Grootschalige Format-Rijke Corpus: Construeert een robuuste trainingsdataset door het integreren van open-source, real-world en synthetische data met geoptimaliseerde mengverhoudingen.
• Entropie-gebaseerde Curatie & Ontkoppelde Beloningen: Introduceert een data-filtratiestrategie die zich richt op onzekere monsters en een beloningsmechanisme dat evaluatiemetrieken afstemt op specifieke contentformaten (tekst, formule, tabel).
• State-of-the-Art Prestaties: Bereikt een nieuw record op de OmniDocBench benchmark, wat de effectiviteit van de voorgestelde aanpak valideert door middel van uitgebreide ablatie-studies.

4. Experimentele Resultaten

De methode werd geëvalueerd op OmniDocBench, een benchmark bestaande uit 1.355 pagina's over negen documenttypen (boeken, aantekeningen, slides, etc.).

• Algemene Prestaties: FD-RL behaalde een algemene score van 90.41, waarmee een nieuw record werd gevestigd voor end-to-end modellen. Het presteerde beter dan het vorige beste end-to-end model (dots.ocr) met 2.0 punten en het beste pipeline-gebaseerde model (PaddleOCR-VL) met een aanzienlijke marge in specifieke metrieken, hoewel PaddleOCR-VL 92.56 behaalde (opmerking: PaddleOCR-VL wordt in Tabel 1 vermeld als pipeline-gebaseerd, terwijl FD-RL end-to-end is).
• Specifieke Metrieken:
  • Formuleherkenning: Behaalde de beste CDM-score van 88.67.
  • Tabelparsing: Behaalde een top TEDS-score van 87.35 en een TEDS-S score van 92.10.
  • Tekstherkenning: Behaalde een edit distance van 0.049, waarbij het slechts tweede staat na dots.ocr (0.048).
• Generalisatie: FD-RL behaalde de beste prestaties in 4 van de 9 documentcategorieën (bijv. Slides, Exam Papers) en rangschikte als tweede in de overige 5, wat een sterke cross-domein generalisatie demonstreert.

Ablatie-studies:

• Data Bronnen: Progressieve integratie van open-source, real-world en synthetische data, gevolgd door RL, toonde consistente prestatiewinsten, waarbij de volledige pipeline de hoogste score opleverde.
• Trainingsstrategie: Het direct toepassen van RL op een algemene VLM zonder SFT leverde minimale winst op (49.37), terwijl SFT alleen 87.13 bereikte. De combinatie van SFT+RL was noodzakelijk om 90.41 te bereiken.
• Filtratie: Een 50% entropie-gebaseerde filtratiesnelheid leverde optimale resultaten op; zowel 0% (geen filtratie) als 75% (excessieve filtratie) leidden tot prestatievermindering.
• Reward Design: Het volledige format-ontkoppelde beloningsschema presteerde beter dan uniforme string-matching beloningen, wat bevestigt dat gespecialiseerde evaluatie voor formules en tabellen cruciaal is.

5. Betekenis en Claims

Het paper stelt dat de primaire betekenis van dit werk ligt in het identificeren en benutten van de hoog-entropische aard van geformatteerde tekst als signaal voor gerichte optimalisatie. Door te observeren dat geavanceerde modellen moeite hebben met formaatgevoelige inhoud vanwege diverse geldige structurele expressies, beargumenteren de auteurs dat redeneren over diverse leespaden essentieel is voor het verbeteren van OCR.

De auteurs stellen dat FD-RL succesvol de optimalisatie verschuift van eenvoudige token-niveau memorisatie naar formaat-niveau validiteit. Dit wordt bewezen door het vermogen van het model om correcte HTML-structuren voor tabellen en geldige LaTeX voor formules te genereren, taken waarbij baseline modellen vaak falen door plain text of instructievolgende fouten te produceren. Het werk valideert dat entropie-gebaseerde data-curatie en formaat-specifieke reward-design effectieve strategieën zijn voor het versterken van de robuustheid van end-to-end document parsing systemen.