Technische Samenvatting: DocPO: Het optimaliseren van documentbeleid via op maat gemaakte stap-bewuste beloningen

1. Probleemstelling

Documentparsing, de taak van het decoderen van heterogene 2D-lay-outs (tekst, tabellen, formules) naar 1D-sequenties, staat voor aanzienlijke uitdagingen bij het toepassen van Reinforcement Learning (RL). Hoewel Supervised Fine-Tuning (SFT) de huidige mainstream is, lijdt het aan exposure bias. Hoewel RL een pad biedt naar sequentie-niveau optimalisatie, is de toepassing ervan op documentparsing beperkt gebleven in vergelijking met standaard Large Language Models (LLMs).

Het kernprobleem dat wordt geïdentificeerd is de zwakke discriminatiekracht van referentie-gebaseerde beloningen in het regime van hoge nauwkeurigheid. Bestaande methoden vertrouwen vaak op edit-distance metrieken (bijv. string edit distance). Naarmate modellen een hoge nauwkeurigheid benaderen, ontvangen bijna correcte outputs scores die nagenoeg identiek zijn aan de grondwaarheid (ground truth). Dit resulteert in:

• Vlakke beloningslandschappen: Kleine kwaliteitsverschillen tussen hoog scorende kandidaten worden niet versterkt, wat leidt tot beperkte leersignalen voor moeilijke gevallen.
• Misalignement: Generieke string-niveau edit-distances falen in het vastleggen van structurele correctheid in tabellen (het belonen van hoge lexicale overlap ondanks structurele corruptie) of semantische equivalentie in formules (het bestraffen van geldige synonieme LaTeX-variaties).
• Afhankelijkheid van complexe beloningen: Alternatieve benaderingen, zoals geleerde 'render-and-compare' beloningsmodellen, vereisen extra data, rekenkracht en hulp-training, wat de eenvoud van implementatie vermindert.

2. Methodologie

De auteurs stellen DocPO voor, een framework voor documentbeleidsoptimalisatie dat eenvoudige, element-specifieke referentie-gebaseerde beloningen behoudt, maar hun optimalisatiekracht versterkt via een nieuw mechanisme genaamd Step-Aware Annealing (SAA).

2.1 Basis Beloningsinstantiatie

DocPO maakt gebruik van onderscheidende, genormaliseerde referentie-gebaseerde beloningen die zijn afgestemd op specifieke documentelementen, gemapt naar een $[0, 1]$ schaal:

• Tekst: Genormaliseerde Edit Distance (NED).
• Tabellen: Weighted Tree Edit Distance Similarity (TEDS) met behulp van het APTED-algoritme. Dit differentieert kosten voor structurele operaties (bijv. rij/kolom spans) versus inhoudelijke mismatches, waardoor structurele fouten zwaarder worden bestraft dan typefouten.
• Formules: Een hybride Rubric+edit beloning. Deze combineert:
  • Een deterministische syntaxis-gate ($v_{syn}$) die nul beloning toekent aan ongeldige LaTeX (syntactische validiteit).
  • Een binaire rubric ($r_{sem}$) voor semantische equivalentie (het afhandelen van geldige alternatieve notaties zoals \over vs. \frac).
  • Een dense NED-component ($r_{struct}$) voor structurele supervisie.

2.2 Step-Aware Annealing (SAA)

SAA is een plug-and-play beloningsverscherpingsmechanisme dat is ontworpen om de vlakheid van beloningen in het regime van hoge nauwkeurigheid aan te pakken. Het functioneert onafhankelijk van de specifieke definitie van de beloning zodra deze genormaliseerd is.

• Niet-lineaire Beloningsvormgeving: SAA past een machtswet-transformatie toe op de basisbeloning $M$:
  $$f_\gamma(M) = M^\gamma$$
  waarbij $\gamma$ een kromingsfactor is. Wanneer $\gamma > 1$, wordt het relatieve gat tussen hoog scorende samples vergroot. Dit verlaagt effectief de "temperatuur" van het selectieproces, waardoor het optimalisatiesignaal scherper wordt voor top-gerangschikte kandidaten, terwijl de oorspronkelijke rangorde behouden blijft.
• Adaptieve Planning: De kromingsfactor $\gamma$ is niet constant maar evolueert tijdens de training:
  $$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$$
  • Vroege Training: $\gamma$ start nabij 1 (lineair), wat zorgt voor stabiliteit en afstemming met de oorspronkelijke basisbeloning.
  • Late Training: $\gamma$ neemt toe (tot een maximum van $\gamma_{init} + \Delta\gamma$), waardoor de beloning progressief wordt aangescherpt om subtiele verschillen tussen hoogwaardige outputs te onderscheiden.
• Dynamic Dispersion Controller (DDC): Om de versnellingsgraad aan te passen aan de taakcomplexiteit, wordt $\tau_{adaptive}$ gemoduleerd door een taak-specifieële dispersiescore ($d_{DDC}$) die wordt berekend over een voortschrijvend venster van recente beloningen. Hoge dispersie (heterogene uitkomsten) triggert snellere aanscherping, terwijl lage dispersie een stabieler tempo handhaaft.

3. Belangrijkste Bijdragen

1. Step-Aware Annealing (SAA): Een nieuw mechanisme voor het aanscherpen van beloningen dat de beloningskroming dynamisch verhoogt over de trainingsstappen. Het verbetert de optimalisatie in het regime van hoge nauwkeurigheid zonder dat er extra menselijk toezicht of hulp-beloningsmodeltraining nodig is.
2. DocPO Framework: Een verenigd document RL-framework dat element-specifieke referentie-gebaseerde beloningen (NED voor tekst, TEDS voor tabellen, Rubric+edit voor formules) integreert met SAA.
3. Verfijnde Benchmark: De constructie van DocElemHard, een uitdagende dataset die tekstblokken, tabellen en formules dekt voor evaluatie op elementniveau, naast evaluaties op OmniDocBench.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met de Qwen2.5-VL-3B backbone zonder wijzigingen aan de visuele encoder, pre-training of post-processing modules.

• Prestatiewinst:
  • OmniDocBench: DocPO behaalde een algemene score van 95.38, waarmee het gespecialiseerde VLMs zoals PaddleOCR-VL (94.87) en DeepSeekOCR (90.63) overtrof.
  • DocElemHard: DocPO behaalde de beste algemene prestatie (93.76), waarmee het de sterkste gespecialiseerde baseline (PaddleOCR-VL met 91.47) versloeg.
  • Element-specifiek:
    • Tekst: Verminderde de NED-fout naar 0.0125 (vs. 0.0358 voor de SFT-baseline).
    • Formules: Verbeterde de CDM-score naar 94.70 (vs. 92.61 voor SFT).
    • Tabellen: Behaalde 93.10 TEDS (vs. 89.30 voor SFT).
• Ablatieonderzoeken:
  • SAA vs. Fixed Curvature: Dynamische SAA (93.10) presteerde beter dan statische machtstransformaties met een vaste $\gamma$ (variërend van 91.9–92.3), wat de noodzaak van het adaptieve schema aantoont.
  • DDC Bijdrage: Het verwijderen van de Dynamic Dispersion Controller verlaagde de prestaties van 93.10 naar 92.73, wat de waarde van taak-specifieke dispersie-adaptatie bevestigt.
  • Trainingsefficiëntie: SAA versnelde de convergentie; het bereikte de 91.0 TEDS-drempel 1.8× sneller dan de niet-geannealde baseline, terwijl het ook een hogere uiteindelijke prestatieplafond bereikte (+1.5 punten).
• Vergelijking met Gespecialiseerde Modellen: DocPO presteerde beter dan modellen die vertrouwen op architecturale aanpassingen (bijv. toegewijde high-resolution encoders, aangepaste visuele token compressie, of aanvullende multimodale pre-training) door enkel een standaard 3B backbone en beloningsniveau-optimalisatie te gebruiken.

5. Betekenis en Claims

Het artikel stelt dat voor documentparsing het optimaliseren van het beloningssignaal een effectievere hefboom is dan het schalen of herontwerpen van de modelarchitectuur.

• Eenvoud en Inzetbaarheid: In tegenstelling tot recente trends die complexe wijzigingen aan de visuele front-end of hulp-beloningsmodellen vereisen, behaalt DocPO state-of-the-art resultaten met een standaard VLM-backbone zonder extra pre-processing of post-processing.
• Generaliseerbaarheid: Het SAA-mechanisme is agnostisch voor de specifieke definitie van de beloning, wat een verenigde optimalisatiestrategie biedt over diverse documentelementen (tekst, tabellen, formules).
• Optimalisatie bij Hoge Nauwkeurigheid: Het werk toont aan dat de primaire bottleneck in hoog-nauwkeurige documentparsing niet de capaciteit van het model is, maar de discriminatiekracht van het beloningssignaal in het bijna-optimale regime. SAA adresseert dit effectief door het leersignaal progressief aan te scherpen.

Beperkingen: De auteurs merken op dat RL-training computationeel duurder is dan SFT vanwege meerdere rollouts en rubric scoring. Daarnaast kunnen proxy-beloningen subtiele semantische nuances missen, en de huidige scope is beperkt tot tekst, formules en tabellen, waarbij charts en geometrische diagrammen buiten beschouwing worden gelaten.