FireRed-OCR Technical Report

In dit rapport presenteren we FireRed-OCR, een systematisch kader dat algemene Vision-Language Models omzet in hoogwaardige OCR-specialisten door middel van een 'Geometry + Semantics'-datafabriek en een drie-fasen trainingsstrategie, wat resulteert in state-of-the-art prestaties voor het nauwkeurig parseren van complexe documenten.

De kern

Stel je voor dat je een zeer intelligente, creatieve kunstenaar hebt die alles kan zien en beschrijven. Als je hem een foto van een bos laat zien, beschrijft hij prachtig de bomen en de vogels. Maar als je hem een ingewikkelde factuur, een wetenschappelijk artikel met formules of een krant met veel kolommen geeft, begint hij te "dromen". Hij schrijft misschien de juiste woorden, maar de volgorde is door elkaar, de tabellen hebben geen randjes, en wiskundige formules zijn onleesbaar. Dit noemen de auteurs "Structurele Hallucinaties". De kunstenaar begrijpt de betekenis, maar niet de regels van de opmaak.

FireRed-OCR is de oplossing van het team van Xiaohongshu om deze kunstenaar om te toveren tot een perfecte, regelgeleide administrateur. Hier is hoe ze dat deden, vertaald in alledaagse taal:

1. De "Geometrie + Semantiek" Data-Fabriek

Normaal gesproken leren computers door willekeurig voorbeelden te bekijken. Dat is alsof je een kok leert koken door hem alleen maar pizza's te laten zien, en dan plotseling een sushi-recept te geven. Het lukt niet goed.

Het FireRed-team bouwde een speciale fabriek om de beste lesmateriaal te maken:

• De Geometrische Filter: In plaats van willekeurig te kiezen, kijken ze eerst naar de vorm van het document. Is het een rommelige krant? Een strakke factuur? Een ingewikkeld diagram? Ze groeperen deze vormen en zorgen dat de computer alle soorten "vormen" ziet, niet alleen de simpele.
• De "Reinigingsmachine": Ze gebruiken slimme algoritmes en zelfs andere super-intelligente AI's om fouten in de lesmateriaal te vinden en te repareren. Als een voorbeeld een rare tabel heeft, wordt deze door een "expert" (een andere AI) opnieuw geschreven tot het perfect is. Zo leert de computer alleen maar van de allerbeste voorbeelden.

2. De Drie-Stappen Trainingsmethode

Je kunt een pasgeboren baby niet direct laten werken als een boekhouder. Je moet hem stap voor stap leren. FireRed-OCR gebruikt een drie-trapsraket:

• Stap 1: De Oefeningen (Pre-alignment)
  Eerst leren ze de computer niet om direct een heel document te schrijven. Ze laten hem eerst oefenen met het vinden van woorden en het tekenen van kaders eromheen. Het is alsof je een kind eerst leert letters herkennen en op hun plek zetten, voordat je hem een heel verhaal laat schrijven.
• Stap 2: De Strikte Schrijver (SFT)
  Nu de computer de letters kent, leren ze hem om te schrijven volgens de regels. Hij leert dat een tabel altijd vierkante vakjes moet hebben en dat een wiskundige formule precies zo moet klinken als in een schoolboek. Geen vrijblijvende dromen meer, maar strakke, machine-leesbare tekst.
• Stap 3: De "Regel-Check" (GRPO)
  Dit is de slimste stap. Stel je voor dat de computer een opdracht krijgt en 10 verschillende antwoorden bedenkt. Een speciale "rechter" kijkt naar al die antwoorden.
  • Antwoord A: De tabel is scheef? Strafpunt.
  • Antwoord B: De wiskundige formule klopt niet? Strafpunt.
  • Antwoord C: Alles is perfect volgens de regels? Beloning.
    De computer leert hierdoor zelf te corrigeren. Hij probeert steeds vaker de "perfecte" versie te maken om de beloning te krijgen. Dit zorgt ervoor dat hij nooit meer vergeet om de randjes van een tabel te sluiten.

3. Het Resultaat: Een Kleine Reus

Het meest verbazingwekkende is dat dit systeem werkt met een klein model (slechts 2 miljard parameters), terwijl de concurrenten vaak enorme, zware modellen gebruiken (honderden miljarden parameters).

• Vergelijking: Het is alsof FireRed-OCR een slimme, goed getrainde handelaar is die elke dag oefent met de juiste regels. De grote concurrenten zijn meer zoals geniale filosofen die alles begrijpen, maar soms vergeten hoe ze een formulier moeten invullen.
• De Test: Op de zwaarste test (OmniDocBench), waar documenten vol zitten met rare tabellen, formules en tekst, scoort FireRed-OCR 92,94%. Dat is beter dan de grootste, duurste modellen ter wereld.

Samenvattend

FireRed-OCR is geen magie; het is discipline. Ze hebben een algemene kunstenaar (een AI) niet alleen laten "kijken", maar hem getraind in een fabriek met perfecte voorbeelden, laten oefenen in kleine stappen, en hem een strenge "rechter" gegeven die hem leert om zich aan de regels te houden. Het resultaat is een AI die niet alleen begrijpt wat er op een papier staat, maar het ook perfect kan overtypen in een digitaal formaat dat elke computer kan lezen.

Ze hebben hun code en modellen gratis beschikbaar gesteld, zodat iedereen deze "disciplinaire methode" kan gebruiken om hun eigen documenten digitaal te maken.

Technische samenvatting

Titel: FireRed-OCR: Een Systematisch Framework voor het Specialiseren van Algemene VLM's in Hoogwaardige OCR-modellen

Auteurs: Super Intelligence Team, Xiaohongshu Inc.
Basis: Qwen3-VL (Vision-Language Model)

---

1. Het Probleem: Structurele Hallucinaties

Hoewel grote Vision-Language Modellen (VLM's) indrukwekkende algemene vaardigheden hebben, kampen ze met een fundamenteel tekortkoming bij het verwerken van complexe documenten (zoals financiële rapporten, academische papers en formulieren). Dit fenomeen wordt "Structurele Hallucinaties" genoemd.

• Symptomen: De modellen genereren tekst die semantisch correct lijkt, maar structureel onjuist is. Voorbeelden zijn:
  • Verwarde rijen in Markdown-tabellen.
  • Niet-bestaande syntaxis in wiskundige formules.
  • Het missen van hiërarchische logica (bijv. koppen, lijsten).
• Oorzaak: Algemene VLM's begrijpen de "intentie" van de inhoud, maar missen de strikte "regels" voor formaten en structurele integriteit die nodig zijn voor industriële OCR-toepassingen. Traditionele OCR-systemen zijn weliswaar pixel-precies, maar missen vaak het semantische inzicht om complexe lay-outs logisch te reconstrueren.

2. Methodologie: De FireRed-OCR Framework

FireRed-OCR transformeert een algemene VLM (specifiek gebaseerd op Qwen3-VL) in een gespecialiseerd, pixel-precies documentparsing-expert. De aanpak rust op twee pijlers: een hoogwaardige data-engine en een progressieve trainingsstrategie.

A. De "Geometry + Semantics" Data Factory

Om het gebrek aan hoogwaardige gestructureerde data aan te pakken, hebben de auteurs een geautomatiseerde pijplijn ontwikkeld die ruwe webdata omzet in "high-octane brandstof" voor leren:

1. Geometrische Clustering & Dual Indexing: In plaats van willekeurige steekproeven, worden documenten geclusterd op basis van visuele lay-outkenmerken (geometrie) en semantische tags. Dit zorgt voor een gebalanceerde dataset die zeldzame lay-outs (zoals geneste tabellen of onregelmatige formulieren) omvat.
2. Gestratificeerde Steekproeven & Herannotatie: Data wordt zorgvuldig geselecteerd om de verdeling van moeilijkheidsgraden te balanceren. Alle annotaties worden gestandaardiseerd naar een uniforme Markdown-syntaxis om verwarring te voorkomen.
3. Synthetische Data Generatie: Voor zeldzame structurele combinaties (bijv. tabellen die over drie pagina's lopen) worden hoogwaardige synthetische data gegenereerd via HTML/CSS-rendering.
4. Automatische Kwaliteitscontrole: Een tweeledig filtersysteem ("The Sieve" en "The Judge") verwijdert ruis en identificeert "hard negatives" (moeilijke gevallen) voor verdere verfijning.
5. Expert Refinement: De moeilijkste gevallen worden verwerkt door geavanceerde modellen (zoals Gemini 3 Pro) om structurele fouten in de ground truth te corrigeren, waarna deze data wordt gebruikt voor distillatie.

B. Drie-Fasen Progressieve Trainingsstrategie

Het model wordt getraind in drie opeenvolgende fasen om van een algemene interpreter naar een structurele expert te evolueren:

1. Fase 1: Multi-task Pre-alignment:
   • Het model leert eerst fysische perceptie (bepalen van bounding boxes en regio-OCR) voordat het volledige pagina's genereert. Dit "grondt" het visuele begrip.
2. Fase 2: Gespecialiseerde Supervised Fine-Tuning (SFT):
   • Het model wordt getraind op hoogwaardige Markdown-data om strikte syntaxis en hiërarchische consistentie te leren. Dit zorgt voor een stabiele basis voor gestructureerde output.
3. Fase 3: Format-Gebonden GRPO (Group Relative Policy Optimization):
   • Dit is de kerninnovatie. Er wordt Reinforcement Learning (RL) toegepast met strikte beloningsschema's (rewards) voor:
     • Formule Syntaxis: Controle of LaTeX-formules compilen.
     • Hiërarchische Sluiting: Zorg dat alle tags (bijv. tabellen, vetgedrukte tekst) correct worden gesloten.
     • Tabel Integriteit: Controleer of kolommen in tabellen consistent zijn.
     • Tekstnauwkeurigheid: Vergelijking met de ground truth.
   • Door GRPO te gebruiken in plaats van PPO, wordt de VRAM-gebruik efficiënter gehouden, wat essentieel is voor hoge-resolutie documenten.

3. Belangrijkste Bijdragen

• Paradigmaverschuiving: Identificatie van "Structurele Hallucinaties" als de belangrijkste bottleneck en het voorstellen van een oplossing die verschuift van tekstgeneratie naar "structurele engineering".
• Data Factory: Ontwikkeling van een "Geometry + Semantics" data-engine die interpreteerbare, gebalanceerde en hoogwaardige supervisie-data garandeert.
• Trainingsstrategie: Introductie van een drie-fasen pipeline met format-gebonden GRPO, wat de robuustheid bij complexe lay-outs aanzienlijk verbetert.
• Efficiëntie: Bewijs dat een klein model (2B parameters) door middel van speciale training en data-kwaliteit prestaties kan leveren die grotere, algemene modellen overtreffen.

4. Resultaten

FireRed-OCR is uitgebreid geëvalueerd op de OmniDocBench v1.5 benchmark en andere datasets.

• Algemene Prestatie: FireRed-OCR-2B behaalde een overall score van 92,94%, wat een state-of-the-art (SOTA) resultaat is.
• Vergelijking met Concurrenten:
  • Het overtreft sterke E2E-baselines zoals DeepSeek-OCR 2 (91,09%) en OCRVerse (88,56%).
  • Het presteert beter dan enorme algemene VLM's zoals Qwen3-VL-235B (89,15%) en Gemini-3.0 Pro (90,33%), ondanks dat FireRed-OCR slechts 2 miljard parameters heeft (minder dan 1% van de grootte van de concurrenten).
  • Het presteert ook beter dan zware pipeline-systemen zoals MinerU2.5 (90,67%).
• Specifieke Verbeteringen:
  • Tabelstructuur (TableTEDS): Een enorme sprong van +20,54 punten ten opzichte van de basis Qwen3-VL-2B.
  • Tekstnauwkeurigheid: Laagste edit-distance (0,032) onder alle geteste modellen.
  • Leesvolgorde: Beste prestaties in het reconstrueren van de leesvolgorde in complexe lay-outs.

5. Betekenis en Impact

Deze studie demonstreert dat de weg naar industriële OCR-uitmuntendheid niet noodzakelijkerwijs ligt in het vergroten van het modelgrootte (scaling), maar in kwaliteit van data en specifieke trainingsstrategieën.

• Paradigma: Het bewijst de haalbaarheid van het "General VLM → Specialized Structural Model"-paradigma.
• Open Source: De code en modelgewichten zijn open-source gemaakt, wat de gemeenschap in staat stelt om van algemene multimodale modellen naar gespecialiseerde gestructureerde documentmodellen te migreren.
• Toepassing: De oplossing maakt OCR-toepassingen veel betrouwbaarder voor kritieke domeinen zoals juridische documenten, financiële rapportage en academische publicaties, waar structurele nauwkeurigheid cruciaal is voor downstream taken.

Kortom, FireRed-OCR biedt een reproduceerbaar kader om de kloof tussen visuele waarneming en strikte structurele logica te overbruggen, waardoor VLM's echt inzetbaar worden voor complexe documentintelligentie.