Technische Samenvatting: LightOnOCR-2-1B

Probleemstelling

Ondanks decennia aan vooruitgang in Optical Character Recognition (OCR), blijft het verwerken van documenten in de echte wereld uitdagend vanwege ambigue leesvolgordes in meerkoloms lay-outs, complexe tabelstructuren en de dichte typografie gemengd met wiskundige notatie die in wetenschappelijke PDF's wordt aangetroffen. Traditionele productiestrategieën vertrouwen op breekbare, meerfasige pipelines (lay-outanalyse, tekstdetectie, herkenning, tabelextractie) die kostbaar zijn om aan te passen aan nieuwe documentdistributies en waarbij gecoördineerde wijzigingen over meerdere componenten vereist zijn. Hoewel end-to-end Vision-Language Models (VLM's) een verenigd alternatief bieden, zijn bestaande state-of-the-art modellen vaak groot (bijv. 9B parameters), traag en missen ze robuustheid in specifieke domeinen zoals wetenschappelijke documenten of Franse taalverwerking.

Methodologie

De auteurs presenteren LightOnOCR-2-1B, een compact end-to-end meertalig VLM met 1B parameters, ontworpen om documentafbeeldingen direct om te zetten in schone, natuurlijk geordende tekst zonder breekbare pipelines.

Architectuur

Het model bestaat uit drie componenten:

1. Vision Encoder: Een native-resolutie Vision Transformer geïnitialiseerd van pretrained Mistral-Small-3.1 gewichten, in staat om variabele afbeeldingsgroottes te verwerken en de ruimtelijke structuur te behouden.
2. Multimodal Projector: Een twee-laagse MLP met GELU-activatie die visuele kenmerken projecteert naar de embeddingruimte van het taalmodel. Het maakt gebruik van spatial merging (2×2 patches) om het aantal visuele tokens met 4× te verminderen, waardoor de verwerkbaarheid voor hoge-resolutie inputs behouden blijft.
3. Language Model Decoder: Geïnitialiseerd van pretrained Qwen3, genereert het een lineaire representatie van de pagina, waarbij gestructureerde tokens worden uitgegeven voor niet-tekstuele elementen (bijv. ![image](image_N.png)).

Trainingsstrategie

Het trainingsrecept voor LightOnOCR-2 vertegenwoordigt een significante opschaling en verfijning ten opzichte van zijn voorganger (LightOnOCR-1):

• Data Curatie: De pretraining-mix werd opgeschaald van 17M naar 43M pagina's (2,5× groter). Het bevat een sterkere dekking van gescande documenten, Franse teksten en wetenschappelijke inhoud. Toezicht wordt gegenereerd via distillatie met gebruik van een sterker docentmodel (Qwen3-VL-235B-A22B-Instruct).
• Normalisatie Pipeline: Een verenigde pipeline reinigt heterogene bronnen (PDFA, scans, arXiv) door artefacten (watermerken, dwaalende Markdown) te verwijderen, speciale gevallen (lege pagina's, ingebedde afbeeldingen) te homogeniseren en formattering-invarianten af te dwingen (KaTeX-compatibiliteit, gestandaardiseerde tabellen).
• arXiv Curatie: Een nieuwe pipeline met behulp van nvpdftex (NVIDIA toolchain) compileert TEX-bronnen om pixel-uitgelijnde annotaties te produceren, wat zorgt voor hoogwaardig toezicht voor wetenschappelijke documenten en bounding boxes.
• Resolutie & Augmentatie: Training vindt plaats bij een hogere maximale resolutie (1540px langste zijde vs. 1024px eerder) en bevat expliciete voorbeelden van lege pagina's om loopgedrag te voorkomen. Data-augmentaties omvatten bitmapcorruptie, affine vervormingen en rotaties.
• Reinforcement Learning met Verifieerbare Beloningen (RLVR): Het model ondergaat RLVR met behulp van GRPO om faalmodi aan te pakken die moeilijk met alleen supervised learning te verhelpen zijn.
  • OCR Recept: Breidt OlmOCR unit tests uit om repetitielussen te bestraffen, wiskundige correctheid te verifiëren via KaTeX-rendering en schone formattering af te dwingen.
  • Lokalisatie Recept: Introduceert een variant die genormaliseerde bounding boxes voorspelt voor ingebedde afbeeldingen. Coördinaten-toezicht wordt geïntroduceerd tijdens een pretraining resume-fase, gevolgd door verfijning met behulp van IoU-gebaseerde beloningen.
• Gewichtsruimte Technieken: De auteurs maken gebruik van checkpoint averaging (het 'soupen' van de laatste 5 checkpoints) en task-arithmetic merging om complementaire winsten te combineren en de afweging tussen OCR-kwaliteit en bounding box-nauwkeurigheid te controleren zonder extra training.

Belangrijkste Bijdragen

1. State-of-the-Art Prestaties: LightOnOCR-2-1B bereikt nieuwe state-of-the-art resultaten op OlmOCR-Bench, waarbij het substantieel grotere modellen (bijv. 9B-schaal baselines) verslaat terwijl het 9× kleiner en sneller is.
2. Verbeterde Pretraining Mix: Een 2,5× grotere, schonere dataset met verbeterde dekking van Franse documenten, wetenschappelijke PDF's en hoge-resolutie training (1540px).
3. Lokalisatie Mogelijkheden: Introductie van afbeelding bounding box voorspelling in specifieke varianten, getraind via coördinaten-toezicht en RLVR, zonder de kern-OCR prestaties te verslechteren.
4. Nieuwe Benchmark: Release van LightOnOCR-bbox-bench, een nieuwe benchmark voor beeldlokalisatie in documenten, bestaande uit handmatig beoordeelde en automatisch geannoteerde subsets.
5. Efficiëntie & Robuustheid: Demonstratie dat lichtgewicht gewichtsruimte technieken (averaging en merging) de prestaties kunnen verbeteren en expliciet de afweging tussen tekstextractie en lokalisatienauwkeurigheid kunnen beheren.
6. Open Release: Publieke release van model checkpoints (Apache 2.0), de dataset (LightOnOCR-mix-0126), en de benchmark onder respectievelijke licenties.

Resultaten

• OCR Nauwkeurigheid: Op OlmOCR-Bench behaalt LightOnOCR-2-1B een algehele score van 83.2 ± 0.9, waarmee het grotere end-to-end modellen zoals olmOCR-2-8B (80.4) en Chandra-9B (81.7) overtreft. Het vertoont bijzondere kracht in ArXiv-documenten, oude scans met wiskunde en tabel-rijke lay-outs.
• Lokalisatie: Op LightOnOCR-bbox-bench behaalt het model een F1@0.5 van 0.78 (OlmOCR subset) en 0.83 (arXiv subset), waarbij het de 9B Chandra baseline overtreft in telnauwkeurigheid en F1, ondanks het feit dat het aanzienlijk kleiner is.
• Efficiëntie: LightOnOCR-2 bereikt een throughput van 5.71 pagina's/sec op een enkele NVIDIA H100, wat aanzienlijk beter is dan grotere baselines (olmOCR-2 op 3.28 pagina's/sec, Chandra op 1.70 pagina's/sec).

Betekenis en Claims

Het paper positioneert LightOnOCR-2-1B als een praktische, hoogwaardige oplossing voor documentbegrip die de engineering-last van meerfasige pipelines elimineert. De auteurs beweren dat een compact, volledig differentieerbaar, end-to-end model complexe lay-outs (tabellen, formulieren, wetenschappelijke notatie) effectiever en efficiënter kan afhandelen dan grotere, breekbare systemen.

Het werk benadrukt dat eenvoud en datakwaliteit cruciale drijfveren van prestaties zijn. Door gebruik te maken van een schonere, grotere pretraining-mix, hogere-resolutie training en gerichte RLVR, demonstreren de auteurs dat een model met 1B parameters grotere 9B parameter systemen kan overtreffen. Bovendien stelt het paper dat lokalisatie geïntegreerd kan worden in OCR-modellen zonder de tekstextractiekwaliteit in gevaar te brengen door middel van zorgvuldige trainingsstrategieën (resume pretraining en RLVR verfijning). De release van het model, de data en de benchmarks is bedoeld om reproduceerbaar onderzoek in hoogwaardige documentextractie en lokalisatie te ondersteunen.

Beperkingen: De auteurs merken op dat het model geoptimaliseerd is voor gedrukte documenten en Latijnse/Europese schriften; de prestaties op niet-Latijnse schriften (bijv. CJK, Arabisch) en handgeschreven tekst worden niet volledig ondersteund en kunnen een verminderde getrouwheid vertonen.