Sintesi Tecnica: LightOnOCR-2-1B

Problematica

Nonostante decenni di progressi nel riconoscimento ottico dei caratteri (OCR), l'elaborazione di documenti nel mondo reale rimane una sfida a causa dell'ambiguità dell'ordine di lettura in layout multi-colonna, delle strutture tabellari complesse e della densa tipografia mescolata con la notazione matematica tipica dei PDF scientifici. Le strategie di produzione tradizionali si affidano a pipeline multi-stadio fragili (analisi del layout, rilevamento del testo, riconoscimento, estrazione delle tabelle) che sono costose da adattare a nuove distribuzioni di documenti e richiedono modifiche coordinate tra molteplici componenti. Sebbene i modelli Vision-Language (VLM) end-to-end offrano un'alternativa unificata, gli esistenti modelli allo stato dell'arte sono spesso grandi (ad esempio, 9 miliardi di parametri), lenti e mancano di robustezza in domini specifici come i documenti scientifici o l'elaborazione della lingua francese.

Metodologia

Gli autori presentano LightOnOCR-2-1B, un compatto VLM multilingue da 1 miliardo di parametri progettato per convertire direttamente immagini di documenti in testo pulito e con ordine naturale, senza l'uso di pipeline fragili.

Architettura

Il modello è composto da tre componenti:

1. Encoder Visivo: Un Vision Transformer a risoluzione nativa inizializzato dai pesi pre-addestrati di Mistral-Small-3.1, capace di gestire dimensioni di immagine variabili e preservare la struttura spaziale.
2. Proiettore Multimodale: Un MLP a due strati con attivazione GELU che proietta le caratteristiche visive nello spazio di embedding del modello linguistico. Utilizza il merging spaziale (patch 2×2) per ridurre i token visivi di 4×, mantenendo la trattabilità per input ad alta risoluzione.
3. Decoder del Modello Linguistico: Inizializzato da Qwen3, genera una rappresentazione linearizzata della pagina, emettendo token strutturati per elementi non testuali (ad esempio, ![image](image_N.png)).

Strategia di Addestramento

La ricetta di addestramento per LightOnOCR-2 rappresenta un significativo aumento di scala e un perfezionamento rispetto al suo predecessore (LightOnOCR-1):

• Curatela dei Dati: Il mix di pre-addestramento è stato scalato da 17M a 43M di pagine (2,5× più grande). Include una copertura più forte di documenti scansionati, testi francesi e contenuti scientifici. La supervisione è generata tramite distillazione utilizzando un modello teacher più forte (Qwen3-VL-235B-A22B-Instruct).
• Pipeline di Normalizzazione: Una pipeline unificata pulisce fonti eterogenee (PDFA, scansioni, arXiv) rimuovendo artefatti (watermark, markdown errati), omogeneizzando i casi speciali (pagine bianche, immagini incorporate) e imponendo invarianti di formattazione (compatibilità KaTeX, tabelle standardizzate).
• Curatela arXiv: Una nuova pipeline che utilizza nvpdftex (toolchain NVIDIA) compila le sorgenti TEX per produrre annotazioni allineate ai pixel, fornendo una supervisione di alta qualità per documenti scientifici e bounding box.
• Risoluzione e Augmentation: L'addestramento avviene a una risoluzione massima più elevata (1540px sul lato più lungo rispetto ai 1024px precedenti) e include esempi espliciti di pagine vuote per prevenire comportamenti di loop. Le data augmentation includono corruzione bitmap, shear affini e rotazioni.
• Reinforcement Learning con Verifiable Rewards (RLVR): Il modello subisce un processo di RLVR utilizzando GRPO per affrontare modalità di fallimento difficili da correggere solo con l'apprendimento supervisionato.
  • Ricetta OCR: Estende i test unitari di OlmOCR per penalizzare i loop di ripetizione, verificare la correttezza matematica tramite il rendering KaTeX ed imporre una formattazione pulita.
  • Ricetta di Localizzazione: Introduce una variante che predice bounding box normalizzati per le immagini incorporate. La supervisione delle coordinate è introdotta durante una fase di ripresa del pre-addestramento, seguita da un raffinamento tramite reward basati su IoU.
• Tecniche nello Spazio dei Pesi: Gli autori impiegano l'averaging dei checkpoint (fare il "souping" degli ultimi 5 checkpoint) e il merging tramite aritmetica dei task per combinare guadagni complementari e controllare il compromesso tra qualità OCR e accuratezza del bounding box senza ulteriore addestramento.

Contributi Chiave

1. Prestazioni allo Stato dell'Arte: LightOnOCR-2-1B raggiunge nuovi risultati allo stato dell'arte su OlmOCR-Bench, superando sostanzialmente modelli molto più grandi (ad esempio, baseline di scala 9B) pur essendo 9× più piccolo e veloce.
2. Mix di Pre-addestramento Migliorato: Un dataset 2,5× più grande e pulito con una migliore copertura di documenti francesi, PDF scientifici e alta risoluzione (1540px).
3. Capacità di Localizzazione: Introduzione della predizione del bounding box delle immagini in varianti dedicate, addestrate tramite supervisione delle coordinate e RLVR, senza degradare le prestazioni OCR di base.
4. Nuovo Benchmark: Rilascio di LightOnOCR-bbox-bench, un nuovo benchmark per la localizzazione di immagini nei documenti, composto da subset revisionati manualmente e annotati automaticamente.
5. Efficienza e Robustezza: Dimostrazione che tecniche leggere nello spazio dei pesi (averaging e merging) possono migliorare le prestazioni e gestire esplicitamente il compromesso tra estrazione del testo e accuratezza della localizzazione.
6. Rilascio Open: Rilascio pubblico dei checkpoint del modello (Apache 2.0), del dataset (LightOnOCR-mix-0126) e del benchmark sotto le rispettive licenze.

Risultati

• Accuratezza OCR: Su OlmOCR-Bench, LightOnOCR-2-1B raggiunge un punteggio complessivo di 83.2 ± 0.9, superando modelli end-to-end più grandi come olmOCR-2-8B (80.4) e Chandra-9B (81.7). Mostra una forza particolare in documenti ArXiv, vecchie scansioni con formule matematiche e layout ricchi di tabelle.
• Localizzazione: Su LightOnOCR-bbox-bench, il modello raggiunge un F1@0.5 di 0.78 (subset OlmOCR) e 0.83 (subset arXiv), superando la baseline 9B di Chandra in termini di accuratezza del conteggio e F1, nonostante sia significativamente più piccolo.
• Efficienza: LightOnOCR-2 raggiunge un throughput di 5.71 pagine/secondo su una singola NVIDIA H100, superando sostanzialmente le baseline più grandi (olmOCR-2 a 3.28 pagine/sec, Chandra a 1.70 pagine/sec).

Significato e Rivendicazioni

Il paper posiziona LightOnOCR-2-1B come una soluzione pratica e ad alta fedeltà per la comprensione dei documenti che elimina l'onere ingegneristico delle pipeline multi-stadio. Gli autori sostengono che un modello end-to-end compatto, completamente differenziabile, possa gestire layout complessi (tabelle, moduli, notazione scientifica) in modo più efficace ed efficiente rispetto a sistemi più grandi e fragili.

Il lavoro sottolinea che la semplicità e la qualità dei dati sono i driver critici delle prestazioni. Sfruttando un mix di pre-addestramento più pulito e ampio, un addestramento ad alta risoluzione e un RLVR mirato, gli autori dimostrano che un modello da 1 miliardo di parametri può superare i sistemi da 9 miliardi. Inoltre, il paper afferma che la localizzazione può essere integrata nei modelli OCR senza compromettere la qualità dell'estrazione del testo attraverso strategie di addestramento attente (riprendere il pre-addestramento e raffinamento RLVR). Il rilascio del modello, dei dati e dei benchmark è inteso a supportare la ricerca riproducibile nell'estrazione e localizzazione ad alta fedeltà.

Limitazioni: Gli autori notano che il modello è ottimizzato per documenti stampati e script latini/europei; le prestazioni su script non latini (es. CJK, arabo) e sulla scrittura manuale non sono pienamente supportate e potrebbero mostrare una fedeltà degradata.