Sintesi Tecnica: MonkeyOCRv2

Problematica

I modelli di base visivi mainstream (ad es. CLIP, DINO, SAM) sono preaddestrati principalmente su immagini naturali, concentrandosi sulla semantica degli oggetti di alto livello, l'allineamento globale e il contesto della scena. Questi modelli presentano un disallineamento di rappresentazione quando applicati a immagini di documenti. Le immagini di documenti sono caratterizzate da testo denso, tratti di caratteri fini, layout complessi e semantiche che dipendono fortemente da dettagli visivi locali (ad es. punteggiatura, esponenti, variazioni dei tratti). I modelli esistenti spesso scartano questi dettagli fini a favore dell'astrazione semantica, rendendoli inadatti per compiti di parsing, comprensione del documento e attività correlate. Inoltre, i dataset di preaddestramento orientati ai documenti sono limitati in termini di scala, diversità linguistica e granularità delle annotazioni, coprendo spesso solo il cinese e l'inglese o mancando di una supervisione densa.

Metodologia

1. Motore di Dati: MonkeyDoc v2

Per affrontare la scarsità di dati e il divario di distribuzione, gli autori hanno costruito MonkeyDoc v2, il più grande corpus noto di preaddestramento visivo-testuale orientato ai documenti.

• Scala: 113 milioni di immagini.
• Diversità: Copre 17 lingue (inclusi Cinese Semplificato/Tradizionale, Inglese, Arabo, Tedesco, ecc.) e diversi tipi di documenti (articoli scientifici, fatture, note scritte a mano, testi antichi, formule, tabelle).
• Composizione: 61 milioni di campioni reali e 52 milioni di campioni sintetici.
• Pipeline di Annotazione: Utilizza una pipeline di accordo tra più esperti in cui più modelli OCR complementari trascrivono gli elementi ritagliati; viene mantenuta la predizione con il più alto accordo a coppie per sopprimere gli errori specifici del modello. I campoli di bassa qualità vengono filtrati tramite verifica del layout e controlli di coerenza logica tramite Large Language Models.

2. Strategia di Preaddestramento: Generazione e Ricostruzione Congiunta

MonkeyOCRv2 impiega una strategia di preaddestramento a doppio obiettivo per apprendere rappresentazioni visive native del documento:

• Generazione Immagine-Testo: Allinea le rappresentazioni visive con il contenuto testuale utilizzando una perdita di cross-entropia autoregressiva standard ($L_{text}$). Questo fornisce una supervisione densa per la comprensione semantica.
• Ricostruzione del Documento a Livello di Pixel: Incoraggia l'encoder a preservare dettagli visivi fini (tratti dei caratteri, forme dei glifi, strutture del layout) che potrebbero essere scartati sotto una supervisione puramente testuale. Ciò è ottenuto tramite una perdita di Errore Quadratico Medio (MSE) ($L_{pix}$) e, opzionalmente, una perdita consapevole della struttura ($L_{struct}$) che corrisponde a mappe di bordi e distanza dai bordi.
• Obiettivo Combinato: $L_{pretrain} = L_{text} + \lambda L_{rec}$. L'obiettivo di ricostruzione agisce come regolarizzatore, garantendo che l'encoder conservi l'evidenza visiva anche quando il contesto linguistico è debole o assente.

3. Architettura

La famiglia di modelli include tre varianti di encoder visivo addestrate da zero su MonkeyDoc v2:

• MonkeyOCRv2-S: ViT-Small (28M di parametri).
• MonkeyOCRv2-B: ViT-Base (113M di parametri).
• MonkeyOCRv2-AS: ViTAEv2-Small (21M di parametri), ottimizzato per compiti che beneficiano di un bias induttivo multi-scala (ad es. detection, segmentazione).

Contributi Chiave

1. MonkeyOCRv2: Un modello di base visivo-testuale preaddestrato specificamente per l'IA documentale, che affronta il disallineamento di rappresentazione tra gli encoder di immagini naturali e le immagini di documenti attraverso la generazione di testo e la ricostruzione a livello di pixel congiunte.
2. MonkeyDoc v2: Un enorme corpus di preaddestramento multilingue (17 lingue), multi-tipo (113 milioni di immagini) che supera significativamente la scala e la diversità degli esistenti dataset documentali.
3. Preaddestramento a Doppio Obiettivo: Dimostra che accoppiare la generazione immagine-testo con la ricostruzione a livello di pixel migliora la robustezza, in particolare quando il contesto linguistico viene rimosso o degradato.

Risultati Sperimentali

Prestazioni sui Compiti Downstream

Sostituire gli encoder originali con MonkeyOCRv2 ha prodotto miglioramenti costanti in cinque compiti rappresentativi di analisi del documento:

• Riconoscimento del Testo: Miglioramento dell'accuratezza CRNN dal 58,7% al 67,3% su benchmark impegnativi. PARSeq con MonkeyOCRv2 ha raggiunto prestazioni state-of-the-art (SOTA) su Union14M e benchmark cinesi.
• Riconoscimento di Formule: Un modello da 110M di parametri (UniMERNet-T + MonkeyOCRv2) ha superato l'UniMERNet-B da 325M, dimostrando che un encoder orientato ai documenti più forte può compensare una ridotta capacità del modello.
• Rilevamento del Testo (Text Detection): Guadagni costanti di F-measure su ICDAR2015, ArT, Total-Text e CTW1500, superando sia gli encoder preaddestrati su ImageNet che oCLIP (un encoder specifico per il testo).
• Rilevamento di Manomissione di Documenti: Ha raggiunto punteggi F1 SOTA su DocTamper-Test, DocTamper-FCD e DocTamer-SCD, mostrando una forte generalizzazione attraverso i cambiamenti di dominio.
• Segmentazione di Testo Sovrapposto: Miglioramento del mIoU dal 4,3% al 6,3% sul dataset MOT.

Parsing e Comprensione del Documento

• Document Parsing (MDPBench): MonkeyOCRv2-B-Parsing (0,7B di parametri totali, 0,1B l'encoder visivo) ha raggiunto l'83,3% su MDPBench, superando il precedente SOTA open-source (dots.mocr, 3B di parametri) del 2,8% assoluto, nonostante utilizzi un encoder visivo circa 11 volte più piccolo. Ha inoltre superato i VLM general-purpose più grandi come Qwen3-VL-235B e GPT-5.2 su OmniDocBench.
• Comprensione del Documento: In un ambiente controllato (encoder congelati accoppiati con lo stesso LLM Qwen3-1.7B), MonkeyOCRv2-B ha ottenuto un punteggio medio di 57,2 su otto benchmark, superando significativamente CLIP, DINO, SAM e altri encoder orientati ai documenti.

Analisi della Robustezza

• Dipendenza dal Contesto Linguistico: Uno studio controllato utilizzando testi rimescolati ha mostrato che MonkeyOCRv2 è più robusto alla degradazione della risoluzione e alla rimozione del contesto linguistico. L'obiettivo di ricostruzione dei pixel ha ridotto il divario di accuratezza tra testo semanticamente coerente e testo rimescolato, indicando una maggiore dipendenza dall'evidenza visiva piuttosto che dai priori linguistici.
• Allucinazione: Su CHAOS-Bench, MonkeyOCRv2-Parsing ha ottenuto il più alto recall medio per pagina per le parole perturbate, dimostrando una superiore fedeltà all'evidenza visiva rispetto a modelli come HunyuanOCR-1.5 e PaddleOCR-VL-1.6.

Significato e Rivendicazioni

Il paper sostiene che il preaddestramento visivo orientato ai documenti può servire come fondamento per l'intelligenza documentale in quanto tale, piuttosto che affidarsi ad encoder costruiti per scene naturali.

• Svolta Fondamentale: Il lavoro sfida il paradigma di adattare i modelli di visione general-purpose ai documenti, sostenendo che le statistiche visive uniche dei documenti (testo denso, tratti fini) richiedono obiettivi di preaddestramento dedicati.
• Efficienza: Dimostra che un encoder compatto e nativo dei documenti (0,1B) può superare i massicci VLM general-purpose (centinaia di miliardi di parametri) nei compiti specifici del documento quando la rappresentazione visiva è ottimizzata per il dominio.
• Preservazione dell'Evidenza Visiva: Lo studio valida che gli obiettivi di ricostruzione a livello di pixel sono critici per preservare i dettagli fini, migliorando la robustezza in scenari in cui il contesto linguistico è ambiguo o assente.

Gli autori concludono che MonkeyOCRv2 e MonkeyDoc v2 forniscono fondamenta riutilizzabili per l'OCR multilingue, la comprensione del documento e sistemi di intelligenza documentale più ampi, stabilendo il testo come una "modalità visiva di prima classe".