Riassunto Tecnico: Unlimited OCR

1. Definizione del Problema

Gli attuali modelli di Optical Character Recognition (OCR) end-to-end, anche quelli che sfruttano i Large Language Models (LLM) come decoder, affrontano limitazioni significative nei compiti di parsing a lungo orizzonte (ad esempio, la trascrizione di decine di pagine in un singolo passaggio in avanti).

• Collo di bottiglia della memoria e dell'efficienza: I meccanismi di attenzione standard richiedono che la cache Key-Value (KV) cresca linearmente con la lunghezza della sequenza di output. Man mano che la sequenza si allunga, ciò porta a un consumo di memoria illimitato e a velocità di generazione progressivamente più lente a causa dell'aumento dei costi di computazione dell'attenzione.
• Il workaround del "Ciclo For": I modelli esistenti tipicamente elaborano i documenti pagina per pagina in un ciclo, resettando la memoria ad ogni passaggio. Questo frammenta il compito in problemi isolati a breve orizzonte gestiti da uno scheduler esterno, fallendo nel simulare lo stato cognitivo continuo che gli esseri umani mostrano durante la trascrizione di testi lunghi.
• Fedeltà Visiva vs. Transizioni di Stato: Sebbene i meccanismi di attenzione lineare riducano la complessità, spesso applicano aggiornamenti dello stato ricorrenti ai token visivi. Ciò causa un "sfocamento progressivo" delle caratteristiche visive, degradando l'accuratezza del riconoscimento.

2. Metodologia

Il paper propone Unlimited OCR, un modello progettato per emulare la memoria di lavoro umana durante compiti di copia a lungo orizzonte. Si basa sul baseline DeepSeek OCR, mantenendo il suo encoder ad alta compressione ma alterando fondamentalmente il meccanismo di attenzione del decoder.

Architettura Core

• Baseline: Utilizza il DeepEncoder di DeepSeek OCR, che impiega un'architettura ViT a cascata (SAM-ViT + CLIP-ViT) per ottenere un tasso di compressione dei token di 16×. Ciò garantisce che i token visivi siano codificati una sola volta e rimangano statici, evitando la necessità di transizioni di stato sul lato dell'input.
• Decoder: Un Mixture-of-Experts (MoE) LLM con 3 miliardi di parametri totali e 500 milioni di parametri attivati.
• Innovazione Chiave: Tutti gli standard strati Multi-Head Attention (MHA) nel decoder sono sostituiti dalla Reference Sliding Window Attention (R-SWA).

Reference Sliding Window Attention (R-SWA)

R-SWA è un meccanismo di attenzione di parsing general-purpose che vincola l'attenzione all'interno di una finestra a due segmenti di dimensione $m + n$:

1. Segmento di Riferimento ($P$): Include tutti i token prefisso (token visivi e il prompt). Questo segmento ha una dimensione fissa ($L_m$) e rimane globalmente visibile a tutti i token successivi. Fondamentalmente, questi token non subiscono transizioni di stato, preservando la fedeltà visiva.
2. Segmento di Decodifica ($D_n$): Una finestra scorrevole causale di larghezza fissa $n$ (default 128) sui token di output precedentemente generati.

Meccanismo:

• Ogni token generato presta attenzione a tutti i token di riferimento (visivi + prompt) e solo ai precedenti $n$ token di output.
• Gestione della Cache KV: A differenza della MHA standard dove la dimensione della cache è $L_m + T$ (che cresce con la lunghezza della sequenza $T$), la R-SWA mantiene una dimensione della cache costante di $L_m + n$. La cache agisce come una coda in cui la coppia KV del token generato più vecchio viene espulsa man mano che ne viene aggiunto uno nuovo.
• Risultato: Questo design scollega l'uso della memoria e il costo computazionale dalla lunghezza totale dell'output, consentendo una latenza e un footprint di memoria costanti indipendentemente da quante pagine vengono elaborate.

3. Contributi Chiave

1. Algoritmo R-SWA: Introduzione di un nuovo meccanismo di attenzione che combina la piena visibilità dei token di riferimento (visivi) con una finestra causale limitata per i token generati. Ciò ottiene un'attenzione a complessità lineare senza sfocare le caratteristiche visive.
2. Modello Unlimited OCR: Un'implementazione pratica basata su DeepSeek OCR che riesce a analizzare decine di pagine di documenti in un singolo passaggio in avanti sotto un limite standard di lunghezza massima di 32K.
3. Guadagni di Performance: Dimostra che la sostituzione dell'attenzione standard con R-SWA produce non solo guadagni di efficienza, ma anche miglioramenti dell'accuratezza sui benchmark standard, suggerendo che il meccanismo di "dimenticanza morbida" (soft forgetting) si allinea bene con i compiti di OCR.
4. Generalizzabilità: Il paper sostiene che R-SWA sia applicabile oltre l'OCR ad altri compiti a lungo orizzonte basati su riferimenti, come il riconoscimento automatico del parlato (ASR) e la traduzione.

4. Risultati Sperimentali

Benchmark e Metriche

Il modello è stato valutato su OmniDocBench (v1.5 e v1.6) e un set di test interno a lungo orizzonte. Le metriche includono Text Edit Distance, Formula CDM, Table TEDS e Reading Order Edit Distance.

Principali Risultanze

• OmniDocBench v1.5: Unlimited OCR ha ottenuto un punteggio complessivo del 93,23%, superando il baseline DeepSeek OCR (87,01%) di 6,22 punti. Ha inoltre superato il DeepSeek OCR 2.
• OmniDocBench v1.6: Ha raggiunto un nuovo SOTA del 93,92% complessivo, superando altri modelli end-to-end come FireRed-OCR e Qianfan-OCR.
• Analisi per Sottocategoria: Il modello ha mostrato miglioramenti costanti in tutti i nove tipi di documenti (PPT, Articolo Accademico, Libro, ecc.), con nessuna metrica che mostrasse un svantaggio rispetto ai baseline.
• Parsing a Lungo Orizzonte:
  • Il modello ha elaborato con successo input di oltre 40 pagine in un singolo passaggio.
  • A oltre 40 pagine, l'Edit Distance è rimasta inferiore a 0,11, e il Distinct-35 era del 96,90%.
  • Gli errori alle lunghezze estreme sono stati attribuiti principalmente ai limiti di risoluzione della modalità encoder "Base" (1024×1024) piuttosto che alla perdita di direzione del meccanismo di attenzione.

Analisi dell'Efficienza

• Throughput (TPS): Sebbene entrambi i modelli si comportino in modo simile a lunghezze brevi (256 token), Unlimited OCR mantiene un throughput costante (~7.800 TPS) all'aumentare della lunghezza della sequenza. Al contrario, il throughput di DeepSeek OCR scende significativamente (di circa il 35% a 6.000 token) a causa della crescita della cache KV.
• Latenza: La durata per chiamata del kernel Flash Attention rimane costante per Unlimited OCR, mentre cresce linearmente per il baseline.

5. Significato e Rivendicazioni

Il paper afferma che Unlimited OCR rappresenta un passaggio verso il parsing a lungo orizzonte in un unico passaggio (one-shot), allontanandosi dai workaround ingegneristici (cicli pagina per pagina) verso un'architettura cognitiva più allineata all'AGI.

• Efficienza Simile all'Umano: Mimando la memoria di lavoro umana — mantenendo la fonte (visivi) e il contesto recente mentre si "dimentica morbidamente" l'output distante — il modello raggiunge un'efficienza che non degrada con la lunghezza del compito.
• Ottimizzazione Senza Perdite: Gli autori affermano che R-SWA è un "free lunch" per l'OCR, migliorando l'accuratezza e riducendo drasticamente i costi di memoria e computazione.
• Potenziale Futuro: Il lavoro suggerisce che il calcolo dell'attenzione e l'impronta di memoria non sono più i colli di bottiglia primari per il parsing a lungo orizzonte. Gli autori intendono estendere R-SWA ad ASR e traduzione e esplorare i "prefill pools" per simulare il voltare pagina umano per lunghezze di contesto veramente illimitate in futuro.

Limitazioni Riconosciute:
L'implementazione attuale è ancora vincolata alla lunghezza del prefill (limitata dalla finestra di contesto di 32K e dalla compressione del DeepEncoder). Un parsing veramente "illimitato" (ad esempio, interi libri senza limiti di contesto) richiede lavori futuri su un addestramento a contesto più lungo (128K+) e meccanismi di recupero dinamico del prefill.