A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

Questo studio esamina come le attuali metodologie di valutazione dell'OCR, focalizzate su documenti moderni e occidentali, rendano invisibili i documenti storici delle comunità nere, evidenziando le lacune nei benchmark e proponendo un'analisi strutturale delle cause di questa esclusione.

L'essenziale

Immagina che l'OCR (il software che "legge" i documenti scansionati e li trasforma in testo digitale) sia come un traduttore o un segretario digitale. Il suo lavoro è prendere una foto di un foglio di carta e scriverne il contenuto al computer.

Il Problema: Il Traduttore che non capisce la Storia

Gli autori di questo studio, Fitsum e Christopher, hanno notato una cosa strana: questo "segretario digitale" è diventato bravissimo a leggere i documenti moderni, puliti e ordinati (come fatture aziendali, articoli scientifici o PDF recenti). È come se avesse studiato solo sui libri di testo delle scuole moderne.

Tuttavia, quando provi a fargli leggere giornali storici, specialmente quelli neri americani del XIX secolo (come The North Star o Freedom's Journal), il segretario si perde completamente.

Perché succede?

1. Il "Manuale di Istruzioni" sbagliato: Per imparare a leggere, questi computer sono stati addestrati su enormi quantità di documenti moderni (come cause legali o articoli scientifici). Non hanno mai visto i caratteri gotici, le macchie d'inchiostro, le pieghe della carta o i layout complessi dei vecchi giornali. È come se avessi insegnato a un bambino a guidare solo su un'autostrada moderna, e poi lo avessi messo alla guida su una strada di terra piena di buche e curve strette: si schianterebbe.
2. La "Cecità" delle Metriche: Come misuriamo se il segretario lavora bene? Attualmente, usiamo un metro chiamato "tasso di errore delle lettere". Se il computer indovina il 95% delle lettere, diciamo che è perfetto.
   • L'analogia: Immagina di leggere un romanzo. Se il computer legge tutte le parole correttamente, ma mescola l'ordine dei paragrafi o cancella le colonne, per il nostro metro è "perfetto". Ma per un lettore umano, il libro è illeggibile! Nel caso dei vecchi giornali neri, che usavano colonne intricate per dare enfasi politica, il computer spesso distrugge questa struttura, rendendo il testo confuso o privo di senso, anche se le singole lettere sono corrette.

Cosa hanno scoperto gli autori?

Gli autori hanno fatto un'indagine (una "ricerca sistematica") guardando centinaia di studi e software tra il 2006 e il 2025. Hanno scoperto che:

• I documenti storici sono invisibili: I database usati per addestrare i computer quasi mai includono giornali storici delle comunità emarginate.
• Gli errori sono diversi: Quando questi software provano a leggere i vecchi giornali, non fanno solo errori di ortografia. Fanno errori "strutturali":
  • Collasso delle colonne: Mescolano il testo della colonna 1 con quello della colonna 2, creando frasi senza senso.
  • Allucinazioni: A volte, il computer "inventa" parole o frasi che non c'erano, perché pensa che siano la cosa più probabile da scrivere (come un autore che scrive una storia sbagliata ma che sembra plausibile).
  • Perdita del significato: Distruggono la disposizione grafica che gli editori usavano per trasmettere messaggi politici o sociali.

L'esempio concreto: Il "Giornale Settimanale"

Per dimostrare il problema, hanno preso un vecchio giornale del 1837 (The Weekly Advocate) e lo hanno fatto leggere a tre software diversi:

1. Uno vecchio (Tesseract): Ha letto le righe verticali come se fossero testo, unendo poesie e notizie civili in un unico blocco confuso.
2. Uno moderno (Surya): Ha iniziato a ripetere le stesse lettere all'infinito o a inserire "spazzatura" nel testo.
3. Il più avanzato (olmOCR 2): Ha "allucinato", sostituendo nomi reali con parole inventate, come se volesse correggere la storia secondo le sue idee, non secondo la realtà del documento.

Perché è importante?

Non si tratta solo di un errore tecnico. È una questione di giustizia storica.
Se i computer non riescono a leggere correttamente i documenti della storia nera americana, allora quella storia diventa "invisibile" per le ricerche future, per i musei digitali e persino per le corti supreme (come ha fatto notare un giudice della Corte Suprema usando questi documenti).

Il computer, senza volerlo, sta cancellando la voce di queste comunità perché è stato addestrato a vedere solo il mondo moderno e occidentale.

La Soluzione Proposta

Gli autori chiedono di cambiare le regole del gioco:

• Nuovi "Esami": Non basta più contare quante lettere sono corrette. Dobbiamo creare nuovi test che verifichino se il computer ha mantenuto l'ordine delle colonne, la struttura e il senso del documento.
• Nuovi "Libri di Testo": Dobbiamo addestrare questi computer sui documenti reali, sporchi, complessi e storici, non solo su quelli puliti.
• Rispetto della Cultura: Dobbiamo riconoscere che la forma di un documento storico fa parte del suo messaggio. Distruggere il layout significa distruggere la storia.

In sintesi: Questo articolo ci dice che la tecnologia è potente, ma se non la addestriamo a vedere la diversità della nostra storia, rischia di cancellarla. Dobbiamo insegnare ai computer a leggere non solo le parole, ma anche il contesto e la cultura che le circondano.

Sommario tecnico

Titolo: Un'Indagine sui Metodi e le Metriche di Valutazione dell'OCR e l'Invisibilità dei Documenti Storici

Autori: Fitsum Sileshi Beyene e Christopher L. Dancy (The Pennsylvania State University)
Contesto: FAccT '26 (Conference on Fairness, Accountability, and Transparency)

---

1. Il Problema: Invisibilità Strutturale e Bias di Valutazione

Il paper affronta il problema critico per cui i sistemi moderni di Riconoscimento Ottico dei Caratteri (OCR) e di comprensione dei documenti, nonostante i progressi nei modelli visione-linguaggio (VLM) e nelle architetture transformer, falliscono sistematicamente nel gestire documenti storici, in particolare quelli prodotti da comunità marginalizzate come la stampa nera storica (Black Press) americana.

I punti chiave del problema sono:

• Metriche Inadeguate: La valutazione si basa quasi esclusivamente su metriche basate sulla distanza di editing (CER - Character Error Rate, WER - Word Error Rate). Queste metriche trattano l'errore come una semplice sostituzione di caratteri, ignorando completamente errori strutturali come il collasso delle colonne, la perdita dell'ordine di lettura e la distorsione del layout, che sono fatali per la comprensione semantica dei giornali storici.
• Bias nei Dati di Addestramento e Benchmark: I dataset di addestramento dominanti (es. IIT-CDIP, DocBank) e i benchmark attuali (es. OCRBench, DocVQA) sono composti prevalentemente da documenti moderni, occidentali, istituzionali e scientifici. Manca una rappresentazione significativa di documenti storici, tipografie vittoriane/gotiche, e layout complessi tipici della stampa nera dell'800.
• Conseguenze Epistemologiche: L'uso di questi sistemi su archivi storici non solo produce errori tecnici, ma cancella il "ragionamento editoriale" e l'identità politica insiti nella struttura fisica del documento (es. la disposizione delle colonne che enfatizzava certi messaggi). Questo porta a una "invisibilità strutturale" e a danni rappresentativi.

2. Metodologia

Gli autori hanno condotto una revisione sistematica basata sul framework PRISMA 2020, analizzando la letteratura pubblicata tra il 2006 e il 2025.

• Ricerca: Sono stati esaminati 80 paper provenienti da database come ACM Digital Library, IEEE Xplore, arXiv e ACL Anthology.
• Criteri di Inclusione: Sono stati selezionati studi che presentavano o valutavano sistemi OCR con metriche quantitative, introducevano benchmark, o fornivano una panoramica dei processi di valutazione.
• Analisi: L'analisi si è focalizzata su tre domande di ricerca:
  1. Su quali dati sono addestrati i sistemi OCR all'avanguardia (SOTA) e come vengono riportati?
  2. Quali modalità di fallimento emergono quando questi sistemi vengono applicati alla tipografia e al layout storici neri?
  3. Quali cambiamenti nelle valutazioni, nei dati e nelle risorse sono necessari per preservare la struttura culturale e l'accuratezza?
• Caso di Studio: È stata condotta un'analisi qualitativa su una pagina de The Weekly Advocate (1837), uno dei primi giornali afroamericani, testando tre modelli diversi (Tesseract v5, Surya, olmOCR 2) per osservare i pattern di fallimento specifici.

3. Contributi Chiave

Il paper offre tre contributi principali al campo della giustizia, responsabilità e trasparenza nella comprensione dei documenti:

1. Analisi Sistematica: Una mappatura dettagliata dei sistemi di valutazione OCR, evidenziando come i dati di addestramento, i benchmark e le metriche siano implementati e quali lacune esistano.
2. Dimostrazione del Fallimento Strutturale: L'argomentazione che i sistemi attuali, pur riportando un'alta accuratezza a livello di caratteri, falliscono nel rilevare errori strutturali e di layout comuni nei giornali storici, rendendo i documenti inaccessibili o fuorvianti.
3. Caso di Studio sulla Stampa Nera: Una dimostrazione empirica di come i "punti ciechi" nella valutazione portino a errori strutturali significativi che le tecniche di valutazione standard non rilevano, portando a una distorsione storica.

4. Risultati Principali

A. Analisi dei Dati e dei Benchmark (Tabelle 1-3)

• Dominio dei Dati Sintetici e Moderni: La maggior parte dei modelli SOTA (es. LayoutLMv3, DocFormer, Nougat) è addestrata su dataset come IIT-CDIP (documenti legali/aziendali del XX secolo) o PDF scientifici. Solo pochi modelli (es. olmOCR 2) includono dati storici, ma spesso in modo non curato.
• Assenza di Copertura Storica: I benchmark principali (OCRBench, OmniDocBench) mancano di categorie specifiche per documenti storici o archivi comunitari. KITAB-Bench è un'eccezione per il patrimonio arabo, ma la stampa nera è quasi totalmente assente.
• Metriche Limitate: Il 90% delle valutazioni si basa su CER/WER. Solo pochi sistemi riportano metriche strutturali o di preservazione del layout.

B. Analisi del Caso di Studio: The Weekly Advocate (1837)

L'applicazione di tre modelli su un giornale storico ha rivelato pattern di fallimento distinti e gravi:

• Tesseract v5 (Pipeline Ibrida): Ha interpretato erroneamente le regole verticali delle colonne come testo e ha adottato un ordine di lettura "a Z" (sinistra-destra) standard, fondendo semanticamente contenuti distinti (es. poesia editoriale con report civici).
• Surya (Sistema Moderno Centrato sul Layout): Ha sofferto di instabilità di decodifica a causa dei font ad alto contrasto del XIX secolo, generando "token spazzatura" e ripetizioni generative.
• olmOCR 2 (VLM SOTA): Ha mostrato un fenomeno di "allucinazione correttiva", sovrascrivendo evidenze visive con token ad alta probabilità basati sulla sua conoscenza pre-addestrata, sostituendo entità reali con testo fabbricato (es. "knowledge bleed").

C. Il Paradosso dell'Accuratezza

I modelli possono ottenere punteggi di CER soddisfacenti (es. <5%) pur distruggendo completamente la struttura del documento. Un modello che trascrive ogni lettera correttamente ma mescola l'ordine delle colonne fallisce nel suo scopo principale: rendere il documento leggibile e comprensibile nel suo contesto storico.

5. Significato e Implicazioni

• Ridefinizione della Valutazione: Il paper sostiene che la valutazione dell'OCR non è solo un problema tecnico, ma una questione di allocazione delle risorse e di valori. È necessario passare da una valutazione basata sulla "pulizia" del testo a una basata sulla fedeltà archivistica e sulla preservazione della struttura culturale.
• Impatto sulle Archivi Digitali: L'attuale approccio crea un "cecità algoritmica" che rende invisibili intere classi di testi storici, impedendo la ricerca e l'accesso a materiali cruciali per la storia sociale e politica (es. il movimento abolizionista).
• Rischio di "Over-historicization": I modelli generativi tendono a inserire caratteri o strutture che sembrano "storici" ma sono inaccurati, creando registri storici plausibili ma falsi.
• Proposta Futura: Gli autori chiedono che gli archivi digitali neri e le comunità marginalizzate non siano trattati come "casi limite" (edge cases), ma integrati come parte fondamentale dei dataset di test e dei benchmark per sviluppare sistemi di OCR culturalmente responsabili e tecnicamente robusti.

In sintesi, il paper dimostra che senza un cambiamento radicale nelle pratiche di valutazione e nella diversità dei dati, l'OCR continuerà a erodere la storia delle comunità marginalizzate, trasformando documenti ricchi di significato in dati strutturati ma semanticamente vuoti o distorti.