Structure-Aware Text Recognition for Ancient Greek Critical Editions

Questo studio valuta le capacità dei modelli linguistici visivi nel riconoscimento strutturato di edizioni critiche greche antiche, introducendo un nuovo corpus sintetico e un benchmark reale che dimostrano come, nonostante le attuali limitazioni, il modello Qwen3VL-8B raggiunga prestazioni all'avanguardia con un tasso di errore dei caratteri mediano dell'1,0%.

L'essenziale

Immagina di dover leggere un antico libro greco, ma non è un libro normale. È come se fosse stato scritto da un architetto pazzo che ha deciso di usare ogni angolo della pagina per scrivere cose diverse: il testo principale, note a margine, numeri di riferimento strani, titoli e riferimenti incrociati. È un caos visivo, ma per gli studiosi è una mappa preziosissima.

Questo articolo parla di un tentativo di insegnare a un'intelligenza artificiale (un "cervello digitale") a leggere e capire questi libri antichi, non solo le parole, ma anche dove sono scritte e come sono organizzate.

Ecco la storia, spiegata in modo semplice:

1. Il Problema: Il "Labirinto" dei Libri Antichi

I libri antichi greci (le "edizioni critiche") sono pieni di trappole. Immagina di avere una pagina dove il testo principale è interrotto da numeri, note scritte a mano sul bordo e simboli strani.
I vecchi computer (i vecchi scanner OCR) sono come bambini che imparano a leggere: leggono le righe una alla volta, ma se vedono una nota a margine, spesso si confondono, la mescolano con il testo o la ignorano. Per uno studioso, perdere una nota a margine è come perdere la chiave per capire il significato di tutto il libro.

2. La Soluzione: Costruire una Palestra Virtuale

Gli autori del paper hanno avuto un'idea geniale: invece di cercare di insegnare al computer a leggere i libri reali (che sono pochi e difficili da ottenere), hanno costruito un mondo virtuale.

• La Palestra Sintetica: Hanno creato 185.000 pagine finte di libri greci usando un computer. Hanno preso testi veri e li hanno "vestiti" con mille stili diversi: font diversi, colori diversi, note in posizioni diverse. È come se avessero costruito un parco giochi infinito dove il computer può esercitarsi a riconoscere il testo senza sbagliare, perché il computer sa esattamente qual è la risposta corretta (la "verità").
• La Prova Reale: Poi, hanno preso 450 pagine di libri reali, scansionati da veri libri antichi, per vedere se il computer, dopo la palestra, era pronto per la "gara vera".

3. I Competitori: Chi vince la gara?

Hanno messo alla prova tre tipi di "cervelli digitali" (modelli di intelligenza artificiale):

1. I Vecchi Saggi (Tesseract/Kraken): Sono come i vecchi scanner di biblioteca. Funzionano bene, ma sono rigidi.
2. I Genitori Geniali (I nuovi modelli VLM): Sono intelligenze artificiali moderne, molto potenti, capaci di vedere un'immagine e capire il contesto (come un bambino che guarda un disegno e racconta una storia).

Il Risultato Sorprendente:

• All'inizio, i "Genitori Geniali" (i modelli moderni) erano un po' confusi. Se li lasciavi lavorare da soli (senza addestramento), facevano errori pazzeschi, inventando parole o ignorando le note a margine.
• Ma dopo la "palestra sintetica" (l'addestramento sulle 185.000 pagine finte) e un po' di pratica sui libri reali, uno di loro, chiamato Qwen3-VL, è diventato un campione.
• Il Trucco: Il modello migliore ha imparato a leggere non solo le lettere, ma anche la "struttura". Ha capito che quel numero a margine non è una parola, ma un riferimento. Ha capito che una nota a lato è una nota, non parte del testo.

4. Le Analogie per Capire Meglio

• Il Traduttore vs. L'Architetto: I vecchi scanner sono come traduttori che copiano solo le parole. I nuovi modelli, se addestrati bene, sono come architetti che, guardando una pagina, capiscono che quella colonna è il testo, quella nota è un suggerimento e quel numero è un'indicazione per saltare a un'altra pagina.
• L'Allucinazione: A volte, i modelli più potenti "allucinano". Immagina un pittore così sicuro di sé che, quando deve copiare un quadro, decide di aggiungere un albero dove non c'è perché "sembra che ci debba essere". Questo è successo con alcuni modelli: scrivevano cose che non c'erano nel libro originale. Gli autori hanno dovuto insegnare loro a stare attenti a non inventare nulla.

5. Cosa Significa per il Futuro?

Questa ricerca ci dice due cose importanti:

1. Sì, l'IA può leggere i libri antichi: Con il giusto addestramento (la palestra sintetica), i computer moderni possono leggere questi testi complessi meglio dei vecchi scanner, recuperando anche le note a margine che prima venivano perse.
2. Ma non è tutto oro: Questi modelli sono potenti ma costosi (consumano molta energia e tempo). A volte i vecchi scanner, più semplici, fanno un lavoro quasi uguale per la parte base, ma senza il rischio di "allucinazioni".

In sintesi: Gli autori hanno creato un "campo di addestramento" virtuale per insegnare alle intelligenze artificiali a leggere i libri greci antichi come veri studiosi, non solo come macchine che copiano parole. Hanno scoperto che, se addestrati bene, queste macchine possono vedere la struttura nascosta dietro il caos delle pagine antiche, aprendo la strada a una digitalizzazione molto più intelligente della nostra eredità culturale.

Sommario tecnico

Titolo: Riconoscimento Ottico dei Caratteri (OCR) Consapevole della Struttura per Edizioni Critiche del Greco Antico

1. Il Problema

Il riconoscimento ottico dei caratteri (OCR) per le edizioni critiche stampate del greco antico rimane un problema complesso e sottostudiato. Le sfide principali non risiedono solo nella natura policromatica della scrittura greca (con accenti e spiriti), ma nella densità e eterogeneità del layout di queste pagine.
A differenza dei documenti moderni, le edizioni critiche contengono:

• Gerarchie di riferimento complesse (capitoli, sezioni, numerazione di milestone).
• Note a margine e apparati critici essenziali per la citazione accademica.
• Strutture ibride che mescolano testo principale, riferimenti incastonati e annotazioni editoriali.

I sistemi OCR tradizionali (basati su pipeline modulari) sono fragili di fronte a layout complessi e scansioni di bassa qualità, propagando errori a valle. D'altra parte, i recenti modelli linguistici visivi (VLM) mostrano potenzialità, ma la loro capacità di interpretare la semantica del layout storico e di recuperare fedelmente la struttura del documento è ancora limitata e poco valutata su questo dominio specifico. Inoltre, manca un corpus di dati aperto e di grandi dimensioni per l'addestramento e la valutazione, a causa delle restrizioni di licenza su risorse come il Thesaurus Linguae Graecae (TLG).

2. Metodologia

Gli autori propongono un approccio end-to-end basato su Vision-Language Models (VLM) per il riconoscimento simultaneo del testo e della struttura. La metodologia si articola in tre fasi principali:

A. Costruzione di Risorse di Dati
Per superare la mancanza di dati, sono stati creati due dataset complementari:

1. Corpus Sintetico su Grande Scala: Generato partendo da testi TEI/XML open source. Un pipeline di rendering ha trasformato questi testi in 185.000 immagini di pagine PDF con variazioni tipografiche e di layout controllate (font, colori, colonne, dimensioni). È stato introdotto uno schema di markup leggero (pseudo-Markdown) per codificare titoli (#), riferimenti (<ref>), note (<note>) e rientri di paragrafo (<tab/>).
2. Benchmark su Dati Reali: Un dataset curato di 450 pagine scansionate da 30 opere reali (dall'epoca classica al XIV secolo d.C.), provenienti da diverse tradizioni editoriali (es. Sources Chrétiennes, Patrologia Graeca). Le pagine sono state annotate manualmente seguendo lo stesso schema del corpus sintetico.

B. Modelli e Configurazione
Sono stati valutati tre modelli VLM all'avanguardia:

• Qwen3-VL (versioni 2B e 8B)
• DeepSeek-OCR-2 (3B)
• LightOnOCR-2 (1B)

I modelli sono stati testati in quattro regimi:

1. Zero-shot: Senza addestramento specifico.
2. Fine-tuning su dati sintetici.
3. Fine-tuning su dati reali.
4. Transfer Learning (Synth→Real): Addestramento iniziale su dati sintetici seguito da un affinamento su dati reali.

Come baseline, sono stati confrontati i risultati con software OCR tradizionali: Tesseract (zero-shot) e Kraken (addestrato e fine-tuned).

C. Metriche di Valutazione
L'analisi è stata condotta su due livelli:

• Accuratezza del testo puro: Caratter Error Rate (CER) e Word Error Rate (WER), calcolati rimuovendo i tag strutturali.
• Riconoscimento della struttura: F1-score per l'identificazione di riferimenti (<ref>), note (<note>), titoli (#) e rientri (<tab/>).

3. Risultati Chiave

• Performance Zero-Shot: Nella maggior parte dei casi, i modelli VLM in modalità zero-shot sottoperformano significativamente rispetto ai software OCR "off-the-shelf" (come Tesseract e Kraken), specialmente nel recupero della struttura e nella gestione del greco antico.
• Impatto del Fine-tuning: L'addestramento specifico migliora drasticamente le prestazioni.
  • Il modello Qwen3-VL-8B ha raggiunto le prestazioni migliori, ottenendo un CER mediano dell'1,0% sulle scansioni reali quando addestrato con la strategia Synth→Real.
  • L'addestramento solo su dati sintetici ha già mostrato un forte trasferimento sui dati reali (es. Qwen3-VL-8B scende dal 5,2% al 1,7% di CER senza mai vedere immagini reali), dimostrando l'efficacia del corpus sintetico.
• Riconoscimento Strutturale:
  • I modelli Qwen hanno mostrato la migliore capacità di recuperare la struttura, raggiungendo un F1-score del 79,5% per i riferimenti e del 63,5% per le note a margine (con il regime Synth→Real).
  • Il rilevamento delle note a margine è stato il più sensibile all'addestramento, poiché sono sottorappresentate nei dati sintetici.
  • I modelli specializzati (come LightOnOCR) hanno mostrato stabilità ma minore capacità di recupero strutturale rispetto ai VLM generici adattati.
• Stabilità e Errori:
  • È stata osservata una grande divergenza tra CER mediano e medio per alcuni modelli (es. DeepSeek), indicando fallimenti catastrofici su singole pagine (output lunghi e instabili).
  • Gli errori residui nei modelli migliori sono principalmente ortografici (confusione di diacritici, accenti) o legati alla normalizzazione, piuttosto che all'interpretazione del contenuto.
  • I modelli CRNN (Kraken) rimangono competitivi in termini di efficienza computazionale e stabilità, evitando i fallimenti generativi dei VLM.

4. Contributi Principali

1. Nuovo Corpus Sintetico: Un dataset di 185.000 immagini di pagine greche con layout controllati, fondamentale per l'addestramento di modelli su documenti storici complessi.
2. Benchmark Curato: Una raccolta di 450 pagine reali scansionate e annotate manualmente, coprente oltre un secolo di pratiche editoriali.
3. Pipeline Riproducibile: Un metodo per generare dataset sintetici da fonti TEI/XML, applicabile ad altre lingue.
4. Analisi Comparativa: La prima valutazione estesa di VLM moderni su edizioni critiche del greco antico, confrontando approcci zero-shot, fine-tuning e ibridi.

5. Significato e Conclusioni

Il paper dimostra che i modelli VLM, se opportunamente addestrati con dati sintetici e reali, possono superare le prestazioni degli OCR tradizionali nel recupero simultaneo di testo e struttura complessa. Tuttavia, i risultati evidenziano anche limiti significativi:

• Costo vs. Beneficio: I VLM offrono flessibilità e capacità di trasferimento cross-domain, ma richiedono risorse computazionali elevate. Per compiti puramente di trascrizione, i sistemi CRNN rimangono competitivi e più stabili.
• Interpretazione vs. Trascrizione: L'OCR per documenti storici non è solo un problema di riconoscimento dei glifi, ma di interpretazione dei sistemi simbolici e gerarchici del layout.
• Futuro: La ricerca futura dovrebbe esplorare approcci ibridi che combinino l'efficienza dei pipeline OCR tradizionali con la sensibilità strutturale dei VLM, mitigando il rischio di "allucinazioni" e instabilità generativa.

In sintesi, questo lavoro stabilisce un nuovo standard per la digitalizzazione delle edizioni critiche antiche, fornendo sia gli strumenti dati che le evidenze empiriche necessarie per avanzare verso una comprensione documentale automatica più profonda.