The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

Il paper presenta il Corpus Patrologia Graeca, la prima risorsa OCR e linguistica aperta su larga scala per le edizioni greche del XIX secolo, ottenuta tramite una pipeline avanzata che raggiunge un'accuratezza eccezionale nel riconoscimento del greco politonico degradato e fornisce sei milioni di token annotati per la ricerca filologica e l'addestramento di modelli di linguaggio.

L'essenziale

Immagina di avere una biblioteca immensa, piena di libri antichi scritti in greco e latino, ma che sono così vecchi, polverosi e scritti con caratteri così strani che nessuno riesce a leggerli bene al computer. È come se avessimo un tesoro di conoscenze, ma la chiave per aprirlo si fosse persa.

Questo è esattamente il problema che Chahan Vidal-Gorène e Bastien Kindt hanno affrontato nel loro articolo. Hanno creato il "Patrologia Graeca Corpus", un progetto che possiamo paragonare a un restauro digitale di una cattedrale antica.

Ecco come funziona, spiegato in modo semplice:

1. Il Problema: Una Biblioteca "Cieca"

La Patrologia Graeca è una collezione enorme di 161 volumi stampati nel 1800. Contiene testi di filosofi, santi, storici e poeti greci antichi.

• Il problema: Questi libri sono stati digitalizzati solo come "fotografie" (PDF). Per un computer, sono immagini, non testo. Non puoi cercarci dentro una parola, non puoi analizzarle grammaticalmente e non puoi usarle per insegnare all'Intelligenza Artificiale a parlare greco antico.
• La difficoltà: I libri sono stampati in modo complicato: due colonne (una greca, una latina) che si mescolano, note a margine, e caratteri greci pieni di accenti e segni sopra le lettere (il "politonico"), che sono molto difficili da riconoscere per le macchine.

2. La Soluzione: Un Team di "Restauratori Digitali"

Gli autori hanno costruito una catena di montaggio robotica (un "pipeline") per trasformare queste immagini in testo vero e proprio. Immagina tre fasi principali:

• Fase 1: L'Occhio che Guarda (Layout Detection)
  Prima di leggere, il computer deve capire dove guardare. Usano un sistema chiamato YOLO (che è come un cane da caccia molto veloce) per individuare le colonne greche, quelle latine e le note a margine. È come se un restauratore usasse un righello per tracciare i bordi di un affresco sbiadito prima di iniziare a pulirlo.
• Fase 2: La Mano che Scrive (OCR - Riconoscimento Ottico)
  Una volta isolate le righe, un altro robot (basato su una tecnologia chiamata CRNN) prova a leggere le lettere.
  • Il trucco: Hanno "addestrato" questo robot mostrandogli migliaia di pagine simili, ma aggiungendo artificialmente "rumore" (come se la pagina fosse bagnata, strappata o sbiadita) per insegnargli a leggere anche nei casi peggiori.
  • Il risultato: Hanno raggiunto una precisione incredibile. Mentre i vecchi sistemi sbagliavano una lettera su 10, il loro sistema ne sbaglia solo una su 100 (anzi, molto meno!). È come passare da un traduttore che inventa le parole a un traduttore che conosce il dizionario a memoria.
• Fase 3: Il Linguista (Analisi Grammaticale)
  Una volta letto il testo, non basta sapere cosa c'è scritto, ma cosa significa. Il sistema analizza ogni parola, le dà un'etichetta grammaticale (sostantivo, verbo, ecc.) e ne trova la forma base (il "lemma"). È come se, dopo aver trascritto una poesia, un grammatico ti dicesse: "Attenzione, qui 'andare' è al passato, e 'casa' è plurale".

3. Il Risultato: Un Tesoro Aperto a Tutti

Il lavoro ha prodotto un "corpus" (una raccolta di dati) di 6 milioni di parole.

• Perché è importante? Prima, i computer che parlano greco antico (come i moderni modelli di Intelligenza Artificiale) avevano studiato solo su libri "puliti" e moderni. Ora, grazie a questo progetto, possono studiare testi complessi, rari e pieni di errori tipici dell'antichità.
• L'analogia finale: Se i vecchi modelli di IA erano come studenti che avevano letto solo i fumetti moderni, questo progetto ha dato loro un'enciclopedia completa, scritta in una calligrafia difficile, per farli diventare veri esperti di cultura greca.

In sintesi

Gli autori hanno preso una montagna di vecchi libri digitali illeggibili, li ha "puliti" con robot intelligenti, li ha organizzati e li ha resi gratuiti per tutti. Ora, ricercatori, studenti e appassionati possono cercare, analizzare e imparare da testi che per decenni sono rimasti chiusi in una "prigione" di immagini sfocate.

È come se avessero dato agli occhi di un computer la capacità di leggere la storia greca con la stessa chiarezza con cui un umano legge un libro moderno.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions", presentato in italiano.

Titolo

Corpus Patrologia Graeca: OCR, Annotazione e Rilascio Open di Edizioni Greche Politoniche Rumorose del XIX Secolo

1. Il Problema

Nonostante i progressi nella filologia digitale, la ricerca sul greco antico manca di un corpus aperto, strutturato e linguisticamente arricchito che copra la Patrologia Graeca (PG), una raccolta monumentale di 161 volumi pubblicata da Jacques-Paul Migne tra il 1857 e il 1866.
Le sfide principali identificate sono:

• Formato non elaborabile: La maggior parte dei volumi è disponibile solo come scansioni PDF non indicizzabili, prive di codifica strutturale (es. TEI).
• Qualità tipografica degradata: Le edizioni del XIX secolo presentano caratteri greci politonici complessi, con diacritici densi, layout bilingui (greco-latino a due colonne sovrapposte o affiancate), margini, titoli in corsa e note a piè di pagina.
• Rumore delle scansioni: Curvatura delle pagine, disallineamento e binarizzazione eccessiva compromettono la leggibilità.
• Limiti degli OCR esistenti: I modelli attuali (come Tesseract o Transkribus standard) falliscono su questo materiale, ottenendo tassi di errore elevati a causa della scarsità di dati di addestramento specifici per il greco politonico storico e la complessità del layout.
• Mancanza di Ground Truth: Non esistono dataset di riferimento allineati a livello di pagina per questo tipo di materiale, impedendo l'addestramento di modelli dedicati.

2. Metodologia

Gli autori hanno sviluppato una pipeline dedicata che combina rilevamento del layout, riconoscimento ottico dei caratteri (OCR) e analisi linguistica.

A. Preparazione dei Dati e Ground Truth

• È stato creato un set di test di 30 pagine trascritte manualmente.
• Per l'addestramento, è stato utilizzato un approccio iterativo: segmenti di PG già disponibili digitalmente (dal Thesaurus Linguae Graecae) sono stati allineati semi-automaticamente sulla piattaforma Calfa Vision e corretti manualmente.
• Il dataset finale di addestramento per l'OCR comprende 445 immagini rappresentative della diversità tipografica e strutturale della PG, con un focus specifico sulle regioni di testo incrociate.

B. Architettura del Modello OCR

• Layout Detection: Utilizzo di modelli YOLO per il rilevamento delle regioni semantiche (colonne greche, colonne latine, titoli, marginalia). Questo approccio visivo supera i metodi puramente testuali o ibridi per la segmentazione di layout complessi.
• Riconoscimento del Testo (HTR/OCR):
  • Inizio con un modello CRNN (Convolutional Recurrent Neural Network) pre-addestrato su manoscritti greci (Genavensis Græcus 44).
  • Data Augmentation: Il modello è stato arricchito con 50.000 campioni sintetici generati tramite la libreria albumentations, applicando degradazioni aggressive (rumore gaussiano, sfocatura da movimento, artefatti di compressione, distorsione elastica, nebbia, pioggia) per simulare le condizioni delle scansioni della PG.
  • Fine-tuning: Addestramento iterativo specifico sulla PG utilizzando la strategia di apprendimento attivo di Vidal-Gorène (2023), correggendo e reinserendo gli errori nel set di addestramento.

C. Analisi Linguistica

• Per la lemmatizzazione, il tagging POS (Parte del Discorso) e l'analisi morfologica, è stata adottata una strategia ibrida (tagging neurale + correzione post-processuale basata su regole/dizionari).
• Il modello utilizzato è basato sull'architettura PIE (adattata al tagset GREgORI), precedentemente testata sul corpus De Thessalonica Capta. Questo approccio garantisce robustezza per le forme flessive e diacroniche del greco.

3. Risultati Chiave

Performance OCR e Layout

Il modello proposto supera significativamente gli stati dell'arte esistenti sulla PG:

• Tasso di Errore Caratteristico (CER): 1.05% (contro il 6.14% di Transkribus e l'11.57% di Tesseract).
• Tasso di Errore Parola (WER): 4.69% (contro il 14.82% di Transkribus).
• Rilevamento Layout: Elevata precisione nel distinguere le colonne greche (mAP50: 0.973) e latine (mAP50: 0.982).

Analisi degli Errori

• Il 80% degli errori riguarda la confusione tra codifiche diacritiche diverse per caratteri visivamente identici (es. differenze tra forme monotone e politone, come ´ι vs ´ι).
• Gli errori sono più frequenti nei caratteri maiuscoli (titoli) e nelle regioni di sovrapposizione tra colonne.
• È stata implementata una normalizzazione Unicode sistematica e regole di post-correzione per mitigare questi errori.

Corpus Risultante

• È stato generato un corpus di circa 6 milioni di token.
• Ogni token è annotato con: forma OCR, forma intuitiva (minuscola senza diacritici), lemma, lemma intuitivo e tag morfologico-sintattico.
• Il corpus include migliaia di forme flesse rare, termini tecnici/teologici e toponimi sottorappresentati in altri dataset.

4. Contributi Principali

1. Primo Corpus Open su Larga Scala: Rilascio del primo corpus OCR e linguisticamente arricchito per le edizioni del XIX secolo della Patrologia Graeca.
2. Nuovo Benchmark: Stabilisce un nuovo standard di riferimento per l'OCR su greco politonico rumoroso, dimostrando che un approccio combinato (YOLO + CRNN + Data Augmentation) è superiore ai metodi generici.
3. Risorsa per Modelli LLM: Fornisce dati di addestramento di alta qualità e diversità lessicale essenziali per il ri-addestramento e il benchmarking di modelli linguistici moderni (come BERT per il greco antico: Ancient-Greek-BERT, GreBERTa, PhilBERTa).
4. Strumenti e Pipeline: Condivisione della pipeline di elaborazione e dei dati di ground truth, facilitando la ricerca futura sulla digitalizzazione di testi storici complessi.

5. Significato e Impatto

Questo lavoro colma una lacuna critica nella digitalizzazione della letteratura greca bizantina e post-classica.

• Accessibilità: Rende ricercabili e analizzabili milioni di parole che erano precedentemente bloccate in formati immagine non strutturati.
• Filologia Computazionale: Permette l'applicazione di approcci computazionali (analisi stilistica, estrazione di entità, traduzione automatica) su un ampio spettro temporale (I-XV secolo) e tematico.
• Sostenibilità: Il rilascio dei dati su GitHub e Zenodo, insieme all'interfaccia di ricerca su gregoriproject.com, garantisce trasparenza, riproducibilità e un uso duraturo da parte della comunità accademica.

In sintesi, il progetto trasforma una raccolta di testi storici difficili da leggere in una risorsa digitale strutturata, addestrando modelli che non solo leggono meglio il greco antico, ma ne comprendono anche la struttura linguistica complessa.