FP-THD: Full page transcription of historical documents

Immagina di avere una macchina del tempo che può zoomare su un libro polveroso di 500 anni fa, scritto in latino medievale. Le pagine sono stropicciate, l'inchiostro è sbiadito e la grafia è un mix selvaggio di loop, scarabocchi e simboli strani che non somigliano affatto alle lettere che usiamo oggi. Se provassi a usare un computer moderno per leggerlo, sarebbe come chiedere a un robot di capire un codice segreto per cui non è mai stato istruito. Potrebbe trasformare una "s" lunga (che sembra una "f") in una "f", o fondere due lettere in una moderna "ae", rovinando completamente il sapore storico.

Entra in scena FP-THD, una nuova pipeline digitale progettata da un team di ricercatori per essere l'ultimo "bibliotecario viaggiatore nel tempo". Il loro obiettivo non era solo leggere le parole, ma preservare l'aspetto e la sensazione esatti della pagina originale, inclusi quei complicati abbreviazioni e simboli speciali su cui gli storici fanno affidamento.

La danza in due passi: trovare le linee, poi leggerle

Gli autori si sono resi conto che cercare di leggere un'intera pagina disordinata tutta in una volta è come cercare di mangiare un'intera pizza in un solo boccone. Invece, hanno costruito una pipeline che lavora in due distinti passaggi, come una squadra di specialisti.

Passaggio 1: Il detective del layout (ParseNet)
Per prima cosa, il sistema utilizza uno strumento chiamato ParseNet per agire come un detective del layout. Scansiona l'intera immagine della pagina e disegna scatole invisibili attorno a ogni singola riga di testo, capendo dove iniziano e finiscono i paragrafi, anche se le righe sono curve o inclinate. È come un bibliotecario robot che traccia con cura il contorno di ogni frase su una pagina caotica e le ritaglia in strisce dritte e ordinate. Questo passaggio produce una mappa (in un formato chiamato PAGE XML) che dice al computer esattamente dove guardare.

Passaggio 2: Il super-lettore (Masked Autoencoder)
Una volta che le righe sono state ritagliate e raddrizzate, vengono consegnate al secondo specialista: un Masked Autoencoder alimentato da un Vision Transformer. Pensa a questo modello come a uno studente super intelligente che ha imparato a leggere giocando al gioco del "completa la frase".

Ecco come funziona il gioco: il computer prende una riga di testo, copre parti casuali di essa (come mettere un post-it sopra alcune parole) e poi cerca di indovinare cosa c'è sotto basandosi sugli indizi circostanti. Praticando questo gioco milioni di volte su diversi tipi di scrittura, il modello impara a riconoscere non solo le lettere moderne, ma anche quei strani simboli medievali, le legature (come "æ") e i tildi (~) che indicano lettere mancanti.

Il grande test: manoscritti vs stampati

Il team non si è limitato a costruire questo sistema; lo ha sottoposto a tre diversi "campi di addestramento" (dataset):

1. Rodrigo (Manoscritto): Una collezione di 853 pagine di vecchia grafia spagnola del 1545.
2. Bentham (Manoscritto): Famose lettere del filosofo Jeremy Bentham, note per avere tutti i tipi di grafia disordinata.
3. Molino (Stampato): Un dataset completamente nuovo creato dal team, che presenta 143 pagine di testi legali stampati degli anni 1500 e 1600, pieni di abbreviazioni latine.

I Risultati: Com'è andata?

L'articolo mostra che questo approccio è sorprendentemente efficace, specialmente se confrontato con altri strumenti.

• Per la grafia di Rodrigo: Il modello ha raggiunto un Tasso di Errore di Carattere (CER) dell'1,30% e un Tasso di Errore di Parola (WER) del 6,97% quando testato con una dimensione del batch di 128. Ciò significa che ha azzeccato quasi ogni singola lettera! È migliore di alcuni altri modelli hi-tech che utilizzano passaggi extra e complicati per correggere gli errori.
• Per la grafia di Bentham: Ha ottenuto un CER del 4,46% e un WER del 7,68%. Sebbene sia un po' più alto dei risultati di Rodrigo, gli autori notano che lo ha fatto senza utilizzare trucchi di post-elaborazione elaborati o guide linguistiche esterne, il che è un grande passo avanti in termini di efficienza.
• Per il testo stampato di Molino: Questo è stato il vero momento culminante. Il team ha testato il loro sistema su 10 pagine del dataset Molino e lo ha confrontato con altri due metodi: uno strumento open-source molto popolare chiamato Pero-OCR e una trascrizione della Biblioteca Virtual del Patrimonio Bibliográfico (BVPB) (che utilizzava software commerciali).
  • La trascrizione BVPB aveva un CER di 0,3379 e un WER di 0,6835.
  • Pero-OCR aveva un CER di 0,0242 e un WER di 0,2106.
  • FP-THD è arrivato con gli errori più bassi: un CER di 0,0178 e un WER di 0,0450.

In parole povere, il nuovo sistema ha commesso meno errori rispetto al software commerciale e all'altro strumento open-source, riducendo gli errori a livello di parola di quasi l'80% rispetto a Pero-OCR e di oltre il 90% rispetto alla trascrizione BVPB. Ha anche fatto un lavoro migliore nel mantenere intatti quei critici tildi e abbreviazioni medievali.

Quello che non può fare (ancora)

Gli autori sono onesti riguardo ai limiti della loro magia. Il sistema è bravo a leggere il testo principale al centro della pagina, ma a volte fatica con:

• Note marginali: Quei piccoli scarabocchi nei margini della pagina possono essere saltati o trascritti in modo errato.
• Parole singole: Se una riga di testo contiene solo una parola, il modello a volte si confonde perché è stato addestrato principalmente su righe di testo lunghe.

La conclusione

Questo articolo non sostiene di aver risolto il problema della lettura della storia per sempre. Al contrario, suggerisce che, combinando un detective del layout con un lettore basato sul "completa la frase", possiamo creare uno strumento altamente accurato, gratuito e rispettoso dello stile originale dei documenti storici. Dimostra che non è necessario trasformare il vecchio latino in testo moderno per capirlo; si può mantenere lo stile antico e il computer può comunque leggerlo.

Il team prevede di continuare a migliorare questo processo aggiungendo più parole isolate ai loro dati di addestramento e, infine, usando questo sistema per espandere automaticamente le abbreviazioni e tradurre il latino in spagnolo. Per ora, hanno dimostrato che con la giusta pipeline, anche le pagine medievali più disordinate possono essere trasformate in testo digitale pulito senza perderne l'anima.