Optical Character Recognition of Historical Moroccan Arabic Calligraphy Using Transformer-Based TrOCR

Per secoli, la parola scritta è stata il principale veicolo per la memoria umana, trasportando le leggi, le storie e le scoperte scientifiche delle civiltà attraverso il tempo. Eppure, man mano che la carta invecchia e l'inchiostro sbiadisce, questi documenti spesso diventano illeggibili per l'occhio moderno, intrappolati dietro strati di decadimento fisico e stili di calligrafia sconosciuti. Nel campo dell'informatica, una disciplina nota come riconoscimento ottico dei caratteri, i ricercatori hanno da tempo insegnato alle macchine a leggere il testo stampato con una precisiono quasi perfetto. Tuttavia, quando queste macchine incontrano le pagine disordinate, fluide e spesso danneggiate dei manoscritti storici, spesso inciampano. La sfida è particolarmente acuta con la calligrafia araba, dove le lettere all'interno di una singola parola sono spesso unite in catene corsive complesse che variano enormemente da un autore all'altro. Per la specifica e culturalmente ricca tradizione dei manoscritti arabi marocchini, scritti in uno stile distintivo noto come scrittura Maghribi, il compito è stato specialmente difficile perché le lettere si toccano, si sovrappongono e si spostano in modi che confondono i normali software di lettura.

Due ricercatori indipendenti, Adnane Mehdaoui e Khadija El Maaroufi, hanno affrontato questo problema sviluppando un nuovo approccio che scavalca la tradizionale necessità di separare le singole lettere. Invece di cercare di tagliare una parola nelle sue parti componenti — un compito che spesso fallisce quando l'inchiostro si espande o le lettere si fondono — hanno addestrato un moderno sistema di intelligenza artificiale a guardare un'intera riga di testo come una singola storia connessa. Utilizzando un tipo di modello informatico avanzato chiamato Transformer, progettato per comprendere il contesto di un'intera frase contemporaneamente, hanno creato un sistema capace di decifrare queste difficili pagine storiche. Il loro lavoro dimostra che, combinando una cura attenta della pulizia dell'immagine con un modello che impara dal flusso della scrittura piuttosto che da forme isolate, è possibile sbloccare i segreti del patrimonio marocchino che erano precedentemente nascosti in piena vista.

I ricercatori sono partiti con una collezione di duecento pagine da archivi open-source, rappresentative della l'unica scrittura Maghribi presente in Marocco. Queste pagine non erano affatto incontaminate; soffrivano degli acciacchi tipici dei documenti antichi, come l'illuminazione irregolare, l'inchiostro sbiadito e la carta che si era deformata nel tempo. Per rendere queste immagini leggibili per un computer, il team ha prima costruito una pipeline specializzata per pulire e organizzare i dati. Hanno regolato il contrasto per far risaltare l'inchiostro scuro contro la carta invecchiata e poi hanno utilizzato un sistema di rilevamento intelligente per trovare dove iniziava e finiva ogni riga di testo. Questo passaggio era cruciale perché la calligrafia storica spesso inclina o si sposta, rendendo difficile per gli strumenti standard capire dove finisce una frase e dove inizia la successiva. Il sistema ha analizzato automaticamente la spaziatura e la densità dell'inchiostro per tagliare le pagine in singole righe, creando un set pulito di immagini pronto per la fase successiva di apprendimento.

Una volta isolate le righe, i ricercatori si sono rivolti a uno strumento potente noto come TrOCR, che sta per Transformer-based Optical Character Recognition. A differenza dei sistemi più vecchi che cercavano di identificare una lettera alla volta, questo modello lavora guardando l'intera riga di testo simultaneamente. Utilizza un meccanismo chiamato auto-attenzione (self-attention), che permette al computer di pesare l'importanza di diverse parti dell'immagine mentre legge. Per esempio, se una lettera è leggermente distorta o manca di un punto, il modello può guardare le lettere circostanti e la forma complessiva della parola per indovinare quale sia probabilmente la parte mancante. Questa capacità di comprendere il contesto è vitale per l'arabo, dove la forma di una lettera cambia a seconda che si trovi all'inizio, al centro o alla fine di una parola, e dove piccoli punti sopra o sotto una lettera possono cambiare completamente il suo significato.

Per insegnare a questo modello a leggere l'arabo marocchino, i ricercatori non sono partiti da zero. Hanno utilizzato una tecnica chiamata transfer learning, prendendo un modello che era già stato addestrato su migliaia di documenti manoscritti inglesi e adattandolo alla scrittura araba. Questo è simile a come una persona che ha già imparato a suonare il pianoforte possa apprendere un nuovo strumento più velocemente rispetto a un principiante assoluto, perché comprende già i fondamentali del ritmo e della melodia. Il modello è stato poi perfezionato sul dataset marocchino, imparando a riconoscere le specifiche curve, connessioni e stili della scrittura Maghribi. Il team ha addestrato il sistema su circa ottomila coppie di immagini e le loro corrette trascrizioni testuali, tenendo da parte altre duemila coppie per testare quanto bene il modello si fosse comportato su materiale che non aveva mai visto prima.

I risultati di questo addestramento sono stati misurati utilizzando una metrica standard chiamata Tasso di Errore dei Caratteri (Character Error Rate), che conta quanti caratteri il computer ha sbagliato rispetto al testo corretto. Sul set di test, il modello ha raggiunto un tasso di errore di poco superiore al cinque per cento. Ciò significa che per ogni cento caratteri in una riga di testo, il sistema ha identificato correttamente più di novantacinque di essi. I ricercatori hanno notato che le prestazioni sono rimaste costanti attraverso le fasi di addestramento, validazione e test, suggerendo che il modello avesse realmente imparato i pattern della scrittura piuttosto che aver semplicemente memorizzato le pagine specifiche che gli erano state mostrate. Questo livello di accuratezza è significativo per i documenti storici, dove la variabilità nella calligrafia e la presenza di danni rendono la perfetta un riconoscimento estremamente alto.

Nonostante questi successi, gli autori sottolineano con cautela che il lavoro non è una soluzione completa a tutti i problemi della lettura degli antichi manoscritti. Il sistema fatica ancora con i segni diacritici, quei piccoli punti e linee che si trovano sopra o sotto le lettere per indicare la pronuncia o il significato, che sono spesso deboli o mancanti nei documenti antichi. Se questi segni vengono letti male, il significato di una parola può cambiare interamente. Inoltre, il modello è stato addestrato su righe di testo che erano state estratte con cura; non gestisce ancora pagine complete con layout complessi, come le note marginali scritte nei margini o il testo che scorre in più colonne. I ricercatori hanno anche evidenziato che la scarsità di dati annotati rimane un ostacolo importante, poiché la creazione dei set di addestramento richiede che esperti trascrivano manualmente il testo, un processo lento e difficile.

Lo studio conclude che, sebbene il deep learning abbia compiuto grandi passi avanti, non può ancora sostituire la necessità dell'esperienza umana o superare ogni limite fisico della carta invecchiata. Tuttavia, l'approccio intrapreso da Mehdaoui e El Maaroufi offre una strada robusta da seguire. Combinando un'intelligente pre-elaborazione delle immagini con un modello che comprende il contesto dell'intera riga, hanno creato uno strumento che può accelerare significativamente la digitalizzazione del patrimonio storico marocchino. Questo lavoro non produce solo un elenco di numeri; fornisce un quadro pratico che permette ai ricercatori di accedere e preservare secoli di conoscenza linguistica e culturale che erano precedentemente troppo difficili da leggere. Mentre il campo avanza, l'integrazione di modelli linguistici per correggere gli errori e lo sviluppo di migliori tecniche di data augmentation potrebbero affinare ulteriormente questi sistemi, portando la storia scritta del Maghreb più vicino al mondo moderno.