Digitizing Nepal's Written Heritage: A Comprehensive HTR Pipeline for Old Nepali Manuscripts

1. Enunciato del Problema

Il documento affronta la sfida critica del Riconoscimento di Testo Scritto a Mano (HTR) per il Nepalese Antico, una lingua storicamente significativa ma a risorse limitate.

• Contesto: Lo studio si concentra su manoscritti del XVIII e XIX secolo (principalmente dal Nepal German Manuscript Preservation Project), scritti in script Devanagari.
• Sfide:
  • Scarsità di Dati: Sono disponibili solo 155 immagini di manoscritti (circa 3.100 righe di testo) per l'addestramento, rendendo difficili gli approcci standard di deep learning.
  • Complessità della Scrittura: Il Nepalese Antico presenta caratteri congiunti intricati, ortografia incoerente (gli scribi scrivevano le parole in modo diverso) e una mancanza di spaziatura standardizzata tra le parole (scriptio continua).
  • Degrado dei Documenti: I documenti storici soffrono di sbiadimento dell'inchiostro, danni alla carta e stili di scrittura a mano diversificati.
  • Divario di Dominio: I modelli OCR esistenti (come Tesseract o TrOCR standard) sono addestrati su script latini o stampati moderni e falliscono su Devanagari storico e scritto a mano.

2. Metodologia

Gli autori propongono una pipeline di addestramento in tre fasi combinata con strategie centrate sui dati per colmare il divario tra pre-addestramento ad alte risorse e dati target a basse risorse.

A. Pipeline di Addestramento in Tre Fasi

Per superare la mancanza di dati scritti a mano etichettati, il modello subisce un processo di adattamento progressivo:

1. Fase 1 (Pre-addestramento Sintetico): Il modello viene addestrato su 100.000 immagini sintetiche generate da libri di testo nepalesi storici utilizzando vari font Devanagari ed effetti di rumore/distorsione. Questo insegna al modello i pattern generali del Devanagari.
2. Fase 2 (Transfer Learning): Il modello viene affinato su 5.139 righe di testo Devanagari stampato provenienti dai dati di ricerca aperti di Heidelberg (heiDATA). Questo colma il divario tra dati sintetici e documenti scansionati reali.
3. Fase 3 (Affinamento Finale): Il modello viene infine affinato sulle 3.100 righe di effettivi manoscritti scritti a mano in Nepalese Antico.

B. Architettura del Modello

• Encoder: Utilizza principalmente TrOCR (OCR basato su Transformer) con un backbone ViT (Vision Transformer) (trocr-base-handwritten e trocr-large-handwritten). È stato testato anche un Swin Transformer, ma ha ottenuto prestazioni inferiori a causa delle limitazioni dei dati.
• Decoder: Esplora modelli linguistici di tipo BERT e GPT-2. La configurazione con le prestazioni migliori accoppia un decoder BERT con un tokenizzatore Byte-Level BPE.
• Tokenizzazione: Confronta la tokenizzazione a livello di carattere con quella a livello di byte. La tokenizzazione Byte-Level BPE è risultata ottimale per gestire i complessi caratteri congiunti del Devanagari.

C. Miglioramenti Centrati sui Dati

Dato il piccolo dataset, gli autori hanno dato priorità alla qualità e alla diversità dei dati rispetto alla complessità architetturale:

• Normalizzazione delle Etichette: Ha unificato le rappresentazioni Unicode incoerenti (ad esempio, codici diversi per il chandrabindu) per ridurre il rumore nell'addestramento.
• Data Augmentation: Sono state applicate 20 tipologie di aumentazioni realistiche (distorsioni geometriche, sfocatura gaussiana, rumore sale e pepe, warping elastico) per simulare artefatti di scansione e variazioni di scrittura a mano. L'intensità di aumento 8× ha prodotto i migliori risultati.
• Preprocessing: È stato utilizzato Kraken per la segmentazione a livello di riga. È degno di nota che la binarizzazione si è rivelata dannosa per le prestazioni, pertanto sono state mantenute immagini in scala di grigi.

D. Strategie di Decodifica

Lo studio ha valutato sistematicamente metodi di decodifica deterministici (greedy, beam search, ricerca contrastiva) e stocastici (temperatura, top-k, top-p). I risultati hanno mostrato che le strategie di decodifica hanno avuto un impatto minimo sul Character Error Rate (CER) finale rispetto alla qualità dei dati e all'architettura del modello.

3. Contributi Chiave

1. Prima Pipeline End-to-End: Il primo sistema HTR completo specificamente progettato per manoscritti nepalesi antichi.
2. Adattamento in Tre Fasi: Un flusso di lavoro innovativo che dimostra come dati sintetici e testo stampato possano pre-addestrare efficacemente modelli per script storici a risorse limitate.
3. Approfondimenti Centrati sui Dati: Ha dimostrato che la normalizzazione delle etichette e l'aumento dei dati hanno contribuito di più ai guadagni di prestazioni rispetto ai cambiamenti architetturali (ad esempio, passare da decoder BERT a GPT-2).
4. Rilascio Open Source: Rilascio del codice di addestramento, delle configurazioni del modello e degli script di valutazione per favorire ulteriori ricerche (ospitati su GitHub).
5. Applicazione Web: Sviluppo di uno strumento web funzionale (nepocr.streamlit.app) che consente ai ricercatori di caricare e trascrivere manoscritti nepalesi antichi.

4. Risultati

• Prestazioni: Il miglior modello ha raggiunto un Character Error Rate (CER) del 4,9% (CER ponderato del 4,8%).
• Miglioramento: Ciò rappresenta una riduzione del 49% dell'errore rispetto a un modello TrOCR di base affinato (9,6% CER) e supera significativamente Google Cloud Vision OCR, che non è riuscito a riconoscere caratteri congiunti e diacritici.
• Studi di Ablazione:
  • Pulizia delle Etichette: Ha ridotto il CER dall'8,9% all'8,4%.
  • Data Augmentation: Ha ridotto il CER dall'8,4% al 5,6% (a intensità 8×).
  • Dimensione del Modello: L'aggiornamento da trocr-base a trocr-large ha ulteriormente ridotto il CER al 4,9%.
• Analisi degli Errori:
  • Gli errori sono strutturati, non casuali (ad esempio, ya confuso con pa a causa della somiglianza visiva).
  • Degrado delle Sequenze Lunghe: Le prestazioni calano significativamente per le righe che superano i 120 caratteri a causa della mancanza di esempi di addestramento per sequenze lunghe.
  • Confusione di Token: Un piccolo sottoinsieme di 10 caratteri rappresenta oltre il 55% di tutti gli errori.

5. Significato

• Conservazione Culturale: Fornisce una soluzione scalabile per la digitalizzazione del vasto patrimonio di manoscritti del Nepal, attualmente a rischio di degrado e inaccessibilità.
• Framework HTR a Risorse Limitate: Stabilisce una metodologia robusta per altri script storici a risorse limitate, dimostrando che la qualità dei dati e le strategie di aumento sono spesso più critiche della dimensione del modello in ambienti con scarsità di dati.
• Validazione del Transfer Learning: Dimostra con successo che il pre-addestramento su dati sintetici e stampati può essere trasferito efficacemente a script storici complessi e scritti a mano.
• Direzioni Future: Il documento evidenzia la necessità di dataset ampliati (in particolare sequenze lunghe) e il potenziale di metodi di post-correzione che sfruttano i pattern di errori strutturati identificati.

In conclusione, questo lavoro stabilisce una nuova baseline all'avanguardia per l'HTR del Nepalese Antico, spostando il focus dalle architetture di modelli complesse alla rigorosa preparazione dei dati e alle strategie di adattamento al dominio.