Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin

1. Il Problema: Il Divario Metodologico e l'Usabilità

Il progresso nel Riconoscimento Automatico del Testo (ATR) ha facilitato l'accesso agli archivi storici, ma persiste una divisione metodologica tra due approcci estremi alla trascrizione dei manoscritti medievali:

• Approccio Grafetico (o Diplomatico): Mantiene fedelmente le varianti grafiche, le abbreviazioni e la punteggiatura originali. Sebbene sia il più accurato per la realtà materiale del testo, crea un "divario di usabilità": i risultati grezzi sono incompatibili con la maggior parte degli strumenti di NLP (lemmatizzatori, tagger POS, NER) e con le aspettative degli studiosi delle discipline umanistiche.
• Approccio Normalizzato: Espande le abbreviazioni, separa le parole e standardizza la punteggiatura per renderlo leggibile. Tuttavia, i modelli ATR addestrati direttamente per produrre output normalizzati tendono a allucinazioni (inserire contenuti inesistenti), a risolvere male le abbreviazioni e a non adattarsi bene a nuovi domini.

Esiste quindi la necessità di un approccio intermedio che preservi la fedeltà paleografica iniziale ma fornisca una versione normalizzata utilizzabile, distinguendo chiaramente tra errori di riconoscimento (ATR) ed errori di normalizzazione.

2. Metodologia e Definizione del Task

Gli autori introducono il task di Normalizzazione Pre-Editoriale (PEN - Pre-Editorial Normalization).

• Definizione: Il PEN consiste nel trasformare l'output grezzo e grafemico di un modello ATR in una versione normalizzata secondo convenzioni editoriali, senza però essere un'edizione critica completa.
• Obiettivi specifici:
  • Normalizzare le lettere considerate allofoni nel Medioevo (es. distinzione tra u/v e i/j in base alla funzione vocale o consonantica).
  • Risolvere le abbreviazioni in modo sensibile al contesto (espansione semantica e morfosintattica).
  • Correggere errori di riconoscimento tipici dell'ATR (es. confusione tra rn e m).
  • Normalizzare la capitalizzazione secondo standard moderni, mantenendo la punteggiatura originale.
  • Vincoli: Non espandere abbreviazioni di nomi propri o luoghi se il contesto è insufficiente; non correggere segmenti rumorosi irrecuperabili; non modificare espressioni numeriche.

3. Costruzione del Dataset

Per addestrare e valutare i modelli, gli autori hanno creato una risorsa su larga scala:

• Allineamento Automatico: Hanno allineato l'output ATR grezzo del corpus CoMMA (33.000 manoscritti, 3,3 miliardi di token) con edizioni digitali normalizzate di testi in Latino e Francese Antico.
• Strumento: È stato utilizzato passim 2.0, un sistema che impiega l'impronta digitale degli n-grammi di caratteri e un modello di allineamento HMM (Hidden Markov Model) per gestire le discrepanze di layout e l'ordine delle pagine.
• Corpus di Addestramento (Silver): È stato generato un corpus di 4,66 milioni di coppie (input grafemico -> output normalizzato).
• Corpus di Valutazione (Gold): Un set di 1.800 campioni (64.230 token) derivati da 316 manoscritti diversi, manualmente corretti da un filologo per risolvere errori di allineamento, incoerenze di normalizzazione e problemi di segmentazione. Include sia dati allineati automaticamente che dati da repository come CATMuS.

4. Risultati Sperimentali

Gli autori hanno valutato il task utilizzando modelli ByT5 (trasformatori sequenza-sequenza basati su byte) confrontandoli con baseline esistenti:

• Baseline: Un modello ByT5 addestrato su un dataset precedente (Schonhardt, 2025) e un modello LLM (Llama 3 8B) utilizzato in modalità zero-shot.
• Performance: Il modello proposto ha ottenuto un CER (Character Error Rate) del 6,7% sul set di test gold, superando significativamente le baseline (che avevano CER superiori al 60-130%).
• Analisi Qualitativa:
  • Il modello mostra una forte capacità di correggere errori di tokenizzazione e di riconoscimento dell'ATR.
  • Tuttavia, emerge un bias di sovr-normalizzazione: tende a preferire forme ortografiche classiche o standardizzate rispetto alle varianti storiche medievali (es. preferire ph a f in latino, o standardizzare varianti dialettali in francese antico), erodendo talvolta le tradizioni scritte locali.
• Impatto su Task a Valle: In un esperimento di analisi stilometrica (lemmatizzazione e tagging POS su Vie de Saint Lambert), il pipeline basato su PEN ha mostrato una precisione e un F1 superiori rispetto al pipeline precedente (Lambert), sebbene con un recall leggermente inferiore. Questo suggerisce che la normalizzazione pre-editoriale semplifica il flusso di lavoro e riduce il rumore per gli strumenti di analisi linguistica.

5. Contributi Chiave

1. Definizione Formale del Task PEN: Una chiara distinzione concettuale tra trascrizione grafemica, normalizzazione pre-editoriale e edizione critica completa.
2. Risorsa Dati: Il rilascio di un corpus di addestramento "silver" da 4,66 milioni di campioni e un set di valutazione "gold" di alta qualità per Latino e Francese Antico.
3. Modelli e Benchmark: La dimostrazione che i modelli basati su ByT5, addestrati su dati allineati, superano di gran lunga le soluzioni esistenti per la normalizzazione di testi medievali.
4. Analisi dei Rischi: Una discussione critica sui rischi di bias editoriale e sovr-normalizzazione, sottolineando l'importanza di mantenere la normalizzazione come un layer intermedio e trasparente, piuttosto che un processo implicito e opaco.

6. Significato e Prospettive Future

Questo lavoro colma un gap cruciale nell'elaborazione dei testi storici digitali. Fornendo uno strumento per convertire l'output grezzo dell'ATR in un formato utilizzabile dagli strumenti di NLP moderni, abilita analisi su larga scala che erano precedentemente impossibili a causa della natura "sporca" dei dati medievali.
Le sfide future includono l'espansione del dataset, la modellazione dell'incertezza (per gestire varianti multiple) e l'estensione della normalizzazione a livello di documento intero, sfruttando finestre contestuali più ampie per ridurre i bias e migliorare la coerenza stilistica.