Diacritic-Aware Post-OCR Correction for Vietnamese Scanned Documents: A Lightweight Baseline for Low-Quality Document Digitization

Sintesi Tecnica: Correzione Post-OCR Sensibile ai Diacritici per Documenti Scansionati in Vietnamita

Definizione del Problema
L'Optical Character Recognition (OCR) è fondamentale per la digitalizzazione di documenti scansionati, tuttavia affronta sfide significative quando applicato al testo vietnamita, in particolare in condizioni di bassa qualità (ad es. sfocatura, bassa risoluzione, illuminazione non uniforme e artefatti di compressione). A differenza delle lingue con alfabeto latino non tonali, il vietnamita si affida a un complesso sistema di diacritici e segni tonali per codificare il significato lessicale. Un errore minimo nel riconoscimento di questi segni — come confondere ban (dare), bán (vendere), bàn (tavolo), bản (copia) o bạn (amico) — può alterare completamente il significato semantico di una parola. Nelle scansioni degradate, questi piccoli segni diacritici sono spesso i primi elementi a essere persi o erroneamente riconosciuti, rendendo l'output standard dell'OCR inutilizzabile per attività a valle come la ricerca, il text mining e la conservazione archivistica. Sebbene esistano modelli di deep learning, essi richiedono spesso grandi dataset annotati e addestramenti costosi, che non sempre sono praticabili in scenari di digitalizzazione con scarse risorse.

Metodologia
Il documento propone una pipeline di correzione post-OCR leggera e sensibile ai diacritici, progettata per operare come uno stadio modulare dopo qualsiasi motore OCR standard (ad es. Tesseract, VietOCR, PaddleOCR). La metodologia consiste in cinque fasi distinte:

1. Pre-elaborazione dell'Immagine: L'immagine in input subisce conversione in scala di grigi, riduzione del rumore, miglioramento del contrasto, sogliatura adattiva (o binarizzazione di Otsu) e de-skewing (correzione dell'inclinazione). Questa fase mira a massimizzare la visibilità dei piccoli diacritici senza una binarizzazione troppo aggressiva che potrebbe cancellarli.
2. Riconoscimento OCR: L'immagine pre-elaborata viene passata a un motore OCR "black-box" per generare i token di testo grezzi ($T_{raw}$).
3. Rilevamento dei Candidati di Errore: Il sistema identifica i token "sospetti" che richiedono correzione. Un token viene segnalato se:
   • È assente dal dizionario vietnamita.
   • Ha una forma base (priva di diacritici) che corrisponde a più parole del dizionario.
   • Contiene combinazioni di caratteri insolite o segni tonali mancanti in contesti ad alta probabilità.
   • Presenta una confusione di caratteri visivamente simili (ad es. o/ô/ơ, a/ă/â, u/ư, e/ê).
4. Correzione Sensibile ai Diacritici: Per ogni candidato, il sistema rimuove i diacritici per trovare la forma base e recupera tutte le parole valide del dizionario vietnamita che condividono tale base.
   • Se il set di candidati è vuoto, una ricerca basata sulla distanza di edit trova parole visivamente simili.
   • Se esistono più candidati, essi vengono classificati utilizzando una funzione di punteggio basata sulla somiglianza dei caratteri, la somiglianza dei diacritici, la frequenza delle parole, il contesto locale, i punteggi del dizionario di dominio e le probabilità n-gram.
   • Il candidato con il punteggio più alto viene selezionato come token corretto ($\hat{w}_i$).
5. Ricostruzione del Testo: I token corretti vengono riassemblati nel testo finale ($T_{corr}$).

L'approccio evita esplicitamente il riaddestramento di grandi modelli end-to-end, affidandosi invece alla consultazione di dizionari, sostituzioni basate su regole e classificazione statistica.

Contributi Chiave
Il documento delinea quattro contributi primari:

1. Una Pipeline Leggera: Un framework di correzione post-OCR pratico e riproducibile, mirato specificamente agli errori di diacritici e segni tonali in vietnamita, progettato per scenari con dati e risorse computazionali limitate.
2. Tassonomia degli Errori: Una tassonomia definita degli errori OCR in vietnamita, che categorizza problemi quali diacritici mancanti, segni tonali errati, confusione della forma delle vocali, sostituzione di caratteri, errori di segmentazione delle parole e rumore legato al layout.
3. Strategia di Correzione: Un meccanismo di correzione basato su dizionario e su regole che funziona senza addestramento su larga scala, utilizzando la generazione e la classificazione dei candidati per risolvere l'ambiguità.
4. Framework di Valutazione: Un insieme completo di metriche e analisi qualitative, inclusi Character Error Rate (CER), Word Error Rate (WER), Diacritic Error Rate (DER) ed Exact Word Accuracy, insieme ad analisi di documenti campione per supportare la ricerca futura.

Risultati Sperimentali
Gli autori hanno valutato la pipeline su una collezione di documenti scansionati in vietnamita caratterizzati da vari layout, dimensioni dei font e livelli di rumore. Sebbene i valori numerici specifici nel documento siano indicati come illustrativi per una bozza di preprint, i trend riportati indicano:

• Guadagni di Prestazione: La combinazione di pre-elaborazione e post-correzione ha prodotto i risultati migliori. Rispetto all'OCR grezzo, la pipeline completa ha ridotto il Diacritic Error Rate (DER) dal 18,95% al 6,91% e ha migliorato l'Exact Word Accuracy dal 78,33% all'87,15%.
• Sensibilità alla Qualità: Il modulo di correzione ha mostrato un miglioramento significativo in tutti i subset di qualità dell'immagine. Ad esempio, su immagini a "Bassa risoluzione", il Word Error Rate (WER) è migliorato del 6,75%, e su immagini "Sfocate", è migliorato dell'8,88%.
• Distribuzione degli Errori: L'analisi ha confermato che "Mancanza di tono" (38,6%) e "Mancanza di segno vocalico" (25,1%) sono i tipi di errore dominanti, validando il focus del metodo proposto.

Significato e Rivendicazioni
Il documento posiziona questo lavoro come un baseline semplice e riproducibile per migliorare l'OCR in vietnamita, in particolare per la digitalizzazione di documenti di bassa qualità, l'analisi di documenti storici e la tecnologia per lingue con scarse risorse.

Gli autori sostengono che un miglioramento significativo dell'OCR non richiede necessariamente il riaddestramento di grandi modelli voraci di dati. Invece, un modulo di post-elaborazione leggero può riparare efficacemente gli errori sistematici diacritici, che sono la fonte primaria di degradazione semantica nell'OCR vietnamita. Il metodo è evidenziato come particolarmente utile per documenti amministrativi ed educativi dove frasi ripetitive e specifiche del dominio permettono una correzione efficace basata su dizionario.

Tuttovo, il documento mantiene una posizione modesta riguardo ai limiti. Riconosce che il metodo dipende fortemente dalla copertura del dizionario (avendo difficoltà con nomi rari o ortografie non standard), è progettato principalmente per testo stampato piuttosto che per la grafia manuale, e non risolve i problemi complessi di comprensione del layout (ad es. l'ordine delle colonne delle tabelle). Gli autori sottolineano che, sebbene l'attuale approccio sia un forte baseline, il lavoro futuro dovrebbe integrare modelli linguistici neurali (come PhoBERT) e comprensione consapevole del layout per affrontare queste rimanenti sfide.