Sintesi Tecnica: Script-Normalized WER (SN-WER) per la valutazione ASR multi-script in lingua Indic

1. Definizione del problema

Il Word Error Rate (WER) è la metrica standard per valutare i sistemi di Automatic Speech Recognition (ASR). Tuttavia, in contesti multilingue — in particolare per le lingue Indic — il WER può sovrastimare significativamente gli errori quando le trascrizioni di riferimento sono in script nativi (ad es. Devanagari, Bengali, Tamil) mentre le ipotesi del modello vengono emesse in testo romanizzato.

Le attuali pratiche di valutazione trattano queste differenze di script come sostituzioni lessicali, gonfiando artificialmente i tassi di errore e complicando i confronti tra modelli cross-lingua. Studi precedenti hanno dimostrato che le scelte di normalizzazione e le variazioni ortografiche alterano sostanzialmente i tassi di errore riportati, tuttavia metriche esistenti come WERd (per l'arabo dialettale) o la CER indulgente (per il giapponese) affrontano varianti ortografiche o inconsistenze a livello di carattere piuttosto che la canonicalizzazione cross-script in contesti monolingua e multi-script.

2. Metodologia: Script-Normalized WER (SN-WER)

Gli autori propongono SN-WER, un metodo di scoring training-free, dedicato esclusivamente alla valutazione, progettato per isolare le penalità da mismatch di script dagli errori genuini di riconoscimento lessicale.

Principio Fondamentale

SN-WER calcola il WER dopo aver traslitterato sia i token di riferimento ($R$) che quelli dell'ipotesi ($H$) in uno script canonico specifico per la lingua ($C$) prima dell'allineamento.
$$SN\text{-}WER(R, H) = WER(T(R), T(H))$$
Dove $T(\cdot)$ è una mappa di traslitterazione deterministica che preserva i confini.

Dettagli di Implementazione

• Script Canonico: Lo script di riferimento del benchmark (script nativo) viene utilizzato come forma canonica target.
• Traslitterazione: I token romanizzati vengono rilevati tramite euristiche dei blocchi Unicode e traslitterati nello script nativo utilizzando librerie standard (ICU, stile IAST, stile ITRANS).
• Normalizzazione: Vengono applicate la normalizzazione standard di Unicode, della punteggiatura e delle cifre.
• Vincoli: Il metodo assume che la mappa di traslitterazione sia deterministica e preservi i confini dei token. Non pretende di essere un sostituto del WER/CER standard, ma serve come compagno diagnostico.

Proprietà Diagnostiche

Gli autori definiscono tre proprietà per SN-WER:

1. Identità: Se il riferimento e l'ipotesi condividono lo stesso script, $SN\text{-}WER \approx WER$.
2. Conservatività: In condizioni ideali, $SN\text{-}WER \le WER$, poiché i mismatch di solo script vengono rimossi senza aumentare la distanza di edit. Gli autori delimitano empiricamente le deviazioni causate da collisioni di traslitterazione o divisioni di token.
3. Sensibilità Lessicale: SN-WER non deve ridurre gli errori causati da parole errate, delezioni, inserzioni o cambiamenti nell'ordine delle parole.

3. Setup Sperimentale

La valutazione è stata condotta su:

• Lingue: 5 lingue Indic (Hindi, Bengali, Tamil, Odia, Gujarati) e 2 lingue aggiuntive (Arabo, Urdu) per la validazione cross-script.
• Dataset: Curati (FLEURS) e rumorosi (Common Voice v17).
• Modelli: Whisper-large-v3, Whisper-small e l'MMS di Meta.
• Controlli: Sono stati eseguiti stress test coinvolgenti l'iniezione di romanizzazione artificiale (0–50% di sostituzione dei token) e corruzione lessicale (20–30% di sostituzione dei token) per validarne la robustezza.

4. Risultati Chiave

4.1 Riduzione dei Gap Gonfiati

• Dati Curati (FLEURS): SN-WER ha ridotto i gap gonfiati tra i modelli fino al 12% (ad es. su Gujarati). Per l'Odia su Common Voice, la riduzione è stata ancora maggiore (26%), suggerendo una significativa componente di mismatch di script nel baseline WER.
• Dati Rumorosi (Common Voice): Le riduzioni sono state minori o inconsistenti (ad es. -4,3% per Whisper-large), indicando che le condizioni rumorose contengono errori di riconoscimento genuini che SN-WER preserva correttamente.

4.2 Robustezza e Stabilità

• Invarianza del Traslitteratore: Il confronto tra le mappature IAST, ITRANS e ICU ha prodotto differenze trascurabili ($\Delta < 0,002$).
• Tassi di Collisione: I tassi di collisione della traslitterazione (token distinti che mappano su forme identiche) sono rimasti inferiori allo 0,1%.
• Stabilità della Normalizzazione: Le ablazioni sulla normalizzazione di cifre e punteggiatura hanno spostato l'SN-WER al massimo di $\Delta < 0,05$.

4.3 Stress Test e Sensibilità

• Mismatch di Script Artificiale: Quando il 50% dei token dell'ipotesi era artificialmente romanizzato, il WER è gonfiato di $\Delta = 0,234$, mentre l'SN-WER è aumentato solo di $\Delta = 0,158$. Ciò rappresenta un'attenuazione del 67% dell'inflazione guidata dallo script.
• Corruzione Lessicale: Quando il 20–30% dei token era stato corrotto lessicalmente (senza cambio di script), l'SN-WER ha seguito quasi identicamente il WER ($\Delta SN / \Delta WER \approx 1,09$), confermando che non maschera errori di riconoscimento genuini.
• Controlli Avversari: La rimescolanza o la sostituzione casuale dei token ha portato i punteggi SN-WER ad avvicinarsi a 1,0, confermando la sensibilità agli errori di ordine delle parole e lessicali.

4.4 Estensione Cross-Script

In Arabo e Urdu, SN-WER ha mostrato riduzioni moderate (4,9–9,0%), convalidando l'applicabilità dell'approccio oltre gli script Indic quando le convenzioni ortografiche sono rispettate.

5. Significato e Rivendicazioni

Il paper posiziona SN-WER non come un sostituto di WER/CER, ma come un punteggio compagno essenziale per specifici contesti di valutazione:

• Utilità Diagnostica: Quantifica quanto dell'errore misurato sia attribuibile al mismatch di script rispetto al fallimento lessicale.
• Rilevanza Downstream: SN-WER è particolarmente prezioso quando lo script di output è ortogonale al compito a valle, come nella ricerca per parole chiave, indicizzazione, recupero, classificazione dell'intento o pipeline di LLM multilingue dove il contenuto semantico conta più dell'ortografia.
• Limitazioni per l'Utente Finale: Per applicazioni in cui la scelta dello script è parte della qualità dell'output (ad es. sottotitoli, didattica), il WER/CER standard rimane necessario, e l'SN-WER dovrebbe essere riportato insieme ad esso.

Gli autori concludono che l'SN-WER fornisce un metodo rigoroso e training-free per disgiungere il bias dello script dalle prestazioni del modello, offrendo una base più accurata per confrontare i modelli ASR in ambienti multi-script Indic.