Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation

Titolo: Benchmarking dei Modelli di Parlato Multilingue sul Pashto: ASR Zero-Shot, Fallimenti dello Script e Valutazione Cross-Domain

1. Il Problema

Il Pashto è una lingua parlata da circa 60–80 milioni di persone, paragonabile per numero di parlanti a lingue come il coreano, l'italiano e l'ucraino, per le quali esistono sistemi commerciali di riconoscimento vocale (ASR) da oltre un decennio. Tuttavia, il Pashto presenta un vuoto critico nella ricerca:

• Assenza di benchmark: Non esisteva alcun benchmark pubblicato per l'ASR multilingue su Pashto utilizzando un set di test pubblico condiviso.
• Mancanza di dati spontanei: Tutti i risultati disponibili si riferiscono esclusivamente a parlato letto; non esistono dati per la valutazione di parlato spontaneo o dialettale.
• Incomparabilità dei risultati precedenti: I risultati precedenti (es. un WER del 14% riportato in letteratura) non erano riproducibili a causa di set di test non versionati, pipeline di normalizzazione non deterministiche (uso di GPT) e mancanza di confronto con baseline zero-shot.
• Fallimento dello script: Non era stato quantificato il fatto che i modelli multilingue più popolari (come Whisper) fallissero nel produrre output nello script corretto (pashto), generando invece testo in arabo, dari o urdu.

2. Metodologia

L'autore ha condotto una valutazione multi-modello rigorosa e riproducibile su due set di dati pubblici:

• Dataset:
  • FLEURS (ps_af): 512 frasi registrate in condizioni controllate.
  • Common Voice 24 (CV24_filtered): 13.643 frasi raccolte tramite crowdsourcing su hardware consumer.
• Modelli Valutati:
  • Zero-shot: Tutti e sette i modelli Whisper (dai 39M agli 809M parametri), MMS-1B, SeamlessM4T-v2-large e OmniASR-CTC-300M.
  • Fine-tuned: Cinque modelli ASR per il Pashto già pubblicati, basati su diverse architetture (Whisper, W2V-BERT 2.0, XLS-R) e corpus di addestramento.
• Protocollo di Valutazione:
  • Pipeline Deterministica: Uso di ricerca greedy (beam size 1) con token linguistico forzato ("ps").
  • Normalizzazione del Testo: Rimozione della kashida, normalizzazione Unicode NFC e rimozione della punteggiatura specifica per garantire la comparabilità.
  • Audit dello Script: Un'analisi linguistica per classificare l'output in base allo script Unicode (Pashto, Arabo/Dari/Urdu, Latino, Indeterminato). Questo è cruciale perché il Pashto usa una variante estesa dell'alfabeto arabo.
  • Metriche: Word Error Rate (WER) e Character Error Rate (CER), con analisi stratificata per classe di fonemi.

3. Contributi Chiave

Il paper introduce tre contributi fondamentali:

1. Benchmark Zero-Shot Riproducibile: La prima valutazione comparativa di 10 modelli su set di dati pubblici condivisi, fornendo baseline assolute per il Pashto.
2. Identificazione del "Fallimento dello Script" (Script Failure): Dimostrazione che il WER da solo è fuorviante. I modelli Whisper non riescono quasi mai a produrre output in script Pashto (meno dello 0,8% delle volte), sostituendo invece il Pashto con arabo/dari/urdu o generando loop di decodifica. Modelli come MMS e SeamlessM4T, invece, mantengono una fedeltà allo script superiore al 93%.
3. Valutazione Cross-Domain: Analisi sistematica di come i modelli fine-tuned degradino quando testati su dataset diversi da quelli di addestramento, dimostrando che le cifre WER pubblicate (es. 14%) sono spesso ottimistiche e non generalizzabili.

4. Risultati Principali

• Performance Zero-Shot:
  • Whisper: Performance disastrose. Su CV24, tutti i modelli Whisper hanno un WER superiore al 100% (fino al 461% per il modello medium, dovuto a loop di decodifica). Il modello large-v3 è il migliore della famiglia con un WER del 95,4% su CV24, ma fallisce nel produrre lo script corretto.
  • Modelli Alternativi: SeamlessM4T-v2-large ottiene il miglior risultato zero-shot con un WER del 39,7% su CV24. MMS-1B ottiene il 43,8% su FLEURS. OmniASR offre un compromesso interessante con un WER del 45,1% su CV24 ma con una latenza estremamente bassa (RTF 0,002).
• Fallimento dello Script:
  • Nessun modello Whisper produce più dello 0,8% di output in script Pashto.
  • MMS-1B, SeamlessM4T e OmniASR superano il 93% di fedeltà allo script Pashto.
  • Questo dimostra che per le lingue a risorse basse, la capacità di generare lo script corretto è un prerequisito fondamentale per l'ASR, spesso assente nei modelli basati su Whisper.
• Valutazione Cross-Domain (Fine-tuned):
  • I modelli che riportano WER del 14% su set di addestramento specifici degradano drasticamente su set indipendenti (fino al 32,5% - 59%).
  • Il modello w2v-b2-aug (basato su W2V-BERT 2.0 con augmentation dei dati) è l'unico a mantenere un WER stabile del 35,1% sia su FLEURS che su CV24, dimostrando che l'augmentation dei dati può eliminare la degradazione cross-domain.
• Analisi dei Fonemi:
  • Gli errori si concentrano sproporzionatamente sui fonemi unici del Pashto, in particolare le fricative laterali (س̌ e ږ) e le consonanti retroflesse, che sono assenti o diverse nelle lingue di addestramento predominanti (arabo, urdu, persiano).

5. Significato e Implicazioni

Questo lavoro è fondamentale per il campo dell'ASR per le lingue a risorse basse (Low-Resource Languages):

• Ridefinizione delle Metriche: Sottolinea che il WER non è sufficiente; la fedeltà allo script deve essere riportata insieme al WER per evitare confronti invalidi. Un modello che trascrive il Pashto in arabo non sta facendo ASR, indipendentemente dal suo WER.
• Avvertenza su Whisper: Dimostra che l'assunzione comune secondo cui "modelli più grandi = migliori performance" non vale per lingue con script estesi e fonologia complessa come il Pashto, dove Whisper fallisce strutturalmente.
• Priorità di Ricerca: Identifica cinque priorità, tra cui la creazione di un sistema TTS open-source (inesistente al momento), la raccolta di dati di parlato spontaneo e l'adozione di benchmark condivisi (CV24 e FLEURS) per tutte le future pubblicazioni.
• Impatto Pratico: Fornisce le basi per costruire strumenti di accessibilità (screen reader, interfacce vocali) per 60-80 milioni di persone che attualmente ne sono privi, indicando che i modelli come SeamlessM4T e MMS sono attualmente le scelte migliori per l'ASR zero-shot su Pashto.