LoASR-Bench: Evaluating Large Speech Language Models on Low-Resource Automatic Speech Recognition Across Language Families

1. Il Problema

Nonostante i recenti progressi dei Modelli Linguistici su Grande Scala (LLM) che hanno potenziato i Modelli Linguistici per il Linguaggio Parlato (SpeechLM), le valutazioni esistenti si concentrano prevalentemente su lingue ad alta risorsa. Questo crea un vuoto critico nella comprensione del comportamento degli SpeechLM in contesti a bassa risorsa.
Le sfide principali identificate sono:

• Mancanza di generalizzazione: I sistemi ASR reali devono supportare lingue a bassa risorsa e generalizzare attraverso famiglie linguistiche diverse, ma le attuali benchmark non lo testano sistematicamente.
• Limiti delle valutazioni attuali: Le benchmark esistenti (es. CommonVoice, FLEURS) trattano spesso le lingue in modo isolato, ignorando la diversità tipologica (famiglie linguistiche) e la diversità degli script (latino vs. non latino).
• Propagazione degli errori: Gli approcci a cascata (ASR + LLM) falliscono spesso in scenari a bassa risorsa a causa della scarsità di dati e della propagazione degli errori.

2. Metodologia: LoASR-Bench

Per colmare queste lacune, gli autori hanno introdotto LoASR-Bench, una benchmark completa progettata per valutare l'ASR a bassa risorsa su SpeechLM moderni.

• Copertura Linguistica: Il benchmark include 25 lingue appartenenti a 9 famiglie linguistiche tipologicamente diverse: Dravidica, Romanza, Uralica, Isolata, Japonica, Sino-Tibetana, Indo-Ariana, Turca e Coreanica.
• Diversità degli Script: Include sia lingue con script latino (es. Francese, Spagnolo) che non latino (es. Tamil, Hindi, Giapponese, Coreano), permettendo un'analisi trasversale dell'impatto dello script sulle prestazioni.
• Modelli Valutati: Sono stati testati diversi SpeechLM all'avanguardia con architetture e paradigmi di training differenti:
  • XLSR-53: Modello encoder self-supervised basato su wav2vec 2.0.
  • Whisper (Medium e Large-v3): Modelli encoder-decoder addestrati su dati multilingue debolmente supervisionati.
  • Famiglia Qwen (Qwen2-Audio-7B e Qwen3-Omni-30B): Modelli SpeechLM multimodali.
• Protocollo di Fine-Tuning: Per garantire una valutazione equa e sistematica, tutti i modelli sono stati fine-tunati su tutte le 25 lingue target utilizzando i dati di Common Voice 16.1. È stato utilizzato un protocollo di training unificato (10 epoche, batch size 8, learning rate 5e-5, fp16).
• Configurazioni di Inferenza: Sono state testate due modalità:
  • Language-Unaware: Istruzioni senza specificare la lingua (es. "Trascrivi l'audio").
  • Language-Aware: Istruzioni che includono esplicitamente il nome della lingua target.

3. Risultati Chiave

• Performance per Famiglia Linguistica:

  • Le lingue della famiglia Romanza mostrano errori generalmente bassi su tutti i modelli.
  • Le lingue Dravidiche e Indo-Ariane presentano sfide significative per i modelli base (specialmente Qwen2-Audio), ma mostrano miglioramenti drastici dopo il fine-tuning specifico.
  • I modelli più recenti (Qwen3-Omni) superano generalmente i baseline Whisper, ma non sempre in tutte le lingue a bassa risorsa.

• Impatto dello Script (Latino vs. Non Latino):

  • Esiste un divario di prestazioni evidente: le lingue con script latino ottengono tassi di errore mediamente più bassi rispetto a quelle con script non latino.
  • Questo suggerisce che le caratteristiche legate allo script (come la morfologia) giocano un ruolo cruciale nelle prestazioni ASR per le lingue a bassa risorsa.

• Dimensione del Modello vs. Prestazioni:

  • C'è una correlazione negativa tra il numero di parametri e il tasso di errore (modelli più grandi tendono a performare meglio).
  • Tuttavia, lo scaling da 0.04B a 30B parametri riduce l'errore solo marginalmente (da ~0.45 a ~0.32), indicando che per l'ASR multilingue a bassa risorsa, la sola dimensione del modello non è la soluzione definitiva.

• Inferenza Consapevole della Lingua:

  • Fornire esplicitamente il nome della lingua durante l'inferenza (Language-Aware) migliora significativamente le prestazioni rispetto all'inferenza senza tale indicazione, specialmente nelle famiglie Indo-Ariane.
  • Tuttavia, in scenari reali la lingua potrebbe essere sconosciuta, evidenziando la necessità di integrare l'identificazione della lingua (LID) direttamente negli SpeechLM.

4. Contributi Principali

1. Introduzione di LoASR-Bench: La prima benchmark che valuta sistematicamente gli SpeechLM attraverso diverse famiglie linguistiche e tipi di script, coprendo 25 lingue a bassa risorsa.
2. Valutazione Sistematica: Un'analisi dettagliata che rivela variazioni significative nelle prestazioni dei modelli su lingue a bassa risorsa, evidenziando limiti non osservabili in benchmark monolingue.
3. Confronto Cross-Famiglia e Cross-Script: Dimostrazione che le lingue con script latino hanno tassi di errore inferiori rispetto a quelle non latine.
4. Risorsa Open-Source: Fine-tuning e rilascio di checkpoint unificati e riproducibili per XLSR-53, Whisper e modelli Qwen su 25 lingue, inclusi molti che non avevano checkpoint pubblici precedenti.

5. Significato e Implicazioni

Il lavoro di LoASR-Bench è fondamentale per lo sviluppo di sistemi ASR multilingue reali. I risultati dimostrano che:

• Le attuali SpeechLM, sebbene potenti, hanno ancora difficoltà con lingue a bassa risorsa, specialmente quelle con script non latini e dati di training estremamente limitati (<1 ora).
• Il fine-tuning specifico per lingua è essenziale per colmare il divario di prestazioni, specialmente per famiglie linguistiche sottorappresentate.
• La capacità di identificare la lingua parlata è un prerequisito critico per ottenere prestazioni ottimali, suggerendo che futuri sistemi devono integrare LID e ASR in un'unica architettura autonoma.
• Esiste un rischio di sovrastimare la generalizzabilità degli SpeechLM se valutati solo su lingue ad alta risorsa o script latini; benchmark diversificati come LoASR-Bench sono necessari per guidare lo sviluppo verso un'IA linguistica veramente inclusiva.