Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR

Titolo: Polyglot-Lion: ASR Multilingue Efficiente per Singapore tramite Fine-Tuning Bilanciato di Qwen3-ASR

1. Il Problema

Singapore presenta uno dei contesti più complessi al mondo per il riconoscimento automatico del parlato (ASR) a causa della sua unica situazione linguistica:

• Quattro lingue ufficiali: Inglese, Mandarino, Tamil e Malese coesistono quotidianamente, spesso all'interno della stessa conversazione.
• Code-switching e Singlish: Gli parlanti passano frequentemente tra le lingue (code-switching) e utilizzano il "Singlish", un creolo che mescola lessico e fonologia di tutte e quattro le lingue.
• Mancanza di sistemi open-source: Sebbene esistano modelli multilingue generici (es. Whisper, MMS) o sistemi specialistici (es. MERaLiON), questi ultimi sono spesso inaccessibili. I modelli generici faticano con le varietà a bassa risorsa (Tamil, Malese) e gli accenti locali, mentre i sistemi specialistici di alto livello (come MERaLiON-2-10B-ASR) richiedono risorse computazionali enormi (128 GPU H100) e costi di training proibitivi (circa $18.862), rendendoli fuori portata per la maggior parte dei gruppi di ricerca e delle piccole imprese.

2. Metodologia

Gli autori hanno sviluppato Polyglot-Lion, una famiglia di modelli ASR compatti (0.6B e 1.7B parametri) derivati dal fine-tuning di Qwen3-ASR (0.6B e 1.7B). La metodologia si basa su due scelte progettuali fondamentali:

• Campionamento Bilanciato Multilingue (Balanced Sampling):

  • I corpus pubblici disponibili sono fortemente sbilanciati a favore di Inglese e Mandarino (circa il 65% delle ore di training), mentre Tamil e Malese sono sottorappresentati.
  • Per evitare che il modello sovrastimi le lingue ad alta risorsa e sottostimi quelle a bassa risorsa, gli autori hanno implementato una strategia di upsampling deterministico a due stadi:
    1. Bilanciamento intra-lingua: All'interno di ogni gruppo linguistico, i dataset più piccoli vengono replicati per eguagliare il dataset più grande di quella lingua.
    2. Bilanciamento inter-lingua: I corpus bilanciati di ciascuna lingua vengono ulteriormente replicati per garantire che ogni lingua contribuisca esattamente con il 25% dei dati di training.
  • Questo approccio non richiede iperparametri aggiuntivi (come la temperatura nel campionamento multinomiale) e garantisce una parità esatta tra le lingue.

• Decodifica Agnostica alla Lingua (Language-Agnostic Decoding):

  • A differenza di sistemi come Whisper che richiedono un token esplicito per identificare la lingua in input, Polyglot-Lion rimuove completamente il condizionamento tramite tag linguistici sia durante il training che l'inferenza.
  • Il modello è costretto a identificare implicitamente la lingua parlata basandosi esclusivamente sui segnali acustici e sui pattern linguistici. Questo rende il sistema robusto al code-switching e alle situazioni in cui la lingua non è nota a priori.

• Risorse e Training:

  • Training eseguito su un singolo NVIDIA RTX PRO 6000 per 48 ore.
  • Utilizzo esclusivo di corpus di parlato pubblici (Librispeech, NSC, AISHELL, Common Voice, Fleurs, SLR, Mesolitica).

3. Contributi Chiave

1. Ricetta di Fine-Tuning Bilanciato: Dimostrazione che l'upsampling esplicito delle lingue sottorappresentate migliora drasticamente l'accuratezza su Tamil e Malese senza degradare le prestazioni su Inglese e Mandarino, senza bisogno di dati proprietari.
2. Identificazione Implicita della Lingua: Validazione empirica che un modello di scala moderata (1.7B) può identificare con affidabilità quattro lingue tipologicamente diverse (dall'Indoeuropeo al Dravidico) senza segnali espliciti, gestendo efficacemente il code-switching.
3. Benchmark Completo: Valutazione su 12 dataset standard che coprono tutte e quattro le lingue ufficiali di Singapore, con confronti diretti contro 8 baseline (dai modelli generici ai sistemi specialistici).
4. Analisi di Efficienza dei Costi: Dimostrazione che è possibile raggiungere prestazioni vicino allo stato dell'arte (SOTA) a una frazione del costo computazionale e finanziario rispetto ai sistemi specialistici più grandi.

4. Risultati

I risultati sono presentati confrontando Polyglot-Lion-1.7B con MERaLiON-2-10B-ASR (il sistema di riferimento più potente, 10B parametri) e altre baseline.

• Accuratezza:

  • Polyglot-Lion-1.7B raggiunge un tasso di errore medio (WER/CER) del 14.85% su 12 benchmark.
  • Questo risultato è quasi identico a quello di MERaLiON-2-10B-ASR (14.32%), nonostante Polyglot-Lion abbia 6 volte meno parametri.
  • Su specifici benchmark:
    • Malese (Mesolitica): Polyglot-Lion-1.7B ottiene il miglior risultato in assoluto (21.51 WER), superando MERaLiON.
    • Tamil: Il fine-tuning bilanciato riduce il WER da oltre 120% (nel modello base non modificato) a 39.19%, un miglioramento del 72%.
    • Inglese (NSC - Singapore): 5.28 WER, molto vicino al leader (4.62 di MERaLiON) e nettamente superiore alle baseline generiche.
  • Il modello da 0.6B ottiene un errore medio di 16.52%, risultando il migliore tra i modelli sotto 1B parametri.

• Velocità di Inferenza:

  • Polyglot-Lion è circa 20 volte più veloce di MERaLiON-2-10B-ASR (0.10 secondi/campione contro 2.02 secondi/campione).
  • È anche 3 volte più veloce di Whisper-large-v3-turbo.

• Costi di Training:

  • Polyglot-Lion: ~$81 (1 GPU, 48 ore).
  • MERaLiON-2-10B-ASR: ~$18.862 (128 GPU H100, 48 ore).
  • Riduzione dei costi: Un fattore di 233x.

5. Significato e Implicazioni

Il lavoro di Polyglot-Lion dimostra che la qualità dei dati e la strategia di bilanciamento sono fattori più critici della semplice scala del modello (numero di parametri) per l'ASR multilingue in contesti complessi come Singapore.

• Democratizzazione dell'ASR: Rende possibile lo sviluppo e il deployment di sistemi ASR multilingue di alta qualità per gruppi di ricerca accademici e piccole imprese, che non possono permettersi cluster di GPU massicci.
• Robustezza al Code-Switching: L'approccio agnostico alla lingua offre una soluzione pratica per ambienti reali dove la lingua non è pre-etichettata e i parlanti mescolano le lingue liberamente.
• Efficienza: Dimostra che modelli di dimensioni moderate (1.7B), opportunamente addestrati, possono competere con sistemi giganti (10B+) in termini di accuratezza, offrendo al contempo una latenza di inferenza molto più bassa, ideale per applicazioni in tempo reale e dispositivi edge.

In sintesi, Polyglot-Lion stabilisce un nuovo standard per l'efficienza nell'ASR multilingue, mostrando che un'attenta gestione dei dati e tecniche di fine-tuning mirate possono sbloccare prestazioni quasi SOTA con costi computazionali ridotti di ordini di grandezza.