BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language

Questo articolo presenta BaltiVoice, il primo corpus vocale e modello ASR Whisper fine-tuned pubblicamente disponibile per la lingua Balti, che riduce significativamente i tassi di errore delle parole da un baseline zero-shot del 182,18% al 30,07% su un dataset di 16,8 ore derivato da Mozilla Common Voice.

L'essenziale

Immagina di avere una biblioteca di libri, ma per una lingua specifica — il Balti, parlato da circa 400.000 persone in Pakistan e India — non esistono libri affatto. Non solo mancano i libri, ma mancano anche gli assistenti vocali, i software di dettatura e ogni modo per i computer di comprendere la parola parlata. È come cercare di navigare in una città senza cartelli stradali o mappe.

Questo articolo presenta BaltiVoice, un progetto progettato per costruire quella prima mappa.

Il Problema: Una Lingua nell'Oscurità

Il Balti è una lingua unica con i suoi suoni e la sua grammatica, scritta in uno splendido script chiamato Nastaliq (che assomiglia all'Urdu). Nonostante abbia una vasta comunità di parlanti, è stata completamente invisibile al mondo dell'Intelligenza Artificiale. Se avessi provato a chiedere a un computer intelligente di "ascoltare" il Balti prima di questo progetto, sarebbe stato come chiedere a un cane di leggere un libro; il computer avrebbe solo indovinato casualmente, sbagliando quasi tutto.

La Soluzione: Costruire una Palestra di Allenamento

Per insegnare a un computer a parlare una lingua, devi mostrargli migliaia di esempi di persone che la parlano. L'autore, Muhammad Ali, si è rivolto a un enorme progetto di comunità online chiamato Mozilla Common Voice. Immagina questo come una cabina di registrazione globale dove i volontari leggono ad alta voce delle frasi.

• La Raccolta: Ali ha raccolto 16,8 ore di parlato registrato.
• Il Volume: Questo equivale a 10.060 frasi pronunciate da 136 persone diverse.
• La Validazione: Proprio come un insegnante che corregge i compiti, altri volontari hanno controllato queste registrazioni per assicurarsi che fossero corrette.

Questa collezione è ora chiamata corpus BaltiVoice. È il primo "libro di testo" pubblico per insegnare ai computer la lingua Balti.

L'Insegnante: Whisper e il Trucco dell' "Urdu"

L'autore non ha costruito un cervello artificiale da zero. Invece, ha utilizzato un modello di IA preesistente e molto intelligente chiamato Whisper (nello specifico, la versione "small").

Immagina Whisper come uno studente poliglotta che ha già studiato 99 lingue (come l'inglese, lo spagnolo e il mandarino) per migliaia di ore. Tuttavia, questo studente non ha mai sentito il Balti prima d'ora. Se chiedessi a questo studente di ascoltare il Balti proprio ora, allucinerebbe nonsense, sbagliando circa il 182% delle parole (il che significa che ne inventerebbe di cui non sono state nemmeno pronunciate).

Per risolvere il problema, l'autore ha usato un trucco astuto:

• L'Analogia: Poiché il Balti è scritto nello script Nastaliq (che è molto simile all'Urdu), l'autore ha detto all'IA: "Ehi, fingi che questo sia Urdu per un momento".
• L'Allenamento: L'IA è stata quindi sottoposta a un "fine-tuning". Questo è come prendere quello studente poliglotta e dargli un corso intensivo utilizzando le 16,8 ore di registrazioni in Balti. Lo studente doveva ascoltare, leggere il testo e imparare i suoni specifici del Balti.

I Risultati: Dal Caos alla Chiarezza

Dopo circa 2 ore di allenamento su un computer standard, i risultati sono stati drammatici:

1. Prima dell'Allenamento: L'IA tirava a indovinare selvaggiamente (tasso di errore del 182%). Stava essenzialmente inventando cose.
2. Dopo l'Allenamento: Gli errori dell'IA sono scesi al 30%.

Cosa significa un tasso di errore del 30%?
Immagina l'IA che ascolta una frase. Se la frase ha 10 parole, l'IA ne otterrà circa 7 giuste e 3 sbagliate.

• È perfetto? No. Non è ancora abbastanza buono per la dettatura di un medico o una trascrizione legale dove ogni parola deve essere esatta.
• È utile? Sì. Dimostra che la lingua può essere compresa dalle macchine. È la differenza tra un cieco che inciampa nel buio e una persona che può ora vedere una debole luce all'orizzonte.

Perché Questo Importa

L'articolo sottolinea che non si tratta solo di ottenere un punteggio alto; si tratta di iniziare la conversazione.

• Il Punto di Partenza (Baseline): Prima di questo, non c'era modo di misurare i progressi. Ora, i ricercatori hanno una "linea di partenza" da cui partire.
• Il Futuro: L'autore spera che questa "palestra" open-source (i dati e il modello addestrato) permetta ad altri scienziati di entrare, fare più addestramento ed eventualmente abbassare quel tasso di errore.

In Sintesi

Questo articolo è un passo fondamentale. Ha preso una lingua che era invisibile all'IA, ha costruito una piccola biblioteca di esempi parlati e ha insegnato a un computer intelligente come ascoltarla. Sebbene il computer commetta ancora errori (circa una parola su tre), è passato dalla "totale confusione" alla "comprensione delle basi", aprendo la porta a futuri strumenti che potrebbero aiutare i parlanti del Balti a interagire con la tecnologia nella propria lingua.

Sommario tecnico

Sintesi Tecnica: BaltiVoice

Problematica
La lingua Balti (ISO 639-3: bft), parlata da circa 400.000 persone nel Gilgit-Baltistan, in Pakistan, e in parti del Ladakh, in India, è stata storicamente assente dalla ricerca nell'ambito del Natural Language Processing (NLP) e dell'Automatic Speech Recognition (ASR). Nonostante sia una lingua tibetica con una fonologia e una grammatica distinte, e scritta in uno script basato sul Nastaliq adattato dall'Urdu, non esistevano risorse ASR pubblicamente disponibili, corpora di parlato annotati o sistemi di base per la lingua. Di conseguenza, i parlanti mancano l'accesso a interfacce vocali, software di dettatura e strumenti di accessibilità nella propria lingua nativa, e i ricercatori non hanno una metrica per misurare i progressi nell'ASR del Balti.

Metodologia
Per affrontare questa lacuna, gli autori hanno sviluppato BaltiVoice, una pipeline per la raccolta dei dati, il pre-processing e il fine-tuning del modello:

• Costruzione del Dataset: Il corpus è derivato dal subset Balti di Mozilla Common Voice. Gli autori hanno utilizzato 10.060 enunciati validati (su 10.547 clip registrate), per un totale di 16,8 ore di parlato. I dati consistono in registrazioni di parlato letto in script Nastaliq nativo.

  • Pre-processing: I file audio sono stati convertiti dal formato MP3 al formato WAV mono a 16 kHz. Sono stati filtrati gli enunciati con meno di due parole.
  • Suddivisione (Splitting): È stata applicata una suddivisione rigorosa per speaker disgiunti utilizzando GroupShuffleSplit (seed 42) per garantire che non vi fosse sovrapposizione tra i parlanti nei set di addestramento e di validazione. Ciò ha portato a 9.519 enunciati di addestramento (122 parlanti) e 538 enunciati di validazione (14 parlanti).
  • Normalizzazione: Non è stata applicata alcuna normalizzazione del testo; la punteggiatura è stata preservata come fornita. Gli autori hanno segnalato un limite relativo all'ambiguità Unicode nello script Nastaliq (ad esempio, codepoint differenti per caratteri visivamente identici), ma hanno rimandato la normalizzazione sistematica a lavori futuri.

• Architettura del Modello e Addestramento:

  • Modello Base: È stato selezionato il modello Whisper-small (244 milioni di parametri) di OpenAI. È stato scelto rispetto a varianti più grandi (ad esempio, Whisper-medium) a causa dei vincoli di memoria della GPU NVIDIA T4 utilizzata per l'addestramento.
  • Tokenizzazione: Il tokenizer è stato inizializzato con language="urdu" e task="transcribe". Questa scelta è stata motivata dalla somiglianza dello script tra Balti e Urdu (entrambi usano il Nastaliq), permettendo al modello di gestire correttamente i caratteri Unicode del Balti senza perdita di caratteri durante la tokenizzazione round-trip.
  • Fine-tuning: Il modello è stato sottoposto a fine-tuning utilizzando lo Seq2SeqTrainer di HuggingFace Transformers con l'ottimizzatore AdamW, un tasso di apprendimento di $1 \times 10^{-5}$ e precisione fp16. L'addestramento è durato 1.000 step su 16,8 ore di dati, con checkpoint salvati ogni 250 step.

Contributi Chiave
Il documento presenta tre artefatti primari, tutti rilasciati pubblicamente su HuggingFace e GitHub:

1. Corpus BaltiVoice: Un corpus di parlato letto di 16,8 ore e 10.060 enunciati con trascrizioni in Nastaliq nativo, rilasciato sotto licenza CC0.
2. Whisper-small-balti: Un modello ASR finetuned specificamente per la lingua Balti.
3. Pipeline Riproducibile: Codice di addestramento completo, un notebook Colab e una demo live in Gradio per la trascrizione.

Risultati
Il modello fine-tuned ha dimostrato un miglioramento significativo rispetto alla baseline zero-shot:

• Baseline Zero-Shot: Applicato al Balti senza fine-tuning, Whisper-small ha prodotto un Word Error Rate (WER) del 182,18%. Gli autori notano che un WER superiore al 100% indica che il modello sta allucinando parole non presenti nel riferimento, confermando che il Balti si trova interamente al di fuori della distribuzione di pre-addestramento del modello.
• Performance del Fine-tuned: Dopo 1.000 step di addestramento, il modello ha raggiunto un WER del 30,07% sul set di validazione tenuto da parte.
• Analisi degli Errori: Un'analisi qualitativa suggerisce che la maggior parte degli errori consiste in sostituzioni di singoli caratteri alla fine delle parole, il che è coerente con il fatto che il modello stia imparando i pattern lessicali ma fatichi con le complessità morfologiche di questa lingua agglutinante. Gli errori di cancellazione o inserimento di intere parole erano meno frequenti.

Significatività e Rivendicazioni
Gli autori inquadrano la significatività di questo lavoro come l'instaurazione di un punto di partenza misurabile per una lingua che precedentemente non ne aveva alcuno.

• Stabilire una Baseline: L'obiettivo primario è fornire una baseline riproducibile per accelerare la ricerca futura nel campo del NLP per il Balti.
• Fattibilità del Trasferimento a Basse Risorse: La riduzione del WER dal 182% al 30% utilizzando solo 16,8 ore di dati suggerisce che il trasferimento cross-linguale da lingue correlate (specificamente Urdu e Tibetano, che condividono script e caratteristiche fonologiche) è efficace anche per lingue assenti dalla distribuzione di pre-addestramento.
• Aspettative Modeste: Gli autori dichiarano esplicitamente che un WER del 30% è "troppo alto per la dettatura" o per strumenti di accessibilità generale, poiché richiede la correzione di circa una parola su tre. Tuttavia, sostengono che l'output possa essere utilizzabile per compiti più ristretti come il keyword spotting o il rilevamento di argomenti dove la trascrizione esatta è meno critica.
• Direzioni Future: Il documento identifica percorsi chiari per il miglioramento, tra cui la normalizzazione del testo per la morfologia del Balti, l'espansione del corpus con parlato spontaneo (conversazionale) ed esperimenti con varianti di modelli più grandi (ad esempio, Whisper-medium) sotto budget computazionali maggiori.

Il documento si conclude enfatizzando il rilascio di tutti gli artefatti per abbassare la barriera alla ricerca futura, pur riconoscendo i limiti come l'uso di dati di parlato letto invece di conversazioni spontanee.