Speech Representation System For The Karakalpak Automatic Speech Recognition

Sintesi Tecnica: Sistema di Rappresentazione del Parlato per l'Automatic Speech Recognition del Karakalpak

Problematica
Il riconoscimento automatico del parlato (ASR) ha fatto progressi significativi per le lingue ad alta risorsa attraverso architetture neurali end-to-end (E2E). Tuttavia, lo sviluppo di sistemi ASR affidabili per le lingue a bassa risorsa rimane una sfida critica a causa dell'alto costo e della difficoltà di raccogliere e verificare dati vocali etichettati. Il karakalpak, una lingua turca parlata principalmente nella Repubblica del Karakalpakstan (Uzbekistan), affronta questi specifici vincoli. Le sue caratteristiche linguistiche — in particolare la morfologia agglutinante, l'armonia vocalica e l'ordine della frase soggetto-oggetto-verbo — determinano forme di parole lunghe e un'inflessione ricca, creando numerose varianti superficiali da singoli stemmi lessicali. Storicamente, il karakalpak ha carezato di risorse tecnologiche vocali aperte, rendendo difficile il benchmarking o l'addestramento di modelli robusti. Inoltre, l'uso di entrambi gli alfabeti latino e cirillico richiede una rigorosa normalizzazione del testo per garantire una valutazione coerente.

Metodologia
Gli autori propongono un sistema ASR per il karakalpak basato su rappresentazioni vocali multilingue auto-supervisionate, adattando specificamente l'architettura wav2vec 2.0 XLS-R. La metodologia segue una pipeline progettata per scenari a bassa risorsa:

1. Dataset (Karakalpak Speech Corpus - KSC): Il nucleo dello studio è il KSC, un dataset di benchmark accessibile pubblicamente raccolto dagli autori e rilasciato tramite Mendeley Data. Contiene circa 50 ore di parlato prevalentemente letto di 25 parlanti nativi. Il dataset include file WAV (16 kHz, 16-bit PCM) e trascrizioni verificate manualmente nell'ortografia latina standard del karakalpak. Fondamentalmente, il dataset è suddiviso in set di addestramento, validazione e test in modo indipendente dal parlante per prevenire la fuga di dati (data leakage).
2. Architettura del Modello: Il sistema utilizza il modello XLS-R, che consiste in un encoder di caratteristiche (strati convoluzionali temporali), una rete di contesto (blocchi Transformer) e un modulo di quantizzazione utilizzato durante il pre-addestramento. Per il compito del karakalpak, il modello XLS-R pre-addestrato viene perfezionato (fine-tuned) con uno strato di proiezione lineare inizializzato casualmente sopra la rete di contesto per predire i token dei caratteri. Il modello è ottimizzato utilizzando la perdita Connectionist Temporal Classification (CTC).
3. Configurazioni di Addestramento: Per analizzare l'impatto della scarsità di dati, gli autori hanno condotto esperimenti utilizzando tre configurazioni di dati etichettati:
   • Configurazione da 50 ore: Parte completa di addestramento del KSC.
   • Configurazione da 10 ore: Un sottoinsieme bilanciato di parlanti.
   • Configurazione da 1 ora: Un sottoinsieme più piccolo e bilanciato per parlanti, che simula condizioni di ultra-bassa risorsa.
     Gli iperparametri, inclusi i tassi di apprendimento e gli aggiornamenti massimi, sono stati regolati in base al volume di dati.
4. Decodifica e Modellazione del Linguaggio: Per affrontare le sfide della morfologia agglutinante e della confusione acustica, gli autori hanno integrato modelli di linguaggio n-gram a livello di parola (trigramma, 4-gramma e 5-gramma) addestrati utilizzando KenLM. Sono state testate due varianti di modello di linguaggio:
   • LM1: Addestrato esclusivamente sulle trascrizioni del KSC.
   • LM2: Addestrato sui testi del KSC più risorse testuali aggiuntive in karakalpak (notizie, materiali educativi, ecc.).
     La decodifica è stata eseguita combinando punteggi del modello acustico, vincoli del lessico e probabilità del modello di linguaggio.

Contributi Chiave
Il documento apporta i seguenti contributi specifici al campo dell'ASR a bassa risorsa:

• Sviluppo del Sistema: La presentazione di un sistema ASR funzionale per il karakalpak che utilizza rappresentazioni auto-supervisionate multilingue.
• Utilizzo del Dataset: L'addestramento e il fine-tuning di un modello wav2vec 2.0 XLS-R specifico per il karakalpak sul KSC (Karakalpak Speech Corpus) appena rilasciato dagli autori, stabilendo un baseline riproducibile.
• Analisi della Scarsità di Dati: Una valutazione sistematica della qualità del riconoscimento attraverso diverse quantità di dati etichettati (1h, 10h, 50h) per determinare la soglia minima di dati vitali per una prestazione affidabile.
• Integrazione del Modello di Linguaggio: L'applicazione di modelli di linguaggio n-gram a livello di parola per migliorare la decodifica in contesti a bassa risorsa, dimostrando la loro efficacia nel ridurre gli errori per le lingue agglutinanti.
• Analisi degli Errori: Una scomposizione dettagliata degli errori di riconoscimento nelle categorie di sostituzione, inserimento e cancellazione, fornendo approfondimenti sui modelli di fallimento specifici del sistema sotto diverse condizioni di dati e domini.

Risultati
Gli esperimenti hanno prodotto le seguenti metriche di prestazione su un set di test non utilizzato (held-out):

• Prestazione Baseline: Il modello XLS-R addestrato su 50 ore di KSC ha raggiunto un Word Error Rate (WER) del 21,10% e un Character Error Rate (CER) del 4,32% senza un modello di linguaggio esterno.
• Impatto del Volume di Dati: Come previsto, le prestazioni sono migliorate con l'aumento dei dati etichettati. La configurazione da 1 ora ha prodotto un WER del 47,15%, mentre la configurazione da 10 ore ha raggiunto un WER del 29,42%.
• Impatto dei Modelli di Linguaggio: L'integrazione dei modelli di linguaggio ha ridotto costantemente i tassi di errore.
  • Utilizzando LM1 (solo testo KSC), il WER del modello da 50 ore è sceso al 18,92% (con un modello 5-gramma e top-k=20.000).
  • Utilizzando LM2 (KSC + testo aggiuntivo), le prestazioni sono ulteriormente migliorate con un WER del 17,86% e un CER del 3,82% per la configurazione da 50 ore.
• Valutazione Out-of-Domain (OOD): Testato su un dataset OOD (notizie, educazione, media pubblici), il modello da 50 ore senza modello di linguaggio aveva un WER del 38,40%. Con LM2, questo è migliorato significativamente al 32,10%, indicando che corpora testuali più ampi aiutano a generalizzare su diversi stili di parlato e argomenti.
• Distribuzione degli Errori: Gli errori di sostituzione sono stati il tipo di errore dominante in tutte le configurazioni, attribuiti a suffissi acusticamente simili e a una morfologia ricca. Il modello di linguaggio ha ridotto efficacemente gli errori di sostituzione e inserimento, sebbene le cancellazioni siano rimaste sensibili alla qualità dell'audio e alla velocità di parlato.

Significato e Rivendicazioni
Gli autori pongono questo lavoro come un passo fondamentale verso l'inclusione digitale e la preservazione linguistica per il karakalpak. Il documento afferma che il dataset KSC fornisce una base necessaria, trasparente e riproducibile per la ricerca ASR sul karakalpak, spostando il campo dalle collezioni audio informali verso benchmark standardizzati.

Lo studio dimosta che le rappresentazioni auto-supervisionate multilingue (XLS-R) sono efficaci per le lingue turche a bassa risorsa, anche con dati etichettati limitati. Gli autori concludono con modestia che, sebbene il WER del 21,10% serva come punto di riferimento, ulteriori miglioramenti dipendono da corpora testuali verificati più ampi, modelli di linguaggio più forti e corrispondenti al dominio, dall'inclusione del parlato spontaneo e da una attenta normalizzazione delle varianti di scrittura. Il lavoro stabilisce un baseline per la ricerca futura, suggerendo che il dataset raccolto può supportare l'espansione dei corpora di addestramento attraverso la correzione human-in-the-loop e che la pipeline proposta è percorribile per compiti a valle come l'analisi del parlante e l'identificazione della lingua.