Sometin Beta Pass Notin (SBPN): Improving Multilingual ASR for Nigerian Languages via Knowledge Distillation

Riepilogo Tecnico: Sometin Beta Pass Notin (SBPN)

Enunciato del Problema
Nonostante la diversità linguistica della Nigeria, con oltre 500 lingue, i moderni sistemi di riconoscimento automatico del parlato (ASR) multilingue performano costantemente in modo inferiore sulle lingue nigeriane rispetto alle lingue ad alta risorsa come l'inglese e il francese. Gli autori identificano diverse barriere critiche: scarsità acuta di dati, ortografia incoerente, la necessità di diacritici tonali (in Yorùbá e Igbo), accenti diversificati, frequenti cambi di codice e la presenza di entità nominate localizzate. I dataset esistenti spesso consistono in parlato letto basato su modelli predefiniti, non generalizzando ai scenari conversazionali della vita reale. Inoltre, il predominio delle lingue ad alta risorsa su Internet accelera l'attrito linguistico, creando un divario digitale che rende necessaria la creazione di risorse ASR specializzate per garantire la continuità linguistica.

Metodologia
Il documento introduce Sometin Beta Pass Notin (SBPN), un modello ASR fondazionale multilingue progettato per cinque specifiche lingue nigeriane: Yorùbá, Hausa, Igbo, Pidgin nigeriano e Inglese nigeriano. Il framework impiega un processo di distillazione in due fasi:

1. Distillazione della Conoscenza da Insegnanti Monolingue:

   • Modelli Insegnante: Gli autori hanno utilizzato modelli monolingue esistenti all'avanguardia (basati su architetture come W2v-bert-2.0 e w2v-large-xlsr-53) come "insegnanti".
   • Fusione del Modello Linguistico: Riconoscendo che i modelli insegnanti basati su CTC faticano in regimi a bassa risorsa senza modellazione linguistica, il team ha curato modelli linguistici N-gram su larga scala per ciascuna delle cinque lingue utilizzando corpora testuali da fonti come Common-Crawl-100 e repository specifici.
   • Pseudo-etichettatura: I modelli insegnanti hanno generato pseudo-etichette rigide per dati audio non etichettati. Crucialmente, queste etichette sono state raffinate mediante una fusione superficiale delle previsioni ASR con i modelli linguistici N-gram curati durante l'inferenza (utilizzando il decoder Flashlight) per ridurre i tassi di errore lessicale (WER).
   • Cura dei Dati: La pipeline ha incluso un'estesa elaborazione audio: rimozione del rumore (MossFormer2), diarizzazione del parlante (Pyannote), rilevamento dell'attività vocale e identificazione della lingua. È stata applicata una strategia di normalizzazione specifica per il Pidgin nigeriano per gestire l'ortografia non standard e gli omofoni, raggruppando le parole e selezionando il token più probabile basato sul LM N-gram.

2. Auto-miglioramento Iterativo:

   • Il modello studente multilingue (SBPN) è stato inizialmente addestrato su una combinazione di dati ground-truth e dati pseudo-etichettati generati nella prima fase.
   • Successivamente, il modello ha subito un ciclo di auto-miglioramento in cui ha generato nuove pseudo-etichette più accurate per i dati non etichettati, utilizzate quindi per affinare ulteriormente il modello. Questo processo è continuato fino a quando il WER medio non si è stabilizzato.

Architettura del Modello
I modelli SBPN sono basati sull'architettura Recurrent Neural Network-based Transducer (RNNT), caratterizzata da un encoder Fast Conformer, una rete di previsione basata su LSTM con stato e una rete congiunta feed-forward. Una testa CTC ausiliaria è collegata all'encoder per regolarizzare le caratteristiche, il che è particolarmente benefico durante l'addestramento con dati pseudo-etichettati rumorosi. I modelli sono rilasciati in due dimensioni:

• SBPN-Base: 120 milioni di parametri.
• SBPN-Large: 600 milioni di parametri.
  Entrambi sono progettati per essere eseguiti su CPU durante l'inferenza, rendendoli accessibili ai ricercatori privi di risorse GPU su larga scala.

Contributi Chiave

• Primo Modello Fondazionale Multilingue per le Lingue Nigeriane: SBPN è il primo modello capace di trascrivere accuratamente sia il parlato letto che quello conversazionale veloce nelle cinque lingue target, eseguendo contemporaneamente l'identificazione della lingua parlata (SLID).
• Modelli Linguistici N-gram Curati: Gli autori hanno creato i primi modelli linguistici N-gram su larga scala per queste cinque lingue e hanno dimostrato il loro ruolo critico nel migliorare la qualità delle pseudo-etichette e le prestazioni complessive dell'ASR.
• Validazione della Pseudo-etichettatura in Ambienti a Bassa Risorsa: Lo studio dimostra che la pseudo-etichettatura su larga scala, quando combinata con la distillazione della conoscenza e la fusione del modello linguistico, migliora significativamente l'accuratezza del riconoscimento per le lingue a bassa risorsa, non solo per quelle ad alta risorsa.
• Rilascio Aperto: I modelli (SBPN-Base e SBPN-Large) e i loro checkpoint sono rilasciati come modelli fondazionali aperti per facilitare ulteriori ricerche sul panorama fonetico e culturale della regione.

Risultati

• Guadagno di Prestazioni: SBPN riduce significativamente il divario di prestazioni, ottenendo una riduzione relativa media del 29% del Tasso di Errore Lessicale (WER) rispetto alle linee di base monolingue.
• Confronto con gli Insegnanti: Il modello SBPN-Large ha superato i modelli insegnanti monolingue (anche quelli fusi con LM N-gram) con una riduzione relativa media del WER del 16%.
• Confronto con lo Stato dell'Arte: I modelli SBPN hanno superato i modelli multilingue esistenti all'avanguardia (come AfriHuBERT, mHuBERT-147 e MMS-1B) su benchmark principali inclusi Common Voice e Fleurs. Nota bene, il SBPN-Large da 600M di parametri ha superato in media i modelli da miliardi di parametri per le lingue nigeriane.
• Robustezza: SBPN-Large ha dimostrato una stabilità superiore nella trascrizione del parlato conversazionale veloce (fino a 2x la velocità normale) rispetto agli insegnanti monolingue, le cui prestazioni degradavano bruscamente con l'aumento dei tassi di eloquio.
• Identificazione della Lingua: I modelli hanno ottenuto punteggi F1 micro- medi quasi perfetti (100% per la maggior parte delle lingue) nell'identificare la lingua parlata, superando i modelli dedicati di identificazione della lingua basati su audio e testo per l'Inglese nigeriano e il Pidgin.
• Sfide dei Diacritici: Sebbene le prestazioni siano migliorate, il documento nota che la previsione dei segni diacritici rimane una sfida, in particolare per lo Yorùbá, dove il divario WER tra le previsioni con e senza diacritici rimane significativo, sebbene ridotto rispetto alle linee di base.

Significato
Il documento afferma che SBPN rappresenta un passo significativo verso il contrasto del divario digitale e il garantire la continuità linguistica per le lingue nigeriane. Dimostrando che "insegnanti medi" (modelli monolingue) possono essere distillati in uno "studente" superiore (modello multilingue) attraverso una rigorosa pseudo-etichettatura e fusione del modello linguistico, il lavoro fornisce un framework scalabile per l'elaborazione di lingue a bassa risorsa. Il rilascio di modelli compatibili con le CPU mira a democratizzare l'accesso alla tecnologia ASR per linguisti e ricercatori nella regione, favorendo un'ulteriore esplorazione della ricca diversità fonetica e culturale dell'area. Gli autori riconoscono modestamente che, sebbene SBPN sia un passo fondazionale, rimane un lavoro significativo per affrontare la previsione dei diacritici e per espandere il framework per coprire più delle 500+ lingue della Nigeria.