WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

Riepilogo Tecnico: WARDEN – Trascrizione e Traduzione di Lingue Indigene in Pericolo di Estinzione con 6 Ore di Dati di Addestramento

Enunciato del Problema
La documentazione delle lingue in pericolo di estinzione, come il Wardaman (una lingua indigena australiana con solo due parlanti fluenti a partire dal 2025), è un processo laborioso che richiede ai linguisti di produrre manualmente trascrizioni allineate temporalmente e traduzioni. Sebbene il riconoscimento automatico del parlato (ASR) e la traduzione automatica (MT) offrano un potenziale acceleratore, gli approcci standard di deep learning sono non fattibili per scenari con così poche risorse. I modelli esistenti richiedono tipicamente da decine a centinaia di ore di dati annotati per ottenere prestazioni accettabili, mentre il dataset Wardaman disponibile consiste in sole 6 ore di coppie audio-trascrizione-traduzione allineate temporalmente. Inoltre, i modelli unificati che tentano di eseguire simultaneamente trascrizione e traduzione spesso falliscono in regimi con dati estremamente scarsi a causa della mancanza di un segnale di addestramento sufficiente.

Metodologia
Gli autori propongono WARDEN (Wardaman Decoding ENgine), un framework a due stadi progettato per disaccoppiare trascrizione e traduzione, consentendo così un apprendimento efficace con dati minimi.

1. Stadio di Trascrizione (ASR):

   • Modello: Il sistema esegue il fine-tuning del modello Whisper-large-v3.
   • Inizializzazione Cross-Linguistica: Per affrontare la scarsità di dati Wardaman, gli autori identificano una lingua "proxy" foneticamente simile per inizializzare i token linguistici del modello. Utilizzando il database PHOIBLE, hanno calcolato le distanze di Hamming tra l'inventario fonemico del Wardaman e sei lingue candidate (Sundanese, Uzbeko, Hausa, Croato, Occitano, Inglese).
   • Selezione: Il Sundanese è stato identificato come avente la minima distanza fonemica. Il modello viene inizializzato utilizzando il token linguistico del Sundanese (<su>) prima del fine-tuning sulle 6 ore di dati Wardaman. Questa strategia mira a trasferire conoscenze fonologiche e ad accelerare la convergenza.

2. Stadio di Traduzione (MT):

   • Sfida: Il fine-tuning diretto di grandi modelli linguistici (LLM) o di traduttori basati su ASR su 6 ore di dati produce risultati scadenti a causa dell'overfitting e della mancanza di conoscenze specifiche del dominio.
   • Flusso di Lavoro Arricchito dal Lessico: Gli autori compilano un dizionario Wardaman-Inglese (circa 2.300 voci) da annotazioni di esperti.
   • Corrispondatore Lessicale: Prima della traduzione, un corrispondatore basato su regole recupera le voci dizionariali pertinenti per le parole nella trascrizione ASR. L'abbinamento viene eseguito tramite:
     • Tasso di Errore dei Caratteri (CER): Abbinamento delle parole di trascrizione alle voci del dizionario con una soglia CER ($\tau = 0.2$).
     • Corrispondenza degli Affissi: Abbinamento posizionale di prefissi e suffissi per gestire le forme derivate.
   • Integrazione LLM: Le voci lessicali recuperate (formattate come parola, CER, parte del discorso e glossa) vengono concatenate con la trascrizione ASR e inserite in un LLM (specificamente Qwen3-8B).
   • Addestramento: L'LLM viene sottoposto a fine-tuning utilizzando l'Adattamento a Basso Rango (LoRA). L'input include la trascrizione e gli indizi lessicali abbinati, trasformando l'LLM in un interprete fondato sulla conoscenza piuttosto che in un traduttore puramente guidato dai dati.
   • Aumento dei Dati: I dati di addestramento vengono aumentati concatenando brevi enunciati in sequenze più lunghe e utilizzando le proprie uscite di trascrizione rumorose di Whisper come input per simulare errori ASR reali.

Contributi Chiave

• Architettura a Due Stadi: Il documento dimostra che separare trascrizione e traduzione è superiore agli approcci unificati in contesti con risorse estremamente limitate (6 ore di dati).
• Inizializzazione con Proxy Fonetico: L'introduzione dell'inizializzazione dei modelli ASR con token provenienti da una lingua foneticamente simile (Sundanese) per superare la scarsità di dati.
• Traduzione Fondata sul Lessico: Una pipeline innovativa che integra dizionari compilati da esperti direttamente nel processo di inferenza e fine-tuning dell'LLM, permettendo al modello di sfruttare conoscenze esterne invece di affidarsi esclusivamente ai parametri interni.
• Stabilimento di Baseline: La creazione di una baseline solida per l'elaborazione del Wardaman utilizzando solo 6 ore di dati annotati, superando modelli open-source e proprietari più grandi.

Risultati Sperimentali

• Trascrizione: Il sistema WARDEN (Whisper sottoposto a fine-tuning con inizializzazione Sundanese) ha raggiunto un Tasso di Errore delle Parole (WER) di 0.52. Ciò ha superato il fine-tuning standard di Whisper (0.64) e le baseline zero-shot (1.62). L'uso del token Sundanese ha ridotto il WER di 0.12 rispetto al fine-tuning standard.
• Traduzione: Utilizzando il modello Qwen3-8B con condizionamento lessicale e fine-tuning, WARDEN ha raggiunto un punteggio BLEU-4 di 12.40.
  • Ciò ha superato significativamente il miglior risultato di GPT-5 (7.54) e altre baseline sottoposte a fine-tuning.
  • Studi di ablazione hanno mostrato che la rimozione del lessico o del fine-tuning ha ridotto il punteggio BLEU rispettivamente di 6.28 e 9.57.
  • Il sistema ha inoltre dimostrato robustezza, mantenendo le prestazioni anche quando alimentato con uscite ASR rumorose.

Significato e Affermazioni
Il documento afferma che WARDEN riesce con successo a sfuggire alla "maledizione dei dati limitati" che ostacola i sistemi esistenti. Sfruttando intuizioni linguistiche (somiglianza fonetica) e conoscenze esperte (dizionari), il sistema raggiunge alte prestazioni con una frazione dei dati tipicamente richiesti. Gli autori posizionano WARDEN non come un sostituto dei linguisti, ma come uno strumento per accelerare il processo di documentazione, riducendo l'impegno temporale da giorni a ore per l'elaborazione delle registrazioni audio. Il lavoro sottolinea che tali strumenti possono supportare la rivitalizzazione linguistica guidata dalla comunità, a condizione che siano sviluppati nel rispetto della proprietà dei dati e delle preferenze della comunità parlante. Gli autori affermano esplicitamente che l'efficacia del design è verificata dalla sua capacità di superare modelli più grandi e affamati di dati in questo specifico contesto a basse risorse.