Closing the Speech-Text Gap with Limited Audio for Effective Domain Adaptation in LLM-Based ASR

1. Il Problema: Il Divario di Modalità nell'ASR basato su LLM

L'integrazione dei Large Language Models (LLM) nei sistemi di Riconoscimento Automatico del Parlato (ASR) ha rivoluzionato il campo, permettendo architetture modulari dove un encoder vocale pre-addestrato (es. WavLM) è collegato a un LLM (es. LLaMA) tramite un modulo di proiezione.
Tuttavia, l'adattamento di questi modelli a domini specifici (es. sanità, finanza) presenta una sfida critica:

• Disponibilità dei dati: Spesso è abbondante il testo in-domain, mentre la raccolta di dati audio etichettati è costosa e scarsa.
• Il "Modality Gap" (Divario di Modalità): L'adattamento standard basato solo sul testo (fine-tuning dell'LLM su trascrizioni in-domain) fa sì che il modello non veda più le rappresentazioni "rumorose" o imperfette generate dal proiettore vocale durante l'inferenza reale. Questo disallineamento tra le rappresentazioni vocali e lo spazio degli embedding del LLM porta a un degrado delle prestazioni e a un aumento del tasso di errore (WER).
• Obiettivo: Determinare se piccole quantità di dati audio possono mitigare questo disallineamento senza richiedere l'intero dataset audio.

2. Metodologia: La Strategia di "Mixed Batching" (MB)

Gli autori propongono una strategia ibrida di adattamento che combina dati testuali e audio limitati per colmare il divario di modalità.

Architettura di Base

Il sistema segue il framework SLAM-ASR:

1. Encoder Vocale: WavLM-Large (congelato).
2. Proiettore Vocale: Un layer lineare addestrabile che mappa le features acustiche nello spazio degli embedding dell'LLM.
3. LLM: Llama-3.2-3B-Instruct, adattato tramite LoRA (Low-Rank Adaptation) per l'efficienza dei parametri.

La Strategia di Mixed Batching (MB)

Durante il fine-tuning per l'adattamento al dominio target, il batch di training è composto da una miscela di cinque tipi di dati per bilanciare l'adattamento linguistico e l'allineamento modale:

1. Coppie Vocale-Testo Sorgente: Audio e trascrizione del dominio sorgente (preserva l'allineamento originale).
2. Token Rumorosi Indotti dal Proiettore: Sequenze discrete ottenute mappando le proiezioni vocali sui token più vicini nello spazio dell'LLM, con output la trascrizione pulita (simula l'input reale del proiettore).
3. Trascrizioni Sorgente Sinteticamente Corrotte: Trascrizioni alterate a livello di caratteri (per simulare irregolarità senza bisogno di audio).
4. Coppie Vocale-Testo Target: Audio e trascrizione del dominio target (limitata quantità, es. 10%).
5. Trascrizioni Target Corrotte: Trascrizioni del target alterate per l'adattamento linguistico puro.

L'obiettivo è mantenere una proporzione fissa di dati target (50% del batch, diviso tra testo e audio) mentre il resto è costituito da dati sorgente ausiliari per prevenire l'oblio catastrofico.

3. Contributi Chiave

1. Analisi del Trade-off: Dimostrazione che la proporzione di dati target nel batch introduce un compromesso tra la specializzazione sul dominio target e la conservazione delle prestazioni sul dominio sorgente.
2. Strategia Ibrida Proposta: Introduzione di una strategia di Mixed Batching che integra una quantità limitata di dati audio target (coppie voce-testo) in un contesto prevalentemente testuale, risolvendo il problema del disallineamento modale.
3. Mitigazione dell'Oblio Catastrofico: Dimostrazione che la strategia MB migliora il riconoscimento nel dominio target mantenendo le prestazioni sul dominio sorgente, a differenza dei metodi di adattamento classici che spesso causano un degrado significativo sul dominio originale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su domini diversi: Banking (in-domain), Agricoltura e Strumenti Musicali (out-of-domain), utilizzando i dataset DefinedAI e SlideSpeech.

• Performance con Audio Limitato:
  • L'uso di solo il 10% dei dati audio target (meno di 4 ore di audio totale) combinato con dati testuali ha prodotto tassi di errore (WER) comparabili o migliori rispetto all'adattamento convenzionale con l'intero dataset audio.
  • Ad esempio, nel dominio Banking, l'approccio MB ha raggiunto un WER di 4.19% contro il 4.55% dell'adattamento standard con audio completo.
• Confronto con Adattamento Solo-Testo:
  • L'adattamento solo testuale ha mostrato un gap significativo rispetto all'adattamento completo (voce+testo). L'aggiunta di una piccola frazione di audio ha colmato efficacemente questo divario.
  • Le prestazioni ottimali si sono ottenute quando circa il 60% del corpus di adattamento era costituito da coppie voce-testo, suggerendo che la diversità introdotta dai dati sintetici e corrotti aiuta la generalizzazione.
• Analisi dell'Oblio Catastrofico:
  • L'adattamento standard con audio ha causato un aumento del WER sul dominio sorgente (da 12.8% a 17.4%), indicando oblio catastrofico.
  • La strategia MB ha migliorato le prestazioni sul target (da 8.0% a 6.4%) limitando il degrado sul sorgente (11.3%), dimostrando una migliore stabilità.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

• Efficienza dei Dati: Dimostra che non è necessario raccogliere enormi quantità di dati audio etichettati per adattare efficacemente gli ASR basati su LLM a nuovi domini. Una piccola frazione di audio (pochi ore) è sufficiente per allineare le modalità.
• Soluzione Pratica per Domini a Risorse Limitate: Offre una soluzione scalabile per settori dove il testo è abbondante ma l'audio è scarso (es. settori legali o finanziari), permettendo di sfruttare l'adattamento linguistico senza sacrificare la robustezza acustica.
• Stabilità del Modello: La strategia proposta risolve il problema fondamentale del disallineamento modale e dell'oblio catastrofico, rendendo l'adattamento dei LLM per l'ASR più robusto e affidabile per il deployment reale.

In sintesi, il paper stabilisce che l'adattamento ibrido (testo + piccola quantità di audio) è superiore sia all'adattamento puramente testuale (che soffre di disallineamento) sia all'adattamento puramente audio (che è costoso e soggetto a oblio), offrendo un nuovo paradigma per l'ASR di prossima generazione.