VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

Sintesi Tecnica: VIB-AVSR

Problematica
Il riconoscimento del parlato audio-visivo (AVSR) sfrutta indizi visivi (movimenti delle labbra) per integrare i segnali acustici, particolarmente in ambienti rumorosi. Sebbene i recenti paradigmi di AVSR basati su Large Language Models (LLM) abbiano raggiunto prestazioni allo stato dell'arte collegando encoder audio-visivi pre-addestrati a un backbone LLM, essi presentano limitazioni significative riguardo alla robustezza al rumore. A differenza dei modelli end-to-end tradizionali addestrati da zero, i modelli AVSR basati su LLM utilizzano un backbone pre-addestrato esclusivamente su testo. Di conseguenza, i parametri dell'LLM non sono mai esposti a segnali audio-visivi rumorosi e solo una piccola frazione di parametri (tramite LoRA) viene aggiornata durante il fine-tuning. Questa architettura manca di un meccanismo esplicito per generare rappresentazioni stabili quando l'input audio è corrotto, causando un degrado significativo delle prestazioni in condizioni di rumore. Gli approcci esistenti spesso si affidano all'augmentation dei dati o a modifiche limitate all'encoder, lasciando il backbone LLM stesso inadeguato a gestire lo spostamento di dominio (domain shift) indotto dal rumore acustico.

Metodologia: VIB-AVSR
Per affrontare questo problema, gli autori propongono VIB-AVSR, un framework che integra strati di Variational Information Bottleneck (VIB) direttamente nel backbone dell'LLM. L'obiettivo principale è regolarizzare le rappresentazioni interne del modello per scartare la varianza indotta dal rumore pur mantenendo le informazioni rilevanti per il compito.

• Architettura: Il sistema si basa sul framework Llama-AVSR, che utilizza encoder pre-addestrati Whisper-medium (audio) e AV-HuBERT (video), proiettando i loro output in un backbone Llama-3.2-1B. I moduli VIB sono inseriti in determinati strati transformer all'interno dell'LLM.
• L'Obiettivo VIB: Il metodo applica il principio dell'Information Bottleneck specificamente ai token audio ($H_a$). L'obiettivo è massimizzare l'informazione mutua tra la rappresentazione compressa ($Z$) e il target di trascrizione ($Y$) minimizzando al contempo l'informazione mutua tra $Z$ e l'input rumoroso ($H_a$).
  • Applicazione Selettiva: Il bottleneck è applicato solo ai token audio. I token visivi ($H_v$) e testuali ($H_t$) sono preservati invariati, poiché non sono corrotti dal rumore acustico e forniscono un contesto complementare essenziale.
  • Formulazione Variazionale: Poiché l'informazione mutua è intrattabile da stimare direttamente, gli autori utilizzano un limite inferiore variazionale. La distribuzione a posteriori $p(Z|H_a)$ è parametrizzata da un MLP a due strati (che predice media e varianza), e una Gaussiana diagonale apprendibile funge da prior.
  • Funzione di Perdita: L'obiettivo di addestramento combina la standard verosimiglianza autoregressiva della trascrizione con un termine di regolarizzazione KL-divergence pesato da un iperparametro $\beta$.
• Dettagli di Implementazione:
  • Interpolazione: Per evitare che la rappresentazione campionata sia troppo degradata per l'LLM, l'output del bottleneck ($\tilde{Z}$) viene interpolato con la rappresentazione pre-bottleneck ($H_a$) usando un coefficiente $\alpha$ (impostato a 0.5): $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$.
  • Inferenza: Durante l'inferenza, il trucco della riparametrizzazione viene bypassato e viene utilizzato solo la media della distribuzione a posteriori.
  • Addestramento: L'LLM e l'encoder video vengono sottoposti a fine-tuning tramite LoRA, mentre l'encoder audio rimane congelato. I moduli VIB sono addestrati congiuntamente agli adapter LoRA.

Contributi Chiave

1. Framework Innovativo: Introduzione di VIB-AVSR, un metodo leggero che inserisce strati VIB nel backbone dell'LLM per migliorare la robustezza al rumore a livello di rappresentazione senza richiedere una riprogettazione architettonica o dati di addestramento aggiuntivi.
2. Generalizzazione: Dimostrazione che la compressione variazionale promuove la generalizzazione in condizioni di rumore anche quando il modello è addestrato su dati puliti, suggerendo che il meccanismo sia distinto dalla semplice augmentation dei dati.
3. Analisi Empirica: Studi di ablazione estesi che identificano la configurazione ottimale: inserimento dei livelli VIB negli strati transformer 4 e 8 con una forza di regolarizzazione $\beta = 0.1/H$ e un coefficiente di interpolazione $\alpha = 0.5$.
4. Guadagni di Performance: Raggiungimento di riduzioni del Word Error Rate (WER) rispetto al baseline Llama-AVSR attraverso molteplici tipi di rumore (babble, speech) e livelli di SNR, con guadagni che si ampliano in condizioni di rumore estremo.

Risultati Sperimentali
Gli autori hanno valutato VIB-AVSR sul dataset LRS2 sotto entrambi i paradigmi "Noisy" (rumore aggiunto durante l'addestramento) e "Clean" (nessun rumore durante l'addestramento).

• Noisy Training: VIB-AVSR ha ridotto costantemente il WER rispetto al baseline, con i miglioramenti più significativi osservati a bassi SNR (es. -10 dB) e sotto rumore di tipo "babble". Notevolmente, ha superato il baseline anche nella valutazione senza rumore ($\infty$), indicando un'efficace regolarizzazione contro la variabilità di disturbo.
• Clean Training: Anche senza augmentation del rumore durante l'addestramento, VIB-AVSR ha prodotto riduzioni sostanziali del WER quando testato su dati rumorosi. Ciò suggerisce che il bottleneck costringe il modello a imparare rappresentazioni intrinsecamente robuste al rumore non visto.
• Risultati delle Ablazioni:
  • Posizionamento: Una configurazione duale agli strati 4 e 8 si è rivelata superiore rispetto a setup con singolo o triplo bottleneck. Posizionare i bottleneck troppo presto (all'uscita dell'encoder) o troppo tardi era meno efficace.
  • Iperparametri: $\beta = 0.1$ ha offerto il miglior compromesso; valori più alti ($\beta=1$) hanno causato una compressione eccessiva e un degrado delle prestazioni. Un coefficiente di interpolazione $\alpha=0.5$ è stato critico, poiché impostare $\alpha=0$ (sostituzione completa) ha portato alle prestazioni peggiori.

Significatività e Rivendicazioni
Il paper sostiene che VIB-AVSR offre un approccio fondato alla robustezza al rumore regolarizzando direttamente le rappresentazioni interne dell'LLM, affrontando una vulnerabilità che i lavori precedenti hanno ampiamente trascurato. Il metodo è significativo perché raggiunge la robustezza senza una revisione architettonica o la necessità di enormi dataset rumorosi, rendendolo un'aggiunta pratica agli esistenti pipeline di AVSR basate su LLM. I risultati suggeriscono che la compressione variazionale può agire come un potente regolarizzatore, consentendo ai modelli addestrati su dati puliti di generalizzare efficacemente in ambienti rumorosi, riducendo così il divario di performance tra le condizioni clean e noisy.