VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

Technische Samenvatting: VIB-AVSR

Probleemstelling
Audio-Visuele Spraakherkenning (AVSR) maakt gebruik van visuele aanwijzingen (lipbewegingen) om akoestische signalen aan te vullen, met name in lawaaierige omgevingen. Hoewel recente op Large Language Models (LLM) gebaseerde AVSR-paradigma's state-of-the-art prestaties hebben bereikt door vooraf getrainde audio-visuele encoders te verbinden met een LLM-backbone, vertonen zij significante beperkingen wat betreft ruisbestendigheid. In tegenstelling tot traditionele end-to-end modellen die vanaf nul worden getraind, maken LLM-gebaseerde AVSR-modellen gebruik van een backbone die uitsluitend op tekst is voorgetraind. Bijgevolg zijn de LLM-parameters nooit blootgesteld aan ruizige audio-visuele spraak, en wordt slechts een klein deel van de parameters (via LoRA) bij het finetunen bijgewerkt. Deze architectuur mist een expliciet mechanisme om stabiele representaties te genereren wanneer de invoer audio corrupt is, wat leidt tot een significante degradatie van de prestaties in lawaaierige omstandigheden. Bestaande benaderingen vertrouwen vaak op data-augmentatie of encoder-specifieke aanpassingen, waardoor de LLM-backbone zelf slecht uitgerust blijft om de domeinverschuiving veroorzaakt door akoestische ruis op te vangen.

Methodologie: VIB-AVSR
Om dit aan te pakken, stellen de auteurs VIB-AVSR voor, een framework dat Variational Information Bottleneck (VIB)-lagen direct in de LLM-backbone integreert. Het kerndoel is om de interne representaties van het model te reguleren zodat de door ruis geïnduceerde variantie wordt weggefilterd terwijl de taakrelevante informatie behouden blijft.

• Architectuur: Het systeem is gebouwd op de Llama-AVSR framework, die gebruikmaakt van vooraf getrainde Whisper-medium (audio) en AV-HuBERT (video) encoders, die hun outputs projecteren naar een Llama-3.2-1B backbone. VIB-modules worden ingevoegd op specifieke transformer-lagen binnen de LLM.
• Het VIB-doel: De methode past het Information Bottleneck-principe specifiek toe op de audio hidden states ($H_a$). Het doel is om de wederzijdse informatie tussen de gecomprimeerde representatie ($Z$) en de transcriptie-target ($Y$) te maximaliseren, terwijl de wederzijdse informatie tussen $Z$ en de ruizige input ($H_a$) wordt geminimaliseerd.
  • Selectieve toepassing: De bottleneck wordt alleen toegepast op audio-tokens. Visuele ($H_v$) en tekst-tokens ($H_t$) blijven ongewijzigd, aangezien deze niet corrupt zijn door akoestische ruis en essentiële complementaire context bieden.
  • Variationele formulering: Omdat wederzijdse informatie niet direct te schatten is, gebruiken de auteurs een variationele lower bound. De posterieure distributie $p(Z|H_a)$ wordt geparametriseerd door een twee-laagse MLP (die gemiddelde en variantie voorspelt), en een leerbare diagonale Gaussische verdeling dient als prior.
  • Verliesfunctie: Het trainingsdoel combineert de standaard autoregressieve transcriptie-likelihood met een KL-divergentie regularisatieterm die wordt gewogen door een hyperparameter $\beta$.
• Implementatiedetails:
  • Interpolatie: Om te voorkomen dat de gesamplede representatie te verlieslatend is voor de LLM, wordt de bottleneck-output ($\tilde{Z}$) geïnterpoleerd met de pre-bottleneck representatie ($H_a$) met behulp van een coëfficiënt $\alpha$ (gesteld op 0.5): $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$.
  • Inference: Tijdens de inference wordt de reparameterisatie-trick omzeild en wordt alleen het gemiddelde van de posterieure verdeling gebruikt.
  • Training: De LLM en de video-encoder worden gefinetuned met LoRA, terwijl de audio-encoder bevroren blijft. VIB-modules worden gezamenlijk met de LoRA-adapters getraind.

Kernbijdragen

1. Nieuw Framework: Introductie van VIB-AVSR, een lichtgewicht methode die VIB-lagen in de LLM-backbone injecteert om de ruisbestendigheid op representatieniveau te verbeteren zonder dat een architecturale herontwerp of extra trainingsdata nodig is.
2. Generalisatie: Demonstratie dat variationele compressie de generalisatie naar lawaaierige omstandigheden bevordert, zelfs wanneer het model op schone data is getraind, wat suggereert dat het mechanisme onderscheidend is van eenvoudige data-augmentatie.
3. Empirische Analyse: Uitgebreide ablatie-studies die de optimale configuratie identificeren: het invoegen van VIB-lagen bij transformer-lagen 4 en 8 met een regularisatiestuurssterkte van $\beta = 0.1/H$ en een interpolatiecoëfficiënt van $\alpha = 0.5$.
4. Prestatiewinst: Het behalen van reducties in de Word Error Rate (WER) ten opzichte van de Llama-AVSR baseline over meerdere typen ruis (babble, spraak) en SNR-niveaus, waarbij de winst groter is onder extreme ruisomstandigheden.

Experimentele Resultaten
De auteurs hebben VIB-AVSR geëvalueerd op de LRS2-dataset onder zowel "Noisy" (ruis toegevoegd tijdens training) als "Clean" (geen ruis tijdens training) paradigma's.

• Noisy Training: VIB-AVSR verminderde de WER consequent vergeleken met de baseline, met de meest significante verbeteringen bij lagere SNRs (bijv. -10 dB) en onder babble-ruis. Opvallend genoeg presteerde het ook beter dan de baseline in de ruisvrije evaluatie ($\infty$), wat wijst op effectieve regularisatie tegen hinderlijke variabiliteit.
• Clean Training: Zelfs zonder ruis-augmentatie tijdens de training leverde VIB-AVSR substantiële WER-reducties op bij tests op lawaaierige data. Dit suggereert dat de bottleneck het model dwingt om representaties te leren die inherent robuust zijn tegen onbekende ruis.
• Ablatie-bevindingen:
  • Plaatsing: Een duale configuratie bij lagen 4 en 8 bleek superieur aan single of triple bottleneck-opstellingen. Het plaatsen van bottlenecks te vroeg (bij de encoder-output) of te laat was minder effectief.
  • Hyperparameters: $\beta = 0.1$ bood de beste balans; hogere waarden ($\beta=1$) veroorzaakten excessieve compressie en prestatiedegradatie. Een interpolatiecoëfficiënt van $\alpha=0.5$ was cruciaal, aangezien het instellen van $\alpha=0$ (volledige vervanging) tot de slechtste prestaties leidde.

Betekenis en Claims
Het artikel claimt dat VIB-AVSR een gefundeerde aanpak biedt voor ruisbestendigheid door de interne representaties van de LLM direct te reguleren, waarmee een kwetsbaarheid wordt aangepakt die eerdere werken grotendeels over het hoofd hebben gezien. De methode is significant omdat het robuustheid bereikt zonder architecturale herziening of de noodzaak voor enorme hoeveelheden ruizige datasets, wat het een praktische toevoeging maakt aan bestaande LLM-gebaseerde AVSR-pipelines. De resultaten suggereren dat variationele compressie kan fungeren als een krachtige regularisator, waardoor modellen getraind op schone data effectief kunnen generaliseren naar lawaaierige omgevingen, waardoor de prestatiekloof tussen schone en ruizige condities wordt verkleind.