VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

Technische Zusammenfassung: VIB-AVSR

Problemstellung
Die Audio-Visuelle Spracherkennung (AVSR) nutzt visuelle Hinweise (Lippenbewegungen), um akustische Signale zu ergänzen, insbesondere in verrauschten Umgebungen. Während jüngste auf Large Language Models (LLM) basierende AVSR-Paradigmen durch die Verbindung von vortrainierten Audio-Visuellen Encodern mit einem LLM-Backbone eine Spitzenleistung erzielt haben, weisen sie erhebliche Einschränkungen hinsichtlich der Robustheit gegenüber Rauschen auf. Im Gegensatz zu traditionellen End-to-End-Modellen, die von Grund auf neu trainiert werden, nutzen LLM-basierte AVSR-Modelle ein Backbone, das ausschließlich auf Text vortrainiert wurde. Folglich sind die LLM-Parameter nie mit verrauschter audio-visueller Sprache konfrontiert worden, und nur ein kleiner Bruchteil der Parameter (via LoRA) wird während des Fine-Tunings aktualisiert. Diese Architektur verfügt über keinen expliziten Mechanismus, um stabile Repräsentationen zu erzeugen, wenn das Eingangssignal durch Audio-Störungen korrumpiert ist, was zu einem signifikanten Leistungsabfall unter verrauschten Bedingungen führt. Bestehende Ansätze verlassen sich oft auf Datenaugmentation oder Modifikationen der Encoder, wodurch das LLM-Backbone selbst nicht in der Lage ist, den durch akustisches Rauschen induzierten Domain Shift zu bewältigen.

Methodik: VIB-AVSR
Um dies zu adressieren, schlagen die Autoren VIB-AVSR vor, ein Framework, das Variational Information Bottleneck (VIB)-Schichten direkt in das LLM-Backbone integriert. Das Kernziel besteht darin, die internen Repräsentationen des Modells zu regularisieren, um rauschbedingte Varianz zu verwerfen und gleichzeitig aufgabenspezifische Informationen beizubehalten.

• Architektur: Das System baut auf dem Llama-AVSR-Framework auf, welches vortrainierte Whisper-medium (Audio) und AV-HuBERT (Video) Encoder verwendet und deren Ausgaben in ein Llama-3.2-1B Backbone projiziert. VIB-Module werden an gezielten Transformer-Schichten innerhalb des LLM eingefügt.
• Das VIB-Ziel: Die Methode wendet das Information-Bottleneck-Prinzip spezifisch auf die Audio-Hidden-States ($H_a$) an. Das Ziel ist es, die gegenseitige Information zwischen der komprimierten Repräsentation ($Z$) und dem Transkriptionsziel ($Y$) zu maximieren, während die gegenseitige Information zwischen $Z$ und dem verrauschten Input ($H_a$) minimiert wird.
  • Selektive Anwendung: Der Bottleneck wird nur auf Audio-Token angewendet. Visuelle ($H_v$) und Text-Token ($H_t$) bleiben unverändert, da sie nicht durch akustisches Rauschen korrumpiert sind und einen essenziellen komplementären Kontext bieten.
  • Variative Formulierung: Da die gegenseitige Information schwer direkt zu schätzen ist, verwenden die Autoren eine variationale untere Schranke. Die Posterior-Verteilung $p(Z|H_a)$ wird durch ein zweischichtiges MLP (das Mittelwert und Varianz vorhersagt) parametrisiert, wobei eine lernbare diagonale Gauß-Verteilung als Prior dient.
  • Verlustfunktion: Das Trainingsziel kombiniert die Standard-autoregressive Transkriptions-Likelihood mit einem durch einen Hyperparameter $\beta$ gewichteten KL-Divergenz-Regularisierungsterm.
• Implementierungsdetails:
  • Interpolation: Um zu verhindern, dass die gesampelte Repräsentation für das LLM zu verlustreich ist, wird die Bottleneck-Ausgabe ($\tilde{Z}$) mit der Pre-Bottleneck-Repräsentation ($H_a$) unter Verwendung eines Koeffizienten $\alpha$ (gesetzt auf 0,5) interpoliert: $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$.
  • Inferenz: Während der Inferenz wird der Reparametrisierungstrick umgangen und nur der Mittelwert der Posterior-Verteilung verwendet.
  • Training: Das LLM und der Video-Encoder werden mittels LoRA feinjustiert, während der Audio-Encoder eingefroren bleibt. VIB-Module werden gemeinsam mit den LoRA-Adaptern trainiert.

Wesentliche Beiträge

1. Neuartiges Framework: Einführung von VIB-AVSR, einer leichtgewichtigen Methode, die VIB-Schichten in das LLM-Backbone einfügt, um die Robustheit gegenüber Rauschen auf Repräsentationsebene zu verbessern, ohne eine architektonische Neugestaltung oder zusätzliche Trainingsdaten zu erfordern.
2. Generalisierung: Demonstration, dass die variationale Kompression die Generalisierung unter verrauschten Bedingungen fördert, selbst wenn das Modell auf sauberen Daten trainiert wurde, was darauf hindeutet, dass der Mechanismus von einfacher Datenaugmentation verschieden ist.
3. Empirische Analyse: Umfangreiche Ablationsstudien zur Identifizierung der optimalen Konfiguration: Einfügen der VIB-Schichten in den Transformer-Layern 4 und 8 mit einer Regularisierungsstärke von $\beta = 0,1/H$ und einem Interpolationskoeffizienten $\alpha = 0,5$.
4. Leistungssteigerung: Erzielung von Reduktionen der Wortfehlerrate (Word Error Rate, WER) gegenüber der Llama-AVSR-Baseline über mehrere Rauschtypen (Babble, Speech) und SNR-Level hinweg, wobei die Gewinne unter extremen Rauschbedingungen größer ausfallen.

Experimentelle Ergebnisse
Die Autoren evaluierten VIB-AVSR auf dem LRS2-Datensatz sowohl unter dem „Noisy“-Paradigma (Rauschen während des Trainings hinzugefügt) als auch unter dem „Clean“-Paradigma (kein Rauschen während des Trainings).

• Noisy Training: VIB-AVSR reduzierte die WER im Vergleich zur Baseline konsistent, wobei die signifikantesten Verbesserungen bei niedrigeren SNRs (z. B. -10 dB) und unter Babble-Rauschen beobachtet wurden. Bemerkenswerterweise übertraf es auch die Baseline in der rauschfreien Evaluierung ($\infty$), was auf eine effektive Regularisierung gegen Störvariabilität hindeutet.
• Clean Training: Selbst ohne Rauschaugmentation während des Trainings lieferte VIB-AVSR erhebliche WER-Reduktionen, wenn es auf verrauschten Daten getestet wurde. Dies deutet darauf hin, dass der Bottleneck das Modell dazu zwingt, Repräsentationen zu lernen, die inhärent robust gegenüber ungesehenem Rauschen sind.
• Ablationsbefunde:
  • Platzierung: Eine duale Konfiguration an den Layern 4 und 8 erwies sich als überlegen gegenüber Single- oder Triple-Bottleneck-Setups. Die Platzierung der Bottlenecks zu früh (am Encoder-Output) oder zu spät war weniger effektiv.
  • Hyperparameter: $\beta = 0,1$ bot den besten Kompromiss; höhere Werte ($\beta = 1$) führten zu übermäßiger Kompression und Leistungsdegradation. Ein Interpolationskoeffizient von $\alpha = 0,5$ war entscheidend, da eine Einstellung von $\alpha = 0$ (vollständiger Ersatz) zur schlechtesten Performance führte.

Bedeutung und Ansprüche
Das Paper behauptet, dass VIB-AVSR einen fundierten Ansatz zur Rauschrobustheit bietet, indem es die internen Repräsentationen des LLM direkt regularisiert und so eine Schwachstelle adressiert, die bisherige Arbeiten weitgehend vernachlässigt haben. Die Methode ist bedeutend, da sie Robustheit ohne architektonischen Umbau oder den Bedarf an massiven verrauschten Datensätzen erreicht, was sie zu einer praktischen Ergänzung für bestehende LLM-basierte AVSR-Pipelines macht. Die Ergebnisse legen nahe, dass variationale Kompression als leistungsstarker Regularisierer wirken kann, der es Modellen, die auf sauberen Daten trainiert wurden, ermöglicht, effektiv auf verrauschte Umgebungen zu generalisieren, wodurch die Leistungsdifferenz zwischen sauberen und verrauschten Bedingungen verringert wird.