VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

Resumen Técnico: VIB-AVSR

Planteamiento del Problema
El Reconocimiento de Voz Audio-Visual (AVSR) aprovecha las señales visuales (movimientos de los labios) para complementar las señales acústicas, particularmente en entornos ruidosos. Aunque los paradigmas recientes de AVSR basados en Grandes Modelos de Lenguaje (LLM) han logrado un rendimiento de vanguardia al conectar codificadores audio-visuales preentrenados con un backbone de LLM, exhiben limitaciones significativas respecto a la robustez al ruido. A diferencia de los modelos tradicionales de extremo a extremo entrenados desde cero, los modelos de AVSR basados en LLM utilizan un backbone preentrenado exclusivamente en texto. En consecuencia, los parámetros del LLM nunca se exponen al habla audio-visual ruidosa, y solo una pequeña fracción de los parámetros (vía LoRA) se actualiza durante el ajuste fino (fine-tuning). Esta arquitectura carece de un mecanismo explícito para generar representaciones estables cuando la entrada de audio está corrompida, lo que provoca que el rendimiento se degrade significamente en condiciones de ruido. Los enfoques existentes suelen depender de la aumentación de datos o de modificaciones exclusivas del codificador, dejando al propio backbone del LLM mal equipado para manejar el cambio de dominio inducido por el ruido acústico.

Metodología: VIB-AVSR
Para abordar esto, los autores proponen VIB-AVSR, un marco que integra capas de Cuello de Botella de Información Variacional (VIB) directamente en el backbone del LLM. El objetivo central es regularizar las representaciones internas del modelo para descartar la varianza inducida por el ruido mientras se retiene la información relevante para la tarea.

• Arquitectura: El sistema se construye sobre el marco Llama-AVSR, que utiliza codificadores preentrenados Whisper-medium (audio) y AV-HuBERT (video), proyectando sus salidas hacia un backbone Llama-3.2-1B. Los módulos VIB se insertan en capas de transformador específicas dentro del LLM.
• El Objetivo VIB: El método aplica el principio de Cuello de Botella de Información específicamente a los estados ocultos de audio ($H_a$). El objetivo es maximizar la información mutua entre la representación comprimida ($Z$) y el objetivo de transcripción ($Y$) mientras se minimiza la información mutua entre $Z$ y la entrada ruidosa ($H_a$).
  • Aplicación Selectiva: El cuello de botella se aplica solo a los tokens de audio. Los tokens visuales ($H_v$) y de texto ($H_t$) se preservan sin cambios, ya que no están corrompidos por el ruido acústico y proporcionan un contexto complementario esencial.
  • Formulación Variacional: Dado que la información mutua es intratable de estimar directamente, los autores utilizan un límite inferior variacional. La distribución posterior $p(Z|H_a)$ está parametrizada por un MLP de dos capas (que predice la media y la varianza), y una Gaussiana diagonal aprendible sirve como prioridad (prior).
  • Función de Pérdida: El objetivo de entrenamiento combina la verosimilitud autorregresiva estándar de la transcripción con un término de regularización de divergencia KL ponderado por un hiperparámetro $\beta$.
• Detalles de Implementación:
  • Interpolación: Para evitar que la representación muestreada sea demasiado pérdida para el LLM, la salida del cuello de botella ($\tilde{Z}$) se interpola con la representación previa al cuello de botella ($H_a$) usando un coeficiente $\alpha$ (establecido en 0.5): $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$.
  • Inferencia: Durante la inferencia, se omite el truco de reparametrización y solo se utiliza la media de la posterior.
  • Entrenamiento: El LLM y el codificador de video se ajustan mediante LoRA, mientras que el codificador de audio permanece congelado. Los módulos VIB se entrenan conjuntamente con los adaptadores LoRA.

Contribuciones Clave

1. Marco Novedoso: Introducción de VIB-AVSR, un método ligero que inserta capas VIB en el backbone del LLM para mejorar la robustez al ruido a nivel de representación sin requerir un rediseño arquitectónico o datos de entrenamiento adicionales.
2. Generalización: Demostración de que la compresión variacional promueve la generalización a condiciones ruidosas incluso cuando el modelo es entrenado con datos limpios, lo que sugiere que el mecanismo es distinto de la simple aumentación de datos.
3. Análisis Empírico: Amplios estudios de ablación que identifican la configuración óptima: insertar capas VIB en las capas de transformador 4 y 8 con una fuerza de regularización $\beta = 0.1/H$ y un coeficiente de interpolación $\alpha = 0.5$.
4. Ganancias de Rendimiento: Logro de reducciones en la Tasa de Error de Palabra (WER) sobre la línea base Llama-AVSR a través de múltiples tipos de ruido (babble, speech) y niveles de Relación Señal-Ruido (SNR), con ganancias que se amplían bajo condiciones de ruido extremo.

Resultados Experimentales
Los autores evaluaron VIB-AVSR en el conjunto de datos LRS2 bajo los paradigmas tanto de "Entrenamiento Ruidoso" (ruido añadido durante el entrenamiento) como de "Entrenamiento Limpio" (sin ruido durante el entrenamiento).

• Entrenamiento Ruidoso: VIB-AVSR redujo consistentemente el WER en comparación con la línea base, observándose las mejoras más significativas en SNRs bajos (por ejemplo, -10 dB) y bajo ruido de tipo babble. Notablemente, también superó a la línea base en la evaluación sin ruido ($\infty$), lo que indica una regularización efectiva contra la variabilidad de molestia (nuisance variability).
• Entrenamiento Limpio: Incluso sin aumentación de ruido durante el entrenamiento, VIB-AAVSR produjo reducciones sustanciales de WER cuando se probó en datos ruidosos. Esto sugiere que el cuello de botella obliga al modelo a aprender representaciones que son inherentemente robustas al ruido no visto.
• Hallazgos de Ablación:
  • Ubicación: Una configuración dual en las capas 4 y 8 resultó superior a las configuraciones de cuello de botella único o triple. Colocar los cuellos de botella demasiado temprano (en la salida del codificador) o demasiado tarde fue menos efectivo.
  • Hiperparámetros: $\beta = 0.1$ ofreció el mejor equilibrio; valores más altos ($\beta=1$) causaron una compresión excesiva y degradación del rendimiento. Un coeficiente de interpolación de $\alpha=0.5$ fue crítico, ya que establecer $\alpha=0$ (reemplazo total) condujo al peor rendimiento.

Significancia y Reivindicaciones
El artículo afirma que VIB-AVSR ofrece un enfoque basado en principios para la robustez al ruido al regularizar directamente las representaciones internas del LLM, abordando una vulnerabilidad que trabajos previos han pasado por alto en gran medida. El método es significativo porque logra robustez sin una revisión arquitectónica ni la necesidad de bases de datos ruidosas masivas, lo que lo convierte en una adición práctica a las canalizaciones actuales de AVSR basadas en LLM. Los resultados sugieren que la compresión variacional puede actuar como un regularizador poderoso, permitiendo que los modelos entrenados con datos limpios se generalicen efectivamente en entornos ruidosos, reduciendo así la brecha de rendimiento entre las condiciones limpias y ruidosas.