VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

Resumo Técnico: VIB-AVSR

Definição do Problema
O Reconhecimento de Fala Audiovisual (AVSR) utiliza pistas visuais (movimentos labiais) para complementar os sinais acústicos, particularmente em ambientes ruidosos. Embora os recentes paradigmas de AVSR baseados em Grandes Modelos de Linguagem (LLM) tenham alcançado o estado da arte ao conectar codificadores audiovisual pré-treinados a um backbone de LLM, eles exibem limitações significativas quanto à robustez ao ruído. Diferente dos modelos tradicionais de ponta a ponta treinados do zero, os modelos de AVSR baseados em LLM utilizam um backbone pré-treinado exclusivamente em texto. Consequentemente, os parâmetros do LLM nunca são expostos a fala audiovisual ruidosa, e apenas uma pequena fração dos parâmetros (via LoRA) é atualizada durante o ajuste fino (fine-tuning). Esta arquitetura carece de um mecanismo explícito para gerar representações estáveis quando a entrada de áudio está corrompida, causando uma degradação significativa de desempenho em condições ruidosas. As abordagens existentes frequentemente dependem de aumento de dados ou modificações apenas nos codificadores, deixando o próprio backbone do LLM mal equipado para lidar com o deslocamento de domínio induzido pelo ruído acústico.

Metodologia: VIB-AVSR
Para abordar isso, os autores propõem o VIB-AVSR, um framework que integra camadas de Gargalo de Informação Variacional (VIB - Variational Information Bottleneck) diretamente no backbone do LLM. O objetivo central é regularizar as representações internas do modelo para descartar a variância induzida pelo ruído, retendo a informação relevante para a tarefa.

• Arquitetura: O sistema baseia-se no framework Llama-AVSR, que utiliza codificadores Whisper-medium (áudio) e AV-HuBERT (vídeo) pré-treinados, projetando suas saídas em um backbone Llama-3.2-1B. Módulos VIB são inseridos em camadas de transformer específicas dentro do LLM.
• O Objetivo VIB: O método aplica o princípio do Gargalo de Informação especificamente aos estados ocultos de áudio ($H_a$). O objetivo é maximizar a informação mútua entre a representação comprimida ($Z$) e o alvo de transcrição ($Y$), enquanto minimiza a informação mútua entre $Z$ e a entrada ruidosa ($H_a$).
  • Aplicação Seletiva: O gargalo é aplicado apenas aos tokens de áudio. Os tokens visuais ($H_v$) e de texto ($H_t$) são preservados sem alterações, pois não são corrompidos pelo ruído acústico e fornecem contexto complementar essencial.
  • Formulação Variacional: Como a informação mútua é intratável de estimar diretamente, os autores utilizam um limite inferior variacional. A distribuição posterior $p(Z|H_a)$ é parametrizada por um MLP de duas camadas (prevendo média e variância), e uma Gaussiana diagonal aprendível serve como a priori (prior).
  • Função de Perda: O objetivo de treinamento combina a verossimilhança de transcrição autorregressiva padrão com um termo de regularização de divergência KL ponderado por um hiperparâmetro $\beta$.
• Detalhes de Implementação:
  • Interpolação: Para evitar que a representação amostrada seja excessivamente perdedora para o LLM, a saída do gargalo ($\tilde{Z}$) é interpolada com a representação pré-gargalo ($H_a$) usando um coeficiente $\alpha$ (definido como 0,5): $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$.
  • Inferência: Durante a inferência, o truque de reparametrização é ignorado, e apenas a média da posterior é utilizada.
  • Treinamento: O LLM e o codificador de vídeo são ajustados via LoRA, enquanto o codificador de áudio permanece congelado. Os módulos VIB são treinados conjuntamente com os adaptadores LoRA.

Principais Contribuições

1. Framework Inovador: Introdução do VIB-AVSR, um método leve que insere camadas VIB no backbone do LLM para melhorar a robustez ao ruído no nível da representação, sem exigir redesenho arquitetural ou dados de treinamento adicionais.
2. Generalização: Demonstração de que a compressão variacional promove a generalização para condições ruidosas mesmo quando o modelo é treinado em dados limpos, sugerindo que o mecanismo é distinto de um simples aumento de dados.
3. Análise Empírica: Estudos de ablação extensos identificando a configuração ideal: inserção de camadas VIB nas camadas de transformer 4 e 8 com uma força de regularização $\beta = 0,1/H$ e um coeficiente de interpolação $\alpha = 0,5$.
4. Ganhos de Desempenho: Alcance de reduções na Taxa de Erro de Palavras (WER) sobre o baseline Llama-AVSR em múltiplos tipos de ruído (babble, speech) e níveis de Relação Sinal-Ruído (SNR), com ganhos que se ampliam sob condições de ruído extremo.

Resultados Experimentais
Os autores avaliaram o VIB-AVSR no conjunto de dados LRS2 sob ambos os paradigmas "Noisy" (ruído adicionado durante o treinamento) e "Clean" (sem ruído durante o treinamento).

• Treinamento Ruidoso (Noisy Training): O VIB-AVSR reduziu consistentemente o WER em comparação ao baseline, com as melhorias mais significativas observadas em SNRs mais baixos (ex: -10 dB) e sob ruído de fala (babble). Notavelmente, também superou o baseline na avaliação sem ruído ($\infty$), indicando uma regularização eficaz contra a variabilidade indesejada.
• Treinamento Limpo (Clean Training): Mesmo sem aumento de ruído durante o treinamento, o VIB-AVSR gerou reduções substanciais de WER quando testado em dados ruidosos. Isso sugere que o gargalo força o modelo a aprender representações que são inerentemente robustas ao ruído não visto.
• Descobertas de Ablação:
  • Posicionamento: Uma configuração dupla nas camadas 4 e 8 provou ser superior às configurações de gargalo único ou triplo. Posicionar os gargalos muito cedo (na saída do codificador) ou muito tarde foi menos eficaz.
  • Hiperparâmetros: $\beta = 0,1$ ofereceu o melhor equilíbrio; valores mais altos ($\beta=1$) causaram compressão excessiva e degradação de desempenho. Um coeficiente de interpolação de $\alpha=0,5$ foi crítico, pois definir $\alpha=0$ (substituição total) levou ao pior desempenho.

Significância e Alegações
O artigo afirma que o VIB-AVSR oferece uma abordagem fundamentada para a robustez ao ruído ao regularizar diretamente as representações internas do LLM, abordando uma vulnerabilidade que trabalhos anteriores largamente negligenciaram. O método é significativo porque alcança robustez sem reformulação arquitetural ou necessidade de conjuntos de dados ruidosos massivos, tornando-o uma adição prática aos pipelines de AVSR baseados em LLM existentes. Os resultados sugerem que a compressão variacional pode atuar como um poderoso regularizador, permitindo que modelos treinados em dados limpos generalizem efetivamente para ambientes ruidosos, reduzindo assim a lacuna de desempenho entre as condições limpas e ruidosas.