VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

Résumé Technique : VIB-AVSR

Énoncé du Problème
La reconnaissance de la parole audio-visuelle (AVSR) exploite les indices visuels (mouvements des lèvres) pour compléter les signaux acoustiques, particulièrement dans les environnements bruyants. Bien que les récents paradigmes d'AVSR basés sur les grands modèles de langage (LLM) aient atteint des performances de pointe en connectant des encodeurs audio-visuels pré-entraînés à un squelette (backbone) de type LLM, ils présentent des limitations significatives concernant la robustesse au bruit. Contrairement aux modèles traditionnels de bout en bout entraînés à partir de zéro, les modèles AVSR basés sur les LLM utilisent un squelette pré-entraîné exclusivement sur du texte. Par conséquent, les paramètres du LLM ne sont jamais exposés à l'audio-visuel de la parole bruyante, et seule une petite fraction des paramètres (via LoRA) est mise à jour lors de l'ajustement fin (fine-tuning). Cette architecture manque d'un mécanisme explicite pour générer des représentations stables lorsque l'entrée audio est corrompue, ce qui provoque une dégradation significative des performances dans des conditions de bruit. Les approches existantes reposent souvent sur l'augmentation de données ou des modifications de l'encodeur uniquement, laissant le squelette du LLM lui-même mal équipé pour gérer le décalage de domaine induit par le bruit acoustique.

Méthodologie : VIB-AVSR
Pour remédier à cela, les auteurs proposent VIB-AVSR, un cadre qui intègre des couches de goulot d'étranglement d'information variationnel (Variational Information Bottleneck - VIB) directement dans le squelette du LLM. L'objectif central est de régulariser les représentations internes du modèle pour écarter la variance induite par le bruit tout en conservant les informations pertinentes à la tâche.

• Architecture : Le système s'appuie sur le cadre Llama-AVSR, qui utilise des encodeurs pré-entraînés Whisper-medium (audio) et AV-HuBERT (vidéo), projetant leurs sorties dans un squelette Llama-3.2-1B. Des modules VIB sont insérés dans des couches de transformateurs ciblées au sein du LLM.
• L'Objectif VIB : La méthode applique le principe du goulot d'étranglement de l'information spécifiquement aux états cachés audio ($H_a$). L'objectif est de maximiser l'information mutuelle entre la représentation compressée ($Z$) et la cible de transcription ($Y$) tout en minimisant l'information mutuelle entre $Z$ et l'entrée bruitée ($H_a$).
  • Application Sélective : Le goulot d'étranglement est appliqué uniquement aux jetons (tokens) audio. Les jetons visuels ($H_v$) et textuels ($H_t$) sont préservés inchangés, car ils ne sont pas corrompus par le bruit acoustique et fournissent un contexte complémentaire essentiel.
  • Formulation Variationnelle : Puisque l'information mutuelle est difficile à estimer directement, les auteurs utilisent une borne inférieure variationnelle. La distribution postérieure $p(Z|H_a)$ est paramétrée par un MLP à deux couches (prédisant la moyenne et la variance), et un gaussien diagonal apprenable sert de priorité (prior).
  • Fonction de Perte : L'objectif d'entraînement combine la vraisemblance de transcription autorégressive standard avec un terme de régularisation de divergence KL pondéré par un hyperparamètre $\beta$.
• Détails d'Implémentation :
  • Interpolation : Pour éviter que la représentation échantillonnée ne soit trop dégradée pour le LLM, la sortie du goulot d'étranglement ($\tilde{Z}$) est interpolée avec la représentation pré-goulot d'étranglement ($H_a$) en utilisant un coefficient $\alpha$ (fixé à 0,5) : $\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$.
  • Inférence : Lors de l'inférence, l'astuce de reparamétrisation est contournée, et seule la moyenne de la distribution postérieure est utilisée.
  • Entraînement : Le LLM et l'encodeur vidéo sont ajustés via LoRA, tandis que l'encodeur audio reste gelé. Les modules VIB sont entraînés conjointement avec les adaptateurs LoRA.

Contributions Clés

1. Nouveau Cadre : Introduction de VIB-AVSR, une méthode légère qui insère des couches VIB dans le squelette du LLM pour améliorer la robustesse au bruit au niveau de la représentation sans nécessiter de refonte architecturale ou de données d'entraînement supplémentaires.
2. Généralisation : Démonstration que la compression variationnelle favorise la généralisation aux conditions bruitées même lorsque le modèle est entraîné sur des données propres, suggérant que le mécanisme est distinct d'une simple augmentation de données.
3. Analyse Empirique : Études d'ablation approfondies identifiant la configuration optimale : insertion des couches VIB aux couches de transformateurs 4 et 8 avec une force de régularisation $\beta = 0,1/H$ et un coefficient d'interpolation $\alpha = 0,5$.
4. Gains de Performance : Réduction du taux d'erreur de mots (WER) par rapport à la ligne de base Llama-AVSR sur plusieurs types de bruit (babillage, parole) et niveaux de rapport signal sur bruit (SNR), avec des gains s'accentuant dans des conditions de bruit extrême.

Résultats Expérimentaux
Les auteurs ont évalué VIB-AVSR sur le jeu de données LRS2 sous deux paradigmes : « Noisy » (bruit ajouté pendant l'entraînement) et « Clean » (aucun bruit pendant l'entraînement).

• Entraînement Bruité (Noisy Training) : VIB-AVSR réduit systématiquement le WER par rapport à la ligne de base, avec les améliorations les plus significatives observées aux SNRs les plus bas (ex: -10 dB) et sous un bruit de babillage. Notamment, il surpasse également la ligne de base lors de l'évaluation sans bruit ($\infty$), indiquant une régularisation efficace contre la variabilité indésirable.
• Entraînement Propre (Clean Training) : Même sans augmentation de bruit pendant l'entraînement, VIB-AVSR produit des réductions substantielles du WER lors des tests sur des données bruitées. Cela suggère que le goulot d'étranglement force le modèle à apprendre des représentations intrinsèquement robustes au bruit non vu.
• Résultats d'Ablation :
  • Placement : Une configuration double aux couches 4 et 8 s'est avérée supérieure aux configurations à goulot d'étranglement simple ou triple. Placer les goulots d'étranglement trop tôt (à la sortie de l'encodeur) ou trop tard était moins efficace.
  • Hyperparamètres : $\beta = 0,1$ offrait le meilleur compromis ; des valeurs plus élevées ($\beta = 1$) provoquaient une compression excessive et une dégradation des performances. Un coefficient d'interpolation de $\alpha = 0,5$ était critique, car fixer $\alpha = 0$ (remplacement total) entraînait les moins bonnes performances.

Signification et Revendications
Le papier affirme que VIB-AVSR offre une approche fondée sur des principes pour la robustesse au bruit en régularisant directement les représentations internes du LLM, traitant une vulnérabilité largement ignorée par les travaux précédents. La méthode est significative car elle permet d'atteindre la robustesse sans refonte architecturale ni besoin de jeux de données bruités massifs, ce qui en fait un ajout pratique aux pipelines AVSR basés sur les LLM existants. Les résultats suggèrent que la compression variationnelle peut agir comme un régularisateur puissant, permettant aux modèles entraînés sur des données propres de généraliser efficacement aux environnements bruyants, réduisant ainsi l'écart de performance entre les conditions propres et bruitées.