Résumé Technique : TB-AVA

Énoncé du Problème

La compréhension audiovisuelle repose sur l'alignement de modalités hétérogènes (audio et vision). Cependant, les systèmes actuels dépendent principalement de la co-occurrence temporelle comme indice d'alignement primordial, liant les caractéristiques audio et visuelle qui s'activent simultanément. Ce biais inductif échoue dans les scénarios réels où les événements audibles et les entités visibles ne s'alignent pas image par image (par exemple, un chat hors champ qui fait du bruit tandis qu'un chien silencieux est visible). Sous une supervision faible au niveau de la vidéo, les modèles reposant uniquement sur le chevauchement temporel sont structurellement biaisés à lier des paires incorrectes, une limitation qui ne peut être résolue simplement en augmentant la taille du modèle ou les données d'entraînement. Les approches existantes soit lient le texte à des backbones ou tâches tri-modaux spécifiques, soit reposent sur une fusion croisée implicite sans signal de référence externe pour vérifier l'alignement.

Méthodologie

Les auteurs proposent TB-AVA (Text-Bridged Audio-Visual Adapter), un cadre de fine-tuning efficace en paramètres (PEFT) conçu pour fonctionner sur des encodeurs audio et visuels figés. L'innovation centrale réside dans l'utilisation du texte comme ancre sémantique pour médiatiser l'interaction entre les modalités, découplant ainsi l'alignement de l'entraînement du backbone.

Aperçu de l'Architecture

1. Encodeurs Figés : Le cadre utilise des encodeurs pré-entraînés et figés :
   • Visuel : SigLIP2 (choisi pour ses représentations visuelles alignées sur le texte).
   • Audio : BEATs.
   • Texte : Encodeur de texte SigLIP2 (espace d'incorporation partagé avec l'encodeur visuel).
2. Adaptateurs Légers : TB-AVA insère des blocs d'adaptateur entraînables entre les 12 premières couches des encodeurs figés.
3. Conditionnement par Texte :
   • Des descriptions au niveau de la classe (par exemple, "un son de chien qui aboie") sont utilisées comme invites.
   • Des invites souples apprises (K tokens) sont préfixées aux incorporations de texte de classe fixes. Seules ces invites souples sont entraînables ; l'encodeur de texte reste figé.
   • Cela produit des incorporations de texte spécifiques à la modalité ($T_v$ pour le visuel, $T_a$ pour l'audio).

Mécanisme Central : Modulation Sémantique à Portes (GSM)

Le cœur de TB-AVA est le bloc de Modulation Sémantique à Portes (GSM), qui contrôle comment le contexte inter-modal est injecté dans les caractéristiques du backbone.

• Récupération en Deux Étapes :
  1. Contexte Conscient du Texte : Les caractéristiques de goulot d'étranglement visuelles s'attendent aux incorporations de texte pour produire une représentation visuelle consciente du texte ($c^v_t$).
  2. Récupération Inter-Modale : Cette représentation consciente du texte interroge les caractéristiques audio pour récupérer un contexte audio ($c_a$) qui est sémantiquement aligné avec le texte, plutôt que simplement co-occurrent temporellement.
• Logique de Porte :
  • GSM emploie un réseau de porte léger qui génère des coefficients par canal ($w \in (0,1)$) basés sur les incorporations de texte.
  • La caractéristique mise à jour finale ($z'$) est une somme résiduelle de la caractéristique originale et des contextes inter-modaux filtrés par porte :
    $$z' = z + w_a \odot c_{audio} + w_t \odot c_{text}$$
  • Injection Sélective : Si le texte indique qu'un canal est sémantiquement pertinent, la porte amplifie le contexte. Si le texte juge le contexte non pertinent (par exemple, similarité acoustique sans correspondance sémantique), la porte le supprime (approche zéro).
  • Ce mécanisme rend le processus d'alignement explicite et inspectable, empêchant la "noyade" des signaux utiles dans le bruit provenant de corrélations inter-modales peu fiables.

Contributions Clés

1. Le Texte comme Ancre Sémantique : L'article reformule le texte non pas comme un signal auxiliaire spécifique à la tâche, mais comme un primitif agnostique du backbone et de la tâche qui résout l'ambiguïté audiovisuelle. Il sert de troisième signal pour vérifier l'alignement indépendamment de la co-occurrence temporelle.
2. Cadre TB-AVA : Un adaptateur efficace en paramètres qui permet une interaction médiatisée par le texte entre les flux audio et visuel figés sans modifier les backbones.
3. Modulation Sémantique à Portes (GSM) : Un module novateur qui effectue un filtrage par canal conditionné par le texte. Il injecte sélectivement un contexte inter-modal uniquement là où le texte confirme la fiabilité sémantique, transformant l'orientation par le texte en un composant architectural contrôlable.
4. Performances de l'État de l'Art : Le cadre atteint de nouveaux résultats de l'état de l'art sur plusieurs benchmarks tout en maintenant un haut degré d'efficacité en paramètres.

Résultats Expérimentaux

Le cadre a été évalué sur trois benchmarks : AVE (Localisation d'Événements Audiovisuels), AVVP (Analyse de Vidéo Audiovisuelle) et AVS (Segmentation Audiovisuelle).

• AVE (Localisation d'Événements) :
  • TB-AVA a atteint une précision de 85,0 % avec 16,7 % de paramètres entraînables.
  • Cela dépasse la meilleure méthode PEFT précédente (MoLT, 83,5 %) de 1,5 point de pourcentage.
  • L'analyse qualitative montre que TB-AVA identifie correctement les limites des événements où les flux audio et visuel divergent (par exemple, arrêter la prédiction "friture" lorsque la scène visuelle change, même si la similarité acoustique de bas niveau persiste), tandis que les modèles basés sur la co-occurrence échouent.
• AVVP (Analyse de Vidéo) :
  • TB-AVA a obtenu les scores F1 les plus élevés sur 6 métriques sur 10, en particulier celles nécessitant une attribution de modalité (catégories Visuel, Audio-Visuel et Type).
  • Les améliorations ont été les plus significatives sur les métriques sensibles à la supervision faible au niveau de la vidéo, confirmant le rôle de l'ancre textuelle dans la désambiguïsation des sources de modalités.
• AVS (Segmentation) :
  • Sur le split source unique (S4), TB-AVA a atteint 81,2 mIoU, surpassant AVMoE (81,1), MoLT (80,8) et Mettle (80,7).
  • Sur le split multi-sources (MS3), il a atteint 53,4 mIoU, comparable à AVMoE mais légèrement inférieur à MoLT, mettant en lumière une limitation connue des entrées de texte à vocabulaire fixe dans les paramètres de prédiction dense avec plusieurs sources simultanées.
• Généralisation :
  • TB-AVA a démontré des gains constants (+3,7 à +8,1 points de pourcentage) sur des paires de backbones divers et hétérogènes (par exemple, CLIP+CLIP, Swin+HTS-AT), indiquant que l'amélioration provient du mécanisme à pont textuel plutôt que d'un choix d'encodeur spécifique.
  • L'analyse du backbone a confirmé que le bond de performance d'environ 77 % (backbone seul) à 85 % est attribuable au mécanisme d'adaptateur, et non aux encodeurs eux-mêmes.

Importance et Revendications

L'article revendique que la co-occurrence temporelle est un biais inductif fondamentalement limité pour l'apprentissage audiovisuel sous supervision faible. En introduisant le texte comme une ancre sémantique explicite et contrôlable, TB-AVA résout l'ambiguïté de la liaison des événements audibles aux entités visibles sans nécessiter un fine-tuning complet de grands backbones.

Les auteurs soulignent que le GSM transforme le texte d'un signal de conditionnement implicite en un coefficient inspectable et aligné sur les canaux. Les portes se spécialisent spontanément en rôles ancrés dans le langage et ancrés dans la co-occurrence sans supervision explicite, agissant efficacement comme un régularisateur sémantique qui affine les espaces de caractéristiques. Le travail suggère que le texte peut servir de primitif structurel pour l'ancrage inter-modal au-delà de l'alignement temporel simple, offrant une voie évolutive et efficace pour la compréhension audiovisuelle.