⚡ electrical engineering

VGGSounder: Audio-Visual Evaluations for Foundation Models

Cet article présente VGGSounder, un ensemble de tests multi-labels intégralement ré-annoté, conçu pour surmonter les limites de labellisation et d'alignement du jeu de données original VGGSound, permettant ainsi une évaluation plus fiable et précise des modèles de fondation audio-visuels grâce à une analyse détaillée des modalités et à une nouvelle métrique de confusion.

Auteurs originaux : Daniil Zverev, Thaddäus Wiedemer, Ameya Prabhu, Matthias Bethge, Wieland Brendel, A. Sophia Koepke

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniil Zverev, Thaddäus Wiedemer, Ameya Prabhu, Matthias Bethge, Wieland Brendel, A. Sophia Koepke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde en lui montrant des vidéos. Vous voulez que le robot sache que s'il voit un tambour être frappé et entend un boum, il doit dire : « C'est un tambour ! »

Pendant longtemps, les chercheurs ont utilisé une immense bibliothèque de vidéos appelée VGGSound pour tester ces robots. Mais les auteurs de cet article, Daniil Zverev et son équipe, ont découvert que cette bibliothèque était comme un grenier désordonné et mal organisé. Elle présentait trois gros problèmes qui rendaient impossible de savoir si les robots étaient réellement intelligents ou simplement chanceux :

Le piège de l'étiquette unique : La bibliothèque forçait chaque vidéo à n'avoir qu'un seul tag. Mais dans la vraie vie, une vidéo peut montrer un chien qui aboie pendant qu'une voiture klaxonne. L'ancienne bibliothèque choisissait simplement l'un des deux, ignorant l'autre. C'est comme décrire une pizza avec du pepperoni et des champignons en disant simplement « une pizza au fromage ».
Le problème des noms confus : Certains étiquettes étaient des jumelles. Un tag pouvait dire « chien qui aboie » et un autre « chien qui fait ouaf-ouaf ». Les robots étaient confus parce qu'ils étaient essentiellement la même chose, mais le test les traitait comme des choses différentes.
Le problème du fantôme : Parfois, la bibliothèque affirmait qu'un son était présent dans la vidéo alors qu'il n'était pas réellement visible, ou vice versa. Par exemple, une vidéo peut être étiquetée « orchestre », mais on ne peut que entendre la musique, pas voir les instruments. L'ancien test ne se souciait pas de ce décalage.

La solution : VGGSounder

L'équipe a construit une nouvelle bibliothèque améliorée appelée VGGSounder. Considérez cela comme la rénovation de ce grenier désordonné en un musée haut de technologie parfaitement organisé.

Voici ce qu'ils ont fait différemment :

Multi-étiquetage : Au lieu de forcer un seul tag, ils permettent à chaque vidéo de porter autant de tags qu'elle le souhaite. Une vidéo peut être étiquetée « batterie », « guitare » et « chant » en même temps.
Tags de modalité : Ils ont ajouté une « liste de contrôle » spéciale pour chaque tag. Ils ont demandé : Est-ce que cette chose est visible ? Est-ce que cette chose est audible ? Cela leur permet de tester si un robot est bon pour voir, bon pour entendre, ou bon pour faire les deux.
Meta-étiquettes : Ils ont ajouté des « panneaux d'avertissement » pour les situations délicates. Si une vidéo contient de la musique de fond, une voix off ou s'il s'agit simplement d'une photo statique avec du son, ils le signalent. Cela aide les chercheurs à voir si un robot est distrait par le bruit.

La grande découverte : L'effet de « distraction »

La chose la plus surprenante que l'équipe a découverte est la façon dont les robots se comportent lorsqu'on leur donne à la fois les yeux et les oreilles.

Ils ont inventé un nouveau score appelé « Confusion de Modalité ». Imaginez que vous soyez doué pour résoudre un puzzle en utilisant uniquement vos yeux. Puis, quelqu'un vous tend une deuxième pièce de puzzle (le son) et soudain, vous ne pouvez plus résoudre le premier puzzle. C'est cela, la Confusion de Modalité.

Le constat : Beaucoup des plus récents et plus avancés « Modèles de Fondation » (les robots IA super-intelligents) sont devenus moins performants lorsqu'on leur permettait d'écouter et de regarder en même temps.
Le biais : Ces robots semblaient être « aveugles » au son. Si vous leur montriez une vidéo d'un chien qui aboie mais que vous ne les laissiez que l'entendre, ils échouaient. Mais si vous pouviez voir le chien, ils réussissaient. Lorsqu'ils essayaient d'utiliser les deux, le son les confondait souvent, et ils l'ignoraient totalement, se reposant uniquement sur ce qu'ils voyaient.

Pourquoi cela importe

L'article soutient que nous ne pouvons pas simplement jeter une tonne de données à un robot en espérant qu'il apprenne. Nous avons besoin d'un meilleur test (VGGSounder) qui nous dise exactement comment le robot réfléchit.

Ancien test (VGGSound) : Comme un examen de conduite où la route est brumeuse et les panneaux sont manquants. Vous pourriez réussir par chance, mais vous ne savez pas si vous êtes un conducteur sûr.
Nouveau test (VGGSounder) : Comme un examen de conduite avec des panneaux clairs, un copilote qui signale les dangers et un bulletin qui vous dit exactement quels sens vous avez utilisés pour prendre vos décisions.

Les auteurs concluent que bien que ces nouveaux modèles d'IA soient impressionnants, ils ont souvent du mal à combiner la vue et le son de manière efficace. Ils ont tendance à ignorer l'audio s'ils peuvent voir la vidéo, ce qui est une faille majeure pour des machines censées comprendre le monde de manière holistique. VGGSounder est l'outil conçu pour exposer ces failles afin que les ingénieurs puissent les corriger.

Résumé Technique : VGGSounder : Évaluations Audio-Visuelles pour les Modèles de Fondation

Problématique

L'émergence des modèles de fondation audio-visuels nécessite des bancs d'essai fiables pour évaluer leur compréhension multi-modale. Bien que le jeu de données VGGSound soit le banc d'essai standard pour la classification audio-visuelle, les auteurs identifient des limitations critiques qui faussent l'évaluation des capacités auditives et visuelles :

Étiquetage incomplet : VGGSound utilise un schéma de classification à étiquette unique, alors que le contenu vidéo est intrinsèquement multi-étiquette (par exemple, une vidéo peut contenir à la fois « jouer du kit de batterie » et « jouer de la guitare acoustique »).
Classes chevauchantes et ambiguës : Les 309 classes de VGGSound incluent des paires synonymes (par exemple, « timpani » vs « tympani »), des sous-classes strictes (par exemple, « meuglement de vache » vs « mugissement de taureau ») et des concepts sémantiquement chevauchants qui ne sont pas mutuellement exclusifs.
Désalignement des modalités : Malgré les étapes de vérification, une proportion significative d'échantillons (48,43 % dans l'ensemble de test) contient des étiquettes qui ne sont ni visibles, ni audibles, ou les deux. Les perturbateurs courants incluent la musique de fond, les voix hors champ et les images statiques, qui créent des indices qui ne s'alignent pas avec l'étiquette de vérité terrain dans les deux modalités.

Ces problèmes entraînent une sous-évaluation systématique des modèles multi-modaux, particulièrement les modèles de fondation qui n'ont pas été spécifiquement affinés sur VGGSound, et occultent la dépendance spécifique des modèles vis-à-vis des indices audio par rapport aux indices visuels.

Méthodologie

Pour remédier à ces limitations, les auteurs introduisent VGGSounder, un ensemble de test re-annoté de manière exhaustive et multi-étiquette étendant VGGSound. La méthodologie repose sur un pipeline d'annotation rigoureux :

Transition vers la classification multi-étiquette : Le banc d'essai passe d'une classification à étiquette unique à une classification multi-étiquette pour accommoder les événements cooccurrents.
Pipeline d'annotation humaine :
- Création de l'étalon (Gold Standard) : Un sous-ensemble de 417 échantillons a été annoté manuellement par quatre experts en vision par ordinateur pour établir un ensemble de référence.
- Génération de propositions : Une stratégie hybride combinant les prédictions de modèles de pointe et des heuristiques manuelles a été utilisée pour génire des propositions d'étiquettes avec un rappel supérieur à 93 %.
- Ré-annotation par crowdsourcing : L'ensemble du jeu de test de VGGSound (15,1k clips) a été ré-annoté via Amazon Mechanical Turk. Les annotateurs devaient :
  - Identifier la présence de musique de fond, de voix hors champ ou d'images statiques (méta-étiquettes).
  - Déterminer la modalité de chaque proposition d'étiquette (Audible, Visible ou les deux).
  - Ajouter les classes manquantes non présentes dans les propositions.
Fusion des étiquettes : Les étiquettes finales ont été fusionnées par vote majoritaire. Les classes synonymes et les relations superclasse/sous-classe ont été automatiquement imposées pour assurer la cohérence (par exemple, si « meuglement de vache » est présent, « mugissement de bétail » est ajouté).
Nouvelles métriques d'évaluation :
- Métriques standards : La précision de sous-ensemble (Subset Accuracy), le score F1 et le score de succès (Hit score) ont été calculés pour les entrées unimodales (audio seul, visuel seul) et multi-modales.
- Confusion de modalité ( $\mu$ ) : Une nouvelle métrique proposée pour quantifier l'impact négatif de l'ajout d'une seconde modalité. Elle mesure la fraction d'échantillons qu'un modèle classifie correctement avec une seule modalité mais incorrectement lorsque les deux modalités sont présentes. Cela expose les modèles « distraits » où les modalités ne parviennent pas à fusionner avec succès.

Contributions Clés

Jeu de données VGGSounder : Un banc d'essai de classification audio-visuelle multi-étiquette avec des annotations détaillées par modalité (Audible/Visible) et des méta-étiquettes pour les perturbateurs courants (musique de fond, voix hors champ, images statiques).
Analyse des limitations : Une démonstration qualitative et quantitative des failles de VGGSound, incluant des taux élevés de désalignement de modalité et de cooccurrence de classes.
Banc d'essai complet : Évaluation de 11 modèles de pointe, incluant quatre modèles d'embedding audio-visuel (CAV-MAE, DeepAVFusion, AV-Siam, Equi-AV) et sept modèles de fondation (famille Gemini, VideoLLaMA-2, Unified-IO-2, PandaGPT, Ola).
Métrique de confusion de modalité : L'introduction de $\mu$ pour détecter la dégradation des performances lorsqu'un modèle est exposé à des modalités d'entrée supplémentaires.

Résultats

Les auteurs ont testé les modèles sur VGGSounder, révélant plusieurs points clés :

Modèles de fondation vs Modèles d'embedding : Bien que les modèles de fondation soient comparables aux modèles d'embedding spécialisés sur les entrées multi-modales, leurs performances unimodales diffèrent considérablement. Les modèles d'embedding (affinés sur VGGSound) s'appuient fortement sur les indices audio, tandis que les modèles de fondation présentent un fort biais vers les indices visuels, performant souvent mal sur les entrées uniquement audio.
Confusion de modalité : Tous les modèles souffrent de confusion de modalité. Une fraction notable d'échantillons (4 à 11 %) est classée correctement avec une seule modalité mais classée de manière incorrecte lorsque les deux sont fournies. Pour la plupart des modèles de fondation, la confusion est plus élevée lorsque l'audio est ajouté au visuel ( $\mu_A > \mu_V$ ), suggérant qu'ils « oublient » les étiquettes audibles en présence d'informations visuelles.
Impact des méta-classes :
- Musique de fond : Tous les modèles peinent à découpler la musique de fond de la source audio primaire, entraînant des chutes de performance.
- Voix hors champ : Les modèles d'embedding subissent des baisses de performance significatives avec les voix hors champ, tandis que les modèles de fondation sont moins distraits ou voient même leurs performances s'améliorer.
- Images statiques : La performance visuelle chute pour tous les modèles sur les images statiques, indiquant une dépendance aux indices temporels.
Qualité des étiquettes : L'inclusion d'étiquettes curatées par l'humain (par opposition aux simples synonymes générés automatiquement) a considérablement réduit les faux positifs et amélioré la précision du profilage de performance par rapport à l'original VGGSound.

Signification

L'article soutient que VGGSounder est un outil critique pour l'évaluation précise de la prochaine génération de modèles de fondation audio-visuels. En fournissant des annotations conscientes des modalités, il permet :

Un profilage précis : Les chercheurs peuvent distinguer si un modèle s'appuie sur des indices audio, visuels ou les deux, et identifier des modes de défaillance spécifiques (ex: distraction par la musique de fond).
Une évaluation robuste : Le cadre multi-étiquette et la suppression des échantillons désalignés évitent l'évaluation déformée des capacités des modèles présente dans l'original VGGSound.
Un aperçu diagnostique : La métrique de confusion de modalité ( $\mu$ ) fournit une mesure quantitative de la capacité des modèles à intégrer les modalités, soulignant que l'ajout d'une seconde modalité n'améliore pas toujours les performances et peut parfois les dégrader.

Les auteurs concluent que VGGSounder facilite le développement de stratégies de mitigation de la confusion de modalité et sert de base plus fiable pour l'évaluation de la compréhension multi-modale.