⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

Cet article introduit LAIP, un cadre qui exploite des jetons visuels intermédiaires et un regroupement spatial informé par l'audio pour débloquer des capacités de localisation spatiale fines à partir de modèles de recherche audio-visuelle à grande échelle sans nécessiter de supervision au niveau du pixel, atteignant ainsi des performances de pointe sur les bancs d'essai de localisation.

Auteurs originaux : Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Publié 2026-07-29

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre le monde, non pas seulement en le regardant, mais aussi en l'écoutant. C'est le monde de l'apprentissage audio-visuel, une branche de l'intelligence artificielle où les ordinateurs tentent de comprendre comment le son et la vue se connectent. Voyez cela comme un détective qui ne se contente pas de voir une scène de crime, mais qui entend aussi les sirènes, le bris de verre et les cris, essayant de reconstituer exactement d'où provient le bruit.

Pendant longtemps, apprendre aux robots à faire cela revenait à essayer de construire une maison sans plan. Pour apprendre à un ordinateur à pointer précisément l'endroit d'où vient un son dans une vidéo, il faut généralement qu'un humain dessine un cadre autour de la source sonore sur chaque image de la vidéo. C'est ce qu'on appelle l'« annotation spatiale dense », et c'est incroyablement fastidieux, coûteux et lent. C'est comme demander à un ami de dessiner l'outline parfaite de chaque oiseau dans une nuée pendant une heure entière. Parce que c'est si difficile, la plupart des chercheurs sont restés bloqués sur l'utilisation d'indices faibles, comme le simple fait de savoir qu'un son existe dans une vidéo, sans savoir exactement où il se trouve.

Cependant, récemment, des scientifiques ont construit de gigantesques « modèles de recherche » (retrieval models). Ce sont des systèmes d'IA super intelligents entraînés sur des millions de vidéos et de sons pour répondre à des questions telles que : « Trouve-moi l'extrait vidéo qui correspond à cet audio ». Ils sont excellents pour faire correspondre l'ambiance générale d'un son à une vidéo entière, mais ils sont très mauvais pour pointer l'endroit spécifique où le son se produit. Ils voient toute la forêt, mais ratent l'arbre précis qui fait du bruit. La grande question était la suivante : pouvons-nous prendre ces modèles pré-entraînés géants qui sont doués pour trouver des vidéos, et d'une manière ou d'une autre, débloquer leur capacité à pointer la source exacte d'un son, sans avoir besoin d'engager une armée de personnes pour dessiner des boîtes ?

La grande idée du papier : Débloquer la carte cachée

Le papier que vous lisez, intitulé « Unlocking Spatial Grounding in Large Audio-Visual Retrieval models », dit : Oui, nous le pouvons. Les auteurs, une équipe de chercheurs de France, Meta et NVIDIA, ont découvert que ces modèles de recherche géants savent en réalité où se trouvent les sons, mais ils cachent simplement cette information profondément dans leur cerveau avant de la jeter.

Imaginez une immense bibliothèque (le modèle de recherche) qui a lu des millions de livres (vidéos) et écouté des millions de livres audio (sons). Si vous demandez au bibliothécaire : « Avez-vous un livre sur un chien qui aboie ? », il peut instantanément trouver la bonne étagère. Mais si vous lui demandez : « Où exactement dans l'image du chien se trouve la gueule qui aboie ? », le bibliothécaire se contente généralement de hausser les épaules et de dire : « Je sais juste que c'est une image de chien ».

Les auteurs ont réalisé que le bibliothécaire n'est pas réellement ignorant. Le bibliothécaire possède une carte détaillée de la gueule du chien dans sa tête, mais il jette cette carte au moment où il décide de vous donner une simple réponse du type « Oui, j'ai un livre sur le chien ». Le papier introduit une astuce ingénieuse appelée LAIP (Localization via Audio-Informed Pooling) pour capturer cette carte avant qu'elle ne soit jetée.

Comment fonctionne LAIP : Le détective audio

Le cœur de leur méthode est un nouveau module qu'ils appellent Audio-informed Spatial Pooling (AiSP). Voici comment cela fonctionne en langage simple :

La configuration : L'IA examine une vidéo image par image. À l'intérieur de l'IA, il y a des milliers de petits « tokens » (petits morceaux de données) représentant différentes parties de l'image. Habituellement, l'IA écrase tous ces petits morceaux en un seul énorme jeton de résumé pour décider si la vidéo correspond au son. C'est comme prendre une pizza entière et la transformer en une seule boule de pâte pour voir si elle a un goût de pepperoni. Vous perdez alors l'emplacement des tranches de pepperoni.
L'intervention : Au lieu de laisser l'IA tout écraser immédiatement, les auteurs insèrent un « panneau stop » juste avant le résumé final. Ils prennent l'audio (le son du chien qui aboie) et l'utilisent comme une requête (query).
La magie : Ils demandent à l'audio : « Hé, à quels de ces petits morceaux d'image parles-tu ? » L'audio agit comme une lampe torche, éclairant les jetons d'image spécifiques qui correspondent au son. L'IA rassemble ensuite uniquement ces morceaux pertinents en un nouveau résumé.
Le résultat : Parce que l'IA a été forcée de prêter attention aux parties spécifiques de l'image qui correspondent au son, elle apprend accidentellement à dessiner une carte de l'endroit d'où vient le son. C'est comme si le bibliothécaire, au lieu de simplement vous donner le livre, devait pointer la page et le paragraphe exacts où le mot « aboyer » apparaît, juste pour prouver qu'il a trouvé le bon livre.

Ce qu'ils ont trouvé

Les résultats sont étonnamment solides. Les auteurs ont testé leur méthode sur trois benchmarks différents (tests standards pour l'IA) :

AVATAR : Sur ce test, qui recherche des sons dans des vidéos complexes et en mouvement, leur méthode a presque doublé les performances des meilleurs modèles précédents. Ils sont passés d'un score d'environ 13-14 % à 27,63 % (CIoU) et 27,77 % (AUC).
AVSBench : Ils ont également obtenu les meilleurs scores sur ce test, avec un F-score de 65,18 pour les sons à source unique, battant le meilleur score précédent de 45,33.
ADE-SP : Ils ont aussi écrasé la concurrence ici, atteignant 33,35 m-IoU et 53,57 mAP.

Le papier suggère que cela fonctionne parce que les modèles de recherche géants ont déjà été entraînés sur de vastes quantités de données, ils ont donc appris des connexions riches entre le son et la vue. Les auteurs n'ont pas eu à apprendre à l'IA ce qu'est un chien ou une voiture à partir de zéro ; ils ont simplement dû lui apprendre comment regarder la bonne partie de l'image lorsqu'elle entend le son.

Ce qu'ils ont écarté

Les auteurs ont pris soin de montrer ce qui ne fonctionne pas. Ils ont testé quelques autres idées et les ont jugées insuffisantes :

Utiliser simplement la couche finale : Si vous essayez de faire cela à la toute fin du traitement de l'IA (après qu'elle a déjà écrasé l'image en un seul bloc), cela échoue. Les détails spatiaux ont disparu. Il faut le faire dans les couches intermédiaires, là où l'image est encore détaillée.
L'attention simple : Demander simplement à l'IA de regarder l'image une seule fois ne suffit pas. Ils ont découvert que l'utilisation d'une approche hiérarchique (en procédant par étapes, comme un zoom allant d'une vue large à un gros plan) est nécessaire.
Les cartes de gradient : Ils ont essayé d'utiliser des astuces mathématiques standards pour voir ce que l'IA regardait (appelées cartes basées sur le gradient), mais elles étaient très mauvaises pour trouver le son, avec un score de seulement 4,14 contre leurs 26,22. Cela prouve que leur méthode spécifique de « pooling » est ce qui fait la différence, et non la simple observation de la mathématique interne de l'IA.

Le bémol (Limites)

Le papier est honnête concernant une limite. Bien que cette méthode rende l'IA excellente pour trouver où se trouve un son, elle rend l'utilisation de cette même IA pour sa tâche d'origine (trouver des vidéos rapidement) légèrement plus difficile. Parce que l'IA doit maintenant regarder le son pour décider quelle partie de la vidéo elle doit focaliser, vous ne pouvez pas pré-calculer l'« empreinte digitale » de la vidéo et la stocker dans une base de données pour une recherche instantanée. Vous devez la recalculer à chaque fois que vous posez une question. Les auteurs notent que le modèle de recherche original fonctionne toujours bien pour la recherche, mais la nouvelle version « localisateur » est un peu plus lente pour les bases de données massives.

L'essentiel à retenir

En bref, ce papier prouve qu'il n'est pas nécessaire de construire une nouvelle IA de zéro pour trouver des sources sonores. Vous pouvez prendre une IA géante pré-entraînée qui est déjà douée pour faire correspondre des sons à des vidéos, et avec un petit ajout ingénieux (LAIP), vous pouvez débloquer sa capacité cachée à pointer précisément l'endroit d'où provient le bruit. C'est un rappel que parfois, la réponse n'est pas de construire un cerveau plus gros, mais d'apprendre au cerveau existant comment prêter attention aux détails pertinents.

Résumé technique : Libérer la localisation spatiale dans les grands modèles de recherche audio-visuelle

Énoncé du problème

La localisation de la source sonore audio-visuelle (AV-SSL) vise à identifier les régions spatiales au sein d'une image vidéo qui correspondent à un signal audio synchronisé. Cette tâche est intrinsèquement difficile en raison de la rareté des sources sonores dans des scènes visuelles denses et encombrées. Un goulot d'étranglement majeur est la pénurie d'annotations spatiales denses (masques au niveau du pixel) nécessaires pour l'entraînement supervisé, car leur création pour de longs clips vidéo est prohibitivement coûteuse. Par conséquent, le domaine s'est appuyé sur des méthodes faiblement supervisées qui n'utilisent que des paires audio-vidéo temporellement alignées.

Bien que le pré-entraînement contrastif à grande échelle ait produit de puissants modèles de recherche multimodaux (par exemple, PE-AV) qui alignent les plongements (embeddings) globaux de l'audio et de la vidéo, ces modèles sont optimisés pour l'appariement global plutôt que pour la correspondance spatiale locale. Dans les architectures de recherche standard, l'information spatiale dense est progressivement perdue par les mécanismes de regroupement (pooling) global dans les couches supérieures du backbone, ce qui donne des caractéristiques de trame et de vidéo qui manquent de la granularité requise pour une localisation précise. La question centrale abordée par ce travail est de savoir si ces modèles de recherche à grande échelle, qui éliminent intrinsèquement les détails spatiaux, peuvent être adaptés pour récupérer une localisation spatiale fine en utilisant uniquement une supervision faible.

Méthodologie : Cadre LAIP

Les auteurs proposent LAIP (Localization via Audio-Informed Pooling), un cadre conçu pour injecter l'information audio temporellement alignée dans le backbone visuel d'un modèle de recherche pré-entraîné avant l'agrégation temporelle.

Architecture centrale

LAIP opère sur un backbone de recherche à grande échelle (spécifiquement PE-AV), qui se compose d'encodeurs audio, de trames et de vidéo. Au lieu d'entraîner un modèle de localisation à partir de zéro ou de fixer un module (head) lourd sur des caractéristiques gelées, LAIP modifie l'interface entre l'encodeur de trame et l'encodeur de vidéo.

Extraction de caractéristiques intermédiaires : Reconnaissant que le détail spatial est supprimé dans les dernières couches de l'encodeur de trame, LAIP extrait des jetons (tokens) visuels intermédiaires ( $V_t^\ell$ ) d'une couche plus précoce (spécifiquement la 16ème couche d'un encodeur de 24 couches).
Alignement Audio-Visuel : Puisque l'audio et la vidéo opèrent à des résolutions temporelles différentes, un agrégateur local léger (un réseau de convolution 1D suivi d'un pooling temporel moyen) aligne le flux audio sur la fréquence d'images de la vidéo, produisant un plongement audio synchronisé $a_t$ pour chaque trame.
Audio-informed Spatial Pooling (AiSP) : L'innovation centrale est le module AiSP, qui remplace l'agrégation globale standard. Il utilise une conception hiérarchique composée de trois couches AiSP empilées, chacune suivie d'un bloc d'adaptation de convolution léger.
- Mécanisme : À chaque étape, le jeton audio agit comme une requête (query) pour porter attention aux jetons visuels spatiaux. Les poids d'attention forment une carte de segmentation, et les jetons visuels sont regroupés (pooled) au sein de blocs spatiaux locaux ( $K \times K$ ) pondérés par ces scores d'attention.
- Jeton nul (Null Token) : Pour gérer les cas où l'audio ne correspond à aucun objet visible (par exemple, des sons hors champ), un jeton nul apprenable ( $x_\emptyset$ ) est ajouté aux clés (keys). Cela permet à la requête audio de « s'abstenir » de sélectionner des jetons visuels si aucune source pertinente n'est présente.
- Raffinement progressif : L'empilement hiérarchique réduit progressivement la résolution spatiale des jetons visuels, les compressant en un jeton visuel unique conditionné par l'audio ( $\tilde{c}_t$ ) qui est compatible avec l'encodeur vidéo d'origine.

Objectif d'entraînement

Le modèle est entraîné à l'aide d'un objectif contrastif global inspiré de SigLIP et FLAIR, adapté au domaine audio-visuel :

Perte contrastive ( $L_{SIG}$ ) : La représentation vidéo agrégée (générée via LAIP) est alignée avec le jeton [CLS] audio global à l'aide d'une perte contrastive basée sur la sigmoïde. Des paires négatives sont formées en décalant l'audio et la vidéo.
Régularisation multi-résolution ( $L_{MRes}$ ) : Pour garantir que les cartes d'attention intermédiaires soient spatialement cohérentes, un terme de perte impose la cohérence entre les cartes d'attention à différents stades de pooling (suréchantillonnage des cartes de plus basse résolution pour correspondre à celles de plus haute résolution).
Régularisation du jeton nul ( $L_\emptyset$ ) : Une pénalité est appliquée à l'attention portée au jeton nul pour les paires négatives, encourageant le modèle à s'abstenir de sélectionner des régions visuelles lorsqu'aucune source sonore n'est présente.
Adapteurs : De petits adapteurs sont ajoutés aux blocs MLP de l'encodeur vidéo pour empêcher le modèle de s'effondrer en imitant simplement le jeton [CLS] d'origine, tandis que le reste des poids pré-entraînés demeure gelé.

Contributions clés

Exploitation des représentations de recherche : Les auteurs démontrent que les modèles de recherche audio-visuelle à grande échelle, bien qu'optimisés pour l'alignement global, conservent une information spatiale structurée exploitable dans les jetons visuels intermédiaires. Cela permet la localisation sans annotations spatiales d'une densité élevée.
Le cadre LAIP : Introduction d'une architecture légère, informée par l'audio, qui injecte des requêtes audio dans le backbone visuel avant le pooling vidéo. Cela permet une forte synergie cross-modale tout en maintenant la compatibilité avec le pipeline de recherche pré-entraîné.
Supervision globale pour des tâches locales : Le travail montre qu'un objectif contrastif global, lorsqu'il est combiné à une architecture spécifique (pooling hiérarchique) et à une régularisation (cohérence multi-échelle et gestion du jeton nul), est suffisant pour apprendre des représentations audio-visuelles spatiales riches.

Résultats expérimentaux

La méthode a été évaluée sur trois benchmarks : AVATAR, AVSBench et ADE-SP.

Benchmark AVATAR : LAIP a atteint des performances de pointe (state-of-the-art) dans les quatre scénarios (son unique, son mixte, entités multiples, hors champ). Notamment, il a presque doublé les performances des modèles précédents sur le benchmark AVATAR (atteignant ~27,6 % de CIoU contre ~13,4 % pour le précédent meilleur TAVLO). Il a surpassé les bases de référence même lorsque celles-ci opéraient à des fréquences d'images plus élevées.
AVSBench : Sur les ensembles de test à source unique (S4) et multi-sources (MS3), LAIP a atteint les meilleurs scores F de loin et le meilleur masque-IoU sur le segment difficile MS3.
ADE-SP : Le modèle a surpassé toutes les bases de référence, y compris celles explicitement conçues pour la segmentation déclenchée par le son (ex: TACO, DenseAV), atteignant 33,35 m-IoU et 53,57 mAP.
Études d'ablation : Les expériences ont confirmé la nécessité de la conception de pooling hiérarchique, de la régularisation multi-résolution et du mécanisme de jeton nul. Remplacer l'AiSP hiérarchique par une seule couche d'attention ou utiliser des caractéristiques de la dernière couche de l'encodeur a entraîné des baisses de performance significatives.

Signification et affirmations

L'article affirme qu'une localisation précise de la source sonore n'a pas besoin d'être apprise à partir de zéro sur de petits jeux de données curatés. Au contraire, elle peut être « déverrouillée » à partir de représentations de recherche existantes à grande échelle. En intervenant avant l'étape d'agrégation finale d'un backbone de recherche, les auteurs fournissent un chemin unifié pour les tâches de recherche et de localisation.

Ce travail souligne que, bien que les modèles de recherche compressent l'information spatiale, les couches intermédiaires contiennent une structure suffisante pour être récupérée via un mécanisme de pooling informé par l'audio. Cette approche offre un régime pratique pour l'AV-SSL qui évite le coût des annotations denses tout en tirant parti de la richesse sémantique du pré-entraînement massif.

Limites : Les auteurs notent une limite concernant la recherche scalable. Comme les caractéristiques visuelles dans LAIP sont conditionnées par l'audio d'entrée, les représentations vidéo ne peuvent pas être pré-calculées indépendamment de la requête. Bien que le modèle PE-AV original puisse toujours être utilisé pour la recherche standard, le pipeline amélioré par LAIP nécessite de re-calculer l'encodeur vidéo pour chaque paire audio-vidéo, ce qui est informatiquement peu pratique pour les systèmes de recherche à grande échelle. Des travaux futurs sont suggérés pour récupérer une recherche scalable tout en conservant les bénéfices de la localisation.