💻 computer science

AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning

Cet article présente AV-JEPA, un cadre d'apprentissage auto-supervisé audio-visuel rationalisé qui étend LeJEPA en utilisant un Vision Transformer à fusion précoce et un dropout de modalité pour atteindre des performances compétitives et des capacités de recherche zero-shot sans dépendre de décodeurs, de professeurs EMA ou de négatifs contrastifs.

Auteurs originaux : Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs sont comme des élèves enthousiastes et vierges qui veulent tout apprendre, mais qui sont coincés dans une salle de classe sans professeur et sans manuels scolaires. C'est le domaine de l'apprentissage auto-supervisé, une branche de l'intelligence artificielle où les machines tentent de s'enseigner à elles-mêmes en trouvant des motifs dans des montagnes de données non étiquetées. Habitellement, pour apprendre à reconnaître un chat ou une voiture, un ordinateur a besoin qu'un humain pointe une image du doigt en disant : « C'est un chat ». Mais et si l'ordinateur pouvait apprendre simplement en regardant l'image et en devinant ce qui manque ? C'est la magie de l'apprentissage par masquage : vous cachez une partie d'une image ou d'un son, et l'ordinateur doit combler les vides. Pendant longtemps, la meilleure façon de faire cela consistait à forcer l'ordinateur à reconstruire les pièces manquantes pixel par pixel, comme un solveur de puzzle essayant de reconstruire un vase brisé. Mais il existe une idée plus récente et plus abstraite appelée JEPA (Joint-Embedding Predictive Architecture). Au lieu d'essayer de reconstruire le vase brisé, JEPA demande à l'ordinateur de prédire l'essence ou l'« ambiance » de la pièce manquante. C'est comme deviner la saveur d'une soupe en sentant la vapeur, plutôt que d'essayer de goûter chaque ingrédient individuellement. Cet article pose une question cruciale : cette méthode de « deviner l'ambiance » peut-elle fonctionner lorsqu'un ordinateur essaie de comprendre deux sens différents à la fois — la vue et l'ouïe ?

Les auteurs de cet article, une équipe venant de Finlande, répondent par un « Oui ! » et introduisent un nouveau modèle appelé AV-JEPA. Considérez AV-JEPA comme un détective super intelligent qui apprend à comprendre une scène de crime en regardant la vidéo et en écoutant l'audio, mais avec une nuance. Au lieu d'essayer de reconstruire les images manquantes ou les ondes sonores (ce qui revient à essayer de redessiner toute la scène de crime de mémoire), ce détective apprend à prédire le sentiment de la scène lorsqu'un sens fait défaut.

Voici comment ils ont procédé. Imaginez que vous regardez une vidéo d'un guitariste. Habituellement, un ordinateur voit la vidéo et entend l'audio ensemble. AV-JEPA, cependant, joue à un jeu de « cache-cache » avec les sens. Il prend un clip et crée deux versions : une où la vidéo est complètement occultée (de sorte que l'ordinateur n'entend que la guitare), et une autre où l'audio est coupé (de sorte que l'ordinateur ne voit que la guitare). Le travail du modèle est de regarder la version « uniquement audio » et de prédire à quoi ressemblerait la version « uniquement vidéo », et vice versa. Il fait cela sans qu'aucか humain ne lui dise ce qui se passe, et sans essayer de reconstruire les parties manquantes. Il apprend simplement à aligner « l'âme » du son avec « l'âme » de l'image dans un espace mental partagé.

Les résultats sont assez impressionnants pour une méthode qui évite le travail colossal de la reconstruction. Lorsqu'ils ont testé ce modèle sur un ensemble de données appelé VGGSound (qui contient des vidéos de sons), le modèle a atteint un taux de précision de 57,1 % pour identifier ce qui se passait dans la vidéo. Sur un autre ensemble de données massif, AudioSet, il a obtenu un score de 32,7 mAP (une mesure de sa capacité à identifier les sons). Bien que ces chiffres soient légèrement inférieurs aux modèles actuels les plus performants utilisant l'ancienne méthode de « reconstruction du puzzle » (qui peuvent atteindre jusqu'à 67 % sur VGGSound), les auteurs soulignent qu'AV-JEPA est beaucoup plus simple. Il n'a pas besoin de composants complexes pour reconstruire des images, ni d'un modèle « enseignant » pour le guider. Il apprend simplement par lui-même.

L'une des choses les plus fascinantes découvertes par l'article est que le modèle a appris à prêter attention aux bonnes choses de manière totalement autonome. Lorsqu'ils ont observé où le modèle « regardait » lorsqu'il entendait un son, il se concentrait naturellement sur la source du bruit. S'il entendait un oiseau chanter, il regardait l'oiseau. S'il entendait une flûte, il regardait la bouche du musicien. Il a fait cela sans que quiconque ne lui apprenne à trouver la source sonore ; il a simplement compris que le son et la source visuelle étaient connectés parce qu'il devait prédire l'un à partir de l'autre.

L'article montre également que ce modèle peut faire de la récupération « zero-shot », ce qui est une façon sophistiquée de dire qu'il peut trouver une vidéo simplement en recherchant un son, ou trouver un son simplement en recherchant une vidéo, sans jamais avoir été explicitement entraîné pour cette tâche de recherche spécifique. C'est comme avoir une bibliothèque où l'on peut trouver un livre simplement en fredonnant un air de celui-ci.

Cependant, les auteurs sont honnêtes quant aux limites. Ils ont constaté que le modèle est fortement biaisé vers l'audio. Lorsqu'ils l'ont testé, les décisions du modèle étaient principalement dictées par ce qu'il entendait, et non par ce qu'il voyait. C'est comme si le détective était un génie pour entendre les indices, mais un peu distrait par les preuves visuelles. L'article suggère que, bien qu'il s'agisse d'une étape majeure pour une architecture « propre » et simple, il reste du travail pour rendre le modèle aussi performant en vision qu'en audition, surtout comparé aux modèles plus complexes qui passent des années à reconstruire des images. Mais pour une méthode qui abandonne le puzzle de la reconstruction pour se concentrer uniquement sur la connexion entre les sens, AV-JEPA est une nouvelle voie très prometteuse pour que les ordinateurs apprennent comment le monde résonne et apparaît.

Résumé Technique : AV-JEPA

Énoncé du Problème
L'apprentissage auto-supervisé (SSL) dans le domaine audio-visuel est dominé par les approches d'auto-encodage masqué (MAE) (ex. : AV-MAE, CAV-MAE, MAViL). Bien qu'efficaces, ces méthodes reposent sur la reconstruction de spectrogrammes audio et de patchs vidéo masqués à l'aide de réseaux décodeurs dédiés. Ce paradigme introduit une surcharge architecturale, nécessite un réglage minutieux des ratios de masquage et exige souvent des pertes de paires négatives contrastives ou des objectifs multi-termes complexes. De plus, ces méthodes basées sur la reconstruction manquent de garanties théoriques formelles concernant la qualité des plongements (embeddings) appris. L'architecture de prédiction de type Joint-Embedding Predictive Architecture (JEPA), qui opère dans l'espace latent en prédisant l'embedding d'une vue à partir d'une autre, offre une alternative prometteuse. Cependant, les implémentations antérieures de JEPA, spécifiquement LeJEPA, ont été validées uniquement sur des tâches de vision unimodales et n'ont pas été étendues à l'alignement audio-visuel cross-modal.

Méthodologie
Les auteurs proposent AV-JEPA, une extension de LeJEPA à l'apprentissage auto-supervisé audio-visuel. L'architecture et le pipeline d'entraînement sont conçus pour atteindre un alignement cross-modal sans décodeurs, sans enseignants EMA (Exponential Moving Average), ni négatifs contrastifs.

Architecture : Le modèle utilise un Vision Transformer (ViT-Base) à fusion précoce (early-fusion). L'audio brut (rééchantillonné à 16 kHz) est converti en un spectrogramme de Mel, et les images vidéo sont traitées sous forme de tubelets. Les deux modalités sont tokenisées et concaténées en une séquence unique aux côtés d'un jeton [CLS] apprenable. Des embeddings de type de modalité distinguent les jetons audio des jetons vidéo. Un encodeur ViT partagé à 12 couches traite cette séquence conjointe.
Génération de Vues (Modality Dropout) : Au lieu du masquage spatial, AV-JEPA emploie le modality dropout comme mécanisme de vue partielle. Pour chaque clip d'entraînement, le modèle génère :
- Vues Globales : Les modalités audio et vidéo sont toutes deux présentes (avec une légère augmentation).
- Vues Locales : Deux vues sont créées où une modalité est mise à zéro (audio seul et vidéo seule).
  Cette configuration crée une tâche de prédiction cross-modale implicite où le modèle doit prédire la représentation conjointe à partir d'une seule modalité, entièrement au sein de l'espace latent.
Fonction d'Objectif : L'entraînement minimise la perte LeJEPA, qui se compose de deux termes :
1. Invariance : Minimise la distance entre les embeddings de vues individuelles ( $z_i$ ) et le centre de la vue conjointe ( $\bar{z}$ ), forçant les embeddings unimodaux à s'aligner avec la représentation conjointe.
2. SIGReg (Sketched Isotropic Gaussian Regularization) : Impose que la distribution des embeddings corresponde à une Gaussienne isotrope ( $N(0, I)$ ). Cela est théoriquement prouvé pour minimiser le risque de prédiction en aval. La régularisation utilise un test de fonction caractéristique par tranches (Epps–Pulley) pour faire correspondre les projections univariées des embeddings à la cible gaussienne.
Entraînement : Le modèle est pré-entraîné sur AudioSet-2M et affiné (fine-tuned) sur VGGSound et AudioSet. Lors de l'ajustement fin, des têtes de classification (sondes linéaires et attentionnelles) sont attachées au jeton [CLS].

Contributions Clés

Extension de JEPA à l'Apprentissage Audio-Visuel : Première application du SSL basé sur JEPA à l'apprentissage de représentations audio-visuelles cross-modales.
Génération de Vues Cross-Modales : Introduction du modality dropout pour créer des vues locales alternées (audio seul et vidéo seule), permettant une prédiction cross-modale implicite dans l'espace latent sans cibles de reconstruction.
Architecture Épurée : Un backbone Vi-T à fusion précoce unifié qui élimine le besoin de décodeurs, de stop-gradients, d'enseignants EMA ou de paires négatives contrastives.
Validation Empirique : Démonstration que le backbone résultant atteint des performances compétitives sur les benchmarks standards et supporte la récupération (retrieval) cross-modale zero-shot.

Résultats

Classification VGGSound : Après pré-entraînement sur AudioSet-2M et ajustement fin, AV-JEPA atteint une précision top-1 de 57,1 % avec une sonde attentionnelle et 56,6 % avec une sonde linéaire. Cela représente le premier résultat basé sur JEPA à ce niveau de précision pour la classification audio-visuelle.
Classification AudioSet : Le modèle atteint 32,7 mAP sur le split d'évaluation AudioSet. L'analyse par modalité révèle une représentation fortement pilotée par l'audio (26,0 mAP pour l'audio seul contre 12,8 mAP pour la vidéo seule), ce qui est cohérent avec la dominance de l'audio dans les classes de ce jeu de données.
Récupération Cross-Modale : Le modèle supporte la récupération zero-shot audio-vers-vidéo et vidéo-vers-audio nativement. Sur VGGSound et AudioSet, le Recall@10 atteint environ 36 %, ce qui est nettement supérieur au niveau du hasard, avec des performances symétriques dans les deux directions.
Analyse Qualitative : Les cartes d'attention de la dernière couche du transformer montrent que le modèle porte naturellement attention aux régions produisant du son dans la vidéo (ex. : instruments, bouches) et aux structures harmoniques/temporelles dans l'audio, malgré l'absence de supervision de localisation.

Signification et Revendications
L'article positionne AV-JEPA comme une alternative théoriquement fondée et architecturalement épurée aux pipelines de masquage auto-encodant prédominants pour l'apprentissage multimodal. En exploitant le cadre LeJEPA, les auteurs démontrent qu'un alignement cross-modal de haute qualité peut être atteint sans la complexité des décodeurs de reconstruction ou des pertes contrastives.

Les auteurs reconnaissent des limites, notant que l'écart de performance actuel avec les méthodes de pointe basées sur MAE (qui atteignent 63–67 % sur VGGSound et 42–53 mAP sur AudioSet) provient probablement de l'absence d'objectifs de reconstruction/contrastifs, de l'absence d'une étape de pré-entraînement spécifique à la vidéo, et de l'absence d'initialisation ImageNet pour le flux visuel. Ils suggèrent que des travaux futurs impliquant un pré-entraînement plus long, des modèles plus grands et des stratégies d'initialisation hybrides pourraient davantage combler cet écart. Néanmoins, ce travail établit que JEPA est un paradigme viable et prometteur pour l'apprentissage auto-supervisé audio-visuel.

Articles similaires