WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

Le papier présente WAVE, le premier modèle d'encodage basé sur un grand modèle de langage multimodal qui crée un espace de représentation unifié pour le texte, l'audio et la vidéo, permettant des tâches de recherche croisée et de génération d'encodages sensibles aux instructions avec des performances de pointe.

L'essentiel

🌊 WAVE : Le Traducteur Universel des Sens

Imaginez que vous avez un ami très spécial nommé WAVE. Ce n'est pas un simple traducteur de mots. C'est un chef d'orchestre des sens capable de comprendre et de mélanger le texte, le son (la musique, la parole, les bruits) et l'image (les vidéos, les films) dans une seule et même langue mentale.

Avant WAVE, les ordinateurs étaient comme des musiciens qui jouaient chacun dans leur coin : l'un comprenait le texte, l'autre le son, un troisième l'image. Ils ne se parlaient pas vraiment. WAVE, lui, est le premier à réunir tout le monde sur la même scène pour créer une représentation unifiée.

Voici comment cela fonctionne, avec quelques analogies :

1. La Grande Bibliothèque Intérieure 📚

Imaginez une immense bibliothèque où chaque livre est une idée.

• Si vous cherchez un livre sur "un chien qui aboie", vous pouvez chercher avec le mot "chien" (texte), avec un enregistrement d'aboiement (audio), ou avec une vidéo du chien (image).
• WAVE a appris à ranger tous ces livres (texte, son, image) sur les mêmes étagères, côte à côte, parce qu'ils parlent de la même chose.
• Le résultat ? Vous pouvez demander à l'ordinateur : "Montre-moi une vidéo qui ressemble à ce son de pluie" (Audio vers Vidéo) ou "Trouve-moi la musique qui correspond à cette scène triste" (Vidéo vers Audio). C'est ce qu'on appelle la recherche "de n'importe quoi vers n'importe quoi".

2. Le Chef Cuisinier qui Écoute vos Commandes 👨‍🍳

La plupart des systèmes actuels sont comme des robots qui préparent toujours le même plat, peu importe ce que vous voulez.

• WAVE est différent. Il est sensible aux instructions.
• Imaginez que vous lui donnez une vidéo d'une forêt.
  • Si vous dites : "Décris la forêt", il va chercher les détails sur les arbres.
  • Si vous dites : "Trouve le bruit du vent dans cette vidéo", il va ignorer les arbres et se concentrer uniquement sur le son du vent.
• C'est comme si WAVE avait des lunettes à changement de couleur : selon votre demande, il filtre l'information pour ne garder que ce qui est important pour votre question. Cela le rend excellent pour répondre à des questions complexes sur des vidéos.

3. La Recette Magique : Comment il apprend ? 🧪

Pour devenir si intelligent, WAVE a suivi une formation spéciale avec deux ingrédients principaux :

• La Fusion Hiérarchique (Le Puzzle à plusieurs niveaux) :
  Quand WAVE regarde une vidéo, il ne la regarde pas juste d'un coup d'œil. Il la regarde comme un puzzle à plusieurs couches.

  • La première couche voit les pixels (les couleurs).
  • La couche du milieu voit les formes (un visage, une voiture).
  • La dernière couche comprend le sens (c'est une scène de comédie).
  • Au lieu de choisir une seule couche, WAVE mélange toutes les couches ensemble. C'est comme si vous preniez les ingrédients d'un gâteau (farine, œufs, sucre) et que vous les battiez ensemble pour obtenir une pâte parfaite, au lieu de manger les œufs crus séparément.

• L'Entraînement Mixte (La Gymnastique des Sens) :
  Au lieu d'apprendre séparément à lire, à écouter et à voir, WAVE a pratiqué tout en même temps.

  • Les chercheurs ont montré à WAVE des millions de vidéos avec leurs sons et leurs textes.
  • Cela lui a permis de faire des ponts entre les sens. Il a compris que le son d'un "clic" de caméra est lié à l'image d'un photographe, même s'il n'a jamais vu les deux ensemble avant. C'est ce qu'on appelle le transfert de connaissances.

4. Pourquoi est-ce si important ? 🚀

Aujourd'hui, si vous voulez chercher une vidéo, vous devez souvent taper des mots-clés. Avec WAVE :

• Vous pouvez siffler une mélodie et trouver la vidéo qui correspond.
• Vous pouvez montrer une photo d'un paysage et trouver la bande-son idéale.
• Vous pouvez poser une question précise sur une vidéo ("Quel objet est caché derrière l'arbre ?") et obtenir la réponse directement.

En résumé :
WAVE est comme un super-héros des données qui a appris à parler la langue de tous nos sens en même temps. Il ne se contente plus de stocker des fichiers ; il comprend le monde tel que nous le vivons : un mélange constant de sons, d'images et de mots. Grâce à lui, la recherche d'informations devient aussi naturelle que de converser avec un ami.

Le papier de recherche montre que WAVE bat tous les records actuels sur les tests de compréhension vidéo et audio, ouvrant la porte à de nouvelles applications fascinantes pour le futur ! 🎬🎵📝

Résumé technique

1. Problématique et Contexte

Bien que les modèles de langage multimodaux (MLLM) aient démontré une grande efficacité pour générer des embeddings textuels et visuels (images), leur application aux modalités dynamiques comme l'audio et la vidéo (notamment les flux audio-visuels synchronisés) reste sous-exploitée.
Les approches actuelles reposent souvent sur des encodeurs séparés pour chaque modalité, alignés dans un espace commun. Cela limite l'interopérabilité et la capacité à créer des représentations holistiques. De plus, la plupart des modèles d'embedding basés sur les MLLM se concentrent sur les images statiques, négligeant la complexité temporelle et la complémentarité de l'audio et de la vidéo. Il existe un besoin crucial d'un espace d'embedding unifié capable de gérer le texte, l'audio, la vidéo silencieuse et les flux audio-visuels synchronisés, tout en étant capable de suivre des instructions utilisateur (embeddings "conscients du prompt").

2. Méthodologie : L'Architecture WAVE

WAVE est le premier MLLM conçu spécifiquement pour produire des embeddings unifiés et polyvalents pour le texte, l'audio, la vidéo et les données audio-visuelles synchronisées. Il est construit sur la base du modèle Qwen2.5-Omni.

A. Architecture du Modèle

• Encodage des modalités :
  • Texte : Utilise la couche d'embedding native du LLM.
  • Vidéo : Un encodeur visuel pré-entraîné extrait des tokens visuels à partir des trames.
  • Audio : Une architecture à double encodeur est utilisée pour capturer des informations complémentaires : un encodeur de parole (speech) et un encodeur d'événements sonores (audio events). Les tokens sont intercalés de manière 1-to-1 pour former une séquence auditive unifiée.
  • Synchronisation : Pour les entrées audio-visuelles, les tokens visuels et auditifs sont divisés en segments correspondant aux trames échantillonnées et intercalés.
• Alignement Temporel : Le modèle utilise l'embedding de position rotative multimodale alignée dans le temps (TMRoPE), introduit dans Qwen2.5-Omni, pour assurer un alignement temporel précis entre les tokens audio et vidéo.
• Fusion des Caractéristiques (Feature Fusion) : Contrairement au "last-token pooling" standard (qui ne prend que la dernière couche), WAVE adopte une stratégie de fusion hiérarchique. Il agrège les derniers tokens de sortie de toutes les couches du LLM. Ces tokens sont concaténés puis traités par un module de fusion léger (un MLP à deux couches avec activation GELU) pour produire l'embedding final. Cela permet de capturer à la fois des indices perceptuels de bas niveau et des abstractions sémantiques de haut niveau.

B. Stratégie d'Entraînement

WAVE utilise un apprentissage conjoint sur deux tâches principales pour aligner les modalités dans un espace unique :

1. Récupération Multimodale (Retrieval) : Une tâche de contraste (InfoNCE) où le modèle apprend à aligner des paires source-cible de modalités quelconques (texte, audio, vidéo, audio-visuel) via un échantillonnage de négatifs intra-batch.
2. Réponse aux Questions (QA) : Une tâche discriminative où le modèle doit générer un embedding sensible au prompt (instruction) pour sélectionner la bonne réponse textuelle parmi des distracteurs. Cela force le modèle à encoder la sémantique spécifique à la tâche demandée par l'utilisateur.

L'entraînement utilise l'adaptation à faible rang (LoRA) sur le backbone du LLM et un aligneur entraînable pour l'encodeur audio BEATs.

3. Contributions Clés

1. Premier MLLM d'Embedding Audio-Visuel Unifié : WAVE est le premier modèle capable de produire des embeddings unifiés pour le texte, l'audio, la vidéo silencieuse et les flux audio-visuels synchronisés dans un seul espace sémantique.
2. Embeddings Sensibles aux Instructions (Prompt-Aware) : Grâce à la capacité de suivi d'instructions de son backbone MLLM, WAVE peut générer des embeddings conditionnés par des instructions utilisateur (ex: "Décrivez la vidéo" vs "Quels objets sont présents ?"). Cela améliore considérablement les performances en QA multimodale par rapport aux représentations statiques.
3. Architecture Innovante :
   • Utilisation d'un double encodeur audio pour distinguer la parole et les sons environnementaux.
   • Stratégie de fusion hiérarchique des couches du LLM, prouvée supérieure au simple pooling de la dernière couche.
4. Benchmark Unifié : Introduction d'un benchmark pour l'apprentissage audio-visuel polyvalent et validation sur des tâches de récupération "any-to-any" (ex: texte vers vidéo, vidéo vers audio).

4. Résultats Expérimentaux

Les résultats montrent que WAVE établit un nouvel état de l'art (SOTA) sur plusieurs fronts :

• Recherche Vidéo (MMEB-v2) : WAVE surpasse tous les modèles open-source existants et même le modèle industriel Seed-1.6-Embedding sur la piste vidéo du benchmark MMEB-v2 (Score global de 59,9 contre 55,3 pour Seed).
• Recherche Audio et Audio-Visuel :
  • Sur les datasets AudioCaps et Clotho, WAVE bat les modèles à encodeurs séparés.
  • Il excelle dans la tâche difficile de récupération Vidéo-Vers-Audio (bypassant le texte), surpassant de loin un modèle de récupération à encodeurs séparés entraîné sur les mêmes données.
• Réponse aux Questions (QA) :
  • WAVE obtient des résultats exceptionnels sur les benchmarks de QA vidéo (Video-MME, MVBench, etc.), dépassant les modèles de base de 12% en moyenne lorsqu'il utilise des questions spécifiques comme prompts.
  • Cela démontre que les embeddings statiques sont insuffisants pour des tâches complexes nécessitant une compréhension fine de la question.
• Études d'Ablation :
  • L'entraînement conjoint (Joint Training) sur toutes les modalités surpasse systématiquement les modèles spécialisés entraînés séparément, confirmant le transfert de connaissances positif entre modalités.
  • La fusion de toutes les couches du LLM (All-layer MLP fusion) est supérieure au pooling de la dernière couche seule, soulignant l'importance des informations hiérarchiques.

5. Signification et Impact

Le papier WAVE marque une avancée significative dans le domaine de la représentation multimodale. En démontrant qu'un seul modèle peut maîtriser la complexité temporelle et sémantique de l'audio et de la vidéo tout en restant sensible aux instructions, il ouvre la voie à des applications "any-to-any" (n'importe quelle modalité vers n'importe quelle modalité).

L'approche de WAVE suggère que l'avenir des embeddings multimodaux réside dans l'unification via des MLLM puissants plutôt que dans l'alignement d'encodeurs séparés. Cela permet non seulement une meilleure recherche et classification, mais aussi une interaction plus naturelle et contextuelle avec les données multimédias, essentiel pour les systèmes d'IA générative et d'assistance avancés. Le code et les checkpoints sont publiés pour favoriser la reproductibilité.