WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

Deze paper introduceert WAVE, het eerste op multimodale LLM's gebaseerde embeddingmodel dat een verenigde representatieruimte voor tekst, audio en video creëert via een hiërarchische fusiestrategie en gezamenlijke training, waardoor het state-of-the-art presteert in cross-modale zoekopdrachten en prompt-gevoelige multimodale vraagbeantwoording.

De kern

WAVE: De "Alles-in-Één" Vertaler voor Geluid en Beeld

Stel je voor dat je een enorme bibliotheek hebt, maar de boeken zitten in verschillende talen en vormen: sommige zijn geschreven tekst, andere zijn films, en weer andere zijn alleen maar geluidsopnames. Tot nu toe hadden we voor elke taal een aparte vertaler nodig. Een vertaler voor tekst, een voor video, en een voor audio. Ze konden niet goed met elkaar praten, waardoor het zoeken naar informatie (bijvoorbeeld "vind een video die klinkt als een regenbui") erg lastig was.

De onderzoekers van dit paper hebben WAVE bedacht. WAVE is geen gewone vertaler; het is een super-vertaler die alles in één taal kan begrijpen.

Hier is hoe het werkt, in simpele taal:

1. De Grote Vertaalzaal (Het Model)

Stel je WAVE voor als een slimme bibliothecaris die in één kamer zit.

• De Invoer: Je kunt haar een boek geven (tekst), een film tonen (video), of een opname afspelen (geluid). Ze kan zelfs een film met geluid aan haar geven.
• De Vertaling: In plaats van het boek of de film op te slaan zoals hij is, maakt WAVE voor elk item een uniek "geestelijk vingerafdruk" (een embedding).
• Het Magische: Het mooie is dat de vingerafdruk van een tekst over "een hond die blaft" en de vingerafdruk van een video van een hond die blaft, exact op dezelfde plek in de ruimte van de bibliothecaris landen. Ze zien er voor de computer uit als vrienden die elkaar direct herkennen, zelfs als ze er totaal anders uitzien.

2. Twee Slimme Oren (De Audio-Encoder)

Geluid is lastig. Soms is het een menselijke stem (spraak), en soms is het het geluid van een auto die voorbijrijdt of regen (omgevingsgeluid).

• De meeste oude systemen hadden één oor dat probeerde alles te horen.
• WAVE heeft twee gespecialiseerde oren: één dat luistert naar wat mensen zeggen, en één dat luistert naar de achtergrondgeluiden. Ze werken samen om een completer plaatje te maken. Dit zorgt ervoor dat WAVE niet alleen begrijpt wat er gezegd wordt, maar ook hoe de wereld eromheen klinkt.

3. De "Vraag-Gevoelige" Geest (Prompt-Aware)

Dit is misschien wel het coolste deel.

• Oude systemen: Als je vroeg: "Wat zie je?", gaf het systeem een antwoord. Als je vroeg: "Wat hoor je?", gaf het een ander antwoord. Maar als je een ingewikkelde vraag stelde, zoals "Welk object in de video heeft niets te maken met een begrafenis?", raakten ze in de war. Ze gaven een algemeen antwoord, alsof ze de vraag niet hadden gelezen.
• WAVE: WAVE luistert echt naar je vraag. Het is als een slimme assistent die zegt: "Ah, je vraagt specifiek naar de niet-gerelateerde objecten? Oké, dan focus ik mijn aandacht daarop en maak ik een vingerafdruk die specifiek die vraag beantwoordt." Hierdoor is WAVE veel beter in het beantwoorden van moeilijke vragen over video's en geluid.

4. De Grote Mix (Training)

Hoe leer je zo'n slimme bibliothecaris?

• De onderzoekers hebben WAVE niet apart getraind op alleen video's of alleen geluid. Ze hebben hem alles tegelijk laten zien: video's, geluiden, tekst en vragen.
• De Analogie: Stel je voor dat je een kok traint. In plaats van hem alleen te laten koken met vis, of alleen met vlees, geef je hem een receptenboek met alles door elkaar. Hij leert dan dat "smaak" (de betekenis) hetzelfde kan zijn, of je nu vis of vlees gebruikt. Hierdoor wordt hij een veel betere kok die sneller nieuwe gerechten kan bedenken.
• Door alles samen te trainen, leert WAVE dat een geluid van een lach en een video van een lachende persoon "hetzelfde gevoel" hebben. Dit maakt hem sterker dan systemen die maar één ding kunnen.

Waarom is dit belangrijk?

Vroeger moest je voor elke zoekopdracht een ander systeem gebruiken. Met WAVE kun je:

• Een tekst invoeren en een video vinden die bij die tekst past.
• Een video invoeren en een geluidsfragment vinden dat erbij hoort.
• Een complexe vraag stellen over een video en het juiste antwoord krijgen, zelfs als het antwoord niet direct in de video staat, maar eruit afgeleid moet worden.

Kortom: WAVE is de eerste echte "alles-in-één" vertaler voor onze digitale wereld. Het brengt tekst, geluid en beeld samen in één harmonieus gezelschap, zodat computers eindelijk kunnen begrijpen wat we bedoelen, ongeacht of we praten, schrijven of filmen.

Technische samenvatting

1. Het Probleem

Multimodale embeddings, die verschillende datatypes (tekst, afbeeldingen, video, audio) naar een gedeelde representatieruimte vertalen, zijn essentieel voor taken zoals zoekopdrachten, classificatie en aanbevelingen. Hoewel bestaande benaderingen vaak gebruikmaken van afzonderlijke encoders per modality die in een gemeenschappelijke ruimte worden uitgelijnd (zoals CLIP-achtige modellen), blijven deze beperkt tot statische beelden of specifieke modality-paren.

De huidige stand van de techniek bij Multimodal Large Language Models (MLLMs) heeft bewezen uitstekend te zijn in semantisch begrip en redeneren. Echter, de toepassing van deze krachtige modellen voor dynamische modaliteiten zoals audio en video (met name gesynchroniseerde audio-visuele streams) is onderbelicht. Bestaande embedding-modellen gebaseerd op MLLMs focussen voornamelijk op statische beelden en missen vaak de capaciteit om:

• Een echt universele ruimte te creëren voor tekst, audio, stil videomateriaal en gesynchroniseerde audio-video.
• Prompt-aware embeddings te genereren die specifiek zijn afgestemd op gebruikersinstructies (bijv. voor vraag-antwoord taken), in plaats van statische, taak-agnostische representaties.

2. Methodologie: WAVE

WAVE (Unified & Versatile Audio-Visual Embeddings) is het eerste model dat een MLLM-architectuur gebruikt om een uniforme embedding te genereren voor tekst, audio, video en gesynchroniseerde audio-video inputs.

Architectuur:

• Basis: Het model is gebouwd op Qwen2.5-Omni (7B parameters).
• Encoders:
  • Visueel: Een vooraf getrainde visuele encoder extrahereert features uit videoframes.
  • Audio: Een dual-encoder architectuur wordt gebruikt: één encoder voor spraak en een aparte voor omgevingsgeluiden/audiogebeurtenissen. Dit zorgt voor het vangen van complementaire cues.
  • Tekst: Gebruikt de native embedding layer van de LLM.
• Input-structuur: Alle niet-tekst inputs worden vergezeld door een tekst-prompt (instructie). De tokens worden geïnterleaved (geweven) op basis van tijd: spraak- en audiopellets worden 1-op-1 afgewisseld, en bij audio-video inputs worden visuele en auditieve tokens gesegmenteerd en afgewisseld per frame.
• Positie-embedding: Er wordt gebruikgemaakt van TMRoPE (Time-Aligned Multimodal Rotary Position Embedding) om de tijdsynchronisatie tussen visuele en auditieve tokens te waarborgen.
• Feature Fusion (Kerninnovatie): In plaats van alleen de laatste token van de laatste laag te gebruiken (last-token pooling), aggregeert WAVE de laatste output-tokens van alle lagen van de LLM. Deze worden samengevoegd via een lichtgewicht fusion module (een MLP met twee lagen en GELU-activering). Dit vangt zowel laag-niveau perceptuele cues als hoog-niveau semantische abstracties.

Trainingsstrategie:
WAVE maakt gebruik van een gezamenlijke multi-modale, multi-task trainingsstrategie met contrastief leren als hoofddoel:

1. Multimodale Retrieval: Het model leert om embeddings van verschillende modaliteiten (tekst, audio, video) naar elkaar toe te brengen. Er wordt gebruikgemaakt van in-batch negative sampling en een symmetrische InfoNCE loss.
2. Vraag-antwoord (QA): Het model leert om embeddings te genereren die specifiek zijn voor een vraag. De source is een multimodale input met een vraag, en het target is het juiste tekstuele antwoord (tegenover "distractor" antwoorden). Dit dwingt het model om instructies te volgen en contextueel relevante features te coderen.

3. Belangrijkste Bijdragen

1. Eerste Unifieerde Audio-Visuele Embedding MLLM: WAVE is het eerste model dat een enkele semantische ruimte biedt voor tekst, audio, stil video en gesynchroniseerde audio-video.
2. Prompt-Aware Embeddings: Door de instructie-volgende capaciteiten van de MLLM te benutten, kan WAVE embeddings genereren die dynamisch reageren op specifieke gebruikersinstructies. Dit is cruciaal voor complexe taken zoals multimodale QA, waar een statische representatie van de video niet voldoende is.
3. Effectieve Architectuur:
   • Een dual-encoder voor audio (spraak + geluidseffecten) voor een completere auditieve representatie.
   • Een hiërarchische feature-fusiestrategie die informatie uit alle lagen van de LLM combineert, wat resulteert in robuustere embeddings dan traditionele last-token pooling.
4. Nieuwe Benchmark: De auteurs introduceren een benchmark voor veelzijdig audio-visueel leren om de prestaties van dergelijke modellen beter te evalueren.

4. Resultaten

WAVE heeft state-of-the-art (SOTA) resultaten behaald op diverse benchmarks:

• Video Benchmarks (MMEB-v2): WAVE presteert beter dan bestaande open-source modellen en zelfs beter dan industriële modellen zoals Seed-1.6-Embedding op de video-track van MMEB-v2 (inclusief classificatie, QA, en retrieval).
• Audio & Audio-Visuele Retrieval: Het model overtreft gespecialiseerde encoder-only modellen op AudioCaps, Clotho en VGGSound. Vooral op de uitdagende taak video-naar-audio retrieval (zonder tekst als tussenstap) toont WAVE superieure prestaties.
• Multimodale QA: WAVE behaalt aanzienlijk betere resultaten op video-QA datasets (zoals Video-MME en MVBench) wanneer het wordt getest met specifieke vragen (prompt-aware) in vergelijking met modellen die statische embeddings genereren. De prestaties dalen drastisch als er geen specifieke vraag wordt gesteld, wat de kracht van de instructie-volgende capaciteit bevestigt.
• Cross-Modal Transfer: Het model presteert zelfs beter op audio-redeneertaken dan de basis Qwen2.5-Omni, ondanks dat het voornamelijk was getraind op video-QA, wat wijst op sterke generalisatie.

5. Betekenis en Impact

WAVE markeert een verschuiving in het veld van multimodale embeddings:

• Van gescheiden naar uniek: Het bewijst dat een enkel MLLM effectief kan worden gebruikt om een universele ruimte te creëren voor dynamische modaliteiten, in plaats van gespecialiseerde encoders per modality.
• Van statisch naar dynamisch: Het introduceert het concept van "prompt-aware" embeddings, wat essentieel is voor toepassingen waar de gebruiker specifieke informatie zoekt binnen een video of audiofragment.
• Toekomstige Toepassingen: Door een sterke basis te leggen voor "any-to-any" cross-modal interacties (bijv. zoeken naar een geluid met een tekst, of een video vinden op basis van een geluid), opent WAVE de deur voor geavanceerde zoekfuncties, aanbevelingssystemen en content-analyse die eerder niet mogelijk waren met bestaande embedding-modellen.

De code en checkpoints zijn openbaar gemaakt, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.