WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

Il paper introduce WAVE, il primo modello di embedding basato su LLM che crea uno spazio rappresentativo unificato per testo, audio e video, ottenendo prestazioni all'avanguardia nel recupero incrociato tra modalità e nella generazione di embedding consapevoli delle istruzioni utente.

L'essenziale

Immagina di avere una biblioteca enorme piena di libri (testo), film (video) e registrazioni sonore (audio). Fino a poco tempo fa, per trovare un libro che parlasse di un certo film o per capire di cosa parlava una canzone guardando un video, dovevi usare tre bibliotecari diversi, ognuno specializzato in un solo tipo di materiale. Se volevi collegare un suono a un'immagine, dovevi farli "parlare" tra loro, ma spesso non si capivano bene.

Il paper che hai condiviso introduce WAVE, un nuovo "super-bibliotecario" intelligente che risolve tutto questo. Ecco come funziona, spiegato in modo semplice:

1. Il Super-Bibliotecario (WAVE)

WAVE è il primo modello in grado di creare un unico spazio mentale dove testo, audio e video convivono insieme.

• L'analogia: Immagina che invece di avere tre lingue diverse (italiano per i libri, il linguaggio dei segni per i video, il gorgoglio per l'audio), WAVE abbia imparato una lingua universale. In questo spazio, il concetto di "un cane che abbaia" è rappresentato allo stesso modo, sia che tu lo scriva, sia che tu lo veda in un video, sia che tu lo senta in una registrazione. Non importa come entra l'informazione, WAVE la traduce immediatamente in questa lingua comune.

2. Come "Pensa" WAVE? (L'Architettura)

Per diventare così bravo, WAVE usa due trucchi intelligenti:

• Due orecchie invece di una: Per l'audio, non si affida a un solo microfono. Usa un "doppio sistema": uno specializzato nel capire la voce umana (come se ascoltasse una conversazione) e uno per i suoni ambientali (come il rumore della pioggia o un'auto che passa). Poi unisce queste due informazioni per avere un quadro completo.
• Leggere tutte le pagine, non solo l'ultima: Quando un'intelligenza artificiale legge un testo, spesso guarda solo l'ultima parola per capire il senso. WAVE, invece, è come uno studente che legge tutte le pagine di un libro, dalla prima all'ultima, e poi le unisce tutte insieme per creare una comprensione profonda. Questo gli permette di cogliere sia i dettagli piccoli (il rumore di un passo) che il significato grande (è una scena di un'azione).

3. Capire le Istruzioni (Embedding "Prompt-Aware")

Questa è forse la parte più magica. La maggior parte dei modelli crea una "foto" fissa di un video. Se chiedi "Di cosa parla questo video?", il modello ti dà una risposta generica.

• L'analogia: Immagina di avere una foto di una torta. Un modello normale ti dice: "È una torta". Ma WAVE è come un chef che cambia la sua descrizione in base alla tua domanda:
  • Se chiedi: "Quali ingredienti ci sono?", WAVE ti dirà: "Ci sono uova, farina e cioccolato".
  • Se chiedi: "Per quale occasione è fatta?", WAVE ti dirà: "È perfetta per un compleanno".
    WAVE crea una rappresentazione del video che cambia dinamicamente in base a quello che gli chiedi. È come se il video avesse mille facce diverse, e WAVE sa quale mostrare in base alla tua richiesta.

4. Perché è così bravo? (L'Allenamento)

I creatori di WAVE non lo hanno addestrato su un solo tipo di compito. Gli hanno fatto fare molti lavori diversi contemporaneamente:

• Ha imparato a trovare video guardando un testo.
• Ha imparato a trovare suoni guardando un video.
• Ha imparato a rispondere a domande su video.
• Il risultato: È come un atleta che si allena per correre, nuotare e andare in bicicletta allo stesso tempo. Invece di diventare specialista in una cosa sola, diventa un atleta completo che eccelle in tutto. Questo gli permette di trasferire le conoscenze: ciò che impara dai suoni lo aiuta a capire meglio i video, e viceversa.

In Sintesi: Cosa ci permette di fare?

Grazie a WAVE, possiamo finalmente fare cose che prima erano difficili o impossibili:

• Cercare qualsiasi cosa con qualsiasi cosa: Puoi cercare un video digitando "un suono di pioggia", oppure trovare una canzone guardando un video di un tramonto.
• Risposte intelligenti: Puoi guardare un video e chiedere: "Qual è il dettaglio che non è stato menzionato nel dialogo?" e il modello ti darà la risposta corretta, capendo il contesto visivo e uditivo insieme.

In conclusione, WAVE è un passo enorme verso un'intelligenza artificiale che non vede più il mondo diviso in "testo", "suono" e "immagine", ma lo percepisce come un unico, fluido flusso di informazioni, proprio come facciamo noi esseri umani.

Sommario tecnico

1. Il Problema

Gli embedding multimodali sono fondamentali per compiti come la ricerca incrociata, la classificazione e la raccomandazione. Tuttavia, l'approccio prevalente utilizza encoder separati per ciascuna modalità (testo, immagine, audio, video) allineati in uno spazio comune. Sebbene i Large Language Models Multimodali (MLLM) abbiano dimostrato grandi capacità di comprensione semantica, il loro utilizzo per generare embedding unificati per modalità dinamiche come audio e video rimane poco esplorato.
La maggior parte degli sforzi basati su MLLM si concentra sulle immagini statiche, trascurando i flussi audio-video sincronizzati. Di conseguenza, non esiste ancora uno spazio di embedding audio-visivo veramente universale che possa gestire input eterogenei (testo, audio, video silenzioso, audio-video sincronizzato) e generare rappresentazioni consapevoli delle istruzioni dell'utente (prompt-aware).

2. Metodologia

WAVE è il primo MLLM basato su embedding progettato per creare uno spazio di rappresentazione unificato per testo, audio, video silenzioso e input audio-video sincronizzati. L'architettura e la strategia di addestramento si basano sui seguenti pilastri:

• Architettura del Modello:

  • Base: WAVE è costruito sopra Qwen2.5-Omni (7B parametri), ereditandone le capacità di percezione e ragionamento multimodale.
  • Encoder Multipli: Utilizza encoder distinti per gli input non testuali: un encoder visivo pre-addestrato per i frame video e una doppia architettura encoder per l'audio (un encoder per la voce e uno separato per gli eventi sonori ambientali) per catturare segnali complementari.
  • Fusione Gerarchica: Invece di utilizzare solo l'ultimo token (last-token pooling) dello strato finale, WAVE aggrega gli ultimi token di output da tutti gli strati dell'LLM. Questi vengono concatenati e passati attraverso un modulo di fusione leggero (un MLP a due strati con attivazione GELU) per produrre un embedding multimodale unificato. Questo preserva sia i cue percettivi a basso livello che le astrazioni semantiche ad alto livello.
  • Posizionamento Temporale: Per gestire la natura temporale di audio e video, viene utilizzata la TMRoPE (Time-Aligned Multimodal Rotary Position Embedding), che garantisce un allineamento temporale preciso tra token audio e video.

• Strategia di Addestramento (Joint Multi-Modal, Multi-Task):

  • WAVE viene addestrato con un approccio congiunto su due compiti principali: Ricerca Multimodale (Retrieval) e Risposta alle Domande (QA).
  • Task di Retrieval: Utilizza un obiettivo contrastivo (InfoNCE) per allineare coppie di input di qualsiasi modalità (es. testo-video, audio-video, testo-audio). Viene impiegato un campionamento negativo "in-batch" simmetrico.
  • Task di QA: Addestra il modello a generare embedding "prompt-aware". L'input è un segnale multimodale con un prompt testuale che pone una domanda, e l'obiettivo è allineare l'embedding della domanda con la risposta corretta, distinguendola da risposte errate (distractors).
  • Dati: L'addestramento utilizza un vasto set di dati (4.9M campioni) che include Panda-70M, AudioSet, WavCaps e altri, coprendo tutte le combinazioni di modalità possibili.

3. Contributi Chiave

1. Primo MLLM per Embedding Audio-Visivo Unificato: WAVE è il primo modello in grado di produrre embedding unificati per testo, audio, video silenzioso e flussi audio-video sincronizzati, proiettando modalità eterogenee in un unico spazio semantico.
2. Embedding Consapevoli delle Istruzioni (Prompt-Aware): Sfruttando la capacità di seguire le istruzioni del backbone MLLM, WAVE genera embedding che si adattano al compito specifico richiesto dall'utente. Questo supera i limiti dei modelli che producono rappresentazioni statiche e agnostiche al compito.
3. Architettura Efficace:
   • Una strategia di fusione gerarchica delle caratteristiche che aggrega segnali da più strati dell'LLM, migliorando la stabilità e le prestazioni nella ricerca.
   • Un design a doppio encoder audio che cattura sia la voce che i suoni ambientali, aumentando l'espressività degli embedding.
4. Nuovo Benchmark: Introduce un benchmark per l'apprendimento audio-visivo versatile, valutando compiti come la ricerca da video ad audio e viceversa.

4. Risultati Sperimentali

WAVE ha stabilito nuovi stati dell'arte (SOTA) in diversi benchmark:

• Video (MMEB-v2): WAVE supera tutti i modelli open-source esistenti e anche il modello industriale Seed-1.6-Embedding nella track video di MMEB-v2, ottenendo un punteggio complessivo del 59.9% (vs 55.3% di Seed).
• Ricerca Any-to-Any: Eccelle in compiti di ricerca incrociata complessi, come testo-video, video-audio e audio-video. In particolare, supera i modelli basati su encoder separati nella ricerca video-audio.
• Risposta alle Domande (QA): Grazie alla natura "prompt-aware", WAVE ottiene prestazioni eccezionali nei task di QA multimodale. Quando testato con domande specifiche (separate), supera i baselines di circa il 12% rispetto a Seed-1.6-Embedding. Al contrario, l'uso di prompt generici porta a un crollo delle prestazioni, evidenziando l'importanza cruciale delle istruzioni.
• Audio: Supera i modelli precedenti su dataset come AudioCaps e Clotho, dimostrando una forte capacità di generalizzazione anche per l'audio, nonostante sia stato addestrato principalmente su dati video-QA.

5. Significato e Impatto

Il lavoro di WAVE dimostra che l'approccio unificato basato su MLLM è superiore alla tradizionale strategia di encoder separati per le modalità dinamiche.

• Trasferimento di Conoscenza: Gli studi di ablazione confermano che l'addestramento congiunto su tutte le modalità favorisce un trasferimento di conoscenza positivo, creando rappresentazioni semantiche più robuste e agnostiche rispetto alla modalità.
• Fusione Gerarchica: Dimostra che l'aggregazione delle informazioni da tutti gli strati dell'LLM è superiore all'uso del solo ultimo strato, specialmente per compiti complessi come la ricerca video.
• Versatilità: WAVE apre la strada ad applicazioni "any-to-any" (qualsiasi modalità verso qualsiasi altra), rendendo possibile la ricerca e l'interazione cross-modale senza bisogno di tradurre tutto in testo intermedio.

In sintesi, WAVE rappresenta un passo fondamentale verso l'unificazione della comprensione multimodale, offrendo un baseline potente e versatile per future ricerche su embedding audio-visivi e applicazioni di intelligenza artificiale multimodale.