WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

Das Paper stellt WAVE vor, ein bahnbrechendes, auf Multimodal-LLMs basierendes Embedding-Modell, das erstmals einen einheitlichen Raum für Text, Audio und Video schafft und durch eine hierarchische Fusionsstrategie sowie ein gemeinsames Multi-Task-Training state-of-the-art Ergebnisse in Aufgaben wie cross-modalem Retrieval und prompt-bewusster multimodaler Fragebeantwortung erzielt.

Das Wesentliche

Stell dir vor, du hast einen riesigen, super-intelligenten Bibliothekar namens WAVE. Bislang hatten Bibliotheken für Bilder, Töne und Texte getrennte Regale. Ein Bild-Experte verstand nur Bilder, ein Ton-Experte nur Geräusche. Wenn du aber nach etwas suchst, das sowohl ein Bild als auch einen Sound hat (wie ein Video), mussten diese Experten sich mühsam untereinander verständigen, was oft zu Missverständnissen führte.

WAVE ist der erste Bibliothekar, der alles in einem einzigen, riesigen Raum versteht. Er kann Texte, Videos (auch stumme), Musik und Geräusche direkt miteinander vergleichen, als wären sie alle dieselbe Sprache.

Hier ist eine einfache Erklärung, wie das funktioniert und warum es so cool ist:

1. Der "Alles-in-einem"-Ansatz (Die Einheitsbibliothek)

Früher musste man für jedes Medium einen eigenen Spezialisten bauen. WAVE hingegen ist ein Multitalent.

• Die Analogie: Stell dir vor, du gehst in ein Restaurant. Früher gab es einen Koch nur für Pizza, einen nur für Sushi und einen nur für Desserts. Wenn du ein Menü wolltest, das alles vereint, war das Chaos. WAVE ist wie ein Meisterkoch, der Pizza, Sushi und Desserts in derselben Küche mit denselben Händen zubereitet. Er versteht, wie die Zutaten (die Daten) zusammenpassen, ohne dass man sie trennen muss.
• Das Ergebnis: Du kannst nach einem Video suchen, indem du ein Lied singst (Audio zu Video). Oder du suchst nach einem Sound, indem du ein Bild beschreibst (Text zu Audio). WAVE findet die Verbindung sofort, weil er alle Dinge in einem gemeinsamen "Gedankenraum" speichert.

2. Der "Aufmerksamkeits-Trick" (Prompt-Awareness)

Das ist vielleicht das Coolste an WAVE. Die meisten alten Bibliothekare geben dir immer die gleiche Zusammenfassung eines Buches, egal was du fragst. WAVE hingegen ist aufmerksam.

• Die Analogie: Stell dir vor, du fragst einen Freund: "Erzähl mir von diesem Film."
  • Ein alter Freund sagt: "Es ist ein Film über einen Hund." (Das ist die Standard-Zusammenfassung).
  • WAVE fragt zurück: "Was genau willst du wissen? Willst du wissen, ob der Hund traurig ist? Oder ob die Musik spannend war?"
  • Wenn du sagst: "Zeig mir nur die traurigen Momente", erstellt WAVE eine spezielle Karte für genau diese Frage. Er ignoriert den Rest des Films und fokussiert sich nur auf das, was du brauchst.
• Warum ist das wichtig? Das macht ihn extrem gut bei Fragen wie: "Was passiert im Video, wenn der Held weint?" Er versteht den Kontext deiner Frage und passt seine Antwort (die "Einbettung") genau darauf an.

3. Wie lernt er das? (Der Mix aus vielen Dingen)

WAVE wurde nicht nur mit einem einzigen Buch trainiert. Er hat gelernt, indem er alles gleichzeitig gemacht hat.

• Die Analogie: Stell dir einen Schüler vor, der nur Mathe lernt. Er wird gut in Mathe, aber wenn er Physik-Formeln sieht, ist er verwirrt. WAVE hingegen lernt Mathe, Physik, Geschichte und Kunst zur gleichen Zeit.
• Der Effekt: Durch das Lernen aller Fächer gleichzeitig merkt er: "Oh, die Logik in der Physik hilft mir auch in der Mathematik!" Das nennt man Wissenstransfer. Er wird dadurch schlauer in jedem einzelnen Fach, als wenn er nur eines gelernt hätte.

4. Die "Schichten" des Verstehens (Feature Fusion)

Wenn WAVE ein Video ansieht, schaut er nicht nur auf das oberflächliche Bild. Er schaut in viele "Schichten" seines Gehirns hinein.

• Die Analogie: Wenn du einen Baum siehst, siehst du erst die Blätter (Oberfläche), dann den Stamm (Struktur) und dann die Wurzeln (tiefe Bedeutung).
  • Alte Modelle schauten oft nur auf die oberste Schicht (die Blätter).
  • WAVE schaut auf alle Schichten gleichzeitig. Er kombiniert das, was er auf der obersten Ebene sieht (der Kontext) mit dem, was er in den tieferen Ebenen sieht (die Details).
• Das Ergebnis: Er versteht nicht nur, dass es ein Baum ist, sondern auch, warum er im Wind schwankt und wie das Geräusch des Blätterrauschens dazu passt.

Zusammenfassung: Warum ist WAVE ein Game-Changer?

• Er ist universell: Er kann Text, Ton und Bild mischen wie ein DJ, der verschiedene Musikgenres zu einem perfekten Mix zusammenfügt.
• Er ist höflich und aufmerksam: Er passt seine Antworten genau an deine Frage an, statt immer das Gleiche zu sagen.
• Er ist der Beste: In Tests (wie dem "MMEB-v2" Benchmark) hat er alle anderen Modelle geschlagen, sogar die von riesigen Tech-Firmen.

Kurz gesagt: WAVE ist der erste echte "Universal-Übersetzer" für unsere Sinne. Er macht es möglich, dass Computer nicht nur sehen oder hören, sondern wirklich verstehen, wie unsere Welt aus Bildern, Klängen und Worten zusammengesetzt ist.

Technische Zusammenfassung

1. Problemstellung

Multimodale Einbettungen (Embeddings) sind entscheidend für Aufgaben wie die suchmaschinenbasierte Suche, Klassifizierung und Empfehlungssysteme. Bisherige Ansätze nutzen oft separate Encoder für jede Modalität (Text, Bild, Audio, Video), die in einem gemeinsamen Raum ausgerichtet werden. Ein neuerer Trend nutzt Multimodale Large Language Models (MLLMs), um Einbettungen für alle Modalitäten in einem einzigen Modell zu erzeugen.

Die Hauptlücken, die das Paper adressiert, sind:

• Fehlende Einheitlichkeit: Die meisten MLLM-basierten Embedding-Modelle konzentrieren sich stark auf statische Bilder und Text, während Audio und synchronisierte Audio-Video-Streams unterrepräsentiert sind.
• Fehlende Prompt-Intelligenz: Herkömmliche Embedding-Modelle erzeugen oft taskspezifische, aber prompt-unabhängige (agnostische) Repräsentationen. Sie können nicht auf Benutzeranweisungen (Prompts) reagieren, um semantisch relevante Informationen für spezifische Aufgaben (z. B. Beantwortung einer Frage) zu gewichten.
• Begrenzte Any-to-Any-Fähigkeiten: Die Fähigkeit, beliebige Modalitäten direkt miteinander abzugleichen (z. B. Text zu Audio oder Video zu Audio), ohne einen Text-Intermediär, ist bei bestehenden Modellen noch nicht optimal gelöst.

2. Methodik (WAVE)

Das Paper stellt WAVE vor, das erste MLLM, das eine einheitliche Einbettungsraum für Text, Audio, stummes Video und synchronisierte Audio-Video-Eingaben schafft.

Architektur:

• Basis: Das Modell basiert auf Qwen2.5-Omni (7 Milliarden Parameter).
• Encoder:
  • Text: Nutzt die native Embedding-Schicht des LLM.
  • Video: Ein vortrainierter visueller Encoder extrahiert Frames und wandelt sie in visuelle Tokens um.
  • Audio: Ein Dual-Encoder-Ansatz wird verwendet. Ein Sprecher-Encoder (Speech Encoder) und ein separater Audio-Event-Encoder erfassen unterschiedliche Aspekte des Audiosignals. Ein trainierbarer Aligner (MLP) bringt die Audio-Features in den Eingaberaum des LLM.
• Token-Interleaving: Für multimodale Eingaben werden die Tokens strategisch vermischt. Bei Audio-Video-Eingaben werden visuelle und auditive Token-Segmente entsprechend den Frames abwechselnd angeordnet. Ein Text-Prompt dient immer als Anweisung für das LLM.
• Zeitliche Ausrichtung: Es wird TMRoPE (Time-Aligned Multimodal Rotary Position Embedding) verwendet, um die zeitliche Synchronisation zwischen Audio und Video sicherzustellen.
• Feature-Fusion: Anstatt nur den letzten Token der letzten Schicht zu nutzen (Last-Token Pooling), aggregiert WAVE die letzten Ausgabe-Tokens aller LLM-Schichten. Diese werden durch einen leichten Fusion-Modul (zweischichtiges MLP mit GELU-Aktivierung) verarbeitet, um sowohl niedrigstufige Wahrnehmungsmerkmale als auch hochstufige semantische Abstraktionen zu erhalten.

Trainingsstrategie:
Das Training erfolgt durch joint multi-modal, multi-task learning mit zwei Hauptaufgaben:

1. Multimodale Retrieval-Aufgabe: Ein kontrastiver Lernansatz (InfoNCE Loss), der beliebige Modalitätenpaare (Text-Video, Audio-Text, Video-Audio etc.) ausrichtet. Es wird ein symmetrischer Loss verwendet, um bidirektionale Ausrichtung zu gewährleisten.
2. Fragenbeantwortung (QA): Das Modell lernt, prompt-spezifische Embeddings zu erzeugen. Der Input ist eine multimodale Frage, das Ziel ist die korrekte Textantwort. Dies zwingt das Modell, die Einbettung basierend auf der Frage zu konditionieren.

3. Wichtige Beiträge

1. Erstes universelles Audio-Visual Embedding-MLLM: WAVE ist das erste Modell, das Text, Audio, stummes Video und synchronisierte Audio-Video-Daten in einem einzigen semantischen Raum vereint.
2. Prompt-Aware Embeddings: Durch die Nutzung der Instruktion-Following-Fähigkeiten des MLLM-Basis-Modells kann WAVE Einbettungen generieren, die auf spezifische Benutzeranweisungen reagieren. Dies ist ein entscheidender Vorteil gegenüber statischen Embeddings, insbesondere für komplexe Aufgaben wie Multimodales QA.
3. Effektive Architektur:
   • Der Dual-Encoder für Audio fängt sowohl Sprache als auch Umgebungsgeräusche komplementär ein.
   • Die hierarchische Feature-Fusion (Aggregation über alle Schichten) liefert stabilere Gewinne als das reine Nutzen der letzten Schicht.
4. Neuer Benchmark: Das Paper führt einen neuen Benchmark für vielseitiges Audio-Visual-Lernen ein und erweitert bestehende Benchmarks um Audio-zu-Video und Video-zu-Audio Retrieval.

4. Ergebnisse

WAVE erzielt State-of-the-Art (SOTA) Ergebnisse auf mehreren Benchmarks:

• Video-Benchmarks (MMEB-v2 & LoVR): WAVE übertrifft alle bestehenden Open-Source-Modelle (wie LamRA, GME, CAFe) und sogar das industrielle Modell Seed-1.6-Embedding in den Kategorien Klassifizierung, QA, Retrieval und Moment-Retrieval.
• Audio & Audio-Visual Retrieval: Auf Datensätzen wie AudioCaps, Clotho und VGGSound zeigt WAVE überlegene Leistung im Audio-Retrieval. Besonders hervorzuheben ist die Leistung beim Video-zu-Audio Retrieval, wo WAVE visuelle Semantik direkt auf auditive Konzepte abbildet, ohne Text als Zwischenschritt.
• Multimodales QA: In Prompt-spezifischen QA-Aufgaben (z. B. Video-MME) übertrifft WAVE andere Embedding-Modelle signifikant (ca. +12% gegenüber Seed-1.6), wenn separate Fragen als Prompts verwendet werden. Dies beweist die Fähigkeit, kontextabhängige Repräsentationen zu bilden.
• Ablationsstudien:
  • Joint Training: Ein gemeinsam trainiertes Modell performt auf 7 von 8 Aufgaben besser als spezialisierte Modelle, die nur auf einzelnen Modalitäten trainiert wurden, was positive Wissensübertragung bestätigt.
  • Feature Fusion: Die Aggregation von Features über alle Schichten mittels MLP-Fusion ist der Standard-Last-Token-Pooling-Methode überlegen.

5. Bedeutung und Ausblick

WAVE stellt einen Paradigmenwechsel in der multimodalen Einbettungsforschung dar. Es beweist, dass ein einziges MLLM nicht nur für die Generierung von Texten, sondern auch als universeller Encoder für dynamische Modalitäten (Audio/Video) dienen kann.

• Anwendbarkeit: Die Fähigkeit zu „Any-to-Any"-Retrieval und prompt-spezifischen Einbettungen eröffnet neue Möglichkeiten für Suchmaschinen, Empfehlungssysteme und interaktive multimodale Anwendungen.
• Effizienz: Durch die Nutzung von LoRA (Low-Rank Adaptation) und einem effizienten Trainingssetup ist das Modell gut reproduzierbar.
• Zukunft: Das Paper legt den Grundstein für zukünftige Forschung an universellen, modalitätsunabhängigen Repräsentationen, die komplexe semantische Beziehungen über alle Medienformen hinweg verstehen.

Der Code und die Checkpoints sind öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung in diesem Bereich fördert.