WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

El paper presenta WAVE, el primer modelo de incrustaciones basado en LLM que unifica texto, audio y video en un espacio de representación común mediante una fusión jerárquica de características y entrenamiento multitarea, logrando un estado del arte en recuperación cruzada y generación de incrustaciones sensibles a instrucciones.

Lo esencial

¡Hola! Imagina que el mundo digital está lleno de idiomas diferentes. Tienes el idioma de los textos (libros, chats), el idioma de los sonidos (música, voces, ruidos) y el idioma de las imágenes en movimiento (videos).

Antes de este nuevo trabajo, si querías que una computadora entendiera que una canción de rock y un video de un concierto de rock eran lo mismo, tenías que usar dos traductores separados: uno para el audio y otro para el video. A veces, estos traductores no se entendían bien entre ellos, como si hablaran dialectos muy distintos.

Aquí es donde entra WAVE (que significa "Ola" en inglés).

¿Qué es WAVE?

WAVE es como un super-traductor universal creado por investigadores de la Universidad Tsinghua y Tencent. Es el primer "cerebro" de inteligencia artificial capaz de escuchar, ver y leer todo al mismo tiempo, y luego poner todo eso en una misma caja de herramientas mental.

En lugar de tener estantes separados para fotos, canciones y textos, WAVE crea un gran almacén unificado donde todo está conectado.

¿Cómo funciona? (La analogía del Chef Maestro)

Imagina que WAVE es un Chef Maestro en una cocina muy especial:

1. Los Ingredientes (Entradas):

   • Si le das un video, el Chef lo ve.
   • Si le das un audio, el Chef lo escucha (y tiene dos oídos especiales: uno para la voz humana y otro para los ruidos del entorno, como el tráfico o la lluvia).
   • Si le das un texto, el Chef lo lee.
   • Lo genial es que puede mezclarlos: un video con su sonido, o solo el sonido de un video sin ver la imagen.

2. La Receta (La Fusión de Capas):

   • Antes, los chefs (otros modelos de IA) solo miraban el plato final (la última capa de procesamiento) para decidir qué era.
   • WAVE es diferente. Mira todas las capas de su proceso de pensamiento, desde los detalles pequeños (como el color de una camisa o el tono de una voz) hasta las ideas grandes (como "es una fiesta triste").
   • Luego, usa un salsa especial (un módulo de fusión) para mezclar todos esos detalles en un solo sabor perfecto. Esto le permite entender mejor que nadie.

3. El Pedido del Cliente (Instrucciones):

   • Aquí está la magia: WAVE es atento a las instrucciones.
   • Si le dices: "Busca videos de gatos", WAVE se enfoca en los gatos.
   • Si le dices: "Busca videos de gatos que parezcan tristes", WAVE cambia su enfoque y busca la emoción de tristeza, no solo el animal.
   • Es como si el Chef pudiera cambiar su receta al instante según lo que le pidas, en lugar de cocinar siempre lo mismo.

¿Qué logra hacer WAVE? (Sus superpoderes)

Gracias a esta forma de trabajar, WAVE ha logrado cosas increíbles que antes eran difíciles:

• Búsqueda "Cualquiera a Cualquiera": Puedes buscar un video escribiendo una frase, pero también puedes buscar un audio usando un video como referencia. ¡Es como encontrar una canción solo mostrando una foto de una fiesta!
• Respuestas a Preguntas: Si le muestras un video y le preguntas "¿Qué objeto no se menciona en la historia?", WAVE puede responder correctamente porque entiende el contexto completo, no solo las palabras sueltas.
• El Rey de los Rankings: En las pruebas oficiales (llamadas MMEB-v2), WAVE ha ganado, superando incluso a modelos industriales gigantes que cuestan millones de dólares.

¿Por qué es importante?

Piensa en WAVE como el cable universal del futuro digital.

• Hoy en día, si quieres buscar algo, a veces tienes que saber si usar palabras clave, subir un audio o subir un video.
• Con WAVE, el mundo se vuelve fluido. Puedes encontrar lo que buscas sin importar en qué formato esté guardado.

En resumen: WAVE es un modelo de inteligencia artificial que ha aprendido a escuchar, ver y leer al mismo tiempo, poniendo todo en un mismo idioma mental. No solo es más inteligente buscando cosas, sino que entiende lo que le pides hacer, haciendo que la interacción entre humanos y máquinas sea mucho más natural y poderosa.

¡Y lo mejor es que sus recetas (el código) están disponibles para que cualquiera pueda usarlas!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "WAVE: LEARNING UNIFIED & VERSATILE AUDIO-VISUAL EMBEDDINGS WITH MULTIMODAL LLM", presentado en ICLR 2026.

1. El Problema

Aunque los modelos de lenguaje grandes multimodales (MLLM) han demostrado un gran éxito como representaciones generales, su aplicación a modalidades dinámicas como el audio y el video sigue siendo insuficientemente explorada.

• Limitaciones actuales: Los enfoques predominantes utilizan codificadores separados para cada modalidad (texto, imagen, audio, video) que se alinean en un espacio común. Esto a menudo resulta en una interoperabilidad cruzada limitada y una alineación semántica subóptima.
• Brecha específica: La mayoría de los esfuerzos basados en MLLM se han centrado en la visión estática (imágenes), dejando de lado el audio y los flujos de audio-visuales sincronizados.
• Falta de adaptabilidad: Los modelos de incrustación (embedding) existentes suelen generar representaciones "agnósticas a la tarea", lo que limita su utilidad en aplicaciones complejas como la respuesta a preguntas (QA) multimodal, donde se requiere entender instrucciones específicas del usuario.

2. Metodología: WAVE

WAVE (Unified & Versatile Audio-Visual Embeddings) es el primer modelo basado en MLLM diseñado para crear un espacio de representación unificado para texto, audio, video silencioso y entradas de audio-visuales sincronizadas.

Arquitectura del Modelo

• Base: Se construye sobre Qwen2.5-Omni (7B parámetros), heredando sus capacidades de percepción y razonamiento multimodal.
• Codificadores de Entrada:
  • Texto: Utiliza la capa de incrustación original del LLM.
  • Video: Un codificador visual preentrenado extrae características de los fotogramas.
  • Audio (Diseño Dual): Se emplea una arquitectura de doble codificador para capturar señales complementarias:
    1. Un codificador de habla (speech encoder).
    2. Un codificador de eventos de audio (audio event encoder).
       Nota: Se utiliza un alineador (MLP) entrenable para alinear las salidas del codificador BEATs con el espacio del LLM.
• Estrategia de Interleaving (Entrelazado):
  • Para audio puro, los tokens de habla y eventos se entrelazan uno a uno.
  • Para audio-video, los tokens visuales y auditivos se dividen en segmentos temporales y se entrelazan.
  • Siempre se añade un prompt de texto como instrucción al final de la secuencia.
• Alineación Temporal: Se utiliza TMRoPE (Time-Aligned Multimodal Rotary Position Embedding) para asegurar una alineación temporal precisa entre los tokens de habla, audio y video.
• Fusión de Características Jerárquica:
  • En lugar de usar solo el token final (last-token pooling) de la última capa, WAVE agrega los tokens de salida de todas las capas del LLM.
  • Estos tokens concatenados pasan por un módulo de fusión ligero (MLP de dos capas) para generar la incrustación multimodal final. Esto captura tanto señales perceptuales de bajo nivel como abstracciones semánticas de alto nivel.

Estrategia de Entrenamiento

El modelo se entrena mediante un enfoque conjunto de múltiples modalidades y múltiples tareas:

1. Tarea de Recuperación (Retrieval): Utiliza aprendizaje contrastivo (InfoNCE) para alinear pares de cualquier modalidad a cualquier otra (texto-audio, video-texto, audio-video, etc.). Se emplea muestreo negativo dentro del lote (in-batch negative sampling).
2. Tarea de Respuesta a Preguntas (QA): Entrena al modelo para generar incrustaciones conscientes del prompt (prompt-aware). Dado un input multimodal y una pregunta, el modelo debe generar una representación que se alinee con la respuesta correcta y se distinga de respuestas incorrectas (distractores).

3. Contribuciones Clave

1. Primer MLLM de Incrustación Audio-Visual Unificada: WAVE es el primer modelo capaz de producir representaciones unificadas para texto, audio, video silencioso y audio-video sincronizado en un solo espacio semántico.
2. Incrustaciones Conscientes del Prompt: A diferencia de los modelos tradicionales, WAVE puede condicionar sus incrustaciones en instrucciones específicas del usuario, mejorando drásticamente el rendimiento en tareas de QA multimodal.
3. Arquitectura Efectiva:
   • Uso de un codificador de audio dual para capturar tanto habla como sonidos ambientales.
   • Fusión jerárquica de características que aprovecha la información de todas las capas del LLM, superando a las estrategias de pooling tradicionales.
4. Entrenamiento Conjunto: Demuestra que el entrenamiento simultáneo en diversas modalidades y tareas fomenta una transferencia de conocimiento positiva, creando un espacio de incrustación más robusto.

4. Resultados Experimentales

WAVE establece un nuevo estado del arte (SOTA) en varios benchmarks:

• Rendimiento en Video (MMEB-v2): Supera a todos los modelos de código abierto existentes en la pista de video de MMEB-v2, incluyendo tareas de clasificación, QA y recuperación. Incluso supera al modelo industrial Seed-1.6-Embedding.
• Recuperación Audio-Visual: Logra resultados superiores en recuperación de audio a texto y, crucialmente, en recuperación de video a audio (una tarea desafiante que salta la modalidad de texto), superando significativamente a los modelos de codificadores separados.
• Respuesta a Preguntas (QA):
  • En benchmarks de QA de video (Video-MME, MVBench, etc.), WAVE con prompts separados supera a los modelos base en un ~12% promedio.
  • Se observa una degradación drástica si se usan prompts genéricos, lo que valida la importancia de la capacidad de seguir instrucciones para generar incrustaciones útiles.
• Transferencia Cruzada: El modelo supera a su base (Qwen2.5-Omni) en benchmarks de razonamiento de audio, a pesar de haber sido entrenado principalmente en QA de video, demostrando un espacio de incrustación agnóstico a la modalidad.

5. Significado e Impacto

• Paradigma Unificado: WAVE valida la hipótesis de que un único modelo basado en LLM puede manejar eficazmente modalidades estáticas y dinámicas (audio/video) en un espacio compartido, eliminando la necesidad de arquitecturas complejas de codificadores múltiples.
• Aplicabilidad: Abre la puerta a aplicaciones de "cualquier cosa a cualquier cosa" (any-to-any), como búsqueda cruzada compleja, sistemas de recomendación multimodales y asistentes inteligentes que comprenden instrucciones específicas sobre contenido audiovisual.
• Reproducibilidad: El equipo ha liberado el código y los puntos de control (checkpoints) en GitHub, estableciendo una nueva línea base potente para la investigación futura en aprendizaje de representaciones audio-visuales universales.

En resumen, WAVE representa un avance significativo al demostrar que los MLLMs pueden ser adaptados para generar incrustaciones multimodales versátiles, conscientes de las instrucciones y de alto rendimiento, superando las limitaciones de los enfoques tradicionales de codificadores separados.