💻 computer science

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

Este artículo presenta MultiRef-Compass, un benchmark unificado que comprende 350 muestras curadas y un protocolo de evaluación de cuatro dimensiones con 14 submétricas, diseñado para evaluar exhaustivamente la capacidad emergente de los sistemas de generación de audio y video a partir de múltiples referencias para preservar, vincular y componer múltiples referencias en contenido coherente y sincronizado.

Autores originales: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director intentando filmar una escena de una película. En los viejos tiempos del video por IA, solo podías darle a la computadora un guion simple: "Haz un video de un gato". La IA adivinaba cómo era el gato, dónde estaba y qué sonido hacía. Pero ahora, los creadores quieren más control. Quieren decir: "Usa esta foto específica de mi perro para la cara, esta otra foto de su perfil lateral, y esta tercera foto de su juguete favorito, todo mientras ladra ante un sonido específico". Este es el mundo de la generación de Video-Audio-Referencia Múltiple (MR2AV). Es como pedirle a una IA que sea un maestro chef que no solo debe cocinar una comida, sino también usar ingredientes específicos de tres frascos diferentes, disponerlos en el plato exactamente como se muestran en una foto, y asegurarse de que el sonido del chisporroteo coincida perfectamente con la acción de cocinar. El problema es que no teníamos una buena forma de calificar qué tan bien estaba realizando la IA este complejo baile. Teníamos pruebas para recetas simples, pero nada para este desafío multisensorial de múltiples ingredientes.

Entra MultiRef-Compass, una nueva "boleta de calificaciones" diseñada por investigadores para probar exactamente esta habilidad. Piensa en esto como una rigurosa prueba de sabor para los creadores de video por IA. El equipo construyó un conjunto de datos especial de 350 escenarios cuidadosamente elaborados —como un desafío de un programa de cocina donde todos los concursantes reciben exactamente las mismas tres fotos de una persona, un zapato y un comensal, además de un guion que dice: "La persona se prueba el zapato y pregunta si le queda". Luego pidieron a ocho modelos de IA diferentes (incluyendo nombres importantes como Kling, Seedance y Gemini) que generaran el video.

Los investigadores no se limitaron a observar si el video se veía "bien". Dividieron la calificación en cuatro categorías específicas, como una rúbrica detallada:

Calidad Básica: ¿El video se ve claro y suena bien, o es borroso y chirriante?
Consistencia de Referencia: ¿Realmente usó la IA las fotos que le diste? ¿Mantuvo la cara de la persona igual, o accidentalmente la cambió por la de un extraño? ¿Pegó el zapato correctamente al pie, o simplemente pegó una calcomanía de un zapato en la pantalla?
Consistencia Audio-Visual: Cuando la persona en el video habla, ¿se mueven sus labios? Cuando alguien pisa el suelo, ¿se escucha un paso?
Seguimiento de Instrucciones: ¿Hizo la IA exactamente lo que pedía el guion, o ignoró la parte del zapato y solo mostró a la persona caminando?

Para calificar esto, utilizaron una mezcla de herramientas informáticas y un "juez de IA súper inteligente" (un Modelo de Lenguaje Multimodal Grande) que actúa como un crítico de cine. Incluso añadieron un paso especial de "re-juicio" para asegurar que el crítico de IA no fuera demasiado severo o demasiado permisivo, garantizando que las puntuaciones fueran justas.

Los resultados fueron un golpe de realidad. Aunque algunos modelos se están volviendo muy buenos para hacer que las cosas se vean bonitas, todavía están luchando con las partes difíciles. El artículo sugiere que los modelos actuales a menudo fallan en la vinculación (binding): pueden reconocer la cara en la foto, pero olvidan conectarla al cuerpo, o pueden confundir quién es la persona que debe estar hablando. Un modelo, Seedance 2.0, resultó ser el mejor en general porque era el más equilibrado, desempeñándose bien en las cuatro categorías. Sin embargo, incluso los mejores modelos mostraron un "margen sustancial de mejora". Descubrieron que cuando se le pide a una IA que haga malabares con múltiples referencias e instrucciones complejas al mismo tiempo, a menudo deja caer la pelota, creando videos donde los personajes parecen recortes, las voces no coinciden con los hablantes o la historia se desordena.

En resumen, MultiRef-Compass nos muestra que, aunque el video por IA es impresionante, aún no está listo para ser un director confiable para historias complejas de referencia múltiple. Es una herramienta que necesita más entrenamiento para entender cómo tejer múltiples pistas en una sola escena coherente y de aspecto natural. El benchmark en sí mismo está ahora abierto para que todos lo usen, actuando como una base para ayudar a los futuros modelos de IA a aprender a ser mejores en este tipo de trabajo creativo específico y complicado.

Resumen Técnico: MultiRef-Compass

Declaración del Problema

El campo de la generación de audio y video ha evolucionado desde los paradigmas impulsados por texto (T2AV) y de una sola referencia (R2AV) hacia la generación de Multi-Referencia-a-Audio-Video (MR2AV). En el MR2AV, los modelos deben sintetizar contenido de audio y video coherente condicionado por múltiples referencias (imágenes, videos, audio) e instrucciones textuales. Aunque los benchmarks existentes como T2AV-Compass, UniVencia y OpenS2V-Nexus evalúan el seguimiento de instrucciones, la consistencia del sujeto o la alineación audiovisual, en gran medida no abordan las complejidades específicas del entorno MR2AV.

Los protocolos de evaluación actuales son insuficientes porque no prueban rigurosamente:

Comprensión de referencias cruzadas: La capacidad de distinguir si múltiples imágenes de referencia representan diferentes vistas de un mismo sujeto o entidades distintas.
Vinculación compositiva: La capacidad de asignar correctamente roles, acciones e interacciones a entidades de referencia específicas a través de las modalidades visual y de audio.
Integración visual natural: La capacidad de mezclar las apariencias referenciadas en una escena generada sin producir artefactos de "copiar y pegar" o una división de identidad rígida.

Consecuentemente, existe una falta de un benchmark unificado capaz de diagnosticar si los modelos pueden interpretar, vincular y componer conjuntamente múltiples referencias en eventos audiovisuales sincronizados.

Metodología

1. Construcción del Conjunto de Datos: MultiRef-Compass

Los autores introducen MultiRef-Compass, un benchmark que comprende 350 muestras cuidadosamente seleccionadas construidas mediante un pipeline de composición de activos impulsado por una taxonomía escalable. El conjunto de datos se construye en tres etapas:

Curaduría de Packs de Activos: Recopilación de packs de escenas, videos y voces libres de derechos, junto con packs de sujetos construidos a partir de videos del mundo real o identidades de múltiples vistas generadas por AIGC. Todos los activos son verificados manualmente para asegurar la consistencia de identidad y calidad.
Composición de Activos por Tablero: Las muestras se organizan en cuatro "tableros" para controlar la complejidad:
- Tablero 1 (B1): Condicionamiento de múltiples vistas de la misma identidad (prueba la consistencia de vista).
- Tablero 2 (B2): Composiciones heterogéneas (sujeto, objeto, escena).
- Tablero 3 (B3): Vinculación de múltiples entidades (prueba la asignación de roles e interacción).
- Tablero 4 (B4): Desafío extendido con referencias de video y audio.
Generación de Prompts Estructurados: Los prompts se generan utilizando un esquema estructurado (vía GPT-5.5) en lugar de texto libre, asegurando la especificación precisa de los requisitos visuales, de audio, de habla y temporales.

2. Marco de Evaluación

MultiRef-Compass emplea un marco de evaluación híbrido que integra métricas automáticas con un protocolo de MLLM-como-Juez mejorado por rejuicio. La evaluación cubre cuatro dimensiones con 14 submétricas:

Calidad Básica (BQ): Evalúa la fidelidad técnica.
- Calidad Técnica Visual (VTQ): Puntuaciones DOVER++.
- Calidad Técnica de Audio (ATQ): Puntuaciones de Audiobox.
- Calidad Anatómica (AQ): Lista de verificación MLLM para plausibilidad biológica y coherencia 3D.
Consistencia de Referencia (RC): Evalúa la preservación y vinculación.
- Fidelidad de Entidad (EF): Combina la similitud de embeddings (SigLIP/YOLO-World) con un coeficiente de naturalidad de pegado ( $P_{paste}$ ) estimado por un MLLM para penalizar artefactos de "copiar y pegar" tipo calcomanía.
- Preservación de Detalles (DP): Evaluación MLLM de detalles finos.
- Corrección de Vinculación (BC): Detección MLLM de intercambios de identidad o filtración de atributos.
Consistencia Audio-Visual (AVC): Evalúa la sincronización.
- Sincronización Labio-Habla (SLS): LatentSync en rostros frontales estables filtrados por MLLM.
- Emparejamiento Evento-Sonido (ESM) y Corrección de Fuente (SC): Evaluación MLLM de la alineación sonido-evento y atribución de locutor.
- Similitud de Timbre (TS): Similitud de embedding de locutor para referencias de voz.
Seguimiento de Instrucciones (IF): Evalúa la adherencia a los prompts.
- Incluye Seguimiento de Tareas Visuales (VT), Seguimiento de Tareas de Audio (AT), Precisión de Contenido de Habla (SCA) y Seguimiento de Orden Temporal (TO), todos evaluados mediante listas de verificación de MLLM.

Mecanismo de Rejuicio: Para mitigar la inconsistencia de los MLLM, una etapa de rejuicio ligero compara las puntuaciones iniciales y las justificaciones entre modelos para la misma muestra, corrigiendo juicios excesivamente estrictos o permisivos mientras preserva las definiciones originales de las métricas.

Contribuciones Clave

Benchmark MultiRef-Compass: El primer benchmark unificado para la generación MR2AV, que presenta 350 muestras impulsadas por taxonomía que cubren la preservación de múltiples vistas, la vinculación de múltiples entidades y la composición humano-objeto-escena.
Protocolo de Evaluación Híbrido: Un marco que integra métricas automáticas con un sistema de MLLM-como-Juez mejorado por rejuicio, diseñado específicamente para manejar el matiz de la vinculación de múltiples referencias y la consistencia cross-modal.
Análisis Empírico Exhaustivo: Evaluación extensa de ocho sistemas MR2AV representativos (6 de código cerrado, 2 de código abierto), revelando modos de falla específicos y brechas de capacidad.

Resultados Experimentales

Los autores evaluaron ocho modelos (incluyendo Seedance 2.0, Kling 3.0, HappyHouse 1.1, Gemini-Omni, Wan 2.7, Vidu Q3-Mix, SkyReels-V3 y Wan2.1-VACE) a través de las cuatro dimensiones.

Varianza de Rendimiento: Ningún modelo logró un rendimiento consistentemente fuerte en todas las dimensiones. Seedance 2.0 ocupó el primer lugar general debido a sus capacidades equilibradas, mientras que Kling 3.0 destacó en Consistencia de Referencia y Gemini-Omni en Calidad Básica y Consistencia Audio-Visual.
Desafíos de Consistencia de Referencia: Los modelos tuvieron dificultades significativas con composiciones complejas. La división de identidad (tratar múltiples vistas de un mismo sujeto como entidades distintas) y los artefactos de copiar y pegar fueron comunes. La métrica propuesta $P_{paste}$ degradó con éxito a los modelos que lograron una alta similitud de embedding mediante un copiado rígido en lugar de una síntesis natural.
Código Abierto vs. Código Cerrado: Los modelos de código abierto (SkyReels-V3, Wan2.1-VACE) se quedaron significativamente atrás de los sistemas de código cerrado, particularmente en Consistencia de Referencia y Seguimiento de Instrucciones, lo que indica dificultades para comprender las relaciones entre múltiples referencias.
Seguimiento de Instrucciones: Los modelos exhibieron fortalezas específicas de modalidad; por ejemplo, Seedance 2.0 fue fuerte en tareas visuales, mientras que Kling 3.0 funcionó mejor en instrucciones de audio y habla.
Alineación Humana: Las puntuaciones del benchmark mostraron fuertes correlaciones de Pearson con las preferencias humanas (0.89–0.96) en todas las dimensiones, validando el protocolo de evaluación.

Significado y Reivindicaciones

El artículo posiciona a MultiRef-Compass como una herramienta de diagnóstico fundamental para el campo emergente de la generación MR2AV. Los autores afirman que:

Los benchmarks actuales son insuficientes para el entorno MR2AV, ya que no logran distinguir entre la simple fidelidad de referencia y el razonamiento complejo requerido para vincular múltiples referencias.
El benchmark propuesto expone modos de falla específicos (ej. división de identidad, integración antinatural) que quedan ocultos por las puntuaciones de calidad agregadas en las evaluaciones existentes.
El progreso futuro en MR2AV depende no solo de mejorar componentes individuales (calidad visual o de audio), sino de la optimización conjunta de la calidad perceptual, la plausibilidad estructural, la coherencia de múltiples referencias y la adherencia a las instrucciones.
El benchmark proporciona un banco de pruebas escalable, auditable e interpretable para evaluar futuros sistemas de generación de audio y video con omni-referencia.