💻 computer science

MUSE: A Multi-agent Framework for Unconstrained Story Envisioning via Closed-Loop Cognitive Orchestration

Este artículo presenta MUSE, un marco de agentes múltiples que aborda los desafíos de generar historias audiovisuales de larga duración mediante el empleo de un proceso de orquestación cognitiva de bucle cerrado para planificar, ejecutar, verificar y revisar el contenido de manera iterativa, asegurando así la coherencia narrativa y la consistencia de la identidad a lo largo de secuencias extendidas.

Autores originales: Wenzhang Sun, Zhenyu Wang, Zhangchi Hu, Chunfeng Wang, Hao Li, Wei Chen

Publicado 2026-02-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenzhang Sun, Zhenyu Wang, Zhangchi Hu, Chunfeng Wang, Hao Li, Wei Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres contar una historia larga y compleja a un amigo, pero solo tienes una única frase para empezar: "Un niño se embarca en una aventura en un bosque".

Si le pides a una IA estándar que convierta esa frase en una película, podría crear una primera escena hermosa. Pero para cuando llega a la quinta o décima escena, el rostro del niño podría parecer el de una persona diferente, el bosque podría convertirse repentinamente en un desierto, o la historia podría olvidar lo que sucedió en la primera escena. La IA se "emborracha" con la tarea inmediata de crear la siguiente imagen, perdiendo la visión general de toda la historia.

MUSE es un nuevo sistema diseñado para solucionar esto. Piensa en MUSE no como un único artista, sino como un equipo de producción cinematográfica altamente organizado que trabaja en conjunto para asegurar que la historia se mantya consistente desde el primer fotograma hasta el último.

Así es como funciona MUSE, desglosado en partes sencillas:

1. El Problema: El "Artista Borracho"

Los generadores de video por IA actuales son como un artista talentoso pero con visión de corto alcance. Son excelentes pintando una imagen hermosa basada en un prompt. Pero si les pides que pinten una película entera, olvidan las reglas. El personaje principal podría cambiar de ropa, la iluminación podría pasar de día a noche aleatoriamente, o la voz del personaje podría sonar como la de una persona distinta en la siguiente escena. Esto se llama "deriva semántica".

2. La Solución: Un Equipo de Rodaje de "Ciclo Cerrado"

MUSE resuelve esto tratando la narración de historias como una fábrica de ciclo cerrado en lugar de una calle de un solo sentido. Utiliza un equipo de agentes de IA especializados (trabajadores digitales) que se revisan y corrigen constantemente entre sí.

El proceso ocurre en tres etapas principales, como una producción cinematográfica real:

Preproducción (El Director de Casting y el Guionista):
Antes de que se realice cualquier video, MUSE crea una "Biblia de Personajes". Establece exactamente cómo luce el personaje principal (edad, ropa, estilo) y cómo suena (tono y altura de la voz). Crea una "tarjeta de identidad" digital para el personaje. Esta tarjeta de identidad es el libro de reglas que debe seguirse durante toda la película.
- Analogía: Imagina a un director de casting que toma una foto perfecta y una grabación de voz de un actor y dice: "Este es quien usaremos. No cambies nada".
Producción (El Director y el Diseñador de Set):
Ahora, el sistema comienza a generar las escenas. Pero no solo adivina. Utiliza la "tarjeta de identidad" para asegurar que el personaje luzca igual. Si el guion dice que el personaje sostiene una espada, MUSE verifica la disposición para asegurarse de que la espada esté realmente allí y no flotando en el aire.
- Analogía: El director está constantemente gritando: "¡Espera! ¡Ese actor se ve diferente! ¡Arréglalo!" antes de que la cámara siquiera empiece a rodar.
Postproducción (El Editor y el Supervisor de Continuidad):
Una vez creadas las escenas, MUSE revisa las "costuras" entre ellas. ¿Se movió la mano del personaje suavemente de la última toma a esta? ¿Fluyó la historia lógicamente? Si la IA accidentalmente hizo que el personaje atravesara una pared o si la voz suena demasiado alegre para una escena triste, MUSE lo detecta.
- Analogía: Un editor que ve la película y dice: "Esta escena no coincide con la anterior. Corrijamos la transición antes de mostrársela a la audiencia".

3. El Bucle "Planificar-Ejecutar-Verificar-Revisar"

El ingrediente secreto de MUSE es que no solo genera y espera lo mejor. Sigue un ciclo estricto:

Planificar: Decidir qué debe suceder a continuación.
Ejecutar: Generar el video/audio.
Verificar: Un agente "crítico" comprueba si el resultado coincide con el plan y la identidad del personaje.
Revisar: Si algo está mal (por ejemplo, si falta el sombrero del personaje), MUSE arregla solo esa parte específica, en lugar de desechar toda la escena y empezar de nuevo.

4. La Nueva Prueba: MUSEBench

¿Cómo sabes si una historia es buena si no hay una respuesta "correcta"? Los autores crearon un nuevo campo de pruebas llamado MUSEBench.
En lugar de comparar la salida de la IA con un video de referencia perfecto (que no existe para historias creativas), MUSEBench utiliza un juez de IA inteligente para calificar la historia en aspectos como:

Consistencia: ¿Se mantuvo igual el personaje?
Flujo de la Historia: ¿Tuvo sentido la trama?
Armonía Audiovisual: ¿Coincidió la voz con el estado de ánimo de la escena?

El Resultado

El artículo demuestra que MUSE es mucho mejor manteniendo la coherencia de las historias largas que los métodos anteriores. Mantiene a los personajes con la misma apariencia y voz, mantiene el tono adecuado y asegura que la historia no se desmorone a medida que se alarga.

En resumen: MUSE es como un equipo de producción cinematográfica súper organizado que se niega a dejar que la historia se vuelva caótica. Planifica con antelación, revisa su trabajo constantemente y corrige los errores de inmediato, asegurando que un simple prompt pueda transformarse en una película larga, inmersiva y consistente.

Resumen Técnico: MUSE – Un marco multiagente para la visión de historias sin restricciones mediante la orquestación cognitiva de bucle cerrado

1. Definición del Problema

El artículo aborda el desafío fundamental de generar historias audiovisuales de larga duración y coherentes a partir de prompts de usuario cortos y no estructurados. Los sistemas de generación multimodal actuales suelen depender de pipelines de paso único (feed-forward) o de refinamiento basado únicamente en prompts. A medida que el horizonte de generación se extiende, estos enfoques sufren una brecha entre intención y ejecución: la intención narrativa de alto nivel (identidad de los personajes, relaciones espaciales, progresión causal) no logra persistir a través de docenas de pasos de generación. Esto conduce a la deriva semántica, la inconsistencia de identidad (los personajes cambian de apariencia o voz) y la discontinuidad temporal entre tomas. Los autores argumentan que estos fallos no se deben meramente a modelos generativos imperfectos, sino a la falta de restricciones persistentes y máquinas-interpretables que unan la intención narrativa abstracta con la ejecución estocástica y local.

2. Metodología: El Marco MUSE

MUSE redefine la narración de larga duración no como una tarea de generación de un solo paso, sino como un problema de cumplimiento de restricciones de bucle cerrado. Emplea un sistema multiagente modular coordinado por un controlador omnimodal que ejecuta un bucle iterativo de Planificación–Ejecución–Verificación–Revisión (Plan–Execute–Verify–Revise).

2.1 Arquitectura Central

El marco desacopla la planificación de alto nivel de la ejecución de bajo nivel, manteniendo una memoria de estado compartido ( $H$ ) que almacena información persistente (identidades de personajes, restricciones de toma, diseños aceptados) a través de los pasos.

Representación de Control Explícito: En lugar de depender de reintentos en lenguaje natural, MUSE traduce la intención narrativa en controles explícitos y ejecutables por máquina (por ejemplo, anclajes de identidad, diseños de cajas delimitadoras [bounding box], límites temporales).
Retroalimentación Estructurada: La verificación se realiza mediante señales multimodales estructuradas y tipadas (por ejemplo, desajuste de identidad, violación de diseño) en lugar de un auto-refinamiento heurístico. Esto permite revisiones dirigidas y acotadas en lugar de un remuestreo sin restricciones.

2.2 Orquestación de Tres Fases

El proceso de generación se divide en tres fases especializadas gestionadas por equipos de agentes distintos:

Preproducción (Anclaje de Identidad):
- Objetivo: Establecer estados narrativos globales que permanezcan invariantes (identidad del personaje, estilo).
- Mecanismo: El sistema descompone el guion y construye estados de identidad multimodales persistentes ( $z_c = \{z^{(c)}_{vis}, z^{(c)}_{voc}\}$ ).
- Innovación: Introduce la Síntesis de Rasgos Vocales (VTS), que deriva representaciones vocales estables directamente de descriptores semánticos (edad, género, timbre) sin requerir audio de referencia. Esto "bloquea" la identidad acústica antes de la generación, evitando la deriva de la voz.
- Verificación: Comprueba la alineación de las instrucciones y la consistencia entre personajes antes de que ocurra cualquier renderizado.
Producción (Composición Espacial):
- Objetivo: Sintetizar activos visuales y de audio a nivel de toma mientras se refuerzan las restricciones espaciales y cinematográficas.
- Mecanismo: Utiliza el Enrutamiento Dinámico para elegir entre la generación directa y la síntesis guiada por diseño. Cuando se requiere control espacial, sintetiza un diseño grueso ( $L^{(i)}_{bbox}$ ) como un prior estructural duro para el generador visual.
- Verificación: Evalúa la presencia de entidades, la coherencia visual y la calidad de integración. Las revisiones se localizan en las regiones de fallo (por ejemplo, ajustando diseños o modificando las rutas de generación) en lugar de regenerar toda la toma.
Postproducción (Síntesis Temporal):
- Objetivo: Ensamblar activos estáticos en tomas de video temporalmente coherentes.
- Mecanismo: Modela la generación temporal como un proceso condicionado por el estado. Cada toma se genera condicionada al segmento actual del guion y al estado terminal de la toma anterior ( $Tail(v_{i-1})$ ).
- Innovación: Utiliza una Ventana Deslizante de Contexto para evitar reinicios de estado y discontinuidades de movimiento.
- Verificación: Audita el cumplimiento de los límites y la filtración narrativa (por ejemplo, asegurar que los eventos de la siguiente escena no aparezcan prematuramente).

3. Protocolo de Evaluación: MUSEBench

Reconociendo que la narración abierta carece de referencias de verdad absoluta (ground-truth), los autores introducen MUSEBench, un protocolo de evaluación sin referencias.

Alcance: Contiene 30 prompts narrativos curados a través de cinco géneros (Thriller, Vida Cotidiana, Época, Ciencia Ficción, Fantasía) con diversas complejidades.
Métricas: Evalúa la calidad del guion, la consistencia visual, la alineación visual-guion y la generación de audio. Utiliza Modelos Multimodales Grandes (LMMs) para la puntuación, validados contra juicios humanos.
Métricas Clave: Incluye la Resolución de Estado Narrativo (NSR), la Riqueza de Expansión de la Historia (SER), la Puntuación de Elaboración Creativa (CES) y una novedosa Puntuación de Efectividad Narrativa (NES) para medir la sinergia audiovisual (penalizando la narración tautológica).

4. Resultados Experimentales

El artículo compara MUSE con líneas base representativas (Vlogger, AnimDirector, MMStoryAgent, V-GOT, MovieAgent) tanto en ViStoryBench (dependiente de referencias) como en MUSEBench (sin referencias).

Rendimiento Cuantitativo: MUSE supera sustancialmente a las líneas base en coherencia narrativa de largo alcance y consistencia de identidad transmodal. En MUSEBench, logra puntuaciones más altas en calidad de guion (NSR, SER, CES) y alineación visual-guion.
Consistencia de Identidad: MUSE demuestra mejoras significativas en la Puntuación de Identidad de Personaje (CIDS) y una reducción en la Distancia de Estilo de Personaje (CSD), particularmente en el mantenimiento de identidades de personajes no humanos y la prevención de alucinaciones estructurales.
Sinergia Audio-Visual: A diferencia de las líneas base que a menudo carecen de audio o utilizan TTS genérico, el módulo VTS de MUSE permite la síntesis de audio personalizada impulsada por texto, logrando una consistencia superior en edad, emoción y prosodia en comparación con modelos como CosyVoice2 y F5-TTS en tareas de continuación.
Estudios de Ablación: Los experimentos confirman que tanto el módulo de Planificación (para la descomposición racional del guion) como el módulo de Retroalimentación (para revisiones dirigidas) son críticos. El mecanismo de retroalimentación impulsa específicamente las mejoras en la preservación de la identidad y la coherencia del estilo.

5. Significado y Reivindicaciones

El artículo reivindica tres contribuciones principales:

Reformulación del Problema: Cambia el paradigma de la generación sin restricciones al cumplimiento de restricciones de bucle cerrado, modelando explícitamente la intención narrativa como restricciones ejecutables por máquina para cerrar la brecha entre intención y ejecución.
El Marco MUSE: Propone un sistema multiagente que impone la consistencia global mediante un bucle estructurado, utilizando representaciones de control explícitas y retroalimentación multimodal tipada para permitir correcciones dirigidas a través de la visión, el audio y el tiempo.
MUSEBench: Introduce un protocolo de evaluación multidimensional y sin referencias que permite la evaluación holística de sistemas de narración abierta sin restringir la generación a guiones predefinidos.

Los autores concluyen que MUSE demuestra que la imposición de restricciones narrativas globales mediante la orquestación de bucle cerrado mejora sustancialmente la calidad cinematográfica y la coherencia de las historias audiovisuales de larga duración. Reconocen limitaciones, tales como las dificultades para mantener la identidad en escenas concurridas u ocluidas y la necesidad de un mayor control sobre el habla expresiva, pero afirman que su enfoque proporciona un camino escalable hacia una narración fiable de largo alcance.