CANVAS: Continuity-Aware Narratives via Visual Agentic Storyboarding

1. El Problema: Inconsistencia en la Narrativa Visual de Largo Alcance

La generación de historias visuales de largo formato (como storyboards o videos narrativos) requiere mantener la continuidad a través de múltiples tomas. Los modelos generativos actuales, aunque capaces de producir imágenes individuales de alta calidad, fallan al preservar la coherencia a largo plazo. Esto se manifiesta en tres problemas principales:

• Deriva de personajes: Los personajes cambian de apariencia (rostro, ropa, peinado) entre tomas sin justificación narrativa.
• Inestabilidad de entornos: Cuando una ubicación reaparece en la historia, el fondo o la arquitectura a menudo cambian drásticamente.
• Inconsistencia de objetos: Los objetos (props) aparecen, desaparecen o cambian de estado (ej. de "presente" a "robado") de manera ilógica o contradictoria con los eventos previos.

Los métodos existentes suelen generar fotogramas de forma secuencial basándose solo en el fotograma anterior o en referencias estáticas, sin modelar explícitamente el estado del mundo narrativo (personajes, ubicaciones y estados de objetos) que evoluciona con el tiempo.

2. Metodología: CANVAS

El autores proponen CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding), un marco de trabajo multi-agente libre de entrenamiento (training-free) que trata la generación de storyboards como un problema de modelado explícito del estado del mundo.

El sistema opera en tres etapas principales:

A. Planificación Global de la Historia

Antes de generar cualquier imagen, un agente planificador analiza la secuencia de descripciones de las tomas ($S$) y construye un plan de continuidad global ($P$) que define:

• Estados de Personajes ($C$): Mapea la apariencia visual de cada personaje en cada toma (ej. "Ethan en abrigo", "Lena en uniforme de seguridad").
• Asignaciones de Ubicación ($L$): Agrupa las tomas por identidad de ubicación para asegurar que los entornos recurrentes mantengan su estructura espacial.
• Transiciones de Estado de Objetos ($O$): Rastrea el estado lógico de los objetos (ej. "artefacto presente" $\to$ "robado" $\to$ "ausente").

B. Generación Secuencial con Memoria Visual

CANVAS genera las tomas una por una, manteniendo una memoria visual persistente ($M$) que almacena:

• Anclajes de Personajes: Imágenes de referencia de la apariencia actual de cada personaje.
• Anclajes de Ubicación: Imágenes de fondo de los entornos para reutilizarlos cuando la escena reaparece.
• Memoria de Objetos: Estado visual de los props.

Para cada nueva toma, el sistema recupera los anclajes relevantes de la memoria según el plan global. Si la toma es una continuación inmediata, usa el fotograma anterior; si es una reaparición de una ubicación, usa el anclaje de fondo guardado.

C. Selección de Candidatos Basada en QA (Preguntas y Respuestas)

El sistema genera múltiples candidatos para cada toma. Un agente evaluador (basado en un Modelo de Lenguaje Visual - VLM) califica cada candidato mediante preguntas específicas derivadas del plan global:

• ¿El personaje coincide con el estado de apariencia planificado?
• ¿El fondo mantiene la geometría de la ubicación?
• ¿El estado del objeto (ej. robado) es correcto?
  Se selecciona el fotograma con la puntuación más alta, asegurando la alineación narrativa y la consistencia visual.

3. Contribuciones Clave

1. Marco CANVAS: La primera arquitectura multi-agente libre de entrenamiento que modela la generación de storyboards como un seguimiento explícito del estado del mundo (personajes, ubicaciones, objetos) mediante planificación global, recuperación guiada por memoria y actualizaciones secuenciales.
2. HardContinuityBench: Un nuevo benchmark diseñado para estresar la consistencia narrativa a largo plazo. A diferencia de los benchmarks anteriores, incluye reapariciones de ubicaciones con grandes brechas temporales, cambios frecuentes de apariencia de personajes y transiciones complejas de estado de objetos.
3. ContinuityEval: Una métrica de evaluación fina basada en VLM que mide la consistencia en tres dimensiones: personajes, fondos y objetos, mostrando una alta correlación con juicios humanos.

4. Resultados Experimentales

CANVAS se evaluó en tres benchmarks: ViStoryBench, ST-Bench y el nuevo HardContinuityBench, comparándose contra los mejores métodos state-of-the-art (como AutoStudio, Story-Iter, Story2Board y Gemini-CT).

• Rendimiento General: CANVAS superó consistentemente a todos los baselines.
• Mejoras Cuantitativas:
  • Mejora en consistencia de fondo: +21.6%.
  • Mejora en consistencia de personajes: +9.6%.
  • Mejora en consistencia de objetos (props): +7.6%.
• Estudio de Preferencia Humana: En una comparación pareada, CANVAS fue preferido por los anotadores humanos hasta en un 90.9% en consistencia de fondo y objetos, y un 86.7% en consistencia de personajes frente a los mejores baselines.
• Análisis de Ablación: Se demostró que eliminar la memoria de personajes o la planificación de fondos degrada severamente la consistencia (hasta un 50-57% en fondos), confirmando que la gestión explícita del estado del mundo es crucial.
• Generación de Video: Al usar los storyboards de CANVAS para inicializar modelos de imagen-a-video (Veo-3.1), se obtuvo una mayor coherencia narrativa y calidad cinematográfica en videos generados.

5. Significado e Impacto

El trabajo de CANVAS representa un cambio de paradigma en la generación de historias visuales. En lugar de depender únicamente de la similitud visual entre fotogramas adyacentes (lo que lleva a errores acumulativos), CANVAS introduce un razonamiento estructurado sobre el mundo narrativo.

• Solución a la deriva: Al mantener un "libro de estilo" y un mapa de estado del mundo actualizado, el sistema puede recuperar la identidad correcta de un personaje o la arquitectura de un edificio incluso después de muchas tomas intermedias.
• Aplicabilidad: Al ser un método libre de entrenamiento (training-free), es fácilmente adaptable a cualquier modelo generador de imágenes moderno (como Gemini o Stable Diffusion) sin necesidad de reentrenamiento costoso.
• Futuro: Abre la puerta a la creación de narrativas visuales largas y coherentes, esenciales para la automatización de cine, animación y contenido interactivo, abordando uno de los mayores cuellos de botella actuales en la IA generativa multimodal.