Directing the Narrative: A Finetuning Method for Controlling Coherence and Style in Story Generation

1. El Problema: Inconsistencia en la Visualización de Historias

La visualización de historias (story visualization) busca transformar narrativas textuales en secuencias visuales coherentes. El desafío principal radica en el compromiso (trade-off) entre la diversidad generativa y la consistencia de la identidad.

• Desviación de Identidad (Identity Drift): Los modelos de difusión estándar, entrenados en muestras independientes, carecen de un mecanismo intrínseco para mantener la correspondencia entre frames. Esto provoca que los rasgos faciales, la ropa o la apariencia de los personajes cambien aleatoriamente a lo largo de la historia.
• Inconsistencia de Estilo: La falta de coherencia en el estilo artístico rompe el flujo narrativo.
• Limitaciones de Métodos Actuales:
  • Métodos basados en optimización (LoRA, DreamBooth): Requieren un ajuste computacionalmente costoso por sujeto, limitando la escalabilidad.
  • Métodos basados en codificadores (IP-Adapter): Dependen de codificadores externos (como CLIP) que comprimen la información, creando un "cuello de botella" que pierde detalles finos de la identidad y genera conflictos semánticos con el control textual.

2. Metodología Propuesta

Los autores proponen un marco de trabajo cohesivo de dos etapas que transforma el modelo base preentrenado FLUX.1 (un Transformer de Difusión basado en Flow Matching) en un visualizador de historias consistente.

Etapa 1: Aprendizaje de Contexto Preservador de Identidad (GSA)

Se introduce un mecanismo novedoso llamado Atención Compartida por Grupo (Group-Shared Attention - GSA).

• Concepto: En lugar de usar codificadores externos, GSA permite un flujo de información sin pérdida dentro de las capas de atención del modelo.
• Mecanismo: Durante el entrenamiento, se trata un lote de imágenes como un grupo. Se selecciona una imagen como "objetivo" (con ruido) y las demás como "referencias" (limpias, sin ruido).
• Funcionamiento: Se expande la ventana de atención para que la imagen objetivo pueda acceder directamente a los tokens visuales de alta resolución de las imágenes de referencia dentro del mismo lote.
• Ventaja: Esto permite al modelo aprender a recuperar y alinear características estructurales finas (rostro, ropa) directamente desde las referencias internas, sin comprimir la información en embeddings globales.
• Estrategia de Muestreo: Se utiliza un muestreo de tiempo asimétrico: el objetivo tiene un paso de tiempo $t > 0$ (ruido), mientras que las referencias tienen $t = 0$ (limpias), asegurando que el modelo aprenda a reconstruir la identidad basándose en características visuales puras.

Etapa 2: Refinamiento mediante Optimización Directa de Preferencias (DPO)

Una vez establecida la consistencia estructural, la Etapa 2 alinea el modelo con los estándares estéticos y narrativos humanos.

• Enfoque: Se utiliza Direct Preference Optimization (DPO) en lugar de funciones de pérdida auxiliares conflictivas.
• Proceso: Se construye un conjunto de datos curado donde se comparan pares de generaciones: "ganadores" (alta fidelidad, consistencia perfecta) y "perdedores" (artefactos, distorsiones, inconsistencias).
• Objetivo: Se entrena un adaptador auxiliar ($\Phi_d$) para maximizar la probabilidad de las muestras preferidas y minimizar la de las no preferidas, manteniendo congelado el adaptador de consistencia de la Etapa 1.
• Resultado: Esto actúa como un filtro semántico que elimina artefactos anatómicos y mejora la fidelidad visual sin sacrificar la identidad aprendida previamente.

3. Construcción de Datos

Para apoyar este entrenamiento, los autores desarrollaron dos tuberías de datos (pipelines):

1. Procesamiento de Libros Ilustrados: Filtrado semántico, eliminación de texto mediante inpainting y formación de secuencias narrativas limpias.
2. Procesamiento de Video: Extracción de frames de películas y animaciones, filtrado por calidad visual, localización de sujetos y agrupación de clústeres de personajes para garantizar consistencia de identidad.
   Se utilizó el modelo Florence-2 para la anotación semántica densa y precisa de las imágenes.

4. Resultados Clave

El método fue evaluado en el benchmark ViStoryBench, superando significativamente a los baselines más fuertes (como StoryGen, StoryDiffusion, StoryAdapter y UNO).

• Métricas Cuantitativas:
  • Identidad de Personaje (CIDS): Mejora de +10.0 puntos sobre el mejor baseline (UNO).
  • Consistencia de Estilo (CSD): Mejora de +18.7 puntos sobre UNO.
  • El método logró el estado del arte (SOTA) en 5 de las 6 métricas evaluadas.
• Estudio de Usuarios: En una escala Likert de 5 puntos, el método propuesto obtuvo la puntuación más alta en Consistencia de Personaje (4.60 vs 3.48 de UNO) y Estética Subjetiva (4.61), confirmando que la mejora técnica se traduce en una percepción humana superior.
• Análisis Cualitativo: El modelo demostró una capacidad superior para mantener estilos artísticos específicos (ej. ilustración 2D plana) y persistencia de identidad en escenas dinámicas con múltiples personajes, donde otros modelos fallaban o generaban artefactos.

5. Contribuciones y Significado

• Innovación Arquitectónica: La introducción de GSA demuestra que la consistencia puede aprenderse intrínsecamente mediante la interacción directa de características de alta resolución, eliminando la necesidad de codificadores externos que degradan la información.
• Marco de Entrenamiento Híbrido: La combinación de pre-entrenamiento estructural (GSA) y refinamiento basado en preferencias (DPO) resuelve eficazmente el conflicto entre la adherencia rígida a la identidad y la generación semántica de alta fidelidad.
• Impacto en el Campo: Este trabajo establece un nuevo estándar para la generación de historias visuales, ofreciendo una solución escalable y robusta para aplicaciones que requieren continuidad estricta de personajes, como la creación de cómics, animación y narrativa interactiva.

En resumen, el artículo presenta una solución técnica sólida que aborda la raíz del problema de la inconsistencia en la generación de historias, moviéndose desde enfoques de optimización costosa o compresión de información hacia una arquitectura de atención compartida y alineación con preferencias humanas.