💻 computer science

LCG: Long-Context Consistent Image Generation with Sparse Relational Attention

Este artículo propone la Generación de Contexto Largo (LCG, por sus siglas en inglés), un marco que utiliza la Atención Relacional Dispersa y una Restricción de Consistencia de Enrutamiento para lograr una síntesis de múltiples imágenes consistente y escalable para narrativas visuales largas, validada mediante un nuevo conjunto de datos a gran escala y un rendimiento superior sobre los modelos de referencia en consistencia de personajes y semántica.

Autores originales: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un artista intentando dibujar un cómic. Tienes un guion con 20 escenas diferentes. El desafío no es solo dibujar una imagen hermosa, sino dibujar 20 imágenes seguidas donde el personaje principal se vea exactamente igual en cada panel, aunque lleve ropa diferente, esté en lugares distintos y haga cosas diferentes.

Las herramientas de arte de IA actuales son como artistas talentosos capaces de dibujar un retrato impresionante de una sola vez. Pero si les pides que dibujen una historia completa, tienden a "derivar". En el panel 1, el héroe tiene ojos azules y una cicatriz. Para el panel 10, el héroe podría tener de repente ojos verdes y sin cicatriz, o el villano podría parecerse al héroe. Este artículo, LCG, introduce una nueva forma de solucionar este problema.

Así es como funciona la solución de este artículo, desglosada en conceptos simples:

1. El Problema: La "Sobrecarga de Memoria"

Para mantener un personaje consistente a lo largo de 20 imágenes, la IA necesita mirar las 20 imágenes al mismo tiempo para recordar cómo es el personaje.

La forma antigua: Imagina intentar mantener una conversación con 20 personas a la vez, donde todos le gritan a todos los demás. A medida que el grupo se hace más grande, el ruido se vuelve imposible de gestionar y tu cerebro (la memoria de la computadora) colapsa. Esto es lo que sucede cuando la IA intenta mirar todas las imágenes de forma "densa" (conectando cada píxel de cada imagen con cada píxel de las demás).
El resultado: La IA se confunde, el personaje cambia de apariencia o la computadora se queda sin memoria.

2. La Solución: "Atención Relacional Dispersa" (SRA)

Los autores crearon un nuevo mecanismo llamado Atención Relacional Dispersa (SRA). Piensa en esto como darle a la IA un resaltador inteligente en lugar de un reflector de luz.

Cómo funciona: En lugar de que la IA intente conectar cada parte de la Imagen A con cada parte de la Imagen B, se pregunta: "¿Qué es lo más importante en la Imagen B que necesito ver para mantener la consistencia de la Imagen A?"
La analogía: Imagina que estás escribiendo la secuela de un libro. No necesitas releer toda la biblioteca de 1,000 libros para recordar el nombre del héroe. Solo necesitas mirar la ficha de índice de ese personaje específico. El SRA actúa como esa ficha de índice. Selecciona solo las "características principales" (como el rostro del héroe o un atuendo específico) de otras imágenes e ignora el resto. Esto mantiene a la computadora rápida y evita que se abrume, incluso con historias largas.

3. La Red de Seguridad: "Restricción de Consistencia de Enrutamiento" (RCC)

Incluso con el resaltador inteligente, la IA aún podría confundirse. Por ejemplo, si dos personajes visten ambos abrigos rojos, la IA podría intercambiar accidentalmente sus rostros.

Para detener esto, los autores añadieron una regla llamada Restricción de Consistencia de Enrutamiento (RCC).

La analogía: Imagina a un editor estricto que tiene una "hoja de personaje" (una máscara) para cada persona en la historia. El editor le dice a la IA: "Cuando dibujes al héroe en el Panel 5, debes mirar el rostro del héro en el Panel 1, NO el rostro del villano, incluso si ambos visten del mismo color".
Cómo funciona: El sistema utiliza estas "máscaras" para obligar a la IA a enrutar la información correctamente. Si la IA intenta copiar las características de la persona equivocada, el sistema dice: "No, ese es el camino incorrecto", y lo corrige. Esto asegura que el héroe siga siendo el héroe y el villano siga siendo el villano, incluso en escenas concurridas.

4. El Campo de Entrenamiento: Dataset LCCD

Para enseñar a la IA cómo hacer esto, los investigadores no pudieron usar fotos aleatorias de internet (debido a problemas de privacidad y derechos de autor). En su lugar, construyeron un conjunto de entrenamiento masivo y personalizado llamado LCCD (Dataset de Consistencia de Contexto Largo).

La escala: Crearon 600,000 secuencias de historias ficticias. Cada secuencia tiene de 6 a 20 imágenes.
La variedad: Algunas historias tienen un personaje, otras tienen muchos. Usaron IA para generar estas imágenes y luego usaron otra IA para verificar: "¿Se veía el personaje igual en cada imagen?". Si el personaje cambiaba demasiado, esa historia era descartada. Esto les dejó un dataset "perfecto" para entrenar el modelo.

5. Los Resultados

Cuando probaron su nuevo sistema (LCG) contra otros métodos:

Mejor consistencia: Los personajes se veían mucho más consistentes a lo largo de secuencias largas (hasta 20 imágenes).
Mejor narrativa: La IA siguió las instrucciones específicas de cada escena (por ejemplo, "sentado en un banco" frente a "de pie en una biblioteca") sin perder la identidad del personaje.
Eficiencia: Debido al "resaltador inteligente" (SRA), el sistema pudo manejar historias largas sin que la memoria de la computadora colapsara, mientras que los métodos antiguos fallaban cuando la historia se volvía demasiado larga.

En resumen: El artículo presenta un nuevo marco que permite a la IA generar historias visuales largas y consistentes (como cómics o guiones gráficos) mediante el uso de un "resaltador inteligente" para enfocarse solo en los detalles importantes y un "editor estricto" para asegurar que los personajes no se mezclen, todo mientras mantiene la computadora funcionando de manera eficiente.

Resumen Técnico: Generación de Imágenes de Contexto Largo con Atención Relacional Dispersa (LCG)

Planteamiento del Problema

Aunque los modelos generativos recientes han logrado una fidelidad impresionante en la síntesis de imágenes individuales, presentan dificultades para mantener la consistencia en los resultados secuenciales requeridos para aplicaciones de contexto largo, tales como cómics, guiones gráficos y narrativas visuales. Los enfoques existentes enfrentan un compromiso fundamental: la generación de paneles de forma independiente ignora la evidencia entre paneles, mientras que la generación secuencial propaga la deriva de identidad temprana o desajustes de roles a los fotogramas subsiguientes. Además, los mecanismos de atención densa a través de todos los paneles, que permiten el intercambio directo de información, sufren una escalabilidad cuadrática de memoria ( $O(N^2L^2D)$ ), excediendo rápidamente los presupuestos de memoria prácticos a medida que aumenta el número de paneles ( $N$ ). En consecuencia, el desarrollo de modelos que puedan explotar eficientemente el contexto visual de largo alcance mientras preservan la coherencia global sigue siendo un desafío abierto.

Metodología

Los autores proponen Long-Context Generation (LCG), un marco basado en difusión diseñado para la generación de texto a imagen de contexto largo multi-imagen. Dada una secuencia de prompts específicos de la escena, LCG sintetiza conjuntamente una secuencia de imágenes correspondiente, asegurando la alineación con los prompts individuales y preservando la identidad del personaje, la asignación de roles y la continuidad visual. El marco opera asignando cada prompt a una rama de generación paralela y realizando la eliminación de ruido de todas las ramas de forma conjunta.

LCG introduce dos mecanismos centrales para abordar la escalabilidad y la consistencia:

1. Atención Relacional Dispersa (SRA)

Para superar las limitaciones de memoria de la atención densa, LCG reformula la interacción entre ramas mediante un mecanismo de Atención Relacional Dispersa (SRA). En lugar de atender a todos los tokens en todas las ramas, cada rama de generación atiende selectivamente a las regiones más relevantes de las demás.

Compresión Semántica Gruesa: El modelo comprime las secuencias de tokens de todas las ramas en representaciones a nivel de bloque para identificar regiones globalmente relevantes.
Selección Local y Global: Las consultas (queries) primero recuperan los top- $K$ tokens relevantes de su propia rama (contexto local) y luego atienden a las representaciones semánticas comprimidas de todas las ramas para seleccionar bloques relevantes (contexto global).
Recuperación de Grano Fino: Los tokens de grano fino dentro de los bloques seleccionados se recuperan para formar subconjuntos dispersos para el cálculo de la atención.
Complejidad: Este enfoque reduce el costo computacional de una escala cuadrática $O(N^2L^2D)$ a aproximadamente $O(NL(K_{loc} + K_{glob})D)$ , donde los valores de $K$ son fijos y mucho menores que la longitud total de la secuencia, haciendo que la generación de contexto largo sea computacionalmente tratable.
Codificación a Nivel de Rama: Para distinguir las ramas simultáneas, LCG inyecta identificadores de rama únicos en la dimensión temporal del Posicionamiento Rotatorio 3D (3D RoPE).

2. Restricción de Consistencia de Enrutamiento (RCC)

Si bien la SRA permite una interacción eficiente, las rutas dispersas se seleccionan basadas en las características del modelo y pueden ser inestables, lo que conduce a la deriva de identidad o confusión de roles (por ejemplo, un personaje que atiende a una región visualmente similar pero semánticamente incorrecta en otro panel).

Mecanismo: La RCC aprovecha máscaras conscientes de la identidad para imponer correspondencia semántica y estructural a través de las ramas paralelas. Convierte estas máscaras en objetivos de enrutamiento a nivel de token.
Función de Pérdida: El modelo calcula una pérdida de consistencia ( $L_{RCC}$ ) que penaliza las desviaciones entre el mapa de atención dispersa predicho y la correspondencia derivada de la máscara. Específicamente, fomenta que los tokens asignados a la misma identidad de personaje a través de diferentes ramas formen rutas trans-rama más fuertes.
Efecto: Esto regulariza el flujo de atención, asegurando que la evidencia de identidad y rol se propague a los paneles correctos sin requerir supervisión densa.

Principales Contribuciones

Marco LCG: Un nuevo marco para la generación de texto a imagen de contexto largo multi-imagen que permite el intercambio de información dispersa entre ramas de generación paralelas, mejorando tanto la consistencia entre paneles como la escalabilidad.
Atención Relacional Dispersa (SRA): Un módulo de enrutamiento relacional disperso que combina la selección semántica compacta con la recuperación de tokens relacionales de grano fino, permitiendo la computación eficiente de contexto largo dentro de presupuestos de memoria prácticos.
Restricción de Consistencia de Enrutamiento (RCC): Una función de pérdida que convierte las máscaras conscientes de la identidad en objetivos de enrutamiento a nivel de token, mitigando eficazmente la deriva de apariencia y asegurando la consistencia de la identidad del personaje y el diseño de la escena en escenas complejas con múltiples sujetos.
Dataset de Consistencia de Contexto Largo (LCCD): La construcción de un dataset sintético a gran escala que comprende 600K secuencias de entrenamiento (divididas en escenarios de un solo personaje y de múltiples personajes) y un conjunto de prueba separado de 1K. Cada secuencia contiene de 6 a 20 imágenes, expandiendo significativamente los lapsos de 2 a 4 fotogramas de los datasets existentes. El dataset se genera mediante un pipeline estructurado usando LLMs para la definición de personajes y la síntesis de prompts, seguido de un cribado de consistencia automatizado.

Resultados Experimentales

Los autores evaluaron LCG en el conjunto de prueba LCCD, comparándolo con baselines que incluyen Flux.1-dev, StoryDiffusion y Story2Board.

Desempeño Cuantitativo: LCG logró puntuaciones superiores en todas las métricas:
- Alineación de Prompts (VQAScore): 0.71 (frente a 0.64 para Story2Board).
- Consistencia de Sujeto (DreamSim): 0.75 (frente a 0.62 para los baselines).
- Preservación de Identidad (FaceSim-Arc): 0.66 (frente a 0.52 para Story2Board).
- Calidad Visual (Puntuación Estética): 0.62.
Evaluación Humana: En un estudio de usuario con 30 participantes, LCG recibió la preferencia general más alta (4.03/5) y las calificaciones más fuertes para la alineación de texto (4.08) e identidad consistente (4.18).
Estudios de Ablación:
- Reemplazar SRA con atención completa mejoró ligeramente la fidelidad del prompt, pero no logró mantener la coherencia en secuencias largas y excedió los límites de memoria con 20 paneles.
- Eliminar la RCC resultó en una realización de prompts más débil, una sutil deriva de identidad y artefactos espurios.
- El desempeño se mantuvo competitivo incluso con 20 paneles, aunque se observó un declive gradual en las métricas a medida que aumentaba la longitud del contexto.
Eficiencia: SRA redujo significativamente el uso de VRAM pico y la latencia en comparación con la atención trans-rama densa. Mientras que la atención densa agotó la memoria (OOM) con 20 paneles en GPUs H800, SRA logró generar secuencias de 20 paneles con éxito.

Significancia y Afirmaciones

El artículo afirma que LCG aborda la limitación crítica de los marcos de difusión controlables existentes, que se centran principalmente en la personalización de imágenes individuales o en el condicionamiento de sujetos en lugar de la síntesis conjunta de contexto largo. Al introducir un enrutamiento relacional disperso y una restricción de consistencia guiada por máscaras de identidad, LCG permite la generación de narrativas visuales coherentes con identidades de personajes consistentes a través de secuencias extendidas (6–20 imágenes) e interacciones complejas de múltiples personajes.

Los autores posicionan a LCG como un paso hacia la resolución del problema de la "deriva de contexto largo" en la IA generativa, demostrando que es posible mantener la coherencia global y la fidelidad de la identidad sin incurrir en costos computacionales prohibitivos. Si bien el método mejora significativamente la consistencia, los autores señalan modestamente que mantener los detalles de identidad de grano fino sigue siendo más desafiante a medida que aumenta la longitud de la secuencia y el número de personajes interactuando, lo que sugiere trabajos futuros en mecanismos de seguimiento de identidad más robustos.