How Long Can Unified Multimodal Models Generate Images Reliably? Taming Long-Horizon Interleaved Image Generation via Context Curation

El artículo presenta UniLongGen, una estrategia de inferencia sin entrenamiento que mejora la generación de imágenes interleaved a largo plazo mediante la curación dinámica del contexto para eliminar señales visuales interferentes que degradan la calidad de la generación.

Lo esencial

Imagina que tienes un artista digital muy talentoso capaz de escribir una historia y dibujar las ilustraciones al mismo tiempo, página por página. Su misión es crear un cómic de 40 páginas donde los personajes mantengan siempre la misma cara y el mismo estilo de dibujo.

El problema es que, cuando el artista intenta dibujar la página 30 o 40, empieza a fallar. Los personajes se vuelven extraños, sus caras cambian de color, y la historia pierde sentido. Es como si el artista, al recordar todas las páginas anteriores, se volviera confuso y alucinar.

Este paper (llamado UniLongGen) explica por qué pasa esto y cómo arreglarlo. Aquí tienes la explicación sencilla:

1. El Problema: "La Mochila Demasiado Pesada"

Antes, los científicos pensaban que el artista fallaba porque la "mochila" de recuerdos (la memoria de la computadora) se llenaba demasiado. Pensaban que el problema era tener demasiadas palabras en la memoria.

Pero el paper descubre que no es la cantidad de palabras, sino el número de dibujos.

• La analogía: Imagina que el artista tiene que recordar 100 páginas de texto. Puede hacerlo bien. Pero si tiene que recordar 20 dibujos complejos, se desmorona.
• ¿Por qué? Cada dibujo nuevo es como un ruido fuerte en una habitación silenciosa. Cuando hay 20 dibujos acumulados, el artista no puede distinguir cuál es el dibujo "correcto" para copiar la cara del personaje. Los dibujos viejos empiezan a "contaminar" el nuevo, mezclando caras y estilos como si fuera un smoothie de colores que ya no sabe a nada.

2. La Causa: El "Secuestro de la Atención"

El paper explica que la memoria del artista funciona como una lupa.

• Cuando hay pocos dibujos, la lupa se enfoca en el dibujo correcto.
• Cuando hay muchos dibujos, la lupa se distrae. De repente, un detalle pequeño de un dibujo viejo (como un botón de una camisa) se parece tanto a lo que el artista está buscando que la lupa se pega a ese detalle y olvida todo lo demás.
• Esto se llama "contaminación visual activa". No es que el artista se olvide; es que los recuerdos viejos le meten ideas falsas en la cabeza.

3. La Solución: "El Guardarropa Inteligente" (UniLongGen)

En lugar de intentar recordar todo (lo cual es imposible y dañino), los autores proponen una estrategia llamada UniLongGen.

Imagina que el artista tiene un asistente personal (el algoritmo) que le ayuda antes de empezar a dibujar cada página nueva. El asistente hace lo siguiente:

1. Una mirada rápida (Sondeo): Antes de dibujar, el asistente le pregunta al artista: "De todas las páginas que hemos hecho, ¿cuáles son las que realmente necesitas para dibujar esta nueva?".
2. Elige solo lo importante: El asistente selecciona solo 4 o 5 páginas clave (por ejemplo, la primera página donde aparece el personaje y las últimas 3 o 4 para mantener el estilo).
3. Tira el resto (Olvido Activo): ¡Aquí está la magia! En lugar de guardar las otras 30 páginas en la memoria (aunque estén comprimidas), las tira a la basura. Las elimina por completo de la vista del artista.
   • Analogía: Es como si, para cocinar una sopa, en lugar de poner todos los ingredientes de la semana pasada en la olla (lo que la haría salada y amarga), solo pusieras los ingredientes frescos y necesarios.

4. El Truco Maestro: Dos Tipos de Memoria

El paper descubre que el artista usa su cerebro de dos formas diferentes según la profundidad de la tarea:

• Al principio (Capas tempranas): Necesita leer el texto para saber qué dibujar (la historia).
• Al final (Capas tardías): Necesita ver los dibujos viejos para saber cómo dibujarlo (el estilo y la cara).

Por eso, UniLongGen es inteligente:

• Para las capas tempranas, el asistente guarda solo los textos importantes.
• Para las capas tardías, el asistente guarda solo las imágenes importantes.
• Esto evita que el texto interfiera con el dibujo y viceversa.

5. ¿Por qué funciona mejor que "recordar lo más reciente"?

Normalmente, si algo falla, decimos: "¡Recuerda solo lo que pasó hace un momento!". Pero en una historia larga, lo que pasó hace un momento puede no ser lo más importante.

• El ejemplo: Si en la página 39 necesitas dibujar al protagonista, no te sirve que recuerdes la página 38 (que era un paisaje). Te sirve recordar la página 1 (donde se definió su cara).
• UniLongGen no elige por "fecha", elige por relevancia interna. Elige lo que el artista realmente necesita en ese instante, incluso si es algo viejo.

Resumen en una frase

UniLongGen es como enseñarle a un artista a olvidar lo que no necesita para no confundirse. En lugar de intentar recordar todo el álbum de fotos, le dice: "Solo mira estas 5 fotos clave y olvida el resto". Así, puede dibujar 40 páginas seguidas sin que los personajes se vuelvan monstruosos.

Resultado:

• Calidad: Las imágenes siguen siendo perfectas hasta la página 40.
• Velocidad: Como no tiene que procesar miles de imágenes viejas, es mucho más rápido (hasta 11 veces más rápido).
• Consistencia: Los personajes mantienen su cara y su estilo throughout toda la historia.

Resumen técnico

Resumen Técnico: UniLongGen

1. El Problema: La Brecha de Fiabilidad en la Generación Interleaved

Los modelos multimodales unificados (UMMs) prometen generar narrativas extensas que entrelazan texto e imágenes en un solo flujo autoregresivo. Sin embargo, los sistemas actuales sufren un colapso crítico en la calidad a medida que aumenta la longitud de la secuencia.

• Fenómeno: Aunque estos modelos funcionan bien en contextos cortos, al generar secuencias largas (ej. 40 imágenes entrelazadas con texto), la calidad visual se degrada rápidamente, la estructura se rompe y ocurren desviaciones en la identidad de los personajes y el estilo.
• Hipótesis Errónea Común: Se creía que esto era simplemente un problema de "contexto largo" (overflow de tokens o límites de memoria).
• Hallazgo Real: El artículo demuestra que el fallo no se debe a la cantidad total de tokens, sino al número de eventos visuales (imágenes). La historia visual acumulada actúa como una fuente de "contaminación activa" en lugar de una simple dilución de información.

2. Diagnóstico Mecanístico: ¿Por qué falla?

Los autores identifican una asimetría modal fundamental en la atención de los modelos unificados:

• Historia de Texto (Dilución Pasiva): En secuencias largas de texto, la información irrelevante tiende a diluir la atención, resultando en salidas vagas o poco fundamentadas, pero no destructivas.
• Historia Visual (Contaminación Activa): En la generación de imágenes, los tokens visuales históricos compiten activamente por la atención. Debido a la naturaleza de la función Softmax, incluso coincidencias de similitud espurias (outliers) en los tokens visuales históricos pueden ser amplificadas exponencialmente, "secuestrando" la atención.
• El Cuello de Botella de Eventos: La calidad colapsa después de aproximadamente 20-25 imágenes, independientemente del número total de tokens. Esto se debe a que cada nueva imagen introduce un nuevo conjunto denso de claves visuales que aumentan la probabilidad de que un "outlier" visual irrelevante capture la atención y corrompa la síntesis actual (inyectando artefactos, ruido y distorsiones estructurales).
• Especialización por Capas: Se observa que las capas tempranas del Transformer se enfocan en la anclaje semántico (texto), mientras que las capas tardías dominan la síntesis de imágenes (espacio VAE). Una máscara de relevancia única no funciona para todo el modelo.

3. Metodología: UniLongGen

Para abordar esto, proponen UniLongGen, una estrategia de inferencia sin entrenamiento (training-free) que prioriza el "olvido activo" sobre la memoria total.

Componentes Clave:

1. Perfilado de Contexto en Una Pasa (One-Pass Context Profiling): Antes de generar la nueva imagen, el modelo realiza una pasada rápida con el historial completo (KV denso) para sondear sus propias señales de atención internas.
2. Puntuación de Relevancia Dual (Dual-Depth Scoring):
   • Selección de Texto (Capas Tempranas): Se evalúa la relevancia de los bloques de texto históricos en una capa temprana (ej. Capa 1) para asegurar que la generación siga las instrucciones y el anclaje semántico.
   • Selección de Imagen (Capas Tardías): Se evalúa la relevancia de los bloques de imágenes históricas (tokens VAE) en una capa tardía (ej. Capa 15), donde el modelo se enfoca en la síntesis visual.
3. Política de Visibilidad KV Dividida (Layer-Split KV Visibility):
   • Se seleccionan solo los Top-K eventos (imágenes/texto) más relevantes basándose en las puntuaciones anteriores.
   • Descarte Directo: En lugar de comprimir los tokens no seleccionados (lo cual podría preservar los "outliers" contaminantes), UniLongGen elimina directamente los tokens no seleccionados de la caché KV.
   • Regla de Visibilidad: Las capas tempranas solo ven el historial de texto filtrado; las capas tardías solo ven el historial de imágenes filtrado.

4. Resultados Clave

Los experimentos se realizaron en el modelo híbrido BAGEL (autoregresivo + difusión) con secuencias de 40 imágenes.

• Calidad y Consistencia: UniLongGen supera significativamente a las líneas base (KV denso, ventanas deslizantes, selección semántica externa).
  • Mejora drástica en HPS v3 (calidad visual) y DINOv2 (consistencia de identidad) en las últimas imágenes de la secuencia.
  • Mantiene la coherencia del personaje y el estilo artístico hasta la imagen 40, mientras que los modelos base colapsan visualmente tras la imagen 20.
• Eficiencia: Al reducir la cantidad de tokens visibles en la caché KV, el tiempo de inferencia se reduce hasta en un 11x en contextos largos, ya que la atención no necesita procesar miles de tokens irrelevantes.
• Comparación con Oráculos: Curiosamente, la selección basada en la atención interna del modelo (UniLongGen) supera a la selección basada en un "oráculo semántico" humano. Esto sugiere que lo que es semánticamente relevante para un humano no siempre es lo que el modelo necesita para una síntesis estable (el modelo necesita referencias visuales específicas para su trayectoria latente actual).

5. Contribuciones Principales

1. Diagnóstico Mecanístico: Identifican que el colapso en la generación unificada es un problema de "contaminación activa" por tokens visuales densos y no un simple límite de memoria. Introducen el concepto de "Cuello de Botella de Eventos".
2. Estrategia de Curación de Contexto: Proponen UniLongGen, un método que utiliza señales de atención internas y una política de división de capas para curar dinámicamente la memoria, eliminando la competencia de softmax dañina.
3. Evidencia Empírica: Demuestran que el "olvido activo" (descartar tokens) es superior a la compresión o al mantenimiento de todo el historial, logrando una estabilidad a largo horizonte sin necesidad de reentrenar el modelo.

6. Significado e Impacto

Este trabajo cambia el paradigma de cómo se maneja el contexto en la generación multimodal unificada. En lugar de intentar "recordar todo" o comprimir la información (enfoques tradicionales de contexto largo), argumenta que para la generación de imágenes, la calidad depende de la pureza de la señal de condicionamiento.

UniLongGen permite la creación de historias ilustradas coherentes, storyboards largos y diseños visuales iterativos que antes eran imposibles debido a la degradación inevitable de la calidad. Además, al ser una técnica de inferencia sin entrenamiento, es fácilmente aplicable a una amplia gama de modelos multimodales unificados existentes.