Resumen Técnico: EM-Vid

Enunciado del Problema

La generación de video multi-toma busca producir narrativas visuales coherentes y de larga duración, donde las entidades recurrentes (personajes, objetos, escenas) mantengan apariencias consistentes a través de diversas tomas, adheriéndose estrictamente a los prompts de texto específicos de cada toma. Los enfoques existentes enfrentan compromisos significativos:

• Generación Conjunta: Generar todas las tomas simultáneamente garantiza consistencia global, pero es computacionalmente costoso y difícil de escalar.
• Generación Autoregresiva: Generar tomas secuencialmente mejora la eficiencia, pero a menudo sufre de "olvido" del contenido anterior y acumulación de errores a lo largo de narrativas largas.
• Métodos Basados en Memoria: Los enfoques recientes utilizan fotogramas previamente generados como memoria para guiar la generación. Sin embargo, almacenar fotogramas completos holísticos entrelaza la información persistente de las entidades con el contexto escénico transitorio. Esto conduce a:
  1. Fuga de Información Irrelevante: Artefactos de fondo o detalles transitorios de los fotogramas de memoria se filtran en nuevas generaciones, causando elementos visuales no deseados.
  2. Alto Costo Computacional: Los mecanismos de autoatención operan sobre todos los tokens en fotogramas densos, incurriendo en complejidad cuadrática.
  3. Problemas de Adherencia al Prompt: Prompts semánticamente similares pueden hacer que los modelos "copien y peguen" apariencias almacenadas en lugar de seguir nuevas instrucciones de texto, particularmente para cambios sutiles de atributos.

Metodología: EM-Vid

EM-Vid propone una representación de memoria centrada en entidades y sin entrenamiento, junto con un mecanismo de inferencia diseñado para desentrelazar la información persistente de las entidades del contexto transitorio. Opera sobre la base de un modelo de generación de video guiado por fotogramas de memoria preentrenado (específicamente, una variante ajustada con LoRA de Wan2.2-I2V).

1. Formato de Guion de Historia Estructurado

Para permitir una recuperación eficiente, el método requiere un guion de entrada estructurado donde:

• Los sujetos y escenas persistentes se asignan identificadores únicos (ej. [CH_01], SC_01).
• Cada toma contiene un prompt abstracto (que hace referencia a identificadores) y un prompt natural (descripción completa de texto).
• El prompt abstracto sirve como consulta para recuperar solo las entradas de memoria relevantes para la toma actual.

2. Banco de Memoria Centrada en Entidades

En lugar de almacenar fotogramas completos, EM-Vid mantiene un banco de entidades que contiene parches latentes dispersos asociados a entidades específicas.

• Inicialización: Para cada entidad, el sistema extrae parches de fotogramas de memoria (o referencias del usuario) que se superponen con la región segmentada de la entidad (utilizando SAM3).
• Almacenamiento: Cada entrada almacena el parche latente VAE, sus coordenadas espaciales, el índice del fotograma de origen y descriptores de apariencia (características DINOv2 y similitud texto-región de CLIP).
• Condicionamiento Disperso: Durante la inferencia, el modelo recupera solo los parches correspondientes a las entidades mencionadas en el prompt abstracto de la toma actual.

3. Condicionamiento de Tokens Dispersos en Tiempo de Inferencia

Para integrar parches dispersos en un modelo que espera cuadrículas densas, EM-Vid emplea una tubería específica:

• Dispersión: Los parches dispersos recuperados se dispersan de nuevo a sus ubicaciones espacio-temporales originales dentro de un tensor latente completo.
• Poda de Tokens: El tensor se divide en parches para formar tokens. Solo se retienen los tokens correspondientes a parches que contienen entidades; los demás se podan.
• Reducción de Atención: La columna vertebral del transformador (DiT) procesa solo estos tokens relevantes, reduciendo significativamente los costos de autoatención y la interferencia de información de fondo irrelevante.
• Reconstrucción: Los tokens dispersos predichos se dispersan de nuevo en la disposición densa y se descomponen de parches para actualizar el estado latente completo para el siguiente paso de difusión.

4. Estrategia de Actualización de Memoria

El banco de entidades evoluciona a medida que se generan nuevas tomas:

• Selección de Candidatos: Se extraen fotogramas clave de las nuevas tomas basándose en puntuaciones estéticas.
• Filtrado: Los nuevos candidatos se comparan con las entradas existentes utilizando similitud DINOv2. Los candidatos se aceptan si ofrecen información nueva (baja similitud) o son suficientemente distintos pero relevantes, mientras que las entradas redundantes se rechazan.
• Gestión del Presupuesto: Se impone un presupuesto fijo de tokens por entidad. Las entradas se priorizan según una relación de relevancia-costo (similitud CLIP dividida por la cantidad de tokens), asegurando que el banco permanezca compacto mientras preserva variaciones semánticamente relevantes.

5. Control de Aparición de Alta Frecuencia mediante Inyección de Ruido

Para abordar el comportamiento de "copiar y pegar" donde el modelo ignora cambios sutiles en el prompt (ej. cambiar el color de una camisa), EM-Vid introduce un mecanismo de inyección de ruido:

• Mitigación de Bordes: Los parches en los bordes de las entidades a menudo contienen píxeles de fondo. Se inyecta ruido gaussiano en estas regiones antes de la codificación para prevenir la fuga de fondo.
• Modificación de Atributos: Si un prompt especifica un cambio en un atributo específico (ej. "zapatos negros" vs. "zapatos marrones"), se identifican los parches correspondientes a esa región. Se inyecta ruido en estos parches específicos para debilitar la dependencia del modelo de la apariencia almacenada, obligándolo a seguir el prompt de texto para esas regiones.

Contribuciones Clave

1. Representación de Memoria Indexada por Entidades: Un formato de memoria novedoso que almacena parches latentes dispersos para entidades individuales, desentrelazando la identidad persistente del contexto transitorio para reducir la fuga de información y el costo computacional.
2. Condicionamiento de Tokens Dispersos sin Entrenamiento: Un mecanismo que permite a los modelos de video preentrenados operar solo con tokens de memoria relevantes para la toma, manteniendo la compatibilidad con las arquitecturas originales mientras reduce drásticamente la sobrecarga de autoatención.
3. Actualización Progresiva de Memoria de Entidades: Una estrategia de actualización consciente del presupuesto que integra nuevas observaciones de entidades mientras poda la redundancia, asegurando consistencia a largo plazo sin un crecimiento ilimitado de la memoria.
4. Control de Aparición Basado en Ruido: Una estrategia que utiliza la inyección de ruido para suprimir información de borde irrelevante y permitir modificaciones de atributos de alta frecuencia, evitando que el modelo recurra a apariencias almacenadas.
5. Nuevas Métricas de Evaluación: Introducción de métricas para la consistencia del sujeto entre tomas (penalizando el comportamiento de copiar y pegar ingenuo) y la alineación de escenas de fondo (midiendo la alineación entre fondos generados y descripciones de escenas del guion).

Resultados

Los autores evalúan EM-Vid en 20 guiones de historias cinematográficas (10 tomas cada uno) frente a líneas base que incluyen Wan2.2-T2V, FramePack, Phantom y StoryMem.

• Adherencia al Prompt: EM-Vid alcanza las puntuaciones ViCLIP más altas, demostrando una alineación superior con los prompts de texto en comparación con las líneas base que sufren de fuga de memoria.
• Consistencia del Sujeto: El método mantiene una fuerte consistencia del sujeto entre tomas (medida por $CSC^*_{DINO/CLIP}$), superando a las líneas base autoregresivas que acumulan errores. Evita el sesgo de "copiar y pegar" observado en métricas ingenuas.
• Consistencia del Fondo: EM-Vid muestra una mejor alineación de escenas de fondo ($BG A$), cambiando con éxito los fondos cuando el guion lo dicta, a diferencia de StoryMem que a menudo arrastra artefactos de fondo.
• Eficiencia: El enfoque de memoria dispersa reduce el uso de tokens de memoria hasta un 88.9% y proporciona una aceleración en la inferencia de hasta un 73% en comparación con las líneas base de memoria de fotogramas completos densos.
• Calidad Visual: Si bien los modelos T2V vanilla pueden puntuar ligeramente más alto en métricas estéticas intra-toma (debido a la falta de restricciones de largo alcance), EM-Vid sigue siendo competitivo mientras ofrece una coherencia narrativa superior.

Significado y Afirmaciones

El artículo afirma que EM-Vid proporciona una solución escalable y efectiva para la generación de video de larga duración y consistente sin requerir reentrenamiento del modelo. Al cambiar de la memoria de fotogramas holísticos a una representación dispersa centrada en entidades, el método aborda el entrelazamiento fundamental de identidad y contexto que afecta a los enfoques basados en memoria actuales.

Los autores enfatizan que su enfoque:

• Desacopla la información persistente de las entidades del contexto escénico transitorio.
• Reduce la complejidad computacional al restringir la atención a los tokens relevantes.
• Permite un control de alta frecuencia sobre los atributos de las entidades mediante inyección de ruido, una capacidad a menudo ausente en los sistemas guiados por memoria.
• Mejora el equilibrio entre mantener la identidad del sujeto y adherirse a prompts de escena dinámicos.

El trabajo se presenta como una modificación práctica en tiempo de inferencia que aprovecha modelos preentrenados existentes, haciéndolo accesible y eficiente para generar narrativas multi-toma coherentes.