Resumen Técnico: Argus – Inyección de Mosaico de Identidad Multivista Apilado para la Generación de Vídeo con Preservación de Sujeto

1. Definición del Problema

El artículo aborda el desafío de la generación de vídeo con preservación de sujeto, una tarea distinta de la síntesis estándar de texto-a-vídeo o imagen-a-vídeo. El objetivo no es simplemente generar un movimiento realista, sino asegurar que el sujeto generado siga siendo la misma persona específica a través de variaciones complejas, incluyendo:

• Grandes cambios de perspectiva (p. ej., grandes ángulos de guiño/yaw).
• Cambios en la expresión facial y micromovimientos.
• Oclusiones parciales y variaciones de escala.
• Conflictos entre los prompts de texto, las condiciones del primer fotograma y las referencias de identidad.

Los autores argumentan que los métodos existentes sufren de un "paradigma de referencia puntual". Los enfoques actuales suelen condicionar la generación mediante una única imagen estática o unos pocos fotogramas a través de adaptadores o concatenación de tokens. Esto colapsa la identidad en una única observación entrelazada con variables de molestia (pose, iluminación, accesorios, fondo). En consecuencia, los modelos o confían demasiado en la referencia (copiando detalles no deseados) o confían demasiado poco en ella (causando deriva de identidad). El artículo postula que la identidad humana en el vídeo es una distribución en lugar de un punto, lo que requiere la exposición a evidencia diversa, dinámica y con la molestia aleatorizada.

2. Metodología

Argus es un marco construido sobre el modelo de base de vídeo Wan 2.1 (un Transformer de Difusión de 14 mil millones de parámetros entrenado con Flow Matching). Introduce tres componentes principales para transicionar de la correspondencia de referencia estática a la memoria de identidad dinámica:

A. Director de Identidad de Argus (AID)

Un front-end de percepción que utiliza un Modelo de Lenguaje de Gran Escala Multimodal (MLLM) congelado (Qwen3-VL).

• Función: Compila la evidencia de identidad más informativa de un banco de referencias (imágenes o vídeos) y resuelve conflictos entre el prompt de texto, el primer fotograma y las referencias de identidad.
• Estrategia de Selección: En lugar de seleccionar los fotogramas con mayor puntuación, optimiza la diversidad a través de ejes como perspectiva, expresión, movimiento, escala e iluminación, minimizando la redundancia y los riesgos de molestia.
• Salida: Produce un conjunto de nueve observaciones de identidad diversas (una mezcla de imágenes estáticas y micro-clips), un pie de foto de identidad consciente de los conflictos y un vector de descriptor de identidad global ($h_D$) que condiciona el DiT junto con los embeddings de texto y del primer fotograma.

B. Inyección de Mosaico de Identidad Multivista Apilado (SMII)

Este es el mecanismo de inyección central, diseñado para integrar la identidad directamente en el espacio de tokens nativo del modelo sin adaptadores externos.

• Construcción del Mosaico: Las observaciones de identidad seleccionadas se organizan en un mosaico apilado de $3 \times 3$. Cada celda puede ser una imagen estática o un micro-clip corto.
• Tensorización Sincronizada con la Difusión: A diferencia de los métodos que inyectan tokens de referencia limpios, SMII coloca el mosaico de identidad en el mismo camino de Flow Matching que el vídeo objetivo. El latente de identidad se añade ruido en el paso de tiempo actual ($\sigma_t$) para coincidir con el nivel de ruido del latente del vídeo. Esto asegura que el flujo de identidad se alinee con el prior de características aprendido por el patch embedding de Wan.
• Anclaje Posicional de Tiempo Negativo: Los tokens de identidad reciben coordenadas temporales negativas (p. ej., de $-n$ a $-1$), posicionándolos como "historial pre-vídeo" adyacente al primer fotograma ($t=0$). Esto permite que el modelo atienda a la evidencia de identidad sin interpretarla como contenido generado.
• Memoria de Solo Lectura: Una máscara de atención de bloque asegura que los tokens de identidad atiendan solo a otros tokens de identidad, mientras que los tokens de vídeo pueden atender a ambos. Esto evita que la memoria de referencia sea contaminada por el contenido de vídeo generado.

C. Estrategias de Entrenamiento y Guía

• Entrenamiento Contrafáctico Sin Pares Cruzados (No-Cross-Pair): Argus no depende de datos emparejados costosos (vídeo de referencia + vídeo objetivo del mismo sujeto). En su lugar, utiliza referencias de mismo-clip o misma-identidad con una fuerte aumentación contrafáctica. Los fondos, accesorios, iluminación y recortes se aleatorizan mientras se preserva la identidad facial estable. Esto obliga al modelo a aprender características invariantes de la identidad.
• Recocido de Identidad Temporal (TIA): Un mecanismo de compuerta que modula la atención de vídeo-a-identidad basado en el tiempo de difusión. Concentra la lectura de identidad en la "fase media estructural" de la denoisación, evitando que la inyección de identidad sobre-restrinja el diseño global (fase temprana) o sobre-agudice los rostros (fase tardía).
• Guía de Auto-Semejanza Adaptativa (ASLG): En la inferencia, este método desacopla la guía de texto de la fidelidad de la identidad. Construye una rama de "modelo débil" mediante una máscara de salto aprendible, permitiendo al sistema interpolar entre predicciones condicionales e incondicionales específicamente para la identidad, evitando que el control de identidad abrume el prompt de texto.

3. Principales Contribuciones

1. Marco Argus: Un sistema de generación de vídeo con preservación de sujeto que cambia el condicionamiento de referencia puntual por una memoria de identidad dinámica, aceptando tanto referencias de imagen como de vídeo.
2. Módulo SMII: Un mecanismo de inyección nativo que representa la evidencia multivista como tokens de memoria de solo lectura, de tiempo negativo y sincronizados con la difusión, eliminando los desajustes de distribución asociados con la concatenación de tokens de referencia limpios.
3. Paradigma de Entrenamiento: Una estrategia de entrenamiento contrafáctico sin pares cruzados que logra robustez mediante la aleatorización de molestias a gran escala en lugar de requerir datos de vídeo de sujetos emparejados.
4. Benchmarks y Métricas:
   • HardID-Celeb: Un nuevo benchmark de figuras públicas diseñado para poner a prueba la preservación de identidad bajo grandes cambios de guiño (yaw), oclusión del primer fotograma y rostros pequeños.
   • YawScore y OccScore: Nuevas métricas que miden específicamente la robustez ante grandes cambios de perspectiva y condiciones de oclusión del primer fotograma.

4. Resultados

Argus logra un rendimiento de estado del arte tanto en benchmarks generales como en pruebas de estrés:

• OpenS2V-Eval Human-Domain: Argus alcanza una Puntuación Total de 64.38, superando a la base más fuerte por 4.18 puntos. También lidera en FaceSim (71.86), NexusScore (51.62) y NaturalScore (79.14).
• HardID-Celeb: Argus supera significativamente a los baselines en escenarios de estrés, logrando un FaceSim de 76.80. Notablemente, mejora el YawScore en 12.60 puntos y el OccScore en 15.10 puntos sobre los baselines más fuertes, demostrando una capacidad superior para recuperar la identidad bajo estrés de perspectiva y oclusión.
• Estudios de Ablación: Eliminar SMII (reemplazándolo por una concatenación de tokens ingenua) reduce la Puntuación Total en 10.52 puntos. Reemplazar el entrenamiento contrafáctico por 2K muestras de pares cruzados reduce la puntuación en 5.76 puntos, validando la eficacia de la estrategia de entrenamiento propuesta.

5. Significado y Reivindicaciones

El artículo afirma que la memoria de identidad dinámica y la auto-supervisión contrafáctica a gran escala son alternativas altamente efectivas al condicionamiento de referencia estática y a la supervisión de datos emparejados.

Al reformular la identidad no como un único punto estático, sino como una distribución compacta y dinámica accesible mediante memoria de tiempo negativo, Argus resuelve el entrelazamiento de la identidad con las variables de molestia. Los autores argumentan que este enfoque permite al modelo reconocer sujetos familiares a través de movimientos, cambios de expresión y oclusiones de manera más efectiva que los métodos que dependen de la similitud frontal o adaptadores de un solo fotograma. El lanzamiento de HardID-Celeb y sus métricas asociadas tiene como objetivo proporcionar una evaluación más fiel de la preservación de la identidad en escenarios desafiantes del mundo real.