Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation

Resumen Técnico: Stand-In

1. El Problema

La generación de videos de alta fidelidad que mantengan la identidad de un sujeto específico (basada en una imagen de referencia) es un desafío crucial en la IA generativa. Las metodologías existentes presentan dos limitaciones principales:

• Métodos basados en codificadores faciales explícitos: Suelen carecer de flexibilidad y tienen dificultades para capturar los detalles finos del rostro necesarios para una reconstrucción de alta calidad.
• Métodos de entrenamiento completo (Full-parameter training): Aunque logran buenos resultados, requieren recursos de entrenamiento masivos, grandes cantidades de datos y carecen de compatibilidad con otras herramientas de AIGC, lo que dificulta su integración en flujos de trabajo diversos.

Existe una necesidad urgente de un enfoque ligero que preserve la identidad de manera robusta sin sacrificar la calidad del video ni la compatibilidad con modelos preentrenados.

2. Metodología

El autores proponen Stand-In, un marco ligero y "plug-and-play" que integra una rama de imagen condicional en un modelo de generación de video preentrenado (específicamente Wan2.1-14B, basado en Diffusion Transformer o DiT).

Componentes Clave:

• Rama de Imagen Condicional y VAE Preentrenado:
  En lugar de usar un codificador facial externo, el método utiliza el VAE (Autoencoder Variacional) preentrenado del propio modelo de generación de video. Esto permite mapear la imagen de referencia directamente al mismo espacio latente que el video, aprovechando la capacidad inherente del modelo para extraer características faciales ricas y detalladas. La imagen se codifica en tokens latentes y se concatena con los tokens del video.

• Atención Auto-restringida (Restricted Self-Attention - RSA):
  Para fusionar la información de identidad sin alterar la dinámica del video, se reemplaza la atención autoestándar por una versión restringida:

  • Las consultas (Queries) de la imagen no pueden atender a las claves (Keys) del video (la imagen es estática y no debe ser afectada por el contenido dinámico del video).
  • Las consultas del video sí pueden atender a las claves y valores de la imagen (permitiendo que el video "consulte" la identidad).
  • Se incorpora LoRA (Low-Rank Adaptation) solo en las proyecciones QKV de los tokens de la imagen para facilitar el aprendizaje con pocos datos.
  • Se utiliza KV Caching (caché de claves y valores) para la imagen, ya que su estado temporal es fijo, optimizando la inferencia.

• Mapeo de Posición Condicional (Conditional Position Mapping - CPM):
  Para diferenciar claramente los tokens de imagen y video dentro de la atención restringida, se emplea una estrategia de codificación posicional 3D (RoPE):

  • Dimensión Temporal: A los tokens de la imagen se les asigna un índice temporal fijo de -1, mientras que el video ocupa índices no negativos. Esto establece la imagen como una condición temporalmente invariante.
  • Dimensión Espacial: Se utiliza un espacio de coordenadas disjunto. La imagen ocupa un subespacio separado del grid espacial del video. Esto evita correlaciones espaciales falsas y preserva el "prior" posicional preentrenado del modelo base, resultando en videos más estables.

3. Contribuciones Principales

1. Eficiencia Extrema: El método requiere entrenar solo ~1% de parámetros adicionales (aprox. 153M en un modelo de 14B) y funciona con un conjunto de datos pequeño de 2,000 pares de video-imagen.
2. Arquitectura Plug-and-Play: No altera la arquitectura principal del modelo de generación de video, permitiendo una integración fluida en diversas tareas sin reentrenamiento completo.
3. Generalización Zero-Shot: Aunque entrenado solo con datos de personas reales, el marco generaliza eficazmente a sujetos no humanos (animales, objetos, personajes de dibujos animados) sin ajuste fino adicional.
4. Mecanismo de Atención Innovador: La combinación de Restricted Self-Attention y Conditional Position Mapping logra un equilibrio óptimo entre la fidelidad de la identidad y la naturalidad del video generado.

4. Resultados y Evaluación

Los experimentos demuestran que Stand-In supera a los métodos más avanzados (SOTA), tanto de código abierto como cerrado:

• Métricas Cuantitativas:
  • Similitud Facial: Logra un puntaje de 0.724, superando significativamente a competidores como HunyuanCustom (0.622) y Phantom-14B (0.519).
  • Naturalidad: Alcanza 3.922 (sobre una escala de 5), indicando que la alta fidelidad de la identidad no compromete la realismo visual.
  • Seguimiento del Prompt: Mantiene un alto rendimiento en la adherencia a las descripciones textuales, clasificándose segundo entre todos los métodos y primero entre los de código abierto.
• Evaluación Humana: En un estudio con 20 participantes, Stand-In obtuvo las puntuaciones más altas tanto en similitud facial (4.10) como en calidad de video (4.08).
• Eficiencia Computacional: El tiempo de inferencia aumenta solo un 2.3% y los FLOPs un 0.07% en comparación con el modelo base, gracias al uso de KV Caching.

5. Significado y Aplicaciones

La importancia de Stand-In radica en su capacidad para democratizar la generación de videos con identidad consistente, eliminando la necesidad de recursos de entrenamiento masivos. Su diseño "plug-and-play" permite su aplicación en múltiples escenarios:

• Generación de video guiada por sujetos: Crear videos de objetos o personajes específicos.
• Generación de video guiada por pose: Mejorar la consistencia facial en tareas de control de pose (integrado con VACE).
• Estilización de video: Transferir estilos artísticos manteniendo la identidad del sujeto.
• Intercambio de rostros (Face Swapping): Lograr transferencias de identidad de alta calidad con consistencia temporal.

En conclusión, Stand-In establece un nuevo estándar en la generación de video con preservación de identidad, demostrando que es posible lograr resultados de clase mundial con una fracción mínima de parámetros entrenables y datos, manteniendo una compatibilidad total con el ecosistema actual de modelos de difusión.