ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing

Resumen Técnico: ElasticTTT: Ajuste en Tiempo de Prueba con Preservación de Priores para la Edición de Video

Declaración del Problema
El Ajuste en Tiempo de Prueba (TTT, por sus siglas en inglés) ha emergido como un paradigma poderoso para la edición de video, con el objetivo de adaptar modelos de difusión preentrenados a videos de origen específicos proporcionados por el usuario para mejorar la apariencia, la estructura y la preservación del movimiento. Sin embargo, los autores identifican un desajuste fundamental entre la naturaleza de mapeo de distribuciones de los modelos de difusión generativos y la optimización de punto único inherente al TTT estándar. Este desajuste desencadena un fenómeno denominado Colapso del Prior (Prior Collapse), un estado degenerado donde el modelo descarta las condiciones de texto y los latentes espaciales, colapsando las generaciones hacia el video de origen o entrelazando las características de regiones distintas.

El artículo caracteriza el Colapso del Prior a través de dos modos de falla complementarios:

1. Colapso de la Condición (Conditioning Collapse): La guía condicional se ancla a la dinámica condicionada por la fuente durante el ajuste. El modelo debilita gradualmente las vías de la condición de texto, ignorando la instrucción de edición de destino y fallando en seguir la nueva guía semántica.
2. Entrelazamiento Espacial (Spatial Entanglement): Las representaciones espaciales se acoplan globalmente durante la eliminación de ruido a medida que el modelo intenta memorizar el objetivo global. Esto impide el control localizado, causando modificaciones no deseadas fuera de la región objetivo y corrupción visual.

Las intervenciones existentes, como la Adaptación de Bajo Rango (LoRA), las pérdidas de preservación de prior o las modificaciones de los mapas de atención, se describen como subóptimas, ya que a menudo dependen de un ajuste arquitectónico delicado, conjuntos de datos auxiliares o siguen siendo sensibles a los hiperparámetros. Además, transferir las técnicas de TTT basadas en imágenes a los Transformadores de Difusión de Video (DiT) sin adaptación acelera severamente el Colapso del Prior debido a los complejos priors espacio-temporales de los modelos de video.

Metodología: ElasticTTT
Para resolver la tensión entre optimización y muestreo, y rescatar la elasticidad generativa, los autores proponen ElasticTTT, un marco que interviene a través de todo el pipeline generativo mediante tres componentes novedosos:

1. Regularización de la Distribución de Destino (TDR - Target Distribution Regularization):

   • Objetivo: Prevenir el Colapso de la Condición durante la fase de optimización (entrenamiento).
   • Mecanismo: En lugar de optimizar contra una distribución Dirac determinista y rígida (el video de origen único), la TDR inyecta estocasticidad controlada en el objetivo de optimización. Específicamente, el vector de velocidad de destino se calcula utilizando una versión perturbada del latente de la fuente ($\tilde{x}_0 = x_0 + \epsilon_{reg}$), mientras que la trayectoria de entrada permanece limpia.
   • Efecto: Esto reemplaza la singularidad aguda con una variedad Gaussiana continua y local. Teóricamente, esto introduce una penalización de varianza consciente de la geometría (penalización de Gauss-Newton) en el paisaje de pérdida, evitando que el modelo memorice "perezosamente" un mapeo espacial infinitamente agudo. Fuerza al modelo a retener sus priors de eliminación de ruido elásticos mientras converge al vector de campo esperado correcto.

2. Guía Libre de Clasificador Contrastiva (Contrastive CFG):

   • Objetivo: Resolver el desplazamiento de distribución residual y desacoplar los conceptos de la fuente durante la fase de inferencia (muestreo).
   • Mecanismo: La CFG estándar dirige la generación utilizando un prompt negativo. ElasticTTT extiende esto a una formulación tridireccional. Contrasta explícitamente la condición de destino ($C_{trg}$) contra la condición de la fuente ($C_{src}$) utilizada durante el ajuste. La fórmula de guía incluye un término que resta la predicción condicionada por la fuente: $v_{\theta}(x_t, t, C_{trg}) - v_{\theta}(x_t, t, C_{src})$.
   • Efecto: Esto repele activamente la trayectoria de muestreo del "sesgo del atractor de la fuente" (el pozo de energía creado por el TTT), asegurando transiciones semánticas nítidas y restaurando la capacidad del modelo para seguir nuevas instrucciones sin ser arrastrado de vuelta a los conceptos del video de origen.

3. Programación de Ruido Asíncrona (Async-NS - Asynchronous Noise Scheduling):

   • Objetivo: Mitigar el Entrelazamiento Espacial durante la inferencia.
   • Mecanismo: Los autores argumentan que la uniformidad temporal exacerba el entrelazamiento. La Async-NS asigna niveles de ruido y embeddings temporales distintos a las regiones editadas frente a las regiones ancladas (no editadas). Una máscara define las áreas editadas; las regiones editadas siguen un esquema de ruido alto ($T_e$) para permitir flexibilidad para nuevos conceptos, mientras que las regiones preservadas siguen un esquema de ruido bajo ($T_p$) para retener la máxima información de la fuente.
   • Efecto: Esto rompe físicamente el entrelazamiento de las representaciones al forzar a la red a procesar regiones con regímenes de ruido y embeddings de paso de tiempo distintos. Otorga al modelo libertad localizada para sobrescribir conceptos de destino mientras guía de forma segura los alrededores no editados de vuelta a su estado físico, evitando la necesidad de modificaciones invasivas en los mapas de atención.

Resultados Clave
El artículo evalúa ElasticTTT en un conjunto de pruebas personalizado de 125 pares texto-video que cubren cinco tipos de tareas (edición de sujeto, edición de fondo, adición de sujeto, ajuste de color y edición general), utilizando el modelo Wan2.1 1.3B como base.

• Desempeño Cuantitativo: ElasticTTT logra un rendimiento de estado del arte (SOTA) en múltiples métricas, incluyendo VBench (calidad visual/consistencia temporal), VEBench y CLIP-T (alineación semántica). Supera tanto a los métodos libres de entrenamiento (ej. UniEdit, Flow-align) como a otros enfoques basados en TTT (ej. Tune-A-Video, VidTTA). Notablemente, alcanza puntuaciones altas en Adherencia a la Instrucción (IA) y Preservación de la Fuente (SP) simultáneamente, mientras que las líneas base suelen sufrir de compensaciones (ej. alta preservación pero baja adherencia a la instrucción).
• Evaluación Humana: En un estudio con 10 participantes, ElasticTTT recibió las puntuaciones promedio más altas (3.60/5.0), destacando particularmente en Calidad de Video (3.87) y Adherencia a la Instrucción (3.32).
• Estudios de Ablación: Eliminar cualquiera de los tres componentes principales (TDR, Contrastive CFG o Async-NS) conduce a una degradación significativa del desempeño. Específicamente, sin TDR, el modelo falla al añadir nuevos conceptos; sin Contrastive CFG, las ediciones son sutiles e indistinguibles; sin Async-NS, el modelo falla al aislar las regiones objetivo, causando la modificación simultánea del primer plano y el fondo.
• Escalabilidad: El método se generaliza efectivamente a modelos base más grandes (Wan2.2-5B), mostrando mejoras aún más pronunciadas en la adherencia a la instrucción y la calidad del video en comparación con el modelo 1.3B.

Significancia y Reivindicaciones
El artículo afirma que ElasticTTT representa una solución principal a la tensión fundamental entre el sobreajuste específico de la instancia (requerido para el TTT) y la naturaleza estocástica y de preservación de la distribución de los modelos de difusión. Al demostrar que el Colapso del Prior es un modo de falla distinto al sobreajuste estándar, los autores argumentan que simplemente prevenir el sobreajuste no es suficiente; uno debe preservar activamente la "elasticidad generativa" del prior.

La significancia del trabajo radica en:

1. Resolución Sistemática: Proporciona un marco unificado que aborda tanto el Colapso de la Condición como el Entrelazamiento Espacial, dos modos de falla que anteriormente se trataban con heurísticas dispares y a menudo subóptimas.
2. Perspectiva Teórica: Ofrece un análisis matemático de cómo la TDR inyecta una penalización consciente de la geometría para evitar que el optimizador quede atrapado en mínimos agudos, y cómo la Contrastive CFG cancela algebraicamente el desplazamiento de la distribución inducido por el TTT.
3. Impacto Práctico: Logra un desempeño SOTA en la edición de video de un solo paso (one-shot) sin requerir conjuntos de datos emparejados externos o un entrenamiento pesado, lo que lo convierte en un motor de datos viable para sintetizar datos de edición emparejados para futuros modelos a gran escala.

Los autores concluyen que su trabajo es un paso importante hacia modelos basados en difusión más fiables y destaca direcciones prometedoras para diseñar sistemas de IA personalizados que equilibren la adherencia a la instrucción con la fidelidad de la fuente.