Resumen Técnico: SARA (Alineación Relacional Semánticamente Adaptativa)

Enunciado del Problema

Los Modelos de Difusión de Video (VDM) recientes han logrado alta fidelidad visual y coherencia temporal, pero luchan con la controlabilidad semántica de grano fino. Frecuentemente omiten entidades, vinculan incorrectamente atributos a sujetos erróneos o debilitan las interacciones especificadas en el prompt. Aunque objetivos de alineación de representaciones como VideoREPA y MoAlign mejoran el seguimiento de texto destilando relaciones de tokens espacio-temporales a partir de un Modelo de Fundación Visual (VFM) congelado, sufren de un problema de asignación de supervisión.

• VideoREPA pondera todos los pares de tokens por igual (presupuesto $O(N^2)$), independientemente del prompt. En escenas con múltiples entidades, esto resulta en que aproximadamente el 27% del presupuesto de supervisión se desperdicie en pares fondo-fondo (a los que el prompt nunca hace referencia), mientras que los pares sujeto-sujeto (críticos para las relaciones inter-entidades) reciben solo ~23%.
• MoAlign intenta solucionar esto comprimiendo el objetivo del VFM en un subespacio supervisado por movimiento, actuando efectivamente como un enrutador AND que solo supervisa pares sujeto-sujeto en movimiento. Sin embargo, el flujo óptico es un proxy ruidoso para la saliencia (falla bajo oclusión, movimiento rápido o baja textura) e ignora a los sujetos estáticos y los pares sujeto-fondo, que son esenciales para anclar las entidades en sus escenas.

El desafío central es cómo asignar un presupuesto fijo de pares $O(N^2)$ para concentrar la supervisión en relaciones relevantes para el prompt (tanto sujeto-sujeto como sujeto-fondo) en lugar de en relleno de fondo.

Metodología: SARA

SARA propone un marco de dos etapas que retiene la forma de Destilación de Relaciones de Tokens (TRD) de VideoREPA, pero introduce una saliencia condicionada al texto para enrutar dinámicamente la supervisión.

Etapa 1: Entrenamiento de un Alineador de Saliencia Condicionado al Texto

Se entrena un alineador ligero fuera de línea para predecir un mapa de saliencia continuo $M_p$ condicionado al prompt de texto.

• Backbones: Utiliza V-JEPA congelado (visual), SAM 3.1 (segmentación) y Qwen3-VL-Embedding (texto).
• Arquitectura: Un módulo de atención cruzada fusiona los tokens visuales con las incrustaciones de texto, seguido de una cabeza de saliencia (MLP + sigmoide) y un proyector visual para aprendizaje contrastivo.
• Estrategia de Supervisión:
  1. Supervisión Separada por Entidad: En lugar de una máscara global única, el alineador se entrena con $K+2$ pasadas por video: $K$ pares por entidad (descripción + máscara binaria), un par de entidades combinadas y un par de fondo. Esto evita que el modelo colapse en un prior genérico de primer plano.
  2. Regularizador InfoNCE: Alinea las características visuales fusionadas con los estados ocultos del texto en el espacio de incrustaciones para evitar que la saliencia colapse sobre el sujeto más dominante, preservando el contraste entre entidades.
• Salida: Un mapa de saliencia continuo $M_p \in [0, 1]$ que indica la relevancia de cada token para el prompt.

Etapa 2: TRD Enrutado por Saliencia

Durante el entrenamiento continuo del VDM (específicamente Wan2.2), el alineador de la Etapa 1 congelado genera mapas de saliencia para la descripción completa del video. Estos mapas se fusionan en la pérdida TRD mediante un operador de enrutamiento de pares.

• Operadores de Enrutamiento de Pares: SARA define relajaciones de lógica difusa de operaciones booleanas para mapear las saliencias de los tokens ($w_i, w_j$) a los pesos de los pares ($W_{ij}$):
  • AND: $w_i w_j$ (Mantiene solo pares sujeto-sujeto; similar al efecto de MoAlign).
  • XOR: $|w_i - w_j|$ (Mantiene solo pares de frontera).
  • OR (Predeterminado): $w_i + w_j - w_i w_j$. Esta es la innovación central. Mantiene los pares sujeto-sujeto y los pares sujeto-fondo, desviando la supervisión de los pares fondo-fondo.
• Función de Pérdida: La pérdida TRD estándar se modifica para ser un promedio ponderado donde los pesos están determinados por el operador OR. Esto reasigna el presupuesto de supervisión del ruido de fondo a las relaciones semánticamente relevantes sin cambiar el objetivo del VFM ni el número de parámetros entrenables en la ruta de difusión.

Contribuciones Clave

1. Conceptual: Reencuadra la adaptación semántica para VDMs como un problema de enrutamiento de pares sobre TRD. Formaliza a MoAlign como un enrutador AND implícito y propone un enrutador OR supervisado por texto que incluye explícitamente la anclaje sujeto-fondo.
2. Metodológica: Introduce un alineador de saliencia condicionado al texto entrenado con máscaras SAM por entidad y un regularizador InfoNCE. Esto permite que el sistema decida dinámicamente qué pares de tokens llevan supervisión basándose en el prompt, en lugar de en señales de movimiento estáticas.
3. Empírica: Demuestra que SARA supera consistentemente a SFT, VideoREPA y MoAlign en el backbone Wan2.2 a través de múltiples protocolos de evaluación.

Resultados

Los experimentos se realizaron en un corpus de 500K clips con múltiples entidades utilizando el transformador Wan2.2 de alto ruido. La evaluación incluyó una rúbrica VLM de 13 dimensiones, suites públicas VBench-1.0/2.0 y un estudio de usuarios a ciegas.

• Rúbrica VLM: SARA es el único método que mejora simultáneamente tanto la Alineación de Texto (TA) como la Calidad del Movimiento (MQ) en comparación con la línea base preentrenada. Supera a la línea base más fuerte (MoAlign) en todas las dimensiones.
• VBench: SARA logra las puntuaciones agregadas más altas tanto en VBench-1.0 (Semántica: +0.90 sobre VideoREPA) como en VBench-2.0 (Final: +0.38 sobre MoAlign).
• Estudio de Usuarios: En un estudio pareado a ciegas, los anotadores prefirieron SARA sobre todas las líneas base, con la mayor diferencia de margen frente al modelo preentrenado.
• Ablaciones: Eliminar la cabeza de saliencia o el regularizador InfoNCE causa caídas significativas en el rendimiento. Reemplazar el enrutador OR por AND o XOR también degrada el rendimiento, confirmando que la inclusión de pares sujeto-fondo es crítica.

Significado y Afirmaciones

El artículo afirma que SARA aborda la "dilución" de las señales de supervisión en los métodos actuales de alineación de representaciones. Al desplazar la asignación del presupuesto $O(N^2)$ de una heurística impulsada por geometría o movimiento a una heurística impulsada por el prompt, SARA asegura que el modelo aprenda a vincular atributos e interacciones específicamente donde el texto lo indica.

Los autores señalan que, aunque SARA mejora el seguimiento del prompt, hereda las limitaciones del protocolo de entrenamiento del modelo base. Específicamente, dado que solo se actualiza el experto de alto ruido del MoE de Wan2.2, hay una ligera caída consistente en las cualidades renderizadas de "bajo ruido" (por ejemplo, fidelidad humana, consistencia temporal) en comparación con el modelo preentrenado congelado. Sin embargo, SARA exhibe la menor caída entre todos los métodos de entrenamiento continuo, lo que sugiere que sus actualizaciones dirigidas son menos disruptivas para el experto de bajo ruido congelado que las actualizaciones uniformes.

El artículo concluye que SARA proporciona un mecanismo más eficiente y semánticamente consciente para alinear modelos de difusión de video, logrando resultados de vanguardia en el seguimiento de texto de grano fino sin requerir condiciones adicionales en tiempo de inferencia ni cambios arquitectónicos en el backbone de difusión.