Resumen Técnico: RVEDiT – Razonamiento Implícito en Transformadores de Difusión para Edición de Video

Enunciado del Problema

La edición de video basada en instrucciones requiere transformar un video fuente de acuerdo con una instrucción en lenguaje natural, preservando el contenido irrelevante y manteniendo la coherencia temporal. Los autores argumentan que los editores existentes basados en Transformadores de Difusión (DiT) luchan con esta tarea debido a dos limitaciones estructurales en las pipelines actuales:

1. Condicionamiento Indiferenciado: En los DiT estándar, las instrucciones textuales y los tokens visuales se concatenan en una única secuencia conjunta procesada uniformemente por cada bloque del transformador. Esto obliga a un único flujo de tokens a codificar simultáneamente la intención de edición de alto nivel y los objetivos visuales de bajo nivel, dejando sin un "espacio de trabajo" dedicado para el razonamiento.
2. Razonamiento Interno No Supervisado: Los patrones de atención cruzada que gobiernan la edición se supervisan solo indirectamente a través de pérdidas de reconstrucción a nivel de píxel (por ejemplo, flujo de coincidencia). En consecuencia, la huella de razonamiento interna del modelo (los mapas de atención que codifican qué tokens de texto leen qué regiones visuales) está subconstruida. El modelo aprende a minimizar el error de reconstrucción, pero no se le enseña explícitamente a establecer las correspondencias a granularidad fina requeridas para ediciones fieles a la instrucción.

El artículo postula que la edición de video basada en instrucciones es fundamentalmente un problema de razonamiento latente que debe resolverse de forma nativa dentro del núcleo del DiT, en lugar de externalizar el razonamiento a Modelos de Lenguaje Grandes Multimodales (MLLM) externos, lo cual puede introducir alucinaciones, o tratar el núcleo como una caja negra.

Metodología: RVEDiT

Los autores proponen RVEDiT (Reasoning Video Editing DiT), un marco diseñado para estructurar el flujo de condicionamiento y supervisar el proceso de razonamiento interno. Consiste en dos componentes complementarios:

1. Condicionamiento de Tokens Ruteado por Granularidad (GRTC)

Este componente aborda el cuello de botella del condicionamiento indiferenciado introduciendo un mecanismo de enrutamiento consciente de la profundidad:

• Tokens de Edición Aprendibles: Un conjunto de $K$ tokens de edición aprendibles ($X_e$) se destila a partir de un MLM (específicamente Qwen2.5-VL) dado el video fuente y la instrucción. Estos tokens actúan como un portador abstracto y contextualizado globalmente de la intención de edición.
• Enrutamiento Basado en Profundidad: Los tokens se enrutan a diferentes capas del DiT según su granularidad semántica:
  • Capas Superficiales ($\ell_{idx} \le L_s$): Atienden solo a los tokens de edición aprendibles ($X_e$). Esto permite que los bloques tempranos establezcan una intención de edición global sin ser diluidos por miles de tokens a nivel de píxel.
  • Capas Profundas ($\ell_{idx} > L_s$): Atienden a la secuencia completa $[X_e; X_v; X_\ell]$, donde $X_v$ son tokens visuales nativos y $X_\ell$ son tokens textuales. Esto permite que los bloques más profundos anclen la intención global en regiones específicas, texturas y movimientos.
• Efecto: Esto crea un proceso de edición de lo grueso a lo fino dentro del núcleo, separando la formación de la intención global del refinamiento local.

2. Alineación de Atención Anclada a Referencia (RAAA)

Este componente aborda el cuello de botella del razonamiento no supervisado introduciendo un regularizador durante el entrenamiento que no incurre en costos de inferencia:

• Rama de Referencia: Durante el entrenamiento, se realiza un segundo paso hacia adelante a través del mismo DiT (con pesos compartidos) condicionado al video objetivo de verdad fundamental ($v^*$) y su descripción ($\ell^*$). Esta rama genera una huella de razonamiento "exitosa" (mapas de atención cruzada) que sirve como ancla.
• Maximización de Información Mutua: El método maximiza la información mutua entre las características de atención cruzada de la rama de edición (condicionada a fuente + instrucción) y la rama de referencia (condicionada al objetivo).
• Objetivo: Utilizando un estimador InfoNCE simétrico, se alienta al modelo a alinear la geometría de atención de la rama de edición con la rama de referencia en una profundidad muestreada aleatoriamente. Esto enseña al modelo dónde y cómo atender para reflejar una edición exitosa, en lugar de simplemente minimizar el error de reconstrucción de píxeles.
• Inferencia: La rama de referencia se descarta después del entrenamiento, sin añadir sobrecarga computacional al despliegue.

El objetivo final de entrenamiento combina la pérdida estándar de flujo de coincidencia ($\mathcal{L}_{fm}$) con el término de alineación ($\mathcal{L}_{align}$):
$$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$$

Contribuciones Clave

1. Formulación del Problema: El artículo identifica y formaliza dos cuellos de botella estructurales en las pipelines existentes de DiT (condicionamiento indiferenciado y razonamiento no supervisado) que obstaculizan el razonamiento implícito en la edición de video.
2. Marco RVEDiT: Un marco nativo de DiT que internaliza el razonamiento mediante:
   • Condicionamiento de Tokens Ruteado por Granularidad: Establece un proceso de edición de lo grueso a lo fino enrutando tokens derivados de MLLM a capas superficiales y tokens nativos a capas profundas.
   • Alineación de Atención Anclada a Referencia: Supervisa activamente la vía de razonamiento maximizando la información mutua entre las huellas de atención de edición y referencia.
3. Validación Empírica: Experimentos extensos demuestran que RVEDiT supera a las líneas base de código abierto más avanzadas, particularmente en ediciones localizadas, composicionales y sensibles a la fidelidad.

Resultados Experimentales

Los autores evaluaron RVEDiT en el OpenVE-Bench contra líneas base que incluyen VACE, OmniVideo, ICVE, Lucy-Edit, DITTO y Kiwi-Edit. La evaluación se realizó utilizando un protocolo de MLLM como juez (Gemini-3.1-Pro y Qwen3.5-VL-35B) puntuando tres ejes: Cumplimiento de Instrucciones (IC), Fidelidad de Consistencia (CF) y Calidad Visual (VQ).

• Rendimiento Cuantitativo: RVEDiT logró las puntuaciones generales más altas bajo ambos jueces (77.42 con Qwen3.5-VL-35B y 62.48 con Gemini-3.1-Pro).
• Ganancias Específicas: El modelo mostró un rendimiento particularmente fuerte en las tareas de Añadir Local y Cambiar Local, que requieren modificación precisa y preservación del contenido circundante. También tuvo buen desempeño en la transferencia de Estilo Global.
• Estudios de Ablación:
  • Eliminar GRTC degradó el rendimiento en tareas que requieren una intención global clara (Añadir Local, Estilo Global).
  • Eliminar RAAA causó una caída en tareas que requieren correspondencia posicional de granularidad fina (Añadir Local, métricas CF y VQ).
  • Eliminar ambos componentes resultó en un fallo significativo, particularmente en tareas de Eliminar Local (IC cayó casi 17 puntos en comparación con el modelo completo).
• Análisis Mecanístico: El análisis de la masa de atención confirmó que las capas superficiales se centran en los tokens de edición (intención global) mientras que las capas más profundas se desplazan hacia los tokens nativos (refinamiento local), validando el diseño de lo grueso a lo fino.

Significado y Afirmaciones

El artículo afirma que RVEDiT demuestra exitosamente que dar forma explícita al proceso de razonamiento interno de los núcleos generativos es un camino viable hacia una edición de video robusta y controlable. Al tratar la tarea como un problema de razonamiento latente y abordar los cuellos de botella estructurales de los DiT estándar, el método logra:

• Fidelidad a la Instrucción: Mejor adherencia a instrucciones complejas en lenguaje natural.
• Preservación de la Fuente: Mejor retención del contenido no editado y la estructura de la escena.
• Coherencia Temporal: Reducción del parpadeo y los artefactos entre cuadros.

Los autores enfatizan que estas mejoras se logran sin módulos de planificación externos ni costos adicionales de inferencia, lo que sugiere que los pasos generativos de extremo a extremo pueden dotarse de capacidades de razonamiento implícito mediante el diseño arquitectónico y objetivos de entrenamiento dirigidos.