Resumen Técnico: ReBind

1. Planteamiento del Problema

Los modelos recientes de generación de vídeo basados en difusión han avanzado la edición de vídeo condicionada por múltiples referencias de imagen (MRVE), pero tienen dificultades para coordinar con precisión la información de múltiples fuentes visuales. El artículo identifica una deficiencia crítica en los enfoques existentes: la falta de relaciones de referencia explícitas en las instrucciones de edición.

Los métodos actuales dependen de Modelos de Lenguaje Multimodales (MLLM) de propósito general para generar instrucciones. Sin embargo, estos modelos a menudo fallan al establecer vínculos precisos entre los atributos visuales y sus referencias de origen específicas. En lugar de un anclaje explícito, dependen de dependencias semánticas distantes (por ejemplo, "reemplaza al personaje con la persona de la imagen de referencia 2"), lo que genera ambigüedad. Esto resulta en fallos sistemáticos, incluyendo la confusión de referencias cruzadas, la extracción inconsistente de atributos y resultados que no se alinean con las instrucciones de edición. El artículo sostiene que el cuello de botella no es la capacidad del modelo de generación, sino la incapacidad de generar representaciones intermedias (instrucciones) que capturen explícitamente la atribución de referencia.

2. Metodología

Los autores proponen ReBind, un marco sistemático que comprende dos componentes principales: un generador de instrucciones especializado (ReBind-Instruct) y un editor de vídeo (ReBind-Edit).

A. ReBind-Instruct: Generación de Instrucciones Estructuradas

ReBind-Instruct es un MLLM especializado entrenado para generar "instrucciones densas" donde se insertan directamente tokens de referencia visual explícitos (por ejemplo, <Image_1>, <Video_1>) en sus posiciones semánticas correspondientes. Esto elimina la ambigüedad al vincular cada atributo visual con su origen. El entrenamiento sigue un esquema progresivo de dos etapas:

1. Etapa 1: Aprendizaje de Instrucciones Estructuradas (Ajuste Fino Supervisado - SFT)

   • Modelo Base: Inicializado a partir de Qwen3-Omni-30B-A3.
   • Datos: Entrenado con aproximadamente 40K tripletos de MRVE curados (vídeo de origen, vídeo editado, imágenes de referencia) anotados con instrucciones densas de verdad fundamental (ground-truth).
   • Objetivo: Predicción de siguiente token estándar para enseñar al modelo el formato de las instrucciones estructuradas con referencias visuales explícitas.

2. Etapa 2: Optimización de la Atribución de Referencia (Aprendizaje por Refuerzo)

   • Algoritmo: Optimización de Política Relativa de Grupo (GRPO).
   • Objetivo: Optimizar la completitud del contenido y la precisión del anclaje de referencia, aspectos que el SFT por sí solo no puede abordar plenamente.
   • Diseño de Recompensa: Una función de recompensa compuesta por tres componentes:
     • Recompensa de Lista de Verificación Dual ($R_D$): Evalúa la completitud del contenido analizando por separado el contenido "Preservado" (elementos sin cambios del vídeo de origen) y el contenido "Editado" (elementos modificados de las imágenes de referencia). Penaliza la omisión de puntos clave, descripciones incorrectas y alucinaciones.
     • Recompensa de Consistencia Referencial ($R_C$): Evita la confusión de referencias cruzadas mediante la extracción de tríos objeto-atributo-referencia. Utiliza una puntuación F1 basada en la coincidencia exacta de la identidad del objeto, el descriptor visual y el ancla de referencia.
     • Recompensa de Longitud ($R_L$): Una penalización unidireccional para mitigar el colapso por repetición y fomentar una longitud de instrucción apropiada.

B. ReBind-Edit: Modelo de Edición de Vídeo

ReBind-Edit es una adaptación ligera del modelo de difusión de texto a vídeo LTX-2.3.

• Arquitectura: El modelo acepta una secuencia latente concatenada que incluye las imágenes de referencia, el vídeo de origen y el vídeo objetivo.
• Mecanismo: Emplea capas de atención cruzada (cross-attention) para vincular las características visuales de las imágenes de referencia con sus anclajes textuales correspondientes (los tokens explícitos generados por ReBind-Instruct) dentro de la instrucción densa.
• Entrenamiento: Entrenado en tripletos de edición de vídeo donde la instrucción densa sirve como guía textual. El ruido se aplica únicamente a la parte del vídeo editado durante la difusión.

C. Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos sintético de aproximadamente 100K tripletos de edición de vídeo.

• Proceso: Los vídeos objetivo se recolectaron de OpenVid-1M y AVSET-10M. Se utilizó un modelo de edición inversa (Bernini) para generar los vídeos de origen.
• Extracción de Referencias: Las entidades que sufren cambios fueron identificadas, enmascaradas usando SAM3 y pintadas mediante inpainting con Flux2 para crear candidatos de referencia limpios.
• Filtrado: Un proceso de dos etapas que involucra similitud de coseno de vídeo a vídeo y verificación mediante MLLM aseguró pares de alta calidad.

3. Contribuciones Clave

1. Identificación de una Deficiencia Crítica: El artículo postula que el fallo de los métodos de MRVE existentes proviene de la falta de relaciones de referencia explícitas en las instrucciones, una capacidad que los MLLM de propósito general carecen.
2. ReBind-Instruct: Un flujo de trabajo de entrenamiento de dos etapas (SFT + GRPO) que produce instrucciones densas con tokens de referencia visual explícitos. Logra una paridad casi total con los MLLM de frontera de código cerrado en la precisión de la atribución de referencias.
3. ReBind-Edit: Un editor de vídeo que aprovecha estas instrucciones densas para permitir una coordinación precisa de múltiples referencias mediante mecanismos de atención cruzada.
4. Nuevo Formato de Instrucción: Un cambio de subtítulos básicos a instrucciones semánticas con tokens de referencia embebidos, que desambiguan las relaciones y permiten que los modelos atiendan a la información de nivel de píxel de fuentes específicas.

4. Resultados Experimentales

El marco fue evaluado en IntelligentVBench y UniVBench (aumentados con instrucciones densas anotadas por humanos).

• Calidad de Generación de Instrucciones: ReBind-Instruct supera sustancialmente a los MLLM de propósito general (incluyendo modelos de código cerrado como Gemini-3.1-Pro y modelos de código abierto como Gemma4-31B-it) tanto en Calidad de Instrucción (completitud de contenido) como en Precisión de Referencia (atribución). Logró una puntuación general del 61.18%, superando al siguiente mejor modelo de código abierto por un 18.8%.
• Desempeño de Edición de Vídeo:
  • Referencia Única (RVE): ReBind-Edit alcanzó un rendimiento de estado del arte (SOTA) entre los métodos de código abierto en IntelligentVBench, superando al modelo de código cerrado Kling-o3 por 0.17 en la puntuación media general.
  • Múltiples Referencias (MRVE): En UniVBench, ReBind-Edit demostró una mejora de 0.60 sobre la base más fuerte (UniVideo) en tareas de múltiples referencias.
• Estudios de Ablación:
  • Diseño de Instrucción: Las instrucciones densas con tokens explícitos mejoraron la calidad de la edición en 0.45 respecto a las instrucciones básicas.
  • Calidad de la Instrucción: El uso de las instrucciones generadas por ReBind-Instruct mejoró los resultados en 0.41 respecto a las instrucciones de un MLLM estándar utilizando el mismo formato denso.
  • Componentes de Recompensa: La ablación de las recompensas de GRPO confirmó que las recompensas de Lista de Verificación Dual y de Consistencia Referencial son esenciales para la generación de instrucciones de alta calidad.

5. Significado y Reivindicaciones

El artículo afirma que el anclaje de referencia explícito es esencial para la edición de vídeo controlable con múltiples referencias. Argumenta que el principal cuello de botella en MRVE no es la capacidad del modelo generativo, sino la calidad de la representación de la instrucción intermedia. Al introducir un marco que genera sistemáticamente instrucciones con tokens de referencia explícitos y entrena un modelo para utilizarlos, ReBind logra un rendimiento SOTA entre los métodos de código abierto. El trabajo demuestra que el entrenamiento especializado para la atribución de referencias, en lugar de depender de MLLM de propósito general, es la clave para resolver la confusión de referencias cruzadas y lograr ediciones de vídeo precisas y coordinadas.