💻 computer science

VicEdit: Learning to Edit Videos from Visual In-Context Examples

El artículo presenta VicEdit, un marco unificado que hace avanzar la edición de video mediante el aprovechamiento de un nuevo conjunto de datos a gran escala (VicEdit-400K) y técnicas novedosas como la Destilación Semántica Adaptativa a la Modalidad y la Inyección de Contexto Dual para integrar eficazmente ejemplos visuales de contexto con instrucciones textuales para un rendimiento de edición superior.

Autores originales: Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Durante años, el sueño de la edición de video ha sido simplemente decirle a una computadora qué hacer. Si querías cambiar el color de un coche en una escena de una película o reemplazar un cielo nublado por un atardecer, podías escribir una frase como "haz que el cielo sea naranja" y el software intentaría dar lo mejor de sí. Este enfoque, conocido como edición basada en instrucciones, ha progresado notablemente. Se basa en potentes modelos de inteligencia artificial que comprenden el lenguaje y pueden generar imágenes y videos desde cero. Sin embargo, un problema fundamental persiste: las palabras suelen ser demasiado vagas para capturar el aspecto y la sensación específicos de una escena. Una descripción de texto puede decir "coche rojo", pero no puede transmitir fácilmente el tono exacto de rojo, la forma en que la luz incide sobre el metal o el movimiento específico del vehículo. Cuando una computadora intenta adivinar estos detalles basándose solo en una frase, el resultado suele verse mal, con colores que derivan, objetos que aparecen en el lugar equivino o movimientos que se sienten rígidos y antinaturales.

Para resolver esto, los investigadores han comenzado a explorar una forma diferente de enseñar a las computadoras: mostrarles ejemplos en lugar de solo decírselo. Este concepto, llamado aprendizaje en contexto (in-context learning), es similar a cómo un aprendiz humano aprende un oficio. En lugar de leer un manual sobre cómo pintar una pared, el aprendiz observa a un maestro pintor aplicar una pincelada específica a una superficie determinada. Al observar la relación entre la pared original y el resultado final, el aprendiz aprende la técnica precisa. En el mundo de la edición de video, esto significa proporcionar a la computadora referencias visuales, como una sola imagen, un par de imágenes que muestran un antes y un después, o incluso un breve clip de video del cambio deseado. El desafío ha sido que ningún sistema podía manejar todos estos diferentes tipos de pistas visuales a la vez, y no existía una gran colección de ejemplos para enseñar al sistema cómo utilizarlos de manera efectiva.

Un equipo de investigadores ha cerrado ahora esta brecha con un nuevo sistema llamado VicEdit. Su trabajo representa un cambio significativo de depender únicamente de descripciones de texto a utilizar ejemplos visuales como la guía principal para la edición. Para construir este sistema, el equipo creó primero una enorme biblioteca de datos de entrenamiento. Generaron 400,000 ejemplos de alta calidad, un conjunto de datos que llamaron VicEdit-400K. Esta colección es única porque cubre diez tipos diferentes de tareas de edición, desde cambiar el estilo de toda una escena hasta añadir o eliminar objetos específicos. Crucialmente, cada ejemplo en esta biblioteca está emparejado con el tipo adecuado de referencia visual: una sola imagen para cambios de estilo, un par de imágenes para cambios espaciales o un par de videos para movimientos complejos. Esta vasta biblioteca les permitió enseñar a la computadora a interpretar las pistas visuales con un nivel de precisión que el texto por sí solo nunca podría proporcionar.

El núcleo de su nuevo sistema es un método que permite a la computadora adaptar su comprensión basándose en el tipo de pista visual que recibe. Cuando la computadora ve una sola imagen, aprende a enfocarse en texturas y colores. Cuando ve un par de imágenes, aprende a entender cómo los objetos se mueven de una posición a otra. Cuando ve un par de videos, aprende a seguir el flujo del tiempo y el movimiento. Los investigadores diseñaron un proceso que extrae estas lecciones específicas de los ejemplos visuales y las combina con las instrucciones escritas. Esto asegura que la computadora no solo siga el texto ciegamente, sino que utilice los ejemplos visuales para anclar los cambios en la realidad. Por ejemplo, si un usuario pide cambiar una botella de agua por una galaxia brillante, el texto proporciona la idea, pero un ejemplo visual de una galaxia brillante asegura que la computadora sepa exactamente cómo se ve eso, evitando que cree un resultado genérico o distorsionado.

Los resultados de este enfoque son sorprendentes. Al ser probado contra los métodos existentes, el nuevo sistema produjo consistentemente videos de mayor calidad que eran más fieles a la intención del usuario. En tareas donde otros sistemas tuvieron dificultades para mantener los objetos en el lugar correcto o mantener el estilo adecuado, este nuevo método tuvo éxito. Pudo integrar perfectamente un nuevo objeto en una escena, cambiar el fondo sin distorsionar el primer plano, o aplicar estilos artísticos complejos que parecieran naturales y coherentes. El sistema demostró que, al mostrarle a la computadora qué hacer, en lugar de solo decírselo, la calidad de la edición mejora drásticamente. Este trabajo establece un nuevo estándar para la edición de video, demostrando que los ejemplos visuales son una herramienta poderosa y necesaria para guiar a la inteligencia artificial. Los investigadores han puesto su conjunto de datos y su sistema a disposición de los demás, abriendo la puerta a herramientas de edición de video más precisas y creativas en el futuro.

Resumen Técnico: VicEdit: Aprendiendo a Editar Videos mediante Ejemplos Visuales de Contexto In-Context

Declaración del Problema

La edición de video dirigida por instrucciones ha avanzado significativamente a través de interfaces basadas en texto, aprovechando los modelos de lenguaje extensos (LLMs) y las arquitecturas de difusión. Sin embargo, los autores identifican una limitación fundamental: las instrucciones textuales unimodales inherentemente tienen dificultades para transmitir texturas finas, transformaciones espaciales precisas y dinámicas temporales complejas. Los modelos de referencia solo de texto suelen sufrir de:

Deriva Estilística (Stylistic Drift): Los descriptores lingüísticos no logran anclar con precisión texturas o estilos visuales específicos.
Ambigüedad Espacial: El texto especifica qué editar pero no dónde, careciendo de los anclajes espaciales que proporcionan los pares de imágenes.
Dinámicas Estáticas: Los patrones de movimiento complejos en la edición creativa exceden la capacidad lingüística, una brecha no abordada por los trabajos de referencia existentes que típicamente soportan solo modalidades de imagen estática única.

Además, los conjuntos de datos y evaluaciones existentes están limitados a controladores de texto o de una sola imagen, careciendo de los recursos multimodales a gran escala necesarios para entrenar modelos capaces de un razonamiento visual heterogéneo.

Metodología: El Marco de Trabajo VicEdit

El artículo propone VicEdit, un marco unificado que transiciona la edición de video de la descripción mediante "decir" a la prescripción mediante "mostrar" a través de la Edición Visual In-Context. Este paradigma acepta entradas de referencia heterogéneas: Imágenes Únicas ( $R_{si}$ ), Pares de Imágenes ( $R_{ip}$ ) y Pares de Video ( $R_{vp}$ ).

1. Curación de Datos: VicEdit-400K

Para soportar este paradigma, los autores introducen VicEdit-400K, el primer conjunto de datos a gran escala para la edición de video in-context visual.

Escala y Diversidad: Contiene 400K muestras de alta calidad a través de 10 tipos de tareas distintas (por ejemplo, transferencia de estilo, manipulación de objetos, síntesis espacio-temporal) y tres modalidades de referencia.
Pipeline de Construcción: Un pipeline automatizado de cuatro etapas asegura la calidad:
1. Filtrado de Datos Fuente: Utiliza LAION-Aesthetic y Qwen3-VL para filtrar la consistencia semántica y la calidad estética.
2. Síntesis de Instrucciones: Los MLLM generan instrucciones conscientes de la modalidad estrictamente alineadas con las referencias visuales.
3. Generación de Referencia Visual: Utiliza modelos generativos de vanguardia para imágenes y un Grafo de Conocimiento Semántico con agrupamiento espectral para los pares de video para asegurar la fidelidad temporal.
4. Verificación Semántica: Verificación multidimensional vía MLLM para filtrar el seguimiento de instrucciones, la consistencia temporal y la alineación con la referencia.

2. Arquitectura del Modelo

VicEdit integra un Modelo de Lenguaje de Gran Escala Multimodal (MLLM) congelado para la comprensión semántica con un Transformer de Difusión de Video (DiT) para la generación, conectados por dos módulos ligeros:

Destilación Semántica Adaptativa a la Modalidad (MASD):
- Desafío: Los métodos existentes utilizan consultas aprendibles fijas, que no pueden adaptarse a las diferencias estructurales entre modalidades (por ejemplo, desplazamientos espaciales en pares de imágenes frente a texturas globales en imágenes únicas).
- Solución: MASD modula las consultas base ( $Q_{base}$ ) con embeddings específicos de la modalidad ( $E_m$ ) aprendibles mediante un desplazamiento aditivo: $Q_{vis} = Q_{base} + E_m$ .
- Mecanismo: Esto descompone el espacio de búsqueda en un manifold de edición común y regiones subespecíficas de la modalidad, permitiendo al modelo destilar tokens semánticos específicos de la modalidad ( $T_{vis}$ ) de los estados ocultos del MLLM.
Inyección de Contexto Dual (DCI):
- Desafío: La concatenación de tokens visuales e instrucciones de texto a menudo conduce a una desalineación, donde la rama de texto extrae características genéricas que ignoran la instanciación perceptual específica proporcionada por la referencia visual.
- Solución: DCI introduce un mecanismo de desplazamiento semántico. Utiliza las consultas condicionadas por la modalidad ( $Q_{vis}$ ) de MASD para generar un vector de desplazamiento ( $\Delta_{inst}$ ) mediante un MLP ligero.
- Mecanismo: Este desplazamiento calibra las consultas de instrucción base ( $Q_{inst}$ ) para producir consultas conscientes de lo visual ( $Q'_{inst} = Q_{inst} + \Delta_{inst}$ ). Estas se utilizan luego para extraer tokens de instrucción ( $T_{inst}$ ). Finalmente, $T_{vis}$ y $T_{inst}$ se concatenan en tokens de contexto dual ( $T_{dual}$ ) y se inyectan en el Video DiT mediante atención cruzada.

3. Estrategia de Entrenamiento

VicEdit se entrena en tres etapas progresivas sobre la base Wan-TI2V-5B:

Edición Base: Ajuste fino (fine-tuning) del DiT en tareas instruidas por texto para establecer el seguimiento de instrucciones fundamental.
Rama In-Context: Entrenamiento de los módulos MASD y DCI (con el DiT congelado) para aprender embeddings de modalidad equilibrados y desplazamientos semánticos.
Ajuste Fino Conjunto: Descongelar el DiT para optimizar conjuntamente todo el pipeline, alineando las señales de condicionamiento visual con el proceso generativo.

Principales Contribuciones

Cambio de Paradigma: Formulación de un paradigma unificado de Edición de Video Visual In-Context que aprovecha pistas semánticas densas de imágenes únicas, pares de imágenes y pares de video.
VicEdit-400K: La creación del primer conjunto de datos a gran escala (400K muestras) que cubre tres modalidades de referencia y diez tipos de tareas, proporcionando una base sistemática para el aprendizaje visual in-context.
Marco de Trabajo VicEdit: Una arquitectura unificada que presenta la Destilación Semántica Adaptativa a la Modalidad (MASD) para la extracción de semántica específica de la modalidad y la Inyección de Contexto Dual (DCI) para la fusión sinérgica de contextos visuales y textuales.
VicEdit-Bench: Un protocolo de evaluación estandarizado que comprende 200 instancias zero-shot para evaluar rigurosamente el seguimiento de referencias heterogéneas.

Resultados Experimentales

Se realizaron evaluaciones extensas en OpenVE-Ext (edición básica) y VicEdit-Bench (edición visual in-context).

Desempeño Cuantitativo: VicEdit alcanza el estado del arte (SOTA) en todos los métricas. En VicEdit-Bench, obtiene una puntuación general de 3.45, superando al segundo mejor método (Kiwi-Edit, 2.97) por un margen significativo (mejora relativa del 16%). Supera a los baselines de solo texto (VACE, Lucy-Edit, DITTO, NovaEdit, VideoCoF) y al baseline de referencia de imagen única (Kiwi-Edit) en todas las subtareas, incluyendo Estilo Global, Cambio Local y Edición Creativa.
Análisis Cualitativo: Las comparaciones visuales demuestran que VicEdit resuelve los problemas de deriva estilística, ambigüedad espacial y dinámicas estáticas presentes en los baselines. Por ejemplo, en las tareas de "local_add", VicEdit maneja correctamente las relaciones espaciales y la escala, mientras que los baselines a menudo producen colapso estructural o una fusión deficiente.
Estudios de Ablación:
- MASD: Mejora significativamente la fidelidad de los detalles al destilar adaptativamente los priors específicos de la modalidad, evitando el desenfoque semántico.
- DCI: Crucial para refinar la precisión del seguimiento de instrucciones al calibrar las consultas de texto contra el contexto visual, resolviendo ambigüedades del lenguaje natural.
- Estrategia de Entrenamiento: El enfoque por fases asegura que el modelo mantenga capacidades robustas de edición base mientras domina tareas in-context complejas.

Significado y Reivindicaciones

El artículo afirma que VicEdit establece el aprendizaje visual in-context como un paradigma poderoso y controlable para la edición de video. Al cerrar la brecha perceptual entre las descripciones de texto y la realidad visual, el marco permite una controlabilidad fina que las instrucciones de solo texto no pueden lograr.

Los autores enfatizan que su trabajo aborda deficiencias sistémicas tanto en el razonamiento arquitectónico (falta de flexibilidad en contextos heterogéneos) como en los recursos de datos (falta de conjuntos de datos multimodales a gran escala). Si bien el diseño actual apunta a la edición a nivel semántico, el artículo señala que el trabajo futuro podría explorar la precisión a nivel de píxel y la escalabilidad adicional del conjunto de datos. El marco propuesto y el conjunto de datos se presentan como una base sistemática para avanzar en el campo desde la instrucción descriptiva hacia la demostración visual prescriptiva.