💻 computer science

InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

El artículo presenta InfinityEdit, un adaptador ligero para generadores de video preentrenados que permite la edición ilimitada y basada en instrucciones de video en streaming al asegurar una continuidad temporal fiel y una calidad de generación estable a través de una secuencia infinita de solicitudes de edición.

Autores originales: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo la transmisión en vivo de un partido de fútbol y, de repente, deseas que todo el estadio parezca una pintura de acuarela, o quieres que la cámara baje repentinamente desde el cielo para seguir el balón. En el mundo de la inteligencia artificial, crear tales cambios suele ser un proceso rígido. Las herramientas actuales pueden tomar un clip de video corto y terminado para alterarlo, pero tratan al clip como una caja cerrada. Pueden reescribir lo que ya está ahí, pero no pueden alcanzar fácilmente el futuro para cambiar lo que sucederá después. Si el video continúa reproduciéndose, las reglas antiguas dejan de funcionar y el nuevo estilo o ángulo de cámara desaparece. Esta limitación dificulta la edición de transmisiones en vivo o escenas en curso donde la historia aún se está desarrollando.

Un equipo de investigadores ha abordado este problema desarrollando una nueva forma de editar videos que nunca terminan. Llaman a su enfoque "edición de video infinita". En lugar de forzar a un video a ajustarse a un intervalo de tiempo fijo, su método permite que una inteligencia artificial aplique un cambio —como un nuevo estilo visual o un movimiento de cámara— y luego siga generando nuevos fotogramas que continúen ese cambio de forma natural para siempre. El sistema no solo reescribe el pasado; aprende a llevar la edición hacia el futuro, asegurando que el video se mantenga consistente y de alta calidad incluso a medida que llegan nuevas instrucciones una tras otra.

Los investigadores comenzaron reconociendo que los editores de video existentes operan bajo un supuesto simple: el video ya está terminado. Toman un clip de origen y producen una versión editada de la misma duración exacta. Esto funciona bien para cortometrajes o publicaciones en redes sociales, pero falla cuando el video es una transmisión continua, como un juego en vivo o la señal de una cámara de seguridad. En estas situaciones, el video sigue creciendo. Si quieres cambiar el estilo del metraje a mitad de camino, la edición debe extenderse a cada nuevo fotograma que aparezca. Los métodos antiguos no pueden hacer esto porque están diseñados para mirar hacia atrás a un clip estático, no hacia adelante a un flujo abierto.

Para resolver esto, el equipo primero construyó una forma de enseñar a las computadoras cómo manejar este desafío específico. Crearon una colección masiva de ejemplos de entrenamiento. Tomaron videos existentes y los emparejaron con instrucciones sobre cómo cambiarlos, tales como "haz que esto parezca un libro de cómics" o "mueve la cámara hacia abajo". Crucialmente, no solo pidieron a la computadora que cambiara los fotogramas existentes. Generaron nuevos segmentos de video que continuaban a partir del metraje original mientras aplicaban el cambio solicitado. Esto enseñó al sistema que una edición no es solo un filtro aplicado a una instantánea, sino una nueva dirección que la historia debe tomar. Filtraron cuidadosamente estos datos para asegurar que los nuevos segmentos de video parecieran realistas y que los cambios se aplicaran correctamente sin romper el flujo de la escena.

Con estos datos en mano, introdujeron un nuevo sistema llamado InfinityEdit. Este sistema funciona mediante la conexión de un "adaptador" pequeño y ligero a un generador de video potente que ya es muy bueno creando videos largos. Piensen en el generador principal como un artista experto que puede dibujar un flujo continuo de imágenes, y en el adaptador como un pincel especial que puede cambiar el estilo del dibujo sobre la marcha. El generador principal permanece congelado, lo que significa que su conocimiento central sobre cómo crear un video estable y de alta calidad nunca se altera. El adaptador es la única parte que aprende. Se sitúa entre el generador y las instrucciones del usuario, listo para intervenir solo cuando llega una nueva solicitud de edición.

Cuando un usuario envía una instrucción, el adaptador se activa durante solo un segmento corto del video. Toma la instrucción y el historial reciente del video y genera un nuevo bloque de fotogramas que aplica el cambio. Este nuevo bloque actúa como un puente. Una vez que se crea este primer segmento editado, el adaptador se apaza y el generador principal toma el control nuevamente. Debido a que el generador principal ahora está mirando los fotogramas recién editados como su historial, continúa naturalmente el video en el nuevo estilo o con el nuevo ángulo de cámara. La edición ha sido "encendida", y el sistema la lleva hacia adelante automáticamente. Este proceso puede repetirse infinitamente. Si llega una segunda instrucción más tarde, el adaptador se despierta de nuevo para aplicar el nuevo cambio, y el generador continúa desde ahí.

Los investigadores descubrieron que este enfoque resuelve dos problemas mayores que suelen afectar a la generación de video prolongada. El primero es la consistencia. En muchos sistemas, si intentas editar un video que ya se está generando, los cambios a menudo se desvanecen o se pierden a medida que el video progresa. Los nuevos fotogramas podrían volver al aspecto original. InfinityEdit evita esto restableciendo un punto de referencia clave cada vez que ocurre una edición. Esto asegura que el video se mantenga anclado al cambio más reciente, manteniendo el estilo o el ángulo de cámara estables mientras el video continúe.

El segundo desafío es la calidad. Cuando una computadora genera video fotograma a fotograma, los pequeños errores pueden acumularse con el tiempo, haciendo que la imagen se vea borrosa o distorsionada. Los investigadores entrenaron a su adaptador para manejar un historial imperfecto. Deliberadamente les dieron al sistema ejemplos donde los fotogramas anteriores tenían ligeros defectos, enseñándole a recuperarse y producir resultados limpios incluso cuando la entrada no era perfecta. Este entrenamiento permite que el sistema permanezca estable incluso después de muchas rondas de edición, evitando que el video se degrade a medida que se vuelve más largo.

En sus pruebas, el sistema aplicó con éxito una amplia variedad de ediciones a flujos de video en curso. Podía cambiar el estilo visual de una escena, alterar el movimiento de la cámara o modificar la apariencia de los objetos, y luego continuar la generación del video con esos cambios intactos. Los resultados mostraron que el video se mantuvo fiel a las instrucciones y no regresó al estado original. El sistema manejó estos cambios repetidamente sin perder calidad, demostrando que es posible editar un flujo de video mientras sucede, en lugar de esperar a que el video termine.

Este trabajo abre la puerta a un nuevo tipo de interacción con el video. En lugar de editar un producto terminado, los usuarios ahora pueden guiar un video mientras este se está creando. Ya sea reestilizando una transmisión de deportes en vivo en tiempo real o cambiando la perspectiva de una cámara virtual durante una grabación larga, la tecnología ofrece una forma de mantener la edición viva a medida que la historia se desarrolla. Los investigadores han demostrado que, al combinar un generador estable y preentrenado con un adaptador flexible y ligero, podemos crear herramientas de edición de video que no están limitadas por el tiempo, permitiendo un flujo verdaderamente infinito de posibilidades creativas.

Resumen Técnico de InfinityEdit: Edición de Video Infinita con un Adaptador de Ignición de Edición Ligero

1. Definición del Problema: Edición de Video Infinita

Los métodos existentes de edición de video basados en instrucciones operan bajo una suposición de edición in situ (in-place). Estos alinean un fotograma de salida editado fotograma a fotograma con un clip de duración fija. Aunque son efectivos para clips estáticos, este paradigma falla ante flujos de video abiertos (por ejemplo, el reestilizado de un juego en vivo o la aplicación de movimientos de cámara a tomas continuas) donde llega contenido nuevo de forma continua.

El artículo define la Edición de Video Infinita como una tarea donde, dado un segmento de video precedente ( $V_{pcd}$ ) y una instrucción de edición ( $c_{edit}$ ), un modelo debe generar un segmento subsecuente ( $V_{tgt}$ ) que:

Aplique fielmente la edición solicitada en $c_{edit}$ .
Continúe el flujo de manera natural, generando fotogramas futuros que no estaban presentes en la entrada, en lugar de reescribir los fotogramas existentes.
Mantenga la estabilidad a lo largo de una secuencia ilimitada de ediciones, evitando la propagación de errores y la degradación de la calidad a medida que las ediciones se acumulan.

Los desafíos principales identificados son:

Continuación Fiel: El modelo no puede simplemente transformar los fotogramas de entrada; debe generar una continuación coherente donde las entidades no afectadas por la edición permanezcan consistentes con el historial.
Estabilidad: A medida que cada segmento generado se convierte en el historial para el siguiente, los errores pueden acumularse con el tiempo.
Conflicto con los Priores de Streaming: Los generadores de streaming estándar utilizan mecanismos como fotogramas ancla y caché de historial para evitar el desvío (drift). Sin embargo, estos mecanismos suelen atraer el contenido generado de vuelta hacia el original no editado, debilitando o ignorando las nuevas instrucciones de edición.

2. Metodología

Pipeline de Recolección de Datos
Para entrenar un modelo para esta tarea, los autores construyeron un conjunto de datos de tripletas $(V_{pcd}, c_{edit}, V_{tgt})$ :

Fuente: Muestreado del conjunto de datos UltraVideo.
Instrucciones: Generadas expandiendo tipos de edición abstractos (de VAP) en prompts detallados de lenguaje natural usando Gemini 3 Flash, condicionados en las descripciones de la fuente.
Objetivos (Targets): Sintetizados usando Wan2.2-I2V-A14B. El pipeline emplea una generación consciente del tipo de edición:
- Ediciones de estilo/apariencia: El fotograma de conexión se edita primero (usando Qwen-Image-Edit) antes de generar el video.
- Ediciones de cámara/movimiento: El fotograma de conexión se preserva para asegurar la consistencia de la escena, aplicando los cambios solo al punto de vista.
Filtrado: Las tripletas fueron calificadas manualmente en términos de alineación, consistencia, racionalidad y calidad visual.

Arquitectura del Modelo: InfinityEdit
La solución propuesta acopla un Adaptador de Ignición de Edición (Edit-Ignition Adapter) ligero a un generador de video de streaming congelado (Helios-Distilled, un transformador de difusión autorregresivo de 14B). El adaptador es el único componente entrenable.

El adaptador consiste en tres módulos de atención insertados después de cada capa del transformador:

Atención Cruzada de Historial (History Cross-Attention): Ancla el nuevo fragmento de eliminación de ruido (denoising chunk) a los fotogramas de entrada proporcionados. Las consultas (queries) se restringen a los fotogramas iniciales del fragmento actual, mientras que las llaves (keys) y valores (values) provienen de los tokens del historial. Esto asegura que la edición respete el pasado inmediato.
Auto-atención Temporal Causal (Temporal Causal Self-Attention): Propaga las señales temporales estrictamente desde los fotogrames anteriores hacia los posteriores dentro del fragmento, manteniendo el flujo autorregresivo requerido para el streaming.
Atención Cruzada de Edición (Edit Cross-Attention): Inyecta la instrucción de edición ( $c_{edit}$ ) en el proceso de generación. Todos los tokens en el fragmento actual consultan el prompt de edición, permitiendo que la instrucción influya en todo el segmento generado.

Estrategia de Entrenamiento

Objetivo: Objetivo de ajuste de flujo (flow-matching) con un backbone congelado.
Corrupción de Historial: Para mitigar el sesgo de exposición (donde el modelo condiciona su proceso en sus propias salidas imperfectas durante la inferencia), el proceso de entrenamiento corrompe aleatoriamente los fotogramas del historial con ruido.
Muestreo de Ruido: En lugar del esquema piramidal del backbone, el adaptador utiliza un muestreo de Mezcla-Gaussiana de niveles de ruido ( $\sigma$ ) para desacoplar el control de la edición de las etapas de resolución específicas.
Currículo de Dos Fases:
- Fase 1: Cobertura uniforme de niveles de ruido para aprender la edición básica.
- Fase 2: Se enfoca en niveles de ruido de medio a bajo y en fotogramas posteriores para refinar detalles y mejorar la calidad.

Pipeline de Inferencia: "Ignición y Continuación" (Ignite-Then-Continue)
El proceso de inferencia maneja las ediciones infinitas mediante una estrategia específica:

Ignición: Cuando llega una instrucción de edición, el adaptador se activa únicamente para el primer fragmento (el "fragmento de ignición"). Este fragmento se genera utilizando el adaptador y un esquema Euler de una sola etapa (incluyendo un paso de ruido cercano a cero para el refinamiento de detalles).
Continuación: Los fragmentos subsecuentes se generan mediante el backbone congelado con el adaptador desactivado. Debido a que el primer fragmento editado es ahora parte de la ventana de historial, el backbone continúa naturalmente el flujo editado.
Gestión de Estado:
- El fotograma ancla ( $x_0$ ) se reinicia al primer fotograma del nuevo fragmento de ignición para evitar que el modelo revierta al origen original.
- El prompt de la escena se actualiza con la instrucción de edición actual.
- Una ventana deslizante gestiona la memoria, descartando fotogramas antiguos para mantener los costos limitados.

3. Contribuciones Clave

Definición de la Tarea: Formalizó la Edición de Video Infinita, distinguiéndola de la edición in situ e identificando los desafíos específicos de la continuación fiel y la estabilidad a largo plazo.
Pipeline de Datos: Desarrolló un pipeline de síntesis para generar tripletas de entrenamiento conscientes del tipo de edición que cierran la brecha entre la edición estática y la generación de streaming.
Arquitectura: Propuso InfinityEdit, un adaptador ligero que permite a un generador de streaming congelado aplicar ediciones sin comprometer sus priores de generación de video largo.
Estrategia de Inferencia: Introdujo el esquema "ignición y continuación", que aplica ediciones localmente mientras aprovecha los mecanismos de estabilidad del backbone para el resto del flujo.

4. Resultados y Reivindicaciones

Experimentos extensos en casos fuera de la distribución demuestran que:

InfinityEdit continúa fielmente el flujo bajo cada instrucción de edición, aplicando con éxito los cambios solicitados a los fotogramas futuros.
El sistema se mantiene estable a través de secuencias ilimitadas de ediciones, evitando el desvío y la degradación de calidad comunes en enfoques que simplemente vuelven a enviar prompts al modelo.
El método equilibra eficazmente la aplicación de nuevas ediciones con la preservación de la capacidad del modelo original para generar videos largos y coherentes.

5. Significado

El artículo afirma que InfinityEdit aborda una brecha crítica en la generación de video: la incapacidad de editar flujos en vivo y abiertos dinámicamente. Al desacoplar el mecanismo de inyección de edición del prior de generación a largo plazo, el método permite la edición sobre la marcha (por ejemplo, el reestilizado de metraje de juegos o el cambio de ángulos de cámara en tiempo real) sin requerir el reentrenamiento completo del modelo o sacrificar la estabilidad del generador subyacente. Esto permite aplicaciones prácticas donde los flujos de video son continuos y los requisitos de edición son dinámicos.