💻 computer science

InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

O artigo apresenta o InfinityEdit, um adaptador leve para geradores de vídeo pré-treinados que permite a edição ilimitada e baseada em instruções de vídeos em fluxo, garantindo continuidade temporal fiel e qualidade de geração estável através de uma sequência infinita de solicitações de edição.

Autores originais: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Publicado 2026-08-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine assistir à transmissão ao vivo de uma partida de futebol e, de repente, desejar que todo o estádio parecesse uma pintura em aquarela, ou que a câmera subitamente mergulhasse do céu para seguir a bola. No mundo da inteligência artificial, criar tais mudanças costuma ser um processo rígido. As ferramentas atuais conseguem alterar um pequeno clipe de vídeo finalizado, mas tratam o clipe como uma caixa fechada. Elas podem reescrever o que já está lá, mas não conseguem facilmente alcançar o futuro para mudar o que acontecerá a seguir. Se o vídeo continuar passando, as regras antigas param de funcionar e o novo estilo ou ângulo de câmera desaparece. Essa limitação torna difícil editar transmissões ao vivo ou cenas contínuas onde a história ainda está se desenrolando.

Uma equipe de pesquisadores abordou esse problema desenvolvendo uma nova maneira de editar vídeos que nunca terminam. Eles chamam sua abordagem de "edição de vídeo infinita". Em vez de forçar um vídeo a caber em um intervalo de tempo fixo, seu método permite que uma inteligência artificial aplique uma mudança — como um novo estilo visual ou um movimento de câmera — e continue gerando novos quadros que naturalmente continuam essa mudança para sempre. O sistema não apenas reescreve o passado; ele aprende a carregar a edição para o futuro, garantindo que o vídeo permaneça consistente e de alta qualidade mesmo conforme novas instruções chegam uma após a outra.

Os pesquisadores começaram reconhecendo que os editores de vídeo existentes operam sob uma premissa simples: o vídeo já está terminado. Eles pegam um clipe de origem e produzem uma versão editada com exatamente a mesma duração. Isso funciona bem para curtas-metragens ou postagens de redes sociais, mas falha quando o vídeo é um fluxo contínuo, como um jogo ao vivo ou uma transmissão de câmera de segurança. Nessas situações, o vídeo continua crescendo. Se você quiser mudar o estilo das imagens no meio do caminho, a edição deve se estender a cada novo quadro que aparece. Os métodos antigos não conseguem fazer isso porque são projetados para olhar para trás, para um clipe estático, e não para frente, para um fluxo aberto.

Para resolver isso, a equipe primeiro construiu uma maneira de ensinar computadores a lidar com esse desafio específico. Eles criaram uma coleção massiva de exemplos de treinamento. Pegaram vídeos existentes e os combinaram com instruções de como alterá-los, como "faça isso parecer uma história em quadrinhos" ou "mova a câmera para baixo". Crucialmente, eles não pediram apenas ao computador para mudar os quadros existentes. Eles geraram novos segmentos de vídeo que continuavam a partir das filmagens originais enquanto aplicavam a mudança solicitada. Isso ensinou ao sistema que uma edição não é apenas um filtro aplicado a um instantâneo, mas uma nova direção para a história tomar. Eles filtraram cuidadosamente esses dados para garantir que os novos segmentos de vídeo parecessem realistas e que as mudanças fossem aplicadas corretamente sem quebrar o fluxo da cena.

Com esses dados em mãos, eles introduziram um novo sistema chamado InfinityEdit. Este sistema funciona anexando um "adaptador" pequeno e leve a um gerador de vídeo poderoso que já é muito bom em criar vídeos longos. Pense no gerador principal como um artista habilidoso que pode desenhar um fluxo contínuo de imagens, e o adaptador como um pincel especial que pode mudar o estilo do desenho sobre a hora. O gerador principal permanece congelado, o que significa que seu conhecimento central de como criar um vídeo estável e de alta qualidade nunca é alterado. O adaptador é a única parte que aprende. Ele se posiciona entre o gerador e as instruções do usuário, pronto para intervir apenas quando um novo pedido de edição chega.

Quando um usuário envia uma instrução, o adaptador é ativado por apenas um curto segmento do vídeo. Ele pega a instrução e o histórico recente do vídeo e gera um novo bloco de quadros que aplica a mudança. Este novo bloco atua como uma ponte. Uma vez que este primeiro segmento editado é criado, o adaptador desliga e o gerador principal assume o controle novamente. Como o gerador principal agora está olhando para os quadros recém-editados como seu histórico, ele naturalmente continua o vídeo no novo estilo ou com o novo ângulo de câmera. A edição foi "incendiada", e o sistema a carrega adiante automaticamente. Esse processo pode se repetir infinitamente. Se uma segunda instrução chegar mais tarde, o adaptador acorda novamente para aplicar a nova mudança, e o gerador continua a partir dali.

Os pesquisadores descobriram que essa abordagem resolve dois grandes problemas que costumam assolar a geração de vídeos longos. O primeiro é a consistência. Em muitos sistemas, se você tentar editar um vídeo que já está sendo gerado, as mudanças costumam desaparecer ou se perder conforme o vídeo progride. Os novos quadros podem voltar ao visual original. O InfinityEdit evita isso resetando um ponto de referência fundamental toda vez que uma edição acontece. Isso garante que o vídeo permança ancorado à mudança mais recente, mantendo o estilo ou o ângulo de câmera estáveis pelo tempo que o vídeo continuar.

O segundo desafio é a qualidade. Quando um computador gera vídeo quadro a quadro, pequenos erros podem se acumular ao longo do tempo, fazendo com que a imagem pareça borrada ou distorcida. Os pesquisadores treinaram seu adaptador para lidar com históricos imperfeitos. Eles deliberadamente deram ao sistema exemplos onde os quadros anteriores eram ligeiramente falhos, ensinando-o a recuperar e produzir resultados limpos mesmo quando a entrada não era perfeita. Esse treinamento permite que o sistema permaneça estável mesmo após muitas rodadas de edição, evitando que o vídeo se degrade conforme fica mais longo.

Em seus testes, o sistema aplicou com sucesso uma ampla variedade de edições a fluxos de vídeo contínuos. Ele pôde mudar o estilo visual de uma cena, alterar o movimento da câmera ou modificar a aparência de objetos, e então continuar gerando o vídeo com essas mudanças intactas. Os resultados mostraram que o vídeo permaneceu fiel às instruções e não voltou ao estado original. O sistema lidou com essas mudanças repetidamente sem perder a qualidade, provando que é possível editar um fluxo de vídeo enquanto ele acontece, em vez de esperar o vídeo terminar.

Este trabalho abre as portas para um novo tipo de interação com o vídeo. Em vez de editar um produto acabado, os usuários agora podem guiar um vídeo enquanto ele está sendo criado. Seja reestilizando uma transmissão esportiva ao vivo em tempo real ou mudando a perspectiva de uma câmera virtual durante uma gravação longa, a tecnologia oferece uma maneira de manter a edição viva conforme a história se desenrola. Os pesquisadores mostraram que, ao combinar um gerador estável e pré-treinado com um adaptador flexível e leve, podemos criar ferramentas de edição de vídeo que não são limitadas pelo tempo, permitindo um fluxo verdadeiramente infinito de possibilidades criativas.

Resumo Técnico do InfinityEdit: Edição de Vídeo Infinita com um Adaptador de Ignição de Edição Leve

1. Definição do Problema: Edição de Vídeo Infinita

Os métodos existentes de edição de vídeo baseados em instruções operam sob uma suposição de edição no local (in-place). Eles alinham um quadro de saída editado quadro a quadro com um clipe de origem de duração fixa. Embora eficaz para clipes estáticos, esse paradigma falha para fluxos de vídeo abertos (por exemplo, reestilização de jogos ao vivo ou aplicação de movimentos de câmera em tomadas contínuas) onde novo conteúdo chega continuamente.

O artigo define Edição de Vídeo Infinita como uma tarefa onde, dado um segmento de vídeo precedente ( $V_{pcd}$ ) e uma instrução de edição ( $c_{edit}$ ), o modelo deve gerar um segmento subsequente ( $V_{tgt}$ ) que:

Aplique fielmente a edição solicitada em $c_{edit}$ .
Continue o fluxo naturalmente, gerando quadros futuros que não estavam presentes no input, em vez de reescrever quadros existentes.
Mantenha a estabilidade ao longo de uma sequência ilimitada de edições, evitando a propagação de erros e a degradação da qualidade conforme as edições se acumulam.

Os principais desafios identificados são:

Continuação Fiel: O modelo não pode simplesmente transformar os quadros de entrada; ele deve gerar uma continuação coerente onde entidades não afetadas pela edição permaneçam consistentes com o histórico.
Estabilidade: À medida que cada segmento gerado se torna o histórico para o próximo, os erros podem se acumular ao longo do tempo.
Conflito com Priores de Streaming: Geradores de streaming padrão usam mecanismos como quadros de ancoragem e histórico em cache para evitar o desvio (drift). No entanto, esses mecanismos frequentemente puxam o conteúdo gerado de volta para o original não editado, enfraquecendo ou ignorando novas instruções de edição.

2. Metodologia

Pipeline de Coleta de Dados
Para treinar um modelo para esta tarefa, os autores construíram um conjunto de dados de tripletos $(V_{pcd}, c_{edit}, V_{tgt})$ :

Origem: Amostrado do dataset UltraVideo.
Instruções: Geradas expandindo tipos de edição abstratos (do VAP) em prompts detalhados de linguagem natural usando Gemini 3 Flash, condicionados a legendas da origem.
Alvos: Sintetizados usando Wan2.2-I2V-A14B. O pipeline emprega geração consciente do tipo de edição:
- Edições de Estilo/Aparência: O quadro de conexão é editado primeiro (usando Qwen-Image-Edit) antes de gerar o vídeo.
- Edições de Câmera/Movimento: O quadro de conexão é preservado para garantir a consistência da cena, com as mudanças aplicadas apenas ao ponto de vista.
Filtragem: Os tripletos são pontuados manualmente quanto ao alinhamento, consistência, racionalidade e qualidade visual.

Arquitetura do Modelo: InfinityEdit
A solução proposta anexa um Adaptador de Ignição de Edição (Edit-Ignition Adapter) leve a um backbone de gerador de vídeo de streaming congelado (Helios-Distilled, um transformer de difusão autorregressivo de 14B). O adaptador é o único componente treinável.

O adaptador consiste em três módulos de atenção inseridos após cada camada do transformer:

Cross-Attention de Histórico (History Cross-Attention): Ancorar o novo chunk de denoising aos quadros de entrada fornecidos. As queries são restritas aos quadros iniciais do chunk atual, enquanto as chaves/valores vêm dos tokens do histórico. Isso garante que a edição respeite o passado imediato.
Self-Attention Temporal Causal (Temporal Causal Self-Attention): Propaga pistas temporais estritamente de quadros anteriores para quadros posteriores dentro do chunk, mantendo o fluxo autorregressivo necessário para streaming.
Cross-Attention de Edição (Edit Cross-Attention): Injeta a instrução de edição ( $c_{edit}$ ) no processo de geração. Todos os tokens no chunk atual consultam o prompt de edição, permitindo que a instrução influencie todo o segmento gerado.

Estratégia de Treinamento

Objetivo: Objetivo de flow-matching com um backbone congelado.
Corrupção de Histórico: Para mitigar o viés de exposição (onde o modelo condiciona em suas próprias saídas imperfeitas durante a inferência), o processo de treinamento corrompe aleatoriamente os quadros do histórico com ruído.
Amostragem de Ruído: Em vez do cronograma piramidal do backbone, o adaptador usa uma amostragem de Mistura-Gaussiana de níveis de ruído ( $\sigma$ ) para desacoplar o controle da edição de estágios de resolução específicos.
Currículo de Duas Fases:
- Fase 1: Cobertura uniforme de níveis de ruído para aprender a edição básica.
- Fase 2: Foca em níveis de ruído médio-baixo e quadros posteriores para refinar detalhes e melhorar a qualidade.

Pipeline de Inferência: "Ignite-Then-Continue" (Ignição e Continuação)
O processo de inferência lida com edições infinitas através de uma estratégia específica:

Ignição (Ignition): Quando uma instrução de edição chega, o adaptador é ativado apenas para o primeiro chunk (o "chunk de ignição"). Este chunk é gerado usando o adaptador e um cronograma Euler de estágio único (incluindo um passo de ruído quase zero para refinamento de detalhes).
Continuação (Continuation): Os chunks subsequentes são gerados pelo backbone congelado com o adaptador desativado. Como o primeiro chunk editado agora faz parte da janela de histórico, o backbone naturalmente continua o fluxo editado.
Gerenciamento de Estado:
- O quadro de ancoragem ( $x_0$ ) é resetado para o primeiro quadro do novo chunk de ignição para evitar que o modelo reverta para a fonte original.
- O prompt da cena é atualizado para a instrução de edição atual.
- Uma janela deslizante gerencia a memória, descartando quadros antigos para manter os custos limitados.

3. Principais Contribuições

Definição de Tarefa: Formalizou a Edição de Vídeo Infinita, distinguindo-a da edição no local e identificando os desafios específicos de continuação fiel e estabilidade de longo prazo.
Pipeline de Dados: Desenvolveu um pipeline de síntese para gerar tripletos de treinamento conscientes do tipo de edição que unem a edição estática à geração de streaming.
Arquitetura: Propôs o InfinityEdit, um adaptador leve que permite a um gerador de streaming congelado aplicar edições sem comprometer seus priores de geração de vídeo longo.
Estratégia de Inferência: Introduziu o esquema "ignite-then-continue", que aplica edições localmente enquanto aproveita os mecanismos de estabilidade do backbone para o restante do fluxo.

4. Resultados e Alegações

Experimentos extensos em casos fora da distribuição demonstram que:

O InfinityEdit continua o fluxo fielmente sob cada instrução de edição, aplicando com sucesso as mudanças solicitadas aos quadros futuros.
O sistema mantém a estabilidade ao longo de sequências ilimitadas de edições, evitando o desvio (drift) e a degradação de qualidade comuns em abordagens que apenas re-promptam o modelo.
O método equilibra efetivamente a aplicação de novas edições com a preservação da capacidade do modelo original de gerar vídeos longos e coerentes.

5. Significância

O artigo afirma que o InfinityEdit aborda uma lacuna crítica na geração de vídeo: a incapacidade de editar fluxos ao vivo e abertos dinamicamente. Ao desacoplar o mecanismo de injeção de edição do prior de geração de longo prazo, o método permite a edição em tempo real (por exemplo, reestilizando filmagens de jogos ou mudando ângulos de câmera) sem exigir o retreinamento total do modelo ou sacrificar a estabilidade do gerador subjacente. Isso possibilita aplicações práticas onde os fluxos de vídeo são contínuos e os requisitos de edição são dinâmicos.