Arbitrary Generative Video Interpolation

O artigo apresenta o ArbInterp, um novo framework de interpolação generativa de vídeo que permite a síntese de quadros intermediários em qualquer timestamp e de qualquer duração, superando as limitações de rigidez dos métodos anteriores através de uma codificação posicional temporal adaptativa e uma estratégia de condicionamento que decopla aparência e movimento para garantir consistência e continuidade.

O essencial

Imagine que você tem duas fotos: uma de uma maçã inteira e outra de uma maçã totalmente mastigada. O seu objetivo é criar um filme curto mostrando exatamente como a maçã foi sendo comida, passo a passo.

Até hoje, os "diretores de cinema" de inteligência artificial (IAs) só conseguiam fazer isso de uma maneira rígida: eles podiam gerar apenas 1, 2 ou 4 quadros intermediários. Se você quisesse ver o processo em câmera lenta (muitos quadros) ou em velocidade acelerada (poucos quadros), a IA ficava confusa ou simplesmente não conseguia fazer. Era como se você só pudesse pedir ao cineasta para filmar a cena em 30 quadros por segundo, sem opção de mudar.

O novo trabalho, chamado ArbInterp, quebra essa regra. Aqui está a explicação simples de como eles fizeram isso:

1. O Problema do "Relógio Rígido"

As IAs atuais usam um sistema de endereçamento chamado "RoPE" (uma espécie de etiqueta de posição). Imagine que cada quadro do vídeo é um passageiro em um ônibus.

• O jeito antigo: O motorista (a IA) só sabia que o passageiro estava na "Cadeira 1", "Cadeira 2", "Cadeira 3". Se você quisesse colocar um passageiro novo entre a Cadeira 1 e a 2, o sistema travava.
• O jeito novo (ArbInterp): Eles criaram um novo sistema de endereçamento chamado TaRoPE. Agora, em vez de números inteiros (1, 2, 3), os passageiros têm horários exatos (0.0, 0.25, 0.5, 0.75, 1.0).
  • A Analogia: Imagine que o tempo entre a maçã inteira e a mastigada é uma linha reta de 0 a 1. O TaRoPE permite que você peça para a IA gerar um quadro exatamente no minuto 0.37 ou no 0.82. Você tem controle total sobre quando a ação acontece, não importa quantos quadros você queira.

2. O Desafio do "Filme Longo"

Se você pedir para a IA gerar um vídeo de 1 minuto com muitos quadros, ela precisa fazer isso em pedaços (segmentos), porque computadores não conseguem processar horas de vídeo de uma só vez.

• O Problema: Quando a IA termina o primeiro pedaço e começa o segundo, ela pode "esquecer" como a pessoa estava vestida ou como o movimento estava fluindo. O vídeo ficaria com "cortes" visíveis, como se a roupa da pessoa mudasse de cor do nada ou o movimento pulasse.
• A Solução (Decomposição de Aparência e Movimento): Os autores criaram uma estratégia inteligente para conectar esses pedaços, como se fosse um maestro orquestrando uma orquestra:
  • Aparência (O Visual): Eles usam o último quadro do pedaço anterior como um "espelho" para o próximo. Isso garante que a roupa, o rosto e o cenário continuem iguais. É como garantir que o ator não troque de camisa entre as cenas.
  • Movimento (A Ação): Eles extraem a "alma" do movimento (a velocidade, a direção, a rotação) do pedaço anterior e a injetam no próximo. É como se o diretor dissesse ao ator do próximo segmento: "Continue o movimento de girar exatamente como você estava fazendo no final da cena anterior".

3. O Resultado: Um "Caneta Mágica" de Vídeo

Com essa tecnologia, o ArbInterp funciona como uma caneta mágica para vídeos:

• Você desenha o início e o fim.
• Você diz: "Quero ver o que acontece exatamente no meio" (2x) ou "Quero ver cada micro-movimento" (32x ou mais).
• A IA preenche os espaços com uma fluidez perfeita, sem travar, sem mudar a aparência das pessoas e sem pular movimentos.

Por que isso é importante?

Antes, se você quisesse criar um efeito de câmera lenta para um vídeo de esportes ou um jogo, você tinha que adivinhar quantos quadros a IA ia gerar. Agora, você pode dizer: "Gere um quadro para cada 0.01 segundos". Isso dá aos criadores de conteúdo, jogos e editores de vídeo um controle total sobre o tempo e o ritmo, transformando a criação de vídeos em algo muito mais flexível e natural.

Em resumo: ArbInterp ensinou a IA a entender o tempo não como uma escada de degraus fixos, mas como uma linha contínua e suave, onde você pode parar e olhar em qualquer ponto que desejar.

Resumo técnico

1. O Problema

A Interpolação de Quadros de Vídeo Gerativa (VFI) visa sintetizar quadros intermediários coerentes entre um quadro inicial e um final. Embora métodos existentes baseados em modelos generativos (como DiT - Diffusion Transformers) tenham demonstrado alta qualidade, eles operam sob um paradigma de interpolação fixa.

• Limitação Principal: Os métodos atuais só podem gerar um número predeterminado de quadros intermediários com espaçamento temporal uniforme.
• Consequência: Isso impede a flexibilidade necessária para ajustar dinamicamente a taxa de quadros (FPS) ou a duração do vídeo durante a criação. Além disso, a dependência de índices fixos limita a capacidade do modelo de modelar campos de movimento contínuos e finos, restringindo a geração a taxas de quadros específicas em vez de permitir a síntese em qualquer momento temporal contínuo.

2. Metodologia: ArbInterp

O ArbInterp é um novo paradigma que permite a geração de quadros em qualquer timestamp e de qualquer comprimento. A arquitetura baseia-se no modelo de geração de vídeo Wan (Wang et al., 2025) e introduz duas inovações principais:

A. TaRoPE (Timestamp-aware Rotary Position Embedding)

Para permitir a interpolação em timestamps arbitrários, os autores propõem o TaRoPE.

• Mecanismo: Em vez de usar o índice absoluto do quadro na sequência (0, 1, 2...), o TaRoPE mapeia a posição temporal de cada quadro para um timestamp contínuo normalizado entre 0 (quadro inicial) e 1 (quadro final).
• Funcionamento: O embedding posicional rotativo (RoPE) é ajustado para refletir esses timestamps contínuos. Isso permite que o modelo perceba a posição real do quadro no campo de movimento contínuo, independentemente do número total de quadros gerados.
• Vantagem: Elimina a dependência de posições fixas, permitindo que o modelo generalize para sequências de comprimentos variados e gere quadros em qualquer ponto $t \in [0, 1]$.

B. Estratégia de Condicionamento Desacoplado (Appearance-Motion Decoupling)

Para interpolações de longo prazo (muitos quadros), a geração é dividida em segmentos. Para evitar descontinuidades entre esses segmentos, o ArbInterp utiliza uma estratégia de condicionamento dupla:

• Consistência de Aparência: O último quadro do segmento anterior é usado como um "quadro de prefixo" (prefix frame) na entrada do próximo segmento. Isso garante que a aparência visual (cor, textura, objetos) permaneça consistente.
• Coerência de Movimento: Um Extrator Semântico de Movimento (MSE) é utilizado para extrair tokens de movimento semântico dos últimos $N$ quadros do segmento anterior. Esses tokens são injetados no processo de difusão (via cross-attention) para guiar a dinâmica do movimento no novo segmento, garantindo que a transição de movimento seja suave e coerente.

C. Estratégias de Inferência

O suporte a sequências longas é realizado através de três estratégias adaptativas:

1. Interpolação Direta: Para sequências curtas (ex: 2x a 16x).
2. Interpolação Segmento a Segmento: Divide a sequência em partes não sobrepostas processadas sequencialmente (ideal para baixa latência).
3. Interpolação Hierárquica: Gera primeiro quadros âncora esparsos e depois interpola entre eles (ideal para estabilidade global em sequências muito longas, como 32x).

3. Principais Contribuições

1. Novo Paradigma de Interpolação: O ArbInterp é o primeiro framework generativo capaz de controlar a geração de quadros especificando timestamps contínuos arbitrários, superando a rigidez dos métodos de taxa fixa.
2. TaRoPE: Uma adaptação eficiente do RoPE que permite ao modelo entender posições temporais contínuas sem adicionar parâmetros significativos, apenas com fine-tuning.
3. Desacoplamento Aparência-Movimento: Uma estratégia inovadora para manter a coerência espaço-temporal em interpolações de longo prazo, separando a consistência visual da consistência dinâmica.
4. MultiInterpBench: A construção de um benchmark abrangente que avalia a interpolação em múltiplas escalas (2x, 8x, 16x, 32x), preenchendo uma lacuna na avaliação de métodos generativos flexíveis.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo Wan2.1-T2V-1.3B com fine-tuning de apenas 20.000 passos.

• Desempenho Quantitativo: O ArbInterp superou consistentemente os métodos state-of-the-art (incluindo LDMVFI, DynamiCrafter, TRF e GI) em todas as métricas do MultiInterpBench (FID, FVD, LPIPS, VBench).
  • Destaque na interpolação de 32x, onde o ArbInterp obteve o melhor FVD (319.9 vs. 753.6 do LDMVFI) e as melhores pontuações de coerência temporal e suavidade de movimento.
• Desempenho Qualitativo: As visualizações mostram que o ArbInterp gera transições suaves e realistas, evitando o "flickering" (piscar) e as inconsistências de movimento comuns em métodos iterativos anteriores.
• Eficiência: A estratégia de condicionamento desacoplado oferece melhor desempenho e eficiência computacional (redução de ~40% no custo comparado à concatenação direta de latentes) para interpolações longas.

5. Significado e Impacto

O ArbInterp representa um avanço significativo na área de geração de vídeo, transformando a interpolação de quadros de uma tarefa de "preenchimento fixo" para uma ferramenta de controle temporal flexível.

• Aplicações Práticas: Permite que criadores de vídeo ajustem a velocidade de reprodução, criem câmeras lentas (slow-motion) precisas em qualquer ponto e sincronizem vídeos com áudio ou eventos específicos sem restrições de taxa de quadros.
• Futuro da Pesquisa: O trabalho demonstra que a injeção de informações temporais contínuas em modelos DiT é viável e eficaz, abrindo caminho para modelos generativos que entendem o tempo como uma variável contínua e não discreta.

Em resumo, o ArbInterp resolve o problema de rigidez temporal na interpolação de vídeo generativa, oferecendo uma solução robusta, de alta fidelidade e escalável para a criação de vídeos com controle temporal arbitrário.