FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation

O artigo apresenta o FC-VFI, um método de interpolação de quadros de vídeo que utiliza modelagem temporal em sequências latentes e linhas de correspondência semântica para gerar vídeos de alta fidelidade e consistência temporal, permitindo a conversão de 30 FPS para 120 e 240 FPS em resolução 2560×1440.

O essencial

Imagine que você está assistindo a um filme e, de repente, a cena parece um pouco "travada" ou lenta. Você gostaria que ela fosse super fluida, como se estivesse em câmera lenta perfeita, mas com todos os detalhes nítidos. É exatamente isso que o FC-VFI faz, mas com um toque de mágica tecnológica.

Vamos explicar como isso funciona usando analogias do dia a dia:

1. O Problema: O "Desenho Animado" que Saiu Errado

Imagine que você tem duas fotos: uma de um carro parado e outra do mesmo carro acelerando. O objetivo é criar as fotos que acontecem entre essas duas, para que o movimento pareça suave.

• Os métodos antigos (como óculos de visão noturna): Eles tentavam calcular exatamente para onde cada ponto do carro ia. Mas, em cenas complexas (muita luz, objetos pequenos, coisas se escondendo), eles se confundiam. O resultado? O carro ficava com formas estranhas, tremendo ou com "fantasmas" (aquelas sombras duplas que aparecem em vídeos ruins).
• Os métodos novos (Inteligência Artificial generativa): Eles são como artistas talentosos que "imaginam" o que acontece no meio. O problema é que, às vezes, esses artistas são tão criativos que inventam coisas que não deveriam existir, perdendo a fidelidade do carro original. O carro pode mudar de cor ou de formato no meio do movimento.

2. A Solução: O FC-VFI (O "Diretor de Cinema" Perfeito)

O FC-VFI é como um diretor de cinema muito esperto que usa uma IA de ponta (chamada Modelo de Difusão) para criar esses quadros intermediários. Mas ele tem três truques especiais para garantir que o resultado seja perfeito:

Truque 1: O "Guia de Fidelidade" (A Âncora)

Imagine que você está pintando um quadro e precisa misturar duas cores. Se você apenas misturar tudo no meio, pode sair uma cor estranha.
O FC-VFI faz diferente: ele segura firme nas duas fotos originais (o início e o fim) e diz à IA: "Ei, não invente nada! Use essas fotos como âncora. O carro no meio deve parecer exatamente como ele é nessas duas fotos."
Isso é feito através de uma técnica chamada Modulação de Fidelidade Temporal. É como se a IA tivesse óculos que mostram as fotos originais o tempo todo, garantindo que o carro não fique deformado.

Truque 2: O "Detetive de Linhas" (A Estrutura)

Às vezes, a IA não sabe exatamente como um objeto se move rápido.
O FC-VFI usa um "detetive" que desenha linhas invisíveis conectando partes importantes do carro na foto inicial e na final (como as rodas ou a placa). Em vez de tentar adivinhar cada pixel (o que dá erro), ele foca apenas nessas linhas de estrutura.
É como se você estivesse guiando um trem: você não precisa desenhar cada pedra do trilho, basta garantir que o trem siga a linha principal. Isso evita que o carro fique "borrado" ou sem forma.

Truque 3: O "Checador de Movimento" (A Suavidade)

Às vezes, a IA cria quadros que parecem quase parados, o que deixa o vídeo estranho.
O FC-VFI tem um "checador" que olha para dois quadros seguidos e pergunta: "Ei, esse carro realmente se moveu? Se ele se moveu um pouquinho, o próximo quadro precisa mostrar um movimento um pouco maior."
Isso garante que o movimento seja fluido e natural, sem aquelas travadas estranhas.

3. O Resultado: Velocidade e Qualidade

O mais impressionante é que, enquanto outros métodos tentam fazer tudo duas vezes (uma vez indo para frente, outra voltando) e demoram muito, o FC-VFI faz tudo de uma só vez, de forma muito rápida.

• O que ele consegue: Transformar um vídeo normal (30 quadros por segundo) em um vídeo super fluido (120 ou até 240 quadros por segundo).
• A qualidade: Ele consegue fazer isso em telas gigantes (como 4K), mantendo detalhes finos como letras em placas de carro, texturas de prédios e rostos, sem que tudo vire uma bagunça.

Resumo em uma frase

O FC-VFI é como ter um assistente de edição de vídeo superinteligente que olha para o começo e o fim de uma cena, segura firme na realidade para não inventar coisas, segue as linhas principais do movimento e cria quadros intermediários tão perfeitos que você nem percebe que foram feitos por um computador.

É a tecnologia que vai fazer seus vídeos de câmera lenta parecerem reais, nítidos e super suaves, mesmo em telas de cinema!

Resumo técnico

Título: FC-VFI: Interpolação de Quadros de Vídeo Fiel e Consistente para Geração de Vídeo em Câmera Lenta de Alta FPS

1. O Problema

A Interpolação de Quadros de Vídeo (VFI) visa sintetizar quadros intermediários entre um quadro inicial e um final, sendo crucial para animação e geração de vídeos em câmera lenta (ex: aumentar de 30 FPS para 120 ou 240 FPS).

Embora os modelos de difusão pré-treinados de vídeo (I2V) tenham mostrado grande potencial, eles enfrentam desafios significativos:

• Problemas de Fidelidade: Modelos generativos tendem a introduzir artefatos ou distorções estruturais nos quadros intermediários (ex: um carro pode parecer deformado em relação aos quadros de início e fim), causando "flickering" e inconsistência perceptual.
• Inconsistência Temporal: A movimentação gerada pode ser imprecisa. Métodos existentes que usam fluxo óptico denso são propensos a erros em cenas complexas, enquanto pontos esparsos não capturam a estrutura detalhada dos objetos.
• Ineficiência Computacional: Muitas abordagens atuais dependem de inferência bidirecional (gerar do início ao fim e vice-versa) e fusão, ou exigem etapas adicionais de "re-ruído", aumentando drasticamente o custo computacional.

2. Metodologia (FC-VFI)

O FC-VFI é um framework baseado em difusão, ajustado (fine-tuned) a partir de um modelo I2V (Image-to-Video) de grande escala (especificamente o HunyuanVideo-I2V). A arquitetura introduz três inovações principais para resolver os problemas citados:

A. Referência de Modulação de Fidelidade Temporal (TFMR)

• Conceito: Em vez de concatenar os quadros de início e fim apenas no canal (o que pode perturbar os latentes limpos), o FC-VFI concatena os latentes dos quadros de fronteira ($z_s, z_e$) com os latentes ruidosos intermediários ($z_n$) ao longo da dimensão temporal.
• Modulação de Fidelidade: Para preservar a integridade dos quadros de fronteira, o modelo atribui um passo de tempo fixo ($t^*=0$, estado sem ruído) para $z_s$ e $z_e$ durante a previsão de velocidade, enquanto os quadros intermediários seguem o agendamento padrão. Isso garante que os quadros gerados referenciem consistentemente os recursos das extremidades sem distorcer a estrutura original.

B. Condição de Linhas de Correspondência Semântica (Matching Lines)

• Problema: Fluxo óptico denso falha em cenas complexas e pontos esparsos perdem contexto estrutural.
• Solução: O modelo extrai pares de linhas semanticamente consistentes dos quadros de início e fim usando o GlueStick. Essas características são codificadas e adicionadas aos latentes de fronteira ($z'_s = z_s + c_s$).
• Vantagem: Um bloco DiT replicado processa essas características para injetar informações estruturais (contornos de objetos) no backbone principal. Isso é mais robusto que o fluxo óptico e mais rico que pontos esparsos, além de evitar interferência estrutural ao controlar latentes de vídeo (que comprimem múltiplos quadros) com características de quadro único.

C. Perda de Diferença Temporal ($L_{temp}$)

• Objetivo: Mitigar o comportamento "quase estático" entre quadros adjacentes interpolados.
• Mecanismo: Uma função de perda que alinha explicitamente a diferença de movimento prevista entre quadros consecutivos com a diferença do "ground truth". Isso força transições de movimento mais suaves e dinâmicas.

Treinamento: O modelo é ajustado usando LoRA (Low-Rank Adaptation) em duas etapas: ajuste do backbone DiT e treinamento do encoder de linhas, com uma perda total combinada de fluxo e diferença temporal.

3. Principais Contribuições

1. Estratégia de Ajuste Eficiente: Transforma modelos I2V pré-treinados em redes VFI capazes de interpolação prática (4× e 8×) em resoluções de até 2560 × 1440, eliminando a necessidade de inferência bidirecional.
2. Novo Paradigma de Referência Temporal: A introdução do TFMR resolve problemas de fidelidade, permitindo que o processo de denoising referencie as fronteiras de forma estável e temporalmente coerente.
3. Controle Estrutural Robusto: O mecanismo de "Matching Lines" oferece uma alternativa superior ao fluxo óptico para guiar o movimento e preservar a estrutura de objetos em movimento rápido.
4. Eficiência: O modelo alcança alta qualidade com apenas 10 passos de denoising, sendo significativamente mais rápido que métodos concorrentes baseados em difusão.

4. Resultados Experimentais

O FC-VFI foi avaliado em conjuntos de dados públicos (DAVIS-2017, X-Test, BVI-DVC) e comparado com métodos baseados em fluxo óptico (GIMM-VFI) e difusão (FCVG, ViBiDSampler, GI).

• Qualidade Visual (Fidelidade): Em resoluções de 1024×576 e 2560×1440, o FC-VFI superou todos os métodos baseados em difusão em métricas de fidelidade (PSNR, SSIM, FID, LPIPS). Ele preserva detalhes finos (texto, placas de licença, texturas arquitetônicas) que outros métodos distorcem.
• Consistência Temporal: O modelo demonstrou superioridade na manutenção da coerência do movimento, evitando artefatos como "ghosting" e distorções estruturais em cenas com oclusão ou iluminação de alto contraste.
• Eficiência Computacional:
  • O FC-VFI requer apenas 10 passos de inferência (NFE).
  • Comparado a métodos como GI (300 passos) ou ViBiDSampler (50 passos), o FC-VFI é drasticamente mais rápido (ex: 16s vs 606s para 4× em 1024×576), mantendo alta qualidade.
• Generalização: O modelo treinado em 1280×720 generalizou com sucesso para 2560×1440 (zero-shot), demonstrando robustez em alta resolução.

5. Significância e Impacto

O FC-VFI representa um avanço significativo na geração de vídeos em câmera lenta de alta fidelidade. Ao superar as limitações de fidelidade e consistência temporal dos modelos de difusão atuais, ele permite a geração de vídeos de alta resolução (até 2K) com taxas de quadros elevadas (até 240 FPS) de forma computacionalmente viável.

A abordagem proposta oferece uma solução versátil que pode ser integrada a diversas arquiteturas de difusão de vídeo (como WAN e SVD), estabelecendo um novo padrão para interpolação de quadros que equilibra a riqueza generativa dos modelos de difusão com a precisão estrutural necessária para aplicações profissionais em animação e pós-produção de vídeo.