Resumo Técnico: Geração Eficiente de Vídeo Controlada por Câmera de Cenas Estáticas via Difusão Esparsa e Renderização 3D

Declaração do Problema

Modelos modernos de geração de vídeo baseados em difusão (ex: Sora, Wan) alcançam alta fidelidade visual, mas sofrem de uma extrema ineficiência computacional. Gerar até mesmo clipes curtos pode exigir minutos de tempo de GPU porque esses modelos realizam o processo de denoising iterativo em cada um dos quadros. Este gargalo impede a implantação em tempo real em aplicações que exigem IA interativa ou incorporada (embodied AI), como VR/AR e criação de conteúdo dinâmico. Embora trabalhos recentes tenham tentado melhorar a eficiência via arquiteturas de espaço latente ou destilação, eles ainda dependem de redes neurais para gerar cada quadro, falhando em explorar a redundância inerente nos sinais de vídeo, onde muitos quadros retratam a mesma cena 3D subjacente sob diferentes pontos de vista.

Métodos existentes de geração de vídeo controlada por câmera codificam poses de câmera diretamente em modelos generativos ou usam priors 3D como restrições internas, contudo, eles ainda produzem cada quadro via difusão. Consequentemente, eles não abordaram fundamentalmente a barreira de eficiência.

Metodologia: SRENDER

Os autores propõem o SRENDER, um framework que gera vídeos completos sintetizando um conjunto esparso de keyframes via difusão e, em seguida, sintetiza o vídeo denso através de reconstrução e renderização 3D. O pipeline consiste em quatro etapas principais:

1. Seleção Adaptativa de Keyframes

Em vez de gerar um número fixo de quadros, o SRENDER emprega um Preditor de Densidade de Keyframes (um modelo baseado em Transformer) para determinar o número ideal de keyframes para uma determinada trajetória de câmera e aparência da cena.

• Entrada: Uma sequência de poses de câmera e um token de característica global extraído da imagem de entrada (via DINOv2).
• Mecanismo: O modelo prevê o número de keyframes necessário (variando de 4 a 35 para vídeos de 20 segundos). Trajetórias simples e suaves exigem menos keyframes, enquanto movimentos complexos com grandes mudanças de ponto de vista exigem amostragem mais densa.
• Treinamento: As densidades de verdade fundamental (ground truth) são derivadas automaticamente usando um algoritmo baseado em cobertura (Algoritmo 1) que seleciona iterativamente quadros até que a cobertura da nuvem de pontos projetada caia abaixo de um limite.

2. Difusão de Keyframes Esparsos

Um modelo de Difusão de Vídeo Guiada por Histórico gera os keyframes esparsos selecionados.

• Arquitetura: O modelo utiliza uma arquitetura de diffusion-forcing onde cada quadro recebe um nível de ruído independente, permitindo condicionamento flexível.
• Estratégia de Treinamento: Para lidar com a instabilidade de grandes saltos de ponto de vista em baixas taxas de quadros, o modelo é primeiro treinado em vídeos de alta taxa de quadros e, em seguida, subamostrado progressivamente para corresponder ao espaçamento esparso de keyframes usado durante a inferência.
• Inferência: Para trajetórias que exigem mais de 8 keyframes (o tamanho da janela de contexto), um esquema de dois estágios é utilizado: primeiro gerando 8 keyframes abrangendo a trajetória, depois gerando keyframes subsequentes condicionados aos mais próximos já gerados anteriormente.

3. Reconstrução 3D

Os keyframes esparsos gerados são alimentados em um Modelo de Reconstrução 3D determinístico e feed-forward (especificamente o AnySplat).

• Processo: O AnySplat prevê uma representação de Gaussian Splatting 3D (3DGS) diretamente a partir dos keyframes sem pose definida.
• Alinhamento: Como as poses previstas pelo AnySplat podem diferir da trajetória de entrada, uma transformação afim de mínimos quadrados é computada para alinhar a cena 3D com o caminho da câmera alvo.

4. Fragmentação Temporal e Renderização

Para abordar o drift (desvio) em trajetórias longas (ex: >10 segundos) onde a consistência 3D global é difícil de manter:

• Fragmentação (Chunking): O vídeo é dividido em fragmentos temporais (ex: 10 segundos). Cada fragmento passa por uma reconstrução 3D independente.
• Alinhamento: Fragmentos adjacentes compartilham um keyframe, e uma transformação afim é estimada para alinhar os sistemas de coordenadas dos fragmentos vizinhos, garantindo transições suaves.
• Renderização: O vídeo denso final é renderizado em altas taxas de quadros usando rasterização padrão de 3DGS, que é significativamente mais rápida que a síntese baseada em difusão.

Principais Contribuições

1. Mudança de Paradigma: O artigo desafia o paradigma de gerar cada quadro com redes neurais. Em vez disso, aproveita a redundância da cena gerando apenas keyframes esparsos e preenchendo as lacunas via renderização 3D determinística.
2. Computação Adaptativa: A introdução de um preditor de densidade de keyframes permite que o sistema aloque recursos computacionais dinamicamente com base na complexidade do movimento, evitando a geração redundante para cenas simples.
3. Integração de Priors 3D: Ao contrário de trabalhos anteriores que usam priors 3D apenas como restrições internas, o SRENDER usa a reconstrução 3D como o mecanismo primário para síntese de vídeo, impondo consistência geométrica e permitindo a renderização em tempo real.
4. Fragmentação Temporal: Uma estratégia para lidar com a geração de longo horizonte, quebrando o problema em reconstruções 3D locais consistentes, mitigando os problemas de drift comuns em modelos de difusão de longo alcance.

Resultados Experimentais

O método foi avaliado nos conjuntos de dados RealEstate10K (RE10K) e DL3DV, comparando-o com a linha de base de difusão History-Guided (HG) e o modelo Voyager.

• Eficiência: O SRENDER alcança um aceleração de 43× sobre a linha de base HG no DL3DV (gerando vídeos de 20 segundos a 30 fps em ~16 segundos vs. ~697 segundos) e uma aceleração de 23.7× no RE10K. Ele atinge desempenho em tempo real (taxa de geração de 37 fps) no DL3DV.
• Qualidade: Métricas quantitativas (FID e FVD) mostram que o SRENDER supera a linha de base HG tanto em qualidade de imagem quanto de vídeo. Também supera o Voyager em FID e FVD no conjunto de teste de 5 fps.
• Comparação com Interpolação 2D: O SRENDER supera significativamente os métodos de interpolação 2D (FILM, RIFE) em FVD, evitando artefatos de morfismo e mantendo a estabilidade geométrica, sendo também mais rápido devido à eficiência da renderização 3DGS.
• Ablação: Remover a fragmentação temporal leva a uma qualidade degradada (FVD mais alto) em sequências longas, confirmando a necessidade da estratégia de fragmentação para consistência.

Significância e Alegações

O artigo alega que o raciocínio 3D explícito e a geração esparsa adaptativa podem reduzir drasticamente o custo computacional da síntese de vídeo sem sacrificar a fidelidade. Os autores posicionam o SRENDER não como um substituto para todas as tarefas de geração de vídeo, mas como uma solução altamente eficaz para a geração de cenas estáticas controlada por câmera.

A significância reside em fornecer um caminho prático para a síntese de vídeo controlável em tempo real. Ao desacoplar a geração da aparência da cena (via difusão esparsa) da síntese da densidade temporal (via renderização 3D), o método supera as barreiras de eficiência que atualmente limitam a implantação de vídeo generativo em aplicações interativas como IA incorporada e VR/AR. Os autores observam que, embora seu método atual seja limitado a cenas estáticas, os princípios centrais foram desenhados para serem transferíveis para a reconstrução 4D dinâmica à medida que esses modelos amadureçam.