Beyond the Frame: Generating 360 Panoramic Videos from Perspective Videos

1. O Problema

O artigo aborda a tarefa de geração de vídeo para 360° (video-to-360°). O objetivo é gerar um vídeo panorâmico completo de 360 graus a partir de um único vídeo de perspectiva (visão normal de câmera), mantendo a consistência com o conteúdo original.

Os principais desafios identificados são:

• Campo de Visão Limitado: O vídeo de entrada oferece apenas uma fatia estreita da cena, enquanto o modelo deve inferir o restante do ambiente (espaço não observado).
• Consistência Espaço-Temporal: Diferente da geração de vídeo padrão, o modelo precisa compreender profundamente a disposição espacial da cena e a dinâmica dos objetos para garantir que, ao "olhar" para trás ou para os lados no vídeo gerado, o conteúdo permaneça coerente e não mude aleatoriamente.
• Limitações de Modelos Atuais: Modelos de outpainting (expansão de imagem) existentes degradam a qualidade rapidamente à medida que se afastam do ponto de vista original, pois são treinados em vídeos de campo de visão estreito e não aprendem a dinâmica completa da cena.

2. Metodologia

Os autores propõem o Argus, um modelo baseado em difusão que utiliza uma fonte de dados subexplorada: vídeos 360° existentes na internet. A metodologia é dividida em três pilares principais:

A. Coleta e Filtragem de Dados

• Utilizam o conjunto de dados 360-1M (aproximadamente 1 milhão de vídeos).
• Desenvolvem um pipeline de filtragem de alta qualidade para criar pares de treinamento (vídeo de perspectiva vs. vídeo 360° correspondente), resultando em cerca de 283.000 clipes.

B. Arquitetura do Modelo (Diffusion-Based)

O modelo é construído sobre a arquitetura Stable Video Diffusion (SVD), adaptada para mapear vídeos de perspectiva ($X_{pers}$) para vídeos equiretangulares 360° ($Y_{equi}$).

• Entrada: O vídeo de perspectiva é convertido para o formato equiretangular (áreas não mapeadas preenchidas com preto) e codificado em latentes.
• Condicionamento: O processo de difusão é condicionado pelo vídeo de entrada e por características de imagem extraídas (via CLIP).

C. Técnicas Chave para Treinamento e Inferência

Para superar as dificuldades de distorção geométrica e consistência temporal, três técnicas inovadoras são introduzidas:

1. Simulação de Movimento de Câmera (Camera Motion Simulation):
   • Em vez de apenas amostrar perspectivas aleatórias, o modelo simula trajetórias de câmera realistas (com base em movimentos humanos naturais: deriva linear, oscilação e ruído) a partir dos vídeos 360°. Isso ensina ao modelo como a perspectiva muda dinamicamente.
2. Alinhamento de Quadros Baseado em Visão (View-Based Frame Alignment):
   • Para evitar que o modelo aprenda a lidar com distorções complexas de forma implícita, eles estimam as poses da câmera (usando SLAM) e projetam os quadros de entrada em coordenadas compartilhadas no mapa equiretangular. Isso garante que regiões específicas (ex: céu, estrada) permaneçam em posições consistentes no mapa 360° ao longo do tempo.
3. Decodificação Misturada (Blended Decoding):
   • Para resolver artefatos nas bordas do mapa equiretangular (onde a esquerda e a direita se encontram), o modelo decodifica duas versões do latente: a original e uma versão rotacionada em 180°. As saídas são combinadas (blendadas) no espaço de pixels, dando mais peso aos pixels distantes das bordas, resultando em transições suaves e sem costuras.

3. Contribuições Principais

• Primeiro Modelo de Geração 360° a partir de Entrada Única: O Argus é o primeiro a gerar vídeos panorâmicos 360° realistas e coerentes a partir de vídeos de perspectiva padrão.
• Pipeline de Dados Inovador: A exploração e filtragem sistemática de vídeos 360° da web para criar pares de treinamento supervisionado.
• Módulos Sensíveis à Geometria e Movimento: A introdução de alinhamento de visão e decodificação misturada resolve problemas críticos de consistência espacial e temporal que afetam modelos anteriores.
• Aplicações Versáteis: Demonstra que a geração 360° não é apenas um fim em si mesma, mas habilita novas funcionalidades como estabilização de vídeo sem perda de campo de visão e controle de ponto de vista.

4. Resultados e Avaliação

• Desempenho Quantitativo: O Argus supera significativamente os baselines (como o PanoDiffusion adaptado e métodos de outpainting de vídeo) em métricas de qualidade de imagem (PSNR, LPIPS), coerência temporal (FVD, Suavidade de Movimento) e consistência geométrica (métrica de consistência de linhas).
• Desempenho Qualitativo:
  • Gera cenas 360° onde objetos que entram e saem do quadro mantêm trajetórias lógicas.
  • Mantém a consistência em vídeos com movimentos de câmera complexos (panorâmicos, verticais, rápidos).
  • Funciona bem em vídeos "in-the-wild" (do mundo real) e até em vídeos gerados por IA.
• Ablação: Estudos mostram que remover o alinhamento de visão ou a decodificação misturada resulta em vídeos mais desfocados ou com artefatos nas bordas, confirmando a eficácia dessas técnicas.

5. Significado e Aplicações

O trabalho abre novas possibilidades para a análise e interação com vídeos dinâmicos:

• Estabilização de Vídeo: Permite estabilizar vídeos sem precisar recortar (crop) as bordas, mantendo o campo de visão total através da geração do panorama.
• Controle de Ponto de Vista: Permite que usuários "rotem" a câmera em cenas dinâmicas para ver o que estava fora do quadro original.
• Mapeamento Ambiental Dinâmico: Os vídeos gerados podem ser usados como mapas de ambiente dinâmicos para realce de iluminação em renderização 3D.
• Perguntas e Respostas Visuais Interativas (VQA): Permite que modelos de linguagem visual verifiquem hipóteses espaciais (ex: "O carro está sobre a faixa de pedestres?") alterando o ângulo de visão, superando as limitações de vídeos de visão fixa.

Em resumo, o Argus representa um avanço significativo na compreensão espacial de vídeos, transformando uma visão limitada em uma experiência imersiva e coerente de 360 graus, superando as limitações de consistência dos modelos de geração de vídeo atuais.