Resumo Técnico: 360Anything

Declaração do Problema

A geração de mundos 3D fotorrealistas a partir de imagens e vídeos de perspectiva é uma fronteira crítica para aplicações imersivas em robótica, RA/RV e jogos. Embora avanços recentes em modelos generativos visuais tenham melhorado a síntese de visão de perspectiva, os geradores padrão produzem campos de visão (FoV) estreitos, limitando sua utilidade na criação de ambientes 360° totalmente imersivos.

Abordagens existentes para elevar entradas de perspectiva para panoramas 360° dependem tipicamente de alinhamento geométrico explícito. Esses métodos projetam a entrada de perspectiva no espaço de Projeção Equirretangular (ERP) para fornecer um sinal de condicionamento alinhado aos pixels. No entanto, essa estratégia exige metadados de câmera conhecidos (Campo de Visão, yaw, pitch, roll). Em cenários "in-the-wild", como dados de calibração são frequentemente ausentes ou ruidosos. Consequentemente, os modelos atuais lutam com entradas não calibradas ou falham ao depender de estimadores externos frágeis. Além disso, os panoramas gerados frequentemente sofrem de artefatos de costura nas fronteiras do ERP, um problema que trabalhos anteriores tentam mitigar com truques de tempo de inferência em vez de abordar a causa raiz.

Metodologia

Os autores propõem o 360Anything, um framework livre de geometria construído sobre Diffusion Transformers (DiT) pré-treinados que elimina a necessidade de informações explícitas de câmera.

1. Concatenação de Sequência Livre de Geometria

Ao contrário de trabalhos anteriores que impõem correspondência espacial projetando as entradas no espaço ERP, o 360Anything trata a entrada de perspectiva e o panorama alvo simplesmente como sequências de tokens.

• Mecanismo: A entrada de perspectiva ($X_{pers}$) é codificada em tokens latentes ($x_{pers}$) e concatenada com os tokens latentes ruidosos do alvo ($y^t_{equi}$) ao longo da dimensão da sequência.
• Aprendizado: O DiT realiza autoatenção global nesta sequência combinada. O modelo aprende o mapeamento de perspectiva para equirretangular puramente através de dados, inferindo implicitamente as intrínsecas e extrínsecas da câmera para "posicionar" a entrada em uma tela 360°.
• Canonicalização: Para garantir consistência na treinamento e geração, o framework impõe uma restrição de Coordenada Canônica. O modelo é treinado para gerar panoramas em uma orientação vertical padrão, alinhada pela gravidade, independentemente da pose da câmera de entrada. Isso requer um pipeline de pré-processamento de dados de duas etapas para vídeos do mundo real:
  1. Estabilização: Usando COLOMP para estimar poses por quadro e rotacionar os quadros para eliminar a rotação entre quadros.
  2. Alinhamento de Gravidade: Usando GeoCalib para estimar a direção global da gravidade e rotacionar o vídeo para que a gravidade se alinhe com o eixo vertical.

2. Codificação Latente Circular para Geração Sem Costuras

O artigo identifica a causa raiz dos artefatos de costura na geração de ERP como o zero-padding nas camadas convolucionais do Autoencoder Variacional (VAE) usado para codificação latente. O zero-padding padrão introduz descontinuidades de fronteira na representação latente, que o modelo de difusão aprende a replicar.

• Solução: Os autores propem a Codificação Latente Circular. Antes da codificação, colunas são recortadas das laterais esquerda e direita do panorama e preenchidas nos lados opostos (padding circular). Após a codificação, os latentes correspondentes a essas regiões preenchidas são descartados.
• Resultado: Isso garante que a representação latente possua continuidade circular, eliminando a descontinuidade que causa as costuras sem introduzir overhead no comprimento da sequência ou no tempo de inferência.

Principais Contribuições

1. Arquitetura 360Anything: Um novo framework baseado em DiT para geração de perspectiva-para-panorama "in-the-wild" que infere implicitamente os parâmetros da câmera, removendo a dependência de calibração de câmera.
2. Análise da Causa Raiz de Costuras: Identificação do zero-padding do VAE como a fonte de artefatos de costura e a introdução da Codificação Latente Circular como um remédio principiológico de estágio de treinamento.
3. Desempenho de Estado da Arte: O método alcança resultados superiores em benchmarks de geração de imagem e vídeo, superando baselines que utilizam informações de câmera de verdade fundamental (ground-truth).
4. Compreensão Geométrica Zero-Shot: O modelo demonstra precisão competitiva na estimativa zero-shot de FoV de câmera e orientação, provando que aprende correspondências geométricas profundas apesar de não usar metadados explícitos.

Resultados Experimentais

Geração de Imagem Panorâmica

Avaliado nos datasets Laval Indoor e SUN360, o 360Anything supera os baselines (incluindo CubeDiff, PanoDiffusion e Diffusion360) em métricas de qualidade visual (FID, KID, FAED).

• Melhoria no FAED: O modelo reduz o erro FAED em quase 50% em comparação com o estado da arte, indicando uma geometria global e consistência 360° significativamente melhores.
• Qualitativo: Ao contrário de métodos baseados em cubemap que esticam objetos quando o FoV de entrada difere de 90°, o 360Anything infere corretamente o FoV e a orientação, produzindo objetos sem distorção.

Geração de Vídeo Panorâmico

Avaliado no dataset Argus usando trajetórias de câmera simuladas e reais.

• Métricas: O 360Anything alcança os melhores escores em PSNR, LPIPS, FVD e métricas VBench (Qualidade de Imagem, Qualidade Estética, Suavidade de Movimento).
• Consistência: O modelo gera vídeos canonicamente estáveis que permanecem verticais e sem distorções mesmo com grandes movimentos de câmera, enquanto os baselines frequentemente produzem saídas rotacionadas ou distorcidas.
• Reconstrução 3D: Os vídeos panorâmicos gerados permitem reconstrução de cena 3D de alta qualidade via 3D Gaussian Splatting (3DGS), demonstrando forte consistência geométrica adequada para exploração de voo (fly-through).

Calibração de Câmera Zero-Shot

Apesar de ser treinado apenas para outpainting, o modelo alcança resultados competitivos na estimativa de parâmetros de câmera zero-shot:

• Estimativa de FoV: Classifica-se entre os top-3 no NYUv2, ETH3D e iBims-1, superando vários baselines supervisionados e ficando apenas ligeiramente atrás de métodos especializados de SOTA (DUSt3R, MoGe).
• Estimativa de Orientação: Supera a maioria dos baselines supervisionados no MegaDepth e LaMAR para estimativa de roll e pitch, com erros apenas ~0,5 graus acima do SOTA GeoCalib.

Significância e Alegações

O artigo afirma que o alinhamento geométrico explícito é desnecessário para a geração de panoramas de alta qualidade. Ao aproveitar o poder representacional dos Diffusion Transformers e tratar a tarefa como um problema de sequência-para-sequência, o 360Anything alcança robustez em cenários "in-the-wild" onde a calibração é impossível.

O trabalho demonstra que:

1. O aprendizado baseado em dados de relações geométricas pode superar métodos que dependem de priors geométricos explícitos e frequentemente ruidosos.
2. Artefatos de costura são um problema arquitetural no espaço latente, não apenas um artefato de inferência, e podem ser resolvidos via Codificação Latente Circular.
3. O framework possui compreensão geométrica profunda, capaz de inferir parâmetros de câmera e manter a consistência 3D (permitindo reconstrução 3DGS) sem supervisão explícita.

Os autores concluem que esta abordagem permite a escala de modelos e dados para a geração de mundos 3D imersivos, indo além das limitações de geradores de perspectiva e pipelines dependentes de calibração.