FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures

Título: FullCircle: Reconstrução 3D Sem Esforço a partir de Capturas Casuais de 360°

1. O Problema

As Radiance Fields (Campos de Radiância), como NeRF e 3D Gaussian Splatting (3DGS), revolucionaram a reconstrução 3D fotorealista. No entanto, a captura "casual" (feita por usuários não especialistas) enfrenta desafios significativos:

• Limitação das Câmeras Perspectiva: Câmeras tradicionais têm um campo de visão (FOV) estreito, exigindo milhares de fotos redundantes e sobreposição visual densa para garantir calibração e reconstrução robustas.
• Desafios das Câmeras 360°: Embora câmeras 360° ofereçam cobertura visual muito superior e melhores restrições de calibração, os métodos existentes exigem protocolos de captura controlados ou pré-processamento complexo.
• O Obstáculo do Operador: Em capturas casuais com câmeras 360°, o operador (a pessoa segurando a câmera) é inevitavelmente visível em todas as imagens. Isso introduz inconsistências fotométricas e artefatos severos na reconstrução, especialmente quando o operador permanece estático por longos períodos (comum em capturas detalhadas), fazendo com que métodos robustos existentes falhem.

2. Metodologia (Pipeline FullCircle)

O FullCircle propõe um pipeline prático para reconstruir cenas 3D diretamente de imagens brutas de câmeras 360° (dual-fisheye), sem necessidade de protocolos especiais ou pré-processamento de costura (stitching).

A. Entrada de Dados Bruta (Raw Fisheye)

• Em vez de usar imagens panorâmicas em projeção equiretangular (que sofrem com artefatos de costura e desalinhamento óptico), o método utiliza os quadros fisheye brutos e não costurados das duas lentes da câmera.
• Máscaras de borda são aplicadas para remover distorções extremas e aberração cromática nas bordas externas do campo de visão.

B. Estimação de Máscara do Operador (Capturer Mask Estimation)
O núcleo da robustez do método é a remoção automática do operador. Diferente de métodos que tentam aprender a segmentação end-to-end (custoso e requer grandes dados), o FullCircle utiliza modelos de visão pré-treinados de forma training-free:

1. Detecção Inicial: Usa o YOLOv8 para detectar a localização aproximada da pessoa em 16 vistas virtuais pinhole sobrepostas que cobrem a esfera.
2. Síntese de Vista Centralizada: Com base na direção média do operador, gera-se uma vista sintética fisheye de 180° centrada no operador. Isso move o operador para o centro da imagem, onde a distorção é mínima.
3. Segmentação Refinada: Aplica-se o SAMv2 (Segment Anything Model 2) na vista sintética centrada, usando o centro da imagem como prompt. Isso garante consistência temporal e alta precisão, pois o SAMv2 funciona melhor em regiões com baixa distorção.
4. Mapeamento: As máscaras refinadas são mapeadas de volta para as imagens fisheye originais e expandidas (dilatadas) ligeiramente para garantir a cobertura total do operador.

C. Treinamento do Campo de Radiância

• Utiliza-se o 3DGRT (3D Gaussian Ray Tracing), uma variação do 3DGS capaz de renderizar imagens não-pinhole (fisheye) sem necessidade de undistortion (correção de distorção) prévia.
• O pipeline estima poses de câmera usando o COLMAP (adaptado para fisheye) e inicializa a nuvem de pontos SfM.
• As máscaras do operador são aplicadas durante a estimativa de pose e o treinamento do 3DGS para evitar que o operador seja reconstruído como parte da cena.

3. Principais Contribuições

1. Pipeline Robusto para Captura Casual: Um método que permite a reconstrução 3D de alta qualidade a partir de vídeos 360° capturados por não especialistas, ignorando a presença inevitável do operador.
2. Uso de Imagens Brutas (Raw Fisheye): Demonstra que treinar diretamente em imagens fisheye brutas (com 3DGRT) supera a abordagem tradicional de corrigir a distorção (undistort) e treinar em imagens perspectiva, resultando em melhor cobertura e qualidade.
3. Estratégia de Segmentação Eficiente: Uma abordagem inovadora que alavanca o SAMv2 em vistas sintéticas centralizadas para remover o operador com alta precisão, sem necessidade de re-treinamento ou fine-tuning do modelo de segmentação.
4. Novo Dataset Benchmark: Introdução de um conjunto de dados multi-nível (9 cenas, variando de fácil a difícil) capturado com câmeras dual-fisheye (Insta360 X4), incluindo conjuntos de teste "dourados" (tripé, sem pessoas) para avaliação imparcial. É o primeiro dataset público de capturas casuais 360° com operadores visíveis.

4. Resultados

Os experimentos compararam o FullCircle contra várias baselines (3DGS padrão, métodos robustos para perspectiva como SLS-MLP e NOTG, e métodos para 360° como 3DGRT e OmniLocalRF).

• Captura 360° vs. Perspectiva: Em trajetórias de câmera idênticas, o uso de imagens fisheye brutas para calibração e reconstrução resultou em síntese de novas vistas significativamente superior, especialmente em vistas fora da distribuição de treinamento (longe da trajetória original).
• Qualidade de Reconstrução: O FullCircle superou consistentemente todas as baselines em métricas PSNR, SSIM e LPIPS.
  • Métodos que usam imagens undistorted (corrigidas) sofreram com perda de cobertura e artefatos de resampling.
  • Métodos robustos existentes (como SLS e OmniLocalRF) falharam em separar o operador quando ele permanecia estático, reconstruindo-o como ruído ou artefatos.
• Ablação de Segmentação: A estratégia de centralizar a vista sintética para o SAMv2 foi superior ao uso direto de segmentadores omnidirecionais (como OmniSAM), que falhavam em regiões altamente distorcidas.

5. Significado e Impacto

O trabalho FullCircle remove barreiras críticas para a escalabilidade da criação de dados 3D:

• Democratização da Captura 3D: Permite que usuários comuns capturem cenas 3D de alta qualidade com câmeras 360° acessíveis, sem necessidade de equipamentos caros ou protocolos rigorosos.
• Eficiência de Dados: Demonstra que câmeras 360° podem coletar dados 3D reconstrutíveis com muito menos esforço e redundância do que câmeras tradicionais.
• Futuro de Modelos Feed-Forward: Ao fornecer um pipeline robusto e um dataset de benchmark, o trabalho habilita o treinamento de futuros modelos de reconstrução 3D feed-forward (que não requerem otimização iterativa por cena) baseados em imagens 360°, um passo crucial para aplicações em tempo real e em larga escala.

Limitações: O método assume exposição fixa e pode ter dificuldades com distratores estáticos que não sejam o operador (embora isso seja raro em capturas casuais típicas).

Recurso: O código e o dataset estão disponíveis publicamente para fomentar pesquisas futuras em reconstrução 360° robusta.