Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning

Título: Wid3R: Reconstrução 3D de Campo de Visão Amplo via Condicionamento de Modelo de Câmera

1. Problema e Motivação

O campo da visão computacional baseada em aprendizado tem avançado significativamente na reconstrução geométrica 3D a partir de múltiplas visões. No entanto, a grande maioria dos métodos existentes (como VGGT, $\pi^3$, Dust3R) assume que as imagens de entrada são capturadas por câmeras pinhole (perspectivas) ou que foram previamente retificadas e desdistorcidas.

Essa suposição cria um viés significativo, limitando a generalização para cenários do mundo real que utilizam câmeras de campo de visão amplo (Wide Field-of-View - WFOV), como:

• Câmeras fisheye (comuns em robótica e navegação autônoma).
• Câmeras 360° (esféricas, usadas em AR/VR e mapeamento de grandes escalas).

As distorções não lineares introduzidas por essas lentes degradam severamente o desempenho dos modelos treinados apenas em dados pinhole. Além disso, os métodos atuais que tentam lidar com WFOV geralmente exigem pré-processamento complexo (calibração manual, retificação), o que introduz perda de informação geométrica e sobrecarga computacional. Não existia, até este trabalho, uma solução de reconstrução 3D feed-forward (direta) que suportasse nativamente imagens distorcidas de múltiplas visões sem necessidade de calibração explícita.

2. Metodologia: A Abordagem Wid3R

O Wid3R é uma rede neural feed-forward projetada para realizar reconstrução geométrica 3D densa diretamente a partir de imagens distorcidas de câmeras de campo de visão amplo. A arquitetura baseia-se em três pilares principais:

A. Representação Baseada em Raios (Ray-Based Representation)
Diferente dos métodos anteriores que regressam mapas de pontos ou profundidade diretamente (o que é difícil em projeções distorcidas), o Wid3R decompõe a reconstrução 3D em dois componentes:

1. Direção do Raio (Angular): O modelo prevê a direção de cada pixel no espaço 3D. Para lidar com a geometria esférica e distorções complexas, ele utiliza Harmônicas Esféricas (Spherical Harmonics - SH). Isso permite uma parametrização angular compacta e precisa, mapeando ângulos polares e azimutais para direções cartesianas 3D.
2. Distância Radial (Radial): Uma vez definida a direção do raio, o modelo estima a distância ao longo desse raio.
   O ponto 3D final é calculado pela multiplicação elementar da direção do raio pela distância radial estimada.

B. Tokens de Modelo de Câmera (Camera Model Tokens)
Para permitir que uma única rede generalize entre diferentes tipos de lentes (pinhole, fisheye, 360°), o Wid3R introduz um mecanismo de condicionamento explícito:

• Um token de modelo de câmera ($C_i$) é injetado na rede como um "prompt".
• Este token informa à rede as características de projeção específicas de cada imagem (ex: se é uma câmera fisheye ou esférica), permitindo que os módulos angulares e radiais se adaptem dinamicamente sem necessidade de re-treinamento para cada tipo de câmera.

C. Arquitetura e Treinamento

• Base: O modelo utiliza um backbone baseado em DINO para extração de características e é inicializado com pesos pré-treinados do $\pi^3$ (um modelo de geometria visual feed-forward).
• Módulos: Inclui um módulo de agregação de características, um Módulo Angular (que prevê coeficientes de harmônicas esféricas condicionados ao token da câmera) e um Módulo Radial (que prevê a distância e incerteza).
• Dados de Treinamento: O modelo foi treinado em um conjunto diversificado de datasets sintéticos e reais (TartanAirV2, ScanNet++, Matterport3D, KITTI-360, etc.), cobrindo câmeras pinhole, fisheye e 360°.
• Perda: A função de perda combina termos para alinhamento de pontos, suavidade de normais, erro de pose e, crucialmente, uma perda assimétrica para os raios (angular e radial) para compensar a escassez de dados de câmeras 360°.

3. Contribuições Principais

1. Primeira Rede Feed-Forward Multi-Visão para WFOV: O Wid3R é o primeiro método capaz de estimar mapas de pontos 3D densos e poses de câmera diretamente a partir de imagens distorcidas de câmeras fisheye e 360°, sem pré-processamento de retificação.
2. Representação Unificada em Espaço de Raios: Propõe uma formulação baseada em rios com harmônicas esféricas que permite o raciocínio geométrico robusto sobre diferentes modelos de projeção dentro de uma única arquitetura.
3. Condicionamento por Token de Câmera: Introduz um mecanismo leve que permite à rede adaptar-se a diferentes tipos de câmeras, melhorando a generalização e mitigando problemas de esparsidade de dados (especialmente para câmeras 360°).
4. Desempenho em Mapeamento de Grande Escala: Demonstra eficácia em tarefas de localização visual e mapeamento em ambientes grandes, superando pipelines tradicionais baseados em SfM (Structure from Motion) em velocidade e consistência.

4. Resultados Experimentais

O Wid3R foi avaliado em diversos datasets de referência (FIORD, Zip-NeRF, Stanford2D3D, Matterport3D, ScanNet++), mostrando ganhos significativos sobre o estado da arte (VGGT, $\pi^3$):

• Estimativa de Pose:
  • No dataset Zip-NeRF (fisheye), houve uma melhoria de +77.33% no AUC@30° em comparação com o $\pi^3$.
  • No dataset Stanford2D3D (360°), a precisão na reconstrução de mapas de pontos melhorou em 48.2%.
  • Em Matterport3D, a estimativa de profundidade monocular mostrou uma melhoria de 3.38% no $\delta_{1.25}$.
• Localização em Grande Escala:
  • Em testes de localização visual no Matterport3D, o Wid3R alcançou precisão comparável a métodos baseados em SfM (como OpenMVG e COLMAP), mas com um tempo de processamento drasticamente reduzido (de 30 minutos para **3 segundos** por cena), graças à natureza feed-forward.
• Robustez: O modelo demonstrou robustez superior em imagens com distorção extrema, onde métodos concorrentes falharam ou produziram artefatos geométricos graves.

5. Significado e Impacto

O trabalho Wid3R representa um avanço fundamental para a aplicação de visão computacional 3D em cenários reais. Ao remover a dependência de câmeras pinhole e de pré-processamento de retificação, o método habilita:

• Robótica e Navegação Autônoma: Uso direto de câmeras de bordo (fisheye) para mapeamento e localização sem etapas de calibração complexas.
• Realidade Aumentada/Virtual (AR/VR): Reconstrução 3D mais precisa e rápida a partir de câmeras omnidirecionais.
• Mapeamento de Grande Escala: Capacidade de gerar mapas 3D densos e consistentes em tempo quase real a partir de vídeos de câmeras 360°.

Em resumo, o Wid3R estabelece um novo paradigma para modelos fundamentais de geometria visual, tornando-os verdadeiramente universais ao suportar nativamente a diversidade de sensores de imagem utilizados na indústria e na pesquisa.