ProBA: Probabilistic Bundle Adjustment with the Bhattacharyya Coefficient

1. O Problema

O Ajuste de Feixe (Bundle Adjustment - BA) clássico é fundamental para a reconstrução 3D, mas enfrenta limitações severas em cenários não estruturados:

• Dependência de Inicialização: Requer estimativas de pose e intrínsecas da câmera precisas para convergir, falhando frequentemente em "cold starts" (inicialização fria).
• Fragilidade com Correspondências Densas: Pipelines tradicionais (como o COLMAP) dependem de "tracks" rígidos (cadeias consistentes de pixels). Quando se tenta integrar correspondências densas geradas por redes neurais modernas (que possuem ruído inerente), os heurísticos de construção de tracks falham, levando a mínimos locais e divergência.
• Ambiguidades: Métodos sem prior métrica sofrem com ambiguidades de escala e, criticamente, com a ambiguidade de espelho (onde a cena e sua reflexão invertida em profundidade são matematicamente consistentes com as imagens 2D).

2. Metodologia: ProBA

O ProBA propõe uma reformulação probabilística do BA, substituindo pontos discretos por uma representação volumétrica contínua. O sistema opera em três etapas principais:

A. Representação Probabilística (Gaussianas 3D)

Em vez de forçar correspondências a compartilharem coordenadas 3D exatas (o que é frágil ao ruído), o ProBA modela os pontos de referência (landmarks) como Gaussianas 3D isotrópicas.

• Objetivo: Em vez de minimizar apenas o erro de reprojeção, o sistema otimiza a sobreposição probabilística dessas Gaussianas.
• Vantagem: Se uma correspondência for ruidosa ou a pose inicial for ruim, a variância espacial da Gaussiana aumenta adaptativamente, "absorvendo" a incerteza e suavizando a paisagem de otimização não convexa, evitando mínimos locais.

B. Parametrização Cinemática e Gráfico de Visão

• Grafo de Visão Esparsa: Otimiza-se sobre um grafo de visibilidade (construído via LoFTR e DKM) em vez de um grafo completo $O(N^2)$, utilizando uma árvore de expansão mínima (MST) para parametrização cinemática.
• Pose Relativa: As poses das câmeras são otimizadas relativas aos seus pais na árvore, propagando atualizações de forma estável.
• Ponderação Adaptativa de Bordas: Um mecanismo iterativo calcula a confiabilidade de cada aresta do grafo baseada no Negative Log-Likelihood (NLL) local. Bordas errôneas são dinamicamente despesadas (down-weighted) para evitar que erros topológicos corrompam o consenso global.

C. Regularização de Simetria de Espelho

Para resolver a ambiguidade de espelho sem priores métricos:

• O sistema otimiza simultaneamente duas hipóteses independentes: o mundo real e um mundo espelhado (reflexão).
• Uma regularização mantém a hipótese espelhada próxima à trajetória refletida inicial.
• Ao final, a hipótese com o menor NLL é selecionada, permitindo que o sistema "descubra" a geometria correta a partir de uma inicialização fria.

D. Objetivo Unificado

O objetivo final minimiza uma soma de:

1. NLL de Reprojeção 2D: Compatibilidade entre a projeção da Gaussiana 3D e a observação 2D.
2. Restrição Espacial Suave (3D): Consistência entre Gaussianas correspondentes de diferentes câmeras.
3. Regularização de Espelho: Para evitar colapso para soluções triviais.

3. Principais Contribuições

1. Representação de Landmarks Probabilística: Substituição de tracks rígidos por Gaussianas 3D volumétricas, permitindo o tratamento natural de ruído e incerteza sem heurísticas rígidas.
2. Objetivo Unificado sem Inicialização: Derivação de um objetivo de NLL que integra reprojeção 2D e consistência 3D, resolvendo ambiguidades de espelho via regularização de dupla hipótese, operando estritamente a partir de um "cold start".
3. Otimização Escalável em Grafo de Visão: Bypass de correspondências exaustivas $O(N^2)$ através de um grafo esparsificado com ponderação adaptativa de arestas, filtrando constraints errôneas dinamicamente.
4. Implementação Eficiente: Um solver customizado em CUDA que permite otimização conjunta de extrínsecas, intrínsecas e geometria em GPUs modernas.

4. Resultados Experimentais

O ProBA foi avaliado em benchmarks padrão (DTU, Mip-NeRF 360, ETH3D, IMC2021) comparado a pipelines clássicos (COLMAP) e modelos de aprendizado profundo (MASt3R-SfM, VGGT).

• Precisão Métrica: O ProBA superou significativamente o COLMAP e variantes densas em precisão de rotação (RRA) e translação (RTA). Por exemplo, no ETH3D, alcançou 91.4% de RTA@5° e 97.9% de RRA@5°, enquanto o COLMAP+DKM caiu para 65.5% de RTA devido à falha na construção de tracks densos.
• Reconstrução 3D: Alcançou a maior precisão (ACC@5cm) e completude (COMP@5cm) entre todos os métodos testados no ETH3D, demonstrando capacidade de gerar geometrias densas e coerentes.
• Robustez em Cenários "In-the-Wild": No conjunto de dados IMC2021 (imagens não calibradas e diversas), o ProBA registrou mais correspondências e views desafiadoras do que o COLMAP, embora tenha havido um trade-off em precisão métrica estrita devido à ambiguidade escala-profundidade em cenas planas.
• Eficiência: O método evita o gargalo de memória e tempo de construção de tracks densos, convergindo em tempos previsíveis (400-1200s) e evitando falhas de Out-of-Memory (OOM) comuns em modelos de base grandes.

5. Significado e Impacto

O ProBA representa um avanço significativo na interseção entre geometria clássica e aprendizado profundo:

• Ponte entre Abordagens: Oferece a flexibilidade de inicialização fria típica de modelos de regressão (como DUST3R), mas mantém a transparência matemática e a precisão métrica de solvers geométricos clássicos.
• Resiliência a Ruído: Ao tratar a correspondência como uma distribuição de probabilidade em vez de um fato rígido, o sistema é robusto a ruídos massivos e outliers, permitindo o uso direto de correspondências densas geradas por IA.
• Aplicabilidade: É uma base escalável para reconstrução 3D robusta e SLAM em ambientes não estruturados, onde a inicialização precisa e a calibração da câmera são frequentemente indisponíveis.

Em resumo, o ProBA transforma o problema de otimização de feixe de um processo frágil e dependente de bons dados iniciais para um processo robusto, probabilístico e capaz de auto-correção a partir do zero.