Learning 3D Reconstruction with Priors in Test Time

Título: Aprendizado de Reconstrução 3D com Priors no Tempo de Teste

Autores: Lei Zhou, Haoyu Wu, Akshat Dave, Dimitris Samaras (Stony Brook University)

1. O Problema

A reconstrução 3D a partir de imagens é fundamental para aplicações como direção autônoma, realidade aumentada e robótica.

• Limitação dos Métodos Atuais: Os Transformers Multiview (MVTs) modernos de feed-forward (como VGGT, $\pi^3$) alcançam resultados impressionantes ao processar apenas imagens RGB em uma única passagem. No entanto, eles são projetados nativamente para aceitar apenas RGB como entrada.
• Desafio: Em cenários do mundo real, informações adicionais (priors) estão frequentemente disponíveis, como poses de câmera (de sistemas de rig ou SfM), intrínsecas da câmera ou mapas de profundidade (de sensores LiDAR ou estéreo).
• Inflexibilidade: Trabalhos recentes que tentam incorporar esses priors exigem modificar a arquitetura do modelo e re-treinar o sistema do zero. Isso é computacionalmente caro, inflexível e impede o uso de modelos pré-treinados existentes.

2. Metodologia: Otimização Constrained no Tempo de Teste (TCO)

Os autores propõem um framework chamado Test-time Constrained Optimization (TCO). A ideia central é não alimentar os priors como entrada do modelo, mas sim tratá-los como restrições sobre as previsões do modelo durante a inferência.

Princípio Fundamental

Em vez de re-treinar o MVT, o método otimiza os parâmetros do modelo durante o tempo de teste para que suas previsões satisfaçam duas condições:

1. Compatibilidade Multiview: As previsões devem ser consistentes entre si (auto-supervisionado).
2. Penalidade de Prior: As previsões devem estar alinhadas com os priors disponíveis (ex: a pose estimada deve ser próxima da pose conhecida).

Componentes do Framework

A. Função Objetivo (Auto-supervisionada)
Para garantir a qualidade da reconstrução 3D sem depender apenas dos priors, o método utiliza uma função de perda baseada na compatibilidade entre as previsões de diferentes visões:

• Renderização Diferenciável: Utiliza 2D Gaussian Splatting (2DGS) como renderizador diferenciável.
• Heurística de Parâmetros: Os parâmetros dos Gaussianos (centro, cor, normal, opacidade, rotação) são inferidos heuristicamente a partir das previsões do MVT (mapa de profundidade, pose, intrínsecas e confiança), sem otimizar os parâmetros do 2DGS diretamente.
• Perdas:
  • Perda Fotométrica: Diferença entre a imagem renderizada de uma visão fonte e a imagem real da visão alvo.
  • Perda Geométrica: Diferença entre os mapas de profundidade renderizados e os reais.

B. Priors como Restrições (Termos de Penalidade)
Os priors disponíveis são convertidos em termos de perda que penalizam o desvio das previsões em relação aos valores conhecidos:

• Pose da Câmera: Medida pela distância angular (rotação) e distância $L_1$ normalizada (translação), considerando a ambiguidade de escala.
• Intrínsecas: Penalidade na diferença entre focais previstas e conhecidas.
• Mapa de Profundidade: Alinhamento global (escala e deslocamento) via mínimos quadrados, seguido de perda $L_1$ por visão.

C. Estratégia de Fine-tuning (Sincronização de Tarefas)
Para evitar overfitting aos priors e preservar a representação compartilhada da cena:

• Congelamento: Todas as heads (cabeças) específicas de tarefas (pose, profundidade, etc.) e o codificador (encoder) são congelados.
• Ajuste Eficiente: Apenas a rede decodificadora compartilhada é ajustada usando LoRA (Low-Rank Adaptation). Isso permite que a adaptação a um prior (ex: pose conhecida) melhore indiretamente a qualidade de outros outputs (ex: mapa de pontos) através da representação compartilhada.

3. Contribuições Principais

1. Framework Plug-and-Play (TCO): Um método que incorpora priors de cena e câmera em modelos MVTs pré-treinados sem alterar a arquitetura ou exigir re-treinamento.
2. Design de Perda Híbrida: Combina um objetivo auto-supervisionado (compatibilidade multiview via 2DGS) com termos de penalidade baseados em priors.
3. Superioridade Empírica: Demonstra que a otimização no tempo de teste supera métodos que re-treinam modelos com feed-forward de priors, mantendo a flexibilidade de usar qualquer prior disponível.

4. Resultados Experimentais

O método foi avaliado em benchmarks padrão de visão 3D: ETH3D, DTU, 7-Scenes, NRGBD (para estimativa de mapa de pontos) e ScanNet (para estimativa de pose).

• Melhoria sobre Modelos Base (Apenas Imagem):
  • Em ETH3D, 7-Scenes e NRGBD, o TCO reduziu o erro de distância do mapa de pontos em mais de 50% comparado aos modelos base (VGGT e $\pi^3$).
  • A combinação de priors de pose e intrínsecas trouxe os maiores ganhos.
• Comparação com Métodos de Feed-forward com Priors:
  • O TCO superou consistentemente métodos que re-treinam modelos específicos para aceitar priors (como Pow3R e MapAnything). Isso prova que a otimização no tempo de teste é mais eficaz do que a integração estática de priors na arquitetura.
• Robustez:
  • O método funcionou bem em configurações de visão esparsa (sparse views) e com grandes bases de câmera.
  • A curva de escalabilidade mostrou que o desempenho melhora com o número de iterações no tempo de teste (atingindo ótimo entre 40-80 iterações).
• Ablação:
  • A estratégia de congelar as heads e ajustar apenas o decodificador foi crucial. Ajustar as heads específicas degradou o desempenho.
  • O uso de heurísticas para os parâmetros do 2DGS (em vez de otimizá-los diretamente) provou ser mais eficiente.

5. Significado e Conclusão

Este trabalho oferece uma nova perspectiva para a integração de informações auxiliares em redes neurais profundas de visão 3D.

• Eficiência: Elimina a necessidade de re-treinamento custoso para cada novo tipo de prior disponível.
• Versatilidade: Permite que modelos pré-treinados se adaptem dinamicamente a cenários onde sensores adicionais (LiDAR, IMU) fornecem dados parciais ou completos.
• Impacto: O framework TCO estabelece um novo estado da arte, demonstrando que a "otimização no tempo de teste" (Test-time Compute) pode ser uma ferramenta poderosa para refinar a reconstrução 3D, explorando a sinergia entre diferentes modalidades de previsão (pose, profundidade, intrínsecas) de forma mais eficaz do que a simples fusão de entrada.

O código do projeto está disponível publicamente, facilitando a adoção desta abordagem na comunidade de visão computacional.