Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

Resumo Técnico: Supervisão de Profundidade Monocular com Consciência de Confiabilidade para Reconstrução Neural de Visão Esparsa

Declaração do Problema
A reconstrução neural de visão esparsa é particularmente desafiadora em cenas de condução externa. Ao contrário de conjuntos de dados centrados em objetos, onde as câmeras orbitam um alvo, sequências de condução autônoma envolvem câmeras movendo-se ao longo de trajetórias estreitas e frontais. Isso resulta em sobreposição multivista limitada, paralaxe fraca para regiões distantes e dificuldades com objetos dinâmicos, reflexos e regiões de céu. Embora os Campos de Radiação Neural (NeRF) e o 3D Gaussian Splatting (3DGS) alcancem renderização de alta qualidade com vistas suficientes, eles tornam-se subdeterminados com entradas esparsas, o que frequentemente leva a geometrias incorretas e "floaters" (elementos flutuantes).

Embora estimadores de profundidade monocular como o Depth Anything V2 (DA-V2) ofereçam priors geométricos densos, suas previsões são relativas, ruidosas e não são uniformemente confiáveis em todas as regiões da imagem. Aplicar esses priors de forma uniforme pode introduzir erros em áreas não confiáveis (ex: fronteiras de oclusão ou superfícies reflexivas). A questão central abordada é como alavancar efetivamente a supervisão de profundidade monocular em configurações de visão esparsa sem comprometer a qualidade da reconstrução devido a priors ruidosos.

Metodologia
Os autores propõem um pipeline de supervisão de profundidade monocular com consciência de confiabilidade que aplica seletivamente a supervisão de profundidade com base na confiabilidade da reconstrução RGB. A abordagem consiste em três estágios principais:

1. Prior de Profundidade Monocular Alinhado em Escala:

   • O DA-V2 é usado para gerar mapas de profundidade relativa densos.
   • Esses mapas são alinhados à profundidade métrica através de um processo de ajuste de escala-deslocamento por imagem contra âncoras de referência válidas (pontos LiDAR para KITTI, pontos COLMAP para a cena Bicycle).
   • A profundidade alinhada é recortada para um intervalo válido (ex: 80m para KITTI) para servir como um prior métrico.

2. Mascaramento de Confiabilidade Fotométrica:

   • Um modelo de linha de base apenas RGB é treinado primeiro para estabelecer uma referência de qualidade de reconstrução.
   • O erro de reconstrução fotométrica por pixel ($e(u)$) é computado comparando a imagem renderizada da linha de base com o solo verdadeiro (ground truth).
   • Uma máscara binária é gerada com base em um limiar $\tau$. Pixels com baixo erro fotométrico ($e(u) < \tau$) são considerados "confiáveis" e mantidos para supervisão de profundidade, enquanto regiões de alto erro (provavelmente contendo objetos dinâmicos, reflexos ou céu) são mascaradas.

3. Objetivo de Supervisão de Profundidade Mascarada:

   • O modelo de reconstrução (podendo ser Mip-NeRF-360 ou Splatfacto) é retreinado com uma função de perda conjunta: $L = L_{rgb} + \lambda_{depth} L_{depth}$.
   • A perda RGB é aplicada à imagem completa.
   • A perda de profundidade ($L_{depth}$) é computada apenas em pixels onde a máscara de supervisão efetiva ($M_{eff}$) está ativa, definida como a interseção da máscara de confiabilidade fotométrica e a máscara de validade de profundidade.
   • Isso garante que o prior monocular ruidoso apenas regularize regiões onde a reconstrução RGB já é consistente.

Principais Contribuições

• Estratégia de Supervisão Seletiva: O artigo introduz um método para aplicar priors de profundidade monocular seletivamente com base no erro de reconstrução fotométrica, em vez de aplicá-los uniformemente por toda a imagem.
• Avaliação Comparativa: A estratégia é avaliada em duas representações de cena distintas: um campo de densidade implícito (Mip-NeRF-360) e uma representação gaussiana explícita (Splatfacto).
• Ablação e Generalização: Através de ablações de máscara de razão correspondente e experimentos em múltiplas sequências KITTI (02 e 05) e na cena Bicycle, os autores demonstram que os ganhos derivam da seleção de regiões confiáveis, e não simplesmente da redução do número de pixels supervisionados.
• Análise de Sensibilidade do Backbone: O trabalho destaca que a eficácia da supervisão de profundidade é altamente dependente da representação subjacente (implícita vs. explícita) e da configuração da cena (frontal esparsa vs. centrada em objeto).

Resultos Experimentais
A avaliação foi conduzida no KITTISeq02 (configuração esparsa de cada 2ª frame), KITTISeq05 e na cena de Bicicleta do Mip-NeRF-360.

• Mip-NeRF-360 (Implícito):

  • No KITTISeq02, a supervisão de profundidade monocular mascarada proporcionou apenas ganhos marginais de renderização (ex: o PSNR aumentou de 20.378 para 20.607 no melhor caso) e não melhorou a geometria métrica (AbsRel e RMSE pioraram em comparação com a linha de base apenas RGB).
  • No KITKISeq05, tanto a supervisão de profundidade global quanto a mascarada degradaram tanto a qualidade de renderização quanto a geometria em comparação com o treinamento apenas RGB.
  • Conclusão: O campo de densidade implícito é sensível ao ruído da profundidade monocular alinhada em escala, e o prior atua como um regularizador fraco ou desestabilizador.

• Splatfacto (Explícito):

  • No KITTISeq02, o Splatfacto beneficiou-se significamente. O PSNR melhorou de 14.903 (apenas RGB) para 15.932, e o RMSE caiu drasticamente de 0.542 para 0.100.
  • Ablações de razão correspondente confirmaram que as máscaras de baixo erro superaram as de alto erro e as máscaras aleatórias, provando que o benefício vem da seleção de região.
  • No KITTISeq05, melhorias semelhantes tanto na renderização quanto na geometria foram observadas.
  • Conclusão: A representação gaussiana explícita permite que a supervisão de profundidade guie diretamente o posicionamento das Gaussianas, reduzindo efetivamente os "floaters" e melhorando a geometria em regiões esparsas.

• Cena da Bicicleta (Centrada em Objeto):

  • Nesta cena com forte cobertura multivista, a supervisão de profundidade melhorou a geometria (RMSE caiu de 1.479 para 0.722), mas geralmente degradou a qualidade de renderização RGB (PSNR, SSIM, LPIPS diminuíram).
  • Isso sugere um compromisso (trade-off) onde os priors de profundidade podem hiper-regularizar a reconstrução quando as restrições RGB já são fortes.

Significância e Alegações
O artigo conclui que os priors de profundidade monocular são uma faca de dois gumes na reconstrução de visão esparsa. Sua utilidade não é universal, mas depende fortemente do backbone de reconstrução e das restrições da cena:

1. Dependência do Backbone: Eles são altamente eficazes para representações gaussianas explícitas (Splatfacto) em cenas frontais esparsas, mas oferecem pouco ou nenhum benefício — e podem ser prejudiciais — para representações do tipo NeRF implícito (Mip-NeRF-360).
2. Confiabilidade é a Chave: Os ganhos não são meramente devidos à adição de mais dados de supervisão, mas sim ao filtragem de regiões não confiáveis onde o prior monocular conflita com as observações RGB.
3. Compromissos (Trade-offs): Em cenas com forte cobertura multivista, a supervisão de profundidade pode melhorar as métricas geométricas ao custo da fidelidade fotométrica.

Os autores defendem a aplicação seletiva de priors de profundidade monocular com peso moderado, particularmente para representações de cena explícitas em cenários de visão esparsa subdeterminados. Eles sugerem que trabalhos futuros poderiam focar em melhor alinhamento de escala, mascaramento baseado em incerteza e ponderação de perda adaptativa.