Monocular Depth Estimation From the Perspective of Feature Restoration: A Diffusion Enhanced Depth Restoration Approach

1. Problema e Motivação

A Estimativa de Profundidade Monocular (MDE) é uma tarefa fundamental na visão computacional 3D, essencial para aplicações como direção autônoma e reconstrução 3D. No entanto, é um problema mal-posto (ill-posed), pois inferir profundidade 3D a partir de uma única imagem 2D é ambíguo.

O artigo identifica duas limitações principais nas abordagens atuais baseadas em arquiteturas encoder-decoder:

1. Falta de Investigação sobre Características: Não se avalia suficientemente como características de diferentes níveis (escalas) do encoder afetam a precisão final. O trabalho demonstra que características de alto nível (semânticas) têm um impacto muito maior na melhoria da performance do que características de baixo nível, e que essas características de alto nível podem ser otimizadas significativamente em poucos passos.
2. Desvios de Características em Modelos de Difusão: Métodos recentes que utilizam modelos de difusão para MDE sofrem com o problema de desvio de características (feature deviation). Como a supervisão é indireta (baseada na perda da mapa de profundidade final e não nas características latentes em si), a otimização em cada passo iterativo da difusão pode divergir da característica de "verdadeira" (ground truth) desejada, comprometendo o resultado final da inferência. Além disso, a natureza esparsa das profundidades reais (LiDAR) dificulta a aplicação direta de difusão.

2. Metodologia Proposta: IID-RDepth

Os autores propõem o framework IID-RDepth (Invertible transform enhanced Indirect Diffusion for Restored Depth Estimation), que reformula o problema de estimativa de profundidade como um problema de restauração de características. A ideia central é tratar as características extraídas pelo encoder pré-treinado como características degradadas de uma característica latente ideal que geraria o mapa de profundidade perfeito.

O framework possui três componentes principais:

A. Restauração de Características de Alto Nível (InvT-IndDiffusion)

Para resolver o problema de desvio nas iterações de difusão com supervisão indireta, os autores desenvolvem o módulo InvT-IndDiffusion (Invertible Transform-enhanced Indirect Diffusion):

• Abordagem: Em vez de adicionar ruído ao mapa de profundidade (que é esparsa), o modelo adiciona ruído às características latentes do encoder.
• Supervisão Indireta: O modelo é treinado para minimizar a perda no mapa de profundidade final.
• Solução do Desvio: Para garantir que a otimização das características latentes em cada passo da difusão permaneça alinhada com a característica de referência (que gera a profundidade correta), o decoder deve satisfazer a condição bi-Lipschitz.
• Implementação: Utiliza-se um Decoder Invertível baseado em camadas de acoplamento (coupling layers). Isso garante que a distância entre as características no espaço latente seja preservada (ou positivamente correlacionada) em relação à distância no espaço da profundidade. Assim, minimizar a perda de profundidade garante implicitamente a otimização correta das características latentes sem desvios.

B. Restauração de Características de Baixo Nível (AV-LFE)

Para aprimorar os detalhes locais (bordas, texturas), os autores propõem o módulo AV-LFE (Auxiliary Viewpoint-based Low-level Feature Enhancement):

• Funcionalidade: Um módulo "plug-and-play" que explora informações de pontos de vista auxiliares (ex: câmeras estéreo ou múltiplas câmeras em veículos autônomos) quando disponíveis.
• Mecanismo: Alinha as características de baixo nível da visão auxiliar com a visão principal usando convoluções deformáveis e funde-as para enriquecer as conexões de shortcut do decoder.
• Flexibilidade: Opera em dois modos:
  1. Modo Compatível: O módulo é treinado, mas os parâmetros do encoder/decoder base são congelados. Funciona apenas se houver visão auxiliar; caso contrário, não afeta a performance.
  2. Modo Totalmente Treinável: Toda a rede é treinada conjuntamente para máxima performance.

3. Principais Contribuições

1. Análise de Níveis de Características: Demonstração empírica de que a otimização de características de alto nível do encoder traz ganhos de performance significativamente maiores do que a de baixo nível, justificando a abordagem de restauração de características.
2. Framework IID-RDepth: Uma nova abordagem que trata a estimativa de profundidade como a restauração de características latentes degradadas usando difusão.
3. Módulo InvT-IndDiffusion: Desenvolvimento de um mecanismo de difusão indireta que utiliza um decoder invertível sob condição bi-Lipschitz para eliminar o desvio de características durante a inferência iterativa, permitindo supervisão apenas no objetivo final (profundidade).
4. Módulo AV-LFE: Uma solução modular para aproveitar informações de múltiplas vistas para refinar detalhes locais sem comprometer a arquitetura base.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados KITTI e DDAD.

• Desempenho no KITTI:
  • Comparado ao baseline (PixelFormer), o método proposto (IID-RDepth) melhorou o RMSE em 4,09%.
  • No Modo Compatível (com AV-LFE), a melhoria foi de 17,25%.
  • No Modo Totalmente Treinável (com AV-LFE), a melhoria atingiu 37,77% em RMSE.
  • O método superou consistentemente os métodos State-of-the-Art (SOTA) em métricas como RMSE, Abs Rel e Sq Rel.
• Desempenho no DDAD:
  • O método demonstrou robustez ao ser aplicado em diferentes arquiteturas de base (NeWCRFs e PixelFormer), mostrando melhorias consistentes (ex: 16,03% de melhoria com NeWCRFs).
• Análise de Distância:
  • A melhoria foi mais pronunciada em objetos distantes (50-80m), com redução de 9,02% no RMSE, validando a capacidade do InvT-IndDiffusion de recuperar características semânticas de alto nível essenciais para a percepção de profundidade remota.
• Validação Estatística:
  • Um teste t pareado confirmou que a superioridade do método é estatisticamente significativa (p < 0,01) na grande maioria das imagens testadas.

5. Significância e Conclusão

Este trabalho é significativo porque muda o paradigma de como modelos de difusão são aplicados à estimativa de profundidade. Em vez de tratar a difusão apenas como um gerador de mapas de profundidade a partir de ruído, o artigo a utiliza como um mecanismo de restauração de características latentes.

A inovação central reside na solução teórica e prática para o problema de desvio de características em difusão com supervisão indireta, utilizando transformações invertíveis para garantir a consistência da otimização. Isso permite que modelos de difusão sejam aplicados eficazmente em tarefas de regressão densa onde o ground truth é escasso ou onde a supervisão direta de características latentes não é possível. O resultado é um método que não apenas atinge o estado da arte, mas também oferece uma arquitetura flexível e modular para melhorar a precisão da profundidade monocular e estereoscópica.