Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

Resumo Técnico: Rumo à Estimativa de Profundidade Monocular Robusta em Superfícies Não-Lambertianas

Definição do Problema
Avanços recentes na Estimativa de Profundidade Monocular (MDE) produziram modelos com capacidades impressionantes de generalização zero-shot em cenas gerais. No entanto, esses modelos falham frequentemente ao encontrar superfícies não-lambertianas, especificamente regiões transparentes ou espelhadas (ToM). As propriedades reflexivas únicas dessas superfícies fazem com que os modelos padrão prevejam estruturas de profundidade errôneas baseadas no conteúdo refletido, em vez da própria superfície. Tentativas anteriores para abordar isso, como o Depth4ToM, dependem de máscaras de segmentação externas para realizar o in-painting de imagens RGB com cores aleatórias antes do processamento por um modelo de MDE pré-treinado. Essas abordagens sofrem de duas limitações principais: são altamente dependentes da precisão de máscaras de entrada adicionais, e o uso de cores aleatórias durante o in-painting carece de robustez, exigindo um ajuste extensivo de hiperparâmetros. Além disso, as condições de iluminação impactam significamente a recuperação de profundidade em superfícies não-lambertianas; a iluminação excessiva pode sobrecarregar as texturas, enquanto a iluminação insuficiente introduz ruído e distorção, afetando particularmente objetos transparentes e reflexos de espelhos.

Metodologia
Os autores propõem um framework de treinamento projetado para permitir que um modelo de base (especificamente o Depth Anything V2) aprenda incrementalmente as características únicas de superfícies não-lambertianas, eliminando a necessidade de in-painting de RGB. O método consiste em três componentes principais:

1. Aumento de Mapeamento de Tom Aleatório (RTA):
   Para abordar a sensibilidade da estimativa de profundidade não-lambertiana à iluminação, os autores empregam mapeamento de tom aleatório durante a fase de treinamento no dataset sintético Hypersim. Ao aplicar a transformação $I_{aug} = \alpha I_{ori}^{\gamma}$, onde $\gamma$ é um fator de correção de gamma padrão e $\alpha$ é um fator de escala derivado de valores de intensidade percentil aleatórios (entre o 70º e o 99º percentil), o modelo é exposto a uma gama diversificada de condições de iluminação. Isso visa aumentar a capacidade de generalização zero-shot do modelo sob variações de iluminação.

2. Orientação Regional de Superfície Não-Lambertiana (NSRG):
   Em vez de in-painting, os autores introduzem um mecanismo de orientação regional que restringe as previsões do modelo de MDE dentro do domínio do gradiente. Baseando-se no pressuposto de que a maioria dos objetos ToM são planos contínuos, o método impõe consistência entre o gradiente de profundidade previsto e o gradiente da verdade fundamental (ground truth) dentro das regiões não-lambertianas mascaradas.
   A função de perda, $\mathcal{L}_{ToM}$, utiliza um estimador robusto para alinhar os gradientes da profundidade prevista ($\nabla D$) e do gradiente da verdade fundamental ($\nabla D^\star$). Ela calcula coeficientes de escala ($s$) e deslocamento ($t$) para normalizar os gradientes, removendo outliers ao podar os 20% superiores de resíduos. A perda final minimiza a distância $L_1$ entre os gradientes normalizados, garantindo que o plano de profundidade previsto permaneça suave e consistente com a verdade fundamental nas regiões ToM.

3. Fusão de Imagens de Iluminação Diversa (DLIF) (Opcional):
   Para cenários onde múltiplas imagens de exposição da mesma cena estão disponíveis, os autores propõem um módulo de fusão opcional. Este módulo utiliza um Autoencoder Variacional (VAE) pré-treinado do Stable Diffusion para codificar múltiplas imagens com diferentes condições de iluminação em características latentes. Ao tirar a média dessas características latentes e decodificá-las, o sistema gera uma única imagem RGB fundida que, teoricamente, possui as condições de iluminação ideais para a estimativa de profundidade, aproveitando os priors semânticos do VAE.

Principais Contribuições

• Aumento de Mapeamento de Tom Aleatório: Uma estratégia de aumento de dados que enriquece o conjunto de dados de treinamento com variadas condições de iluminação, melhorando significativamente a robustez e a generalização zero-shot do modelo de MDE para diversos cenários de iluminação.
• Orientação Regional de Superfície Não-Lambertiana: Uma restrição de treinamento inovadora que opera no domínio do gradiente. Ela guia diretamente a rede para estimar planos de profundidade corretos para superfícies não-lambertianas usando máscaras de segmentação, evitando a instabilidade dos métodos de in-painting de RGB.
• Módulo de Fusão de Imagem Opcional: Um mecanismo utilizando VAEs para fundir imagens de múltiplas exposições, fornecendo uma entrada vantajosa para a estimativa de profundidade quando múltiplas condições de iluminação estão disponíveis.

Resultados Experimentais
O método foi avaliado no dataset Booster e no NYU Depth Dataset V2 (refinado pelo Mirror3D), bem como no conjunto de teste da competição TRICKY2024.

• Desempenho Quantitativo: Comparado ao baseline Depth Anything V2, o método proposto alcançou melhorias de precisão de 33,39% no dataset Booster e 5,21% no dataset Mirror3D dentro das regiões ToM (medido por $\delta_{1.05}$).
• Estado da Arte: No conjunto de teste da competição TRICKY2024, o método alcançou uma pontuação $\delta_{1.05}$ de 90,75 dentro das regiões ToM, demonstrando desempenho de estado da arte.
• Estudos de Ablação: Experimentos confirmaram que tanto o aumento de mapeamento de tom aleatório quanto a orientação regional de superfície não-lambertiana contribuem independentemente para os ganhos de desempenho, com a combinação gerando os melhores resultados. O módulo de fusão de imagem opcional aumentou ainda mais os resultados quando inputs de múltiplas exposições foram utilizados.

Significância e Limitações
O artigo afirma que sua principal significância reside na mudança do paradigma de in-painting de pós-processamento para o aprendizado direto de características não-lambertianas através de um framework de treinamento bem desenhado. Ao focar na consistência de gradiente e na robustez de iluminação, o método simplifica o pipeline e aumenta a estabilidade sem depender de ajustes empíricos para cores aleatórias.

Os autores reconhecem limitações, observando que em casos de imagens extremamente superexpostas onde as texturas de superfícies não-lambertianas (como vidro) são completamente perdidas, a rede ainda pode falhar. Eles sugerem que trabalhos futuros poderiam integrar otimização de qualidade de imagem e fusão de informação semântica para melhorar ainda mais os resultados qualitativos e quantitativos em tais condições extremas.