One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

Problema

Modelos de fundação de estimativa de profundidade monocular (MDE) operam tipicamente sob um paradigma de "profundidade única", mapeando uma única imagem RGB para um único valor de profundidade escalar por pixel. Essa premissa é válida para cenas opacas, mas falha em cenas 3D em camadas (ex: vidro transparente), onde um único raio de câmera intercepta múltiplas superfícies geometricamente válidas (um plano de vidro no primeiro plano e um objeto no fundo).

O artigo argumenta que o treinamento supervisionado atual colapsa essa geometria de múltiplas camadas em um único "alvo escalar determinado pelo dataset". O rótulo de profundidade resultante não é uma verdade intrínseca da cena, mas uma convenção determinada por escolhas de anotação, limitações de sensores (ex: LiDAR vs. ultrassom) e vieses dos dados de treinamento. Consequentemente, os modelos de fundação congelados não aprendem uma geometria "livre de camadas"; em vez disso, aprendem uma preferência de camada de profundidade — um viés para relatar ou a camada proximal (primeiro plano) ou a distal (fundo) quando ocorre ambiguidade. As métricas de avaliação padrão, que recompensam a concordância com uma única verdade fundamental (ground truth), penalizam interpretações alternativas válidas, obscurecendo a verdadeira capacidade de raciocínio geométrico do modelo.

Metodologia

1. Benchmark MultiDepth-3k (MD-3k)
Para medir essa preferência sem exigir um ground truth métrico denso e neutro em relação ao sensor (o que é difícil de obter para camadas transparentes), os autores introduzem o MD-3k, um benchmark ordinal esparso.

• Dados: 3.161 imagens RGB extraídas do dataset GDD, contendo objetos transparentes.
• Anotação: Em vez de mapas de profundidade densos, cada imagem é anotada com um par esparso de pontos em uma região ambígua. Crucialmente, a anotação fornece dois rótulos ordinais: a ordem de profundidade relativa para a camada transparente do primeiro plano e para a camada visível do fundo.
• Subconjuntos: O dataset é dividido em um subconjunto "Same" (onde as ordens de profundidade do primeiro plano e do fundo concordam) e um subconjotunto "Reverse" (onde eles conflitam). O subconjunto "Reverse" é o caso de teste crítico onde um modelo de saída única não consegue satisfazer ambas as camadas simultaneamente.

2. Prompting Visual Laplaciano (LVP)
Os autores propõem um método livre de treinamento para sondar se a preferência de camada de profundidade de um modelo congelado pode ser modulada pela alteração da representação de entrada.

• Mecanismo: O LVP aplica um kernel Laplaciano discreto (uma transformada espectral de alta frequência) à imagem RGB de entrada. Os resíduos assinados resultantes são normalizados e mapeados de volta para o intervalo de entrada do modelo (ex: 0–255).
• Hipótese: Ao enfatizar bordas de alta frequência, o LVP atua como uma sonda espectral que pode direcionar o modelo congelado para uma hipótese de profundidade alternativa e válida (ex: alternar da preferência de primeiro plano para a de fundo) sem retreinamento ou modificação de pesos.

3. Métricas de Avaliação

• Precisão de Relacionamento Espacial (SRA): Mede a fração de pares de pontos onde a ordenação de profundidade prevista corresponde à verdade fundamental para uma camada específica (primeiro plano ou fundo).
• Preferência de Camada de Profundidade ($\alpha$): Definida como $SRA(2) - SRA(1)$. Um $\alpha$ positivo indica uma preferência pelo fundo; um $\alpha$ negativo indica preferência pelo primeiro plano.
• Precisão de Relacionamento Espacial de Múltiplas Camadas (ML-SRA): Avalia um par de hipóteses (ex: saída RGB e saída LVP). Verifica se o par, quando atribuído otimamente às duas camadas, satisfaz as restrições ordinais para ambas as camadas simultaneamente.

Principais Contribuições

1. Caracterização da Preferência de Camada de Profundidade: O artigo fornece a primeira caracterização sistemática de como diversos modelos de fundação de profundidade monocular (incluindo Depth Anything v1/v2, DPT, Marigold, etc.) exibem vieses distintos e específicos do modelo para o primeiro plano ou para o fundo sob entrada RGB padrão.
2. Benchmark MD-3k: Introdução de um benchmark do mundo real que torna a preferência de camada de profundidade mensurável via relações ordinais esparsas, contornando a necessidade de um ground truth métrico denso de múltiplas camadas, que é impossível de obter.
3. Modulação Dependente de Entrada: Demonstração de que o Prompting Visual Laplaciano (LVP) pode alterar significativamente a preferência de camada de profundidade expressa por modelos congelados. Para certos modelos, o LVP atua como um "interruptor" que revela uma hipótese geométrica complementar, permitindo que um modelo de saída única cubra efetivamente múltiplas interpretações válidas quando consultado com diferentes entradas.

Resultados

• Vieses Diversos: Sob entrada RGB padrão, os modelos mostram vieses fortes, porém inconsistentes. Por exemplo, variantes do Depth Anything v2 ajustadas para ambientes internos tendem a preferir o primeiro plano (vidro), enquanto variantes ajustadas para ambientes externos e modelos generativos (como o Marigold) frequentemente preferem o fundo.
• Eficácia do LVP: O LVP induz mudanças substanciais de preferência para modelos específicos (ex: DPT, Depth Pro e DAv2-L), mas tem pouco efeito em outros (ex: DAv1, alguns modelos generativos).
  • Caso DAv2-L: O exemplo mais forte é o DAv2-L. Sob RGB, ele possui viés de primeiro plano ($\alpha \approx -30,6$). Sob LVP, ele muda para um viés de fundo ($\alpha \approx +68,2$).
• Desempenho ML-SRA:
  • Uma linha de base "colapsada" (duplicando um único mapa de profundidade) atinge um teto estrito de 56,4% no subconjunto "Reverse" do MD-3k porque não consegue satisfazer restrições ordinais conflitantes.
  • O par RGB/LVP usando DAv2-L atinge 75,5% de ML-SRA total e 52,2% no subconjunto "Reverse". Isso representa um ganho significativo sobre o teto de hipótese única, provando que o modelo congelado pode expressar relações ordinais complementares quando a representação de entrada muda.
• Ablação: O efeito é específico ao prompting de alta frequência; prompts Gaussianos de baixa passagem falham em modular a preferência de camada. O efeito não é exclusivo do operador Laplaciano, mas generaliza-se para outras transformadas de alta frequência (Sobel, Fourier), embora o LVP permaneça um padrão robusto.

Significância e Alegações

O artigo afirma que a inferência RGB padrão captura apenas uma fatia única de um posterior geométrico mais rico. Ao tratar a ambiguidade não como ruído, mas como uma estrutura geométrica mensurável, os autores demonstram que:

1. A Ambiguidade é Intrínseca: Modelos de fundação de profundidade codificam múltiplas hipóteses geométricas válidas, mas o treinamento e a avaliação padrão os forçam a colapsá-las em uma única convenção enviesada.
2. A Modulação é Possível: Transformações simples de entrada espectral (LVP), livres de treinamento, podem desbloquear essas hipóteses complementares latentes em modelos congelados.
3. Repensar a Avaliação: Sistemas de profundidade futuros devem ser avaliados em sua capacidade de representar e preservar múltiplas interpretações 3D válidas, em vez de forçar uma única saída escalar.

Limitações Reconhecidas:

• O LVP é dependente do modelo e não é um extrator de camadas universal; ele falha em superfícies semitransparentes onde as pistas de frequência estão emaranhadas.
• O benchmark é esparso e focado em transparência; ele não fornece validação métrica densa.
• O LVP frequentemente degrada a precisão de profundidade única padrão em cenas não ambíguas, indicando que é uma ferramenta de diagnóstico/sondagem e não um substituto para a inferência padrão em cenas claras.

Os autores convidam a comunidade a adotar uma lente "consciente da ambiguidade" para supervisão e avaliação de profundidade, onde múltiplas interpretações 3D válidas são tratadas como estrutura geométrica a ser medida e expressa.