Resumo Técnico: Aprendizado de Campos de Escala Adaptativos à Imagem para Recuperação de Profundidade Métrica

Declaração do Problema

A Estimativa de Profundidade Monocular (MDE) avançou significativamente com arquiteturas baseadas em transformadores e pré-treinamento em larga escala. No entanto, a maioria dos métodos amplamente utilizados produz mapas de profundidade definidos apenas até uma escala e um deslocamento desconhecidos. Embora algumas abordagens estimem a profundidade métrica diretamente, muitas aplicações práticas (robótica, direção autônoma, reconstrução 3D) exigem alinhamento métrico explícito. Esse alinhamento geralmente depende de âncoras métricas esparsas (por exemplo, pontos LiDAR ou restrições de estrutura a partir do movimento).

Os métodos existentes para recuperar profundidade métrica a partir de âncoras esparsas geralmente se enquadram em duas categorias:

1. Alinhamento Afim Global: Assume escala e deslocamento uniformes em toda a imagem. Embora estável, isso falha em cenas com objetos diversos ou layouts complexos onde os vieses não são uniformes.
2. Abordagens Locais/Regionais: Métodos como alinhamento afim por partes, regressão ponderada localmente (LWLR), otimização baseada em grade e adaptação consciente de região tentam modelar vieses que variam espacialmente. No entanto, esses métodos frequentemente dependem de suposições estruturais que podem não se manter em cenas reais ou fragmentam o conjunto de âncoras esparsas, levando a estimativas instáveis quando as âncoras são insuficientes.

O desafio central é que recuperar campos densos de escala e deslocamento por pixel a partir de âncoras esparsas é um problema inerentemente mal-posto. Soluções existentes impõem priores estruturais pré-definidos que podem ser pouco confiáveis sob esparsidade extrema.

Metodologia

Os autores propõem formular a recuperação de profundidade métrica como modelagem de campo de escala adaptativo à imagem. Em vez de corrigir diretamente o mapa de profundidade, o método reformula a correção como uma combinação linear de baixa dimensão de mapas de base aprendidos.

1. Parametrização no Espaço Logarítmico

A profundidade métrica $D_{gt}(x)$ está relacionada à profundidade estimada $D_{MDE}(x)$ por meio de uma transformação afim:
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
Para evitar problemas de escalonamento de gradiente dependentes da profundidade, onde pixels de grande profundidade dominam a otimização, os autores operam no espaço logarítmico. Eles definem o campo de escala logarítmica $\ell(x) = \log s(x)$ e absorvem o termo de deslocamento $t(x)$ como uma correção dependente da profundidade dentro do campo de escala.

2. Gerador de Mapas de Base

O campo de escala logarítmica é modelado como uma combinação linear de $K$ mapas de base adaptativos à imagem:
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
onde $w \in \mathbb{R}^K$ são pesos específicos da imagem, e $E_m(x)$ são os mapas de base.

O Gerador de Mapas de Base é uma rede neural que produz esses mapas com base em três entradas:

• Representações Intermediárias ($F(x)$): Recursos extraídos da espinha dorsal do MDE antes da cabeça de profundidade, capturando contexto semântico e estrutural.
• Profundidade Logarítmica Estimada: $\log D_{MDE}(x)$ e seu gradiente espacial, codificando geometria dependente da profundidade.
• Coordenadas da Imagem ($x$): Para modelar tendências espaciais.

A arquitetura do gerador consiste em:

• Um tronco convolucional compartilhado produzindo recursos $H(x)$.
• Uma Cabeça de Base prevendo mapas de base primitivos $B(x)$.
• Uma Cabeça de Portão prevendo pesos normalizados $G(x)$ (via softmax).
• Os mapas de base finais são calculados como $E(x) = G(x) \odot B(x)$. Essa fatoração permite que padrões espaciais sejam reutilizados em diferentes regiões da imagem com magnitudes variáveis controladas pelos mapas de portão.

3. Estimativa de Pesos via Mínimos Quadrados

Os pesos $w$ são determinados ajustando o modelo às âncoras métricas esparsas $A = \{a_i\}$. Para cada âncora $a_i$, o alvo é $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$. Os pesos são encontrados resolvendo um problema de mínimos quadrados regularizado:
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
onde $M$ é a matriz de valores do mapa de base nas localizações das âncoras. Isso produz uma solução de forma fechada, garantindo estabilidade mesmo sob esparsidade extrema de âncoras.

4. Objetivo de Treinamento

O gerador de mapas de base é treinado usando:

• Perda Densa: Perda SmoothL1 entre a profundidade métrica recuperada e a profundidade métrica real.
• Perda de Âncora: MSE entre a escala logarítmica prevista e o alvo nas localizações das âncoras.
• Perda de Descorrelação: Incentiva a ortogonalidade entre os mapas de base para evitar redundância.
• Regularização de Portão: Perda de entropia negativa para evitar atribuições de portão excessivamente nítidas.

Contribuições Principais

1. Reformulação de Baixa Dimensão: O artigo introduz uma formulação onde a recuperação de profundidade métrica é reduzida à estimativa de um pequeno conjunto de pesos para mapas de base adaptativos à imagem, em vez de aprender um campo espacial complexo diretamente.
2. Robustez à Esparsidade: Ao usar um solucionador de mínimos quadrados agregado globalmente, o método alcança soluções estáveis mesmo com muito poucas âncoras (por exemplo, 1–9 âncoras por imagem), superando métodos que fragmentam âncoras ou dependem de regressão local.
3. Interpretabilidade: A abordagem fornece uma decomposição interpretável das variações de escala espacial. Os mapas de base aprendidos e seus pesos revelam como os vieses globais e locais são estruturados.
4. Aplicabilidade Geral: O método é agnóstico à arquitetura, exigindo apenas representações intermediárias e estimativas de profundidade de um modelo MDE pré-treinado. Não requer modelos de segmentação externos ou arquiteturas de espinha dorsal específicas.

Resultados Experimentais

O método foi avaliado nos conjuntos de dados KITTI, UrbanSyn e SUN RGB-D usando Depth Anything 3 (DA3) e MiDaS como modelos MDE representativos.

• Desempenho: O método proposto ("Basis") superou consistentemente as bases globais, por partes, LWLR, baseadas em grade e conscientes de região em todos os conjuntos de dados e densidades de âncoras.
  • No KITTI com 10–15 âncoras (regime baixo), o método alcançou um AbsRel de 0,15 (DA3) e 0,13 (MiDaS), significativamente melhor que a base global (0,31/0,17).
  • No UrbanSyn/SUN RGB-D, alcançou AbsRel de 0,08 (DA3) e 0,14 (MiDaS) no regime de baixa âncora.
• Esparsidade Extrema: Em um teste "drop-anchor" reduzindo as âncoras para apenas 1, o método permaneceu estável. A análise espectral revelou que o modo eigen dominante da matriz de incorporação de âncoras corresponde quase inteiramente ao canal de escala global, explicando a robustez.
• Ablação: O estudo confirmou que as representações intermediárias ($F(x)$) são cruciais; desativá-las impediu que o modelo se beneficiasse do aumento da capacidade de base (maior $K$).

Significado e Alegações

Os autores afirmam que sua abordagem oferece um framework prático para incorporar informações métricas esparsas em sistemas modernos de MDE. As principais conclusões incluem:

• Maior Precisão: O método alcança precisão de alinhamento de profundidade métrica state-of-the-art em cenas diversas e densidades de âncoras.
• Robustez: A formulação de baixa dimensão e a estimativa global de mínimos quadrados fornecem forte robustez onde métodos locais falham devido a âncoras insuficientes.
• Interpretabilidade: A decomposição em mapas de base oferece uma nova maneira de analisar e entender vieses de escala-deslocamento em modelos MDE.

O artigo nota modestamente que o desempenho ainda depende da informatividade das âncoras (cobertura espacial e diversidade) e que a validação em modelos MDE baseados em CNN permanece como trabalho futuro. No entanto, a formulação proposta é apresentada como uma solução generalizável que subsume várias estratégias de alinhamento existentes como casos especiais.