Last-Layer-Centric Feature Recombination: Unleashing 3D Geometric Knowledge in DINOv3 for Monocular Depth Estimation

1. Formulação do Problema

Estimativa de Profundidade Monocular (MDE) é a tarefa de prever a profundidade da cena em nível de pixel a partir de uma única imagem RGB. É um problema inerentemente mal-posto, pois uma única imagem 2D pode corresponder a infinitas cenas 3D.

• Limitações Atuais: Embora os Modelos Fundacionais de Visão (VFMs), particularmente os Transformers baseados em DINO, tenham melhorado significativamente a precisão da MDE, as abordagens existentes seguem um paradigma unificado: elas amostram uniformemente um conjunto fixo de camadas intermediárias do transformer para construir características multiescala.
• A Lacuna: Essa amostragem uniforme assume implicitamente que a informação geométrica está distribuída uniformemente entre todas as camadas. Os autores argumentam que isso subutiliza as pistas estruturais 3D específicas codificadas nos VFMs, particularmente o rico conhecimento geométrico encontrado nas camadas mais profundas.

2. Metodologia: Recombinação de Características Centrada na Última Camada (LFR)

A solução proposta é um módulo plug-and-play inserido entre o backbone ViT e o cabeçalho de previsão (decodificador DPT). Consiste em três etapas principais:

A. Análise Sistemática por Camada

Antes de projetar o método, os autores conduziram uma análise estatística das características do DINOv3-L:

• Descobertas: Camadas mais profundas exibem maior previsibilidade de profundidade e capturam melhor as variações geométricas entre amostras. A camada final atua como uma "âncora geométrica", enquanto as camadas intermediárias contêm informações complementares.
• Conclusão: Características mais profundas devem desempenhar um papel central, e as características intermediárias devem ser selecionadas com base em sua complementaridade à última camada, e não apenas em seu índice de profundidade.

B. Seleção de Características Baseada em Similaridade Mínima

Em vez de amostragem uniforme fixa, o LFR seleciona adaptativamente camadas intermediárias:

1. Âncora: As características da última camada ($F_L$) servem como a representação geométrica dominante.
2. Critério de Seleção: O algoritmo calcula a similaridade cosseno média entre o token de classe da última camada e os tokens de imagem de todas as camadas precedentes.
3. Estratégia: Seleciona as $K$ camadas com as menores pontuações de similaridade (Similaridade Mínima).
   • Racional: Camadas com baixa similaridade à última camada são semanticamente mais complementares, maximizando o ganho de informação e minimizando a redundância.

C. Recombinação de Características via Adaptadores Leves

Características auxiliares selecionadas são fundidas com as características da última camada:

• Concatenação: Características auxiliares ($F_{ak}$) e características dominantes ($F_L$) são concatenadas ao longo da dimensão do canal.
• Adaptador: Um adaptador linear compacto (Projeção para Baixo $\to$ Ativação Não Linear $\to$ Projeção para Cima) processa as características concatenadas.
• Portão (Gating): Um portão escalar aprendível ($g^k$), modulado por uma função tanh, controla a contribuição das características fundidas.
• Conexão Residual: A característica reconstituída final é calculada como:
  $$F_{rk} = \tanh(g^k) \cdot A^k([F_{ak}; F_L]) + F_L$$

D. Cabeçalho de Previsão e Função de Perda

• Agregação Multinível: Diferentemente do DPT padrão, que usa apenas a camada final para previsão, o LFR realiza a regressão de profundidade independentemente para cada nível de característica reconstituído. O mapa de profundidade final é uma soma ponderada dessas previsões, onde os pesos são derivados dos tokens de classe reconstituídos.
• Funções de Perda: O modelo é treinado usando uma combinação de Perda Logarítmica Invariante à Escala e uma Perda de Normalização Hierárquica (HN) para equilibrar a coerência global e o detalhe local.

3. Contribuições Principais

1. Análise Sistemática: A primeira análise por camadas do DINOv3 para geometria 3D, demonstrando que camadas mais profundas codificam informações geométricas mais densas e explícitas e que camadas intermediárias oferecem pistas complementares.
2. Módulo LFR: Um módulo de recombinação simples, eficaz e plug-and-play que seleciona adaptativamente camadas intermediárias complementares com base em um critério de similaridade mínima e as funde com a âncora da última camada.
3. Desempenho State-of-the-Art: O método alcança novos resultados SOTA em benchmarks padrão com sobrecarga computacional mínima e sem modificação na arquitetura do backbone.

4. Resultados Experimentais

O método foi avaliado em NYU Depth v2 (interior) e KITTI (exterior), com generalização zero-shot testada em SUN RGB-D e Argoverse.

• NYU Depth v2:
  • DINOv3-L + LFR alcançou um AbsRel de 0,057 e RMSE de 0,206, superando o baseline DINOv3-L (0,060 AbsRel) e métodos SOTA anteriores como Depth Anything v2 (0,056 AbsRel) e modelos generativos como DAR-L (0,056 AbsRel).
  • Alcançou desempenho superior com significativamente menos parâmetros e sem inferência iterativa (diferente de modelos baseados em difusão).
• KITTI:
  • DINOv3-L + LFR alcançou um AbsRel de 0,043 e RMSE de 1,711, superando todos os métodos anteriores, incluindo aqueles que exigem pré-treinamento massivo ou frameworks generativos.
• Generalização Zero-Shot:
  • Modelos treinados no NYU transferidos para SUN RGB-D com um AbsRel de 0,099 (vs. 0,101 para o baseline).
  • Modelos treinados no KITTI transferidos para Argoverse com um AbsRel de 0,204 (vs. 0,219 para o baseline), demonstrando adaptação robusta a ambientes não vistos.
• Estudos de Ablação: Confirmaram que a estratégia de seleção por Similaridade Mínima supera a similaridade máxima ou seleção aleatória. O módulo de recombinação e a perda HN forneceram ganhos incrementais consistentes.

5. Significado

• Desbloqueando o Potencial do VFM: O artigo fornece uma estratégia principial para desbloquear o conhecimento geométrico 3D latente em modelos fundacionais sem retreinar o backbone.
• Eficiência: Oferece uma alternativa altamente eficiente a modelos generativos computacionalmente caros (difusão/autoregressivos) para tarefas 3D densas, alcançando precisão comparável ou superior com uma única passagem direta.
• Insight Teórico: Desafia o paradigma padrão de "amostragem uniforme" no aprendizado por transferência, sugerindo que a heterogeneidade por camadas nos VFMs deve ser explorada através de fusão de características adaptativa e baseada em complementaridade.
• Generalizabilidade: A abordagem "Centrada na Última Camada" é agnóstica à arquitetura e provavelmente pode ser estendida para outras tarefas de previsão densa além da estimativa de profundidade.