Resumo Técnico: Estimativa de Profundidade Monocular Focalizável

Formulação do Problema

Os modelos fundamentais atuais de estimativa de profundidade monoculares (por exemplo, Depth Anything, UniDepth, Metric3D) destacam-se na recuperação de geometria de cena densa em diversos domínios. No entanto, eles são predominantemente otimizados usando objetivos uniformes, pixel a pixel, que tratam todas as regiões da imagem de forma igual. Essa abordagem "centrada na imagem" falha em distinguir regiões-alvo especificadas pelo usuário ou relevantes para a tarefa do contexto circundante. Em aplicações como robótica e IA incorporada, onde a precisão da profundidade próxima a um objeto-alvo e transições de limite nítidas são críticas, a otimização global uniforme frequentemente resulta em precisão subponderada do primeiro plano e limites desfocados, mesmo quando a geometria global da cena permanece coerente.

Para preencher essa lacuna, os autores introduzem a Estimativa de Profundidade Monocular Focalizável (FDE). A FDE reestrutura a tarefa de estimativa de profundidade de uma previsão densa uniforme para uma inferência condicionada ao alvo. Dada uma imagem de entrada e uma região-alvo especificada pelo usuário (via caixas ou prompts de texto), o modelo é exigido a:

1. Priorizar a precisão da profundidade na região-alvo do primeiro plano.
2. Preservar transições de profundidade nítidas nos limites do alvo.
3. Manter uma geometria global coerente da cena em toda a imagem.

Metodologia: FocusDepth

Para resolver a tarefa de FDE, os autores propõem o FocusDepth, um framework de estimativa de profundidade relativa monocular condicionado a prompts. A intuição central é combinar os priores complementares de segmentação acionável por prompts (Segment Anything Model 3, ou SAM3) e modelos fundamentais de geometria densa (família Depth Anything, ou DAs).

Visão Geral da Arquitetura

O FocusDepth consiste em dois ramos principais:

1. Ramo de Profundidade Geométrica: Utiliza DAs pré-treinados (DA2 ou DA3) para extrair tokens de geometria multi-escala ($X_g$) representando a estrutura global da cena.
2. Ramo Condicionado a Prompts: Utiliza o SAM3 para processar a imagem de entrada e o prompt do usuário (caixa ou texto) a fim de gerar características de token condicionadas ao prompt ($X_p$) que identificam a região-alvo.

Módulo Central: Fusão Alinhada Espacialmente Multi-Escala (MSSA)

A inovação central é o módulo MSSA, que injeta pistas condicionadas ao prompt na representação geométrica sem perturbar o prior geométrico pré-treinado. O MSSA opera em cada escala do codificador de geometria e envolve três etapas-chave:

• Alinhamento Espacial por Escala: Como ambos os ramos processam a imagem na mesma grade de patches do ViT, os tokens estão em correspondência espacial um para um. Os tokens de prompt são projetados no espaço de tokens de geometria específico da escala e concatenados com os tokens de geometria.
• Fusão Condicional Roteada: Uma camada leve de Mistura de Especialistas (MoE) processa os tokens concatenados. Um roteador computa combinações dependentes da entrada das saídas dos especialistas, permitindo que o modelo aplique diferentes correções com base na localização espacial sem supervisão explícita para regiões específicas (primeiro plano vs. fundo).
• Saída de Fusão Portada: Para evitar que as pistas de prompt sobrescrevam a geometria global, um portão aprendível ($G_s$) controla a injeção. A característica final é uma soma ponderada das características roteadas e dos tokens de geometria originais: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$. Isso garante que correções condicionadas ao prompt sejam aplicadas seletivamente, mantendo o prior global.

Objetivo de Aprendizado e Treinamento

O modelo é treinado com uma função de perda sensível a regiões que particiona a imagem em três regiões com base na máscara de verdade fundamental: Primeiro Plano, Limite e Global. A perda total ($L$) é a soma das perdas de profundidade ($L_{fg}, L_{bd}, L_{glb}$) computadas sobre essas regiões, mais uma perda de segmentação auxiliar ($L_{seg}$).

O treinamento segue uma estratégia de duas etapas para garantir estabilidade:

1. Etapa 1: Apenas o módulo MSSA é otimizado enquanto todos os backbones pré-treinados permanecem congelados, permitindo que o MSSA aprenda o alinhamento sem perturbar o prior de geometria.
2. Etapa 2: O decodificador de profundidade, o transformador guiado por prompt do SAM3 e o decodificador de segmentação auxiliar são otimizados juntamente com o MSSA, enquanto os codificadores permanecem congelados.

Benchmark: FDE-Bench

Para avaliar a FDE, os autores estabelecem o FDE-Bench, um conjunto de benchmarks que converte conjuntos de dados RGB-D existentes em tripletos imagem–alvo–profundidade padronizados.

• Conjuntos de Dados: Construídos a partir de NYU v2, TUM RGB-D, YCB-Video, RLBench e RoboTwin, cobrindo cenas internas, objetos em mesas e ambientes de manipulação incorporada.
• Escala: Contém 252,9 mil tripletos de treinamento e 72,5 mil tripletos de validação abrangendo 972 categorias de alvo.
• Métricas de Avaliação: Diferentemente de benchmarks padrão que relatam erro de imagem completa, o FDE-Bench avalia o desempenho em três regiões complementares:
  • Primeiro Plano: Qualidade de profundidade local ao alvo.
  • Limite: Nitidez da transição de profundidade.
  • Global: Consistência geométrica de toda a imagem.
    As métricas relatadas incluem $\delta_1$ e AbsRel, computadas de maneira por-alvo para evitar a dominância por imagens com muitos alvos.

Resultados Experimentais

Os experimentos foram conduzidos no FDE-Bench, comparando o FocusDepth contra modelos fundamentais zero-shot (UniDepth, Metric3D, DA2, DA3) e baselines ajustadas globalmente (DA2-ft, DA3-ft).

• Ganhos de Desempenho: O FocusDepth supera consistentemente as baselines ajustadas globalmente, particularmente em regiões centradas no alvo. Por exemplo, no RLBench com prompts de caixa, o FocusDepth(DA3) reduziu o AbsRel de limite de 0,073 para 0,049 e o AbsRel de primeiro plano de 0,095 para 0,056, comparado ao DA3-ft, enquanto simultaneamente melhorou o AbsRel global de 0,042 para 0,030.
• Robustez do Prompt: Um estudo sobre a correção do prompt mostrou que, embora prompts corretos produzam os melhores resultados, até mesmo prompts incorretos ou vazios resultam em melhor desempenho do que a baseline sem prompt, sugerindo que o ramo condicionado ao prompt fornece pistas locais e globais úteis mesmo sem orientação perfeita.
• Análise Qualitativa: Visualizações demonstram que o FocusDepth produz limites de alvo mais nítidos e erros de profundidade menores na região especificada, comparado ao ajuste fino padrão, sem introduzir artefatos no fundo.

Estudos de Ablação

Estudos de ablação no RLBench destacam a importância de escolhas de design específicas:

• Alinhamento Espacial: Perturbar a correspondência espacial entre tokens de prompt e de geometria (embaralhamento) causa a degradação mais significativa, aumentando o AbsRel global em até 13,8%. Isso confirma que o alinhamento espacial é o fator de design chave.
• Fusão Específica por Escala e Roteada: Remover a fusão específica por escala ou substituir o roteador MoE por um único MLP piora consistentemente a precisão do primeiro plano e do limite, indicando a necessidade de fusão sensível à escala e condicional.
• Injeção Portada: Remover o mecanismo de portão leva a uma degradação consistente, confirmando seu papel no equilíbrio entre correções de prompt e o prior de geometria pré-treinado.
• Estratégia de Treinamento: Uma abordagem de treinamento de uma única etapa enfraquece o refinamento local, validando a estratégia de duas etapas para separar o alinhamento entre modelos da adaptação a tarefas subsequentes.

Significado e Alegações

O artigo alega estabelecer a FDE como uma formulação de tarefa concreta para estimativa de profundidade priorizada por região, indo além das limitações de objetivos uniformes centrados na imagem. Os autores afirmam que o FocusDepth transfere com sucesso evidências de alvo fundamentadas em prompts para representações de geometria densa via MSSA, permitindo refinamento condicional alinhado espacialmente e portado.

O significado reside em demonstrar que é possível melhorar a precisão local do alvo e a fidelidade do limite sem comprometer a coerência geométrica global da cena. Os autores posicionam a FDE como um passo necessário para aplicações que exigem interação precisa com objetos específicos (por exemplo, manipulação robótica), onde modelos de profundidade padrão podem falhar em priorizar a geometria relevante. O trabalho conclui notando limitações, como a necessidade de treinamento conjunto em maior escala e maior exploração de aplicações de tarefas subsequentes, que são deixadas para trabalhos futuros.