Resumo Técnico: Metric Anything

Declaração do Problema

Embora o escalonamento tenha impulsionado avanços significativos nos modelos de fundação de visão, estender esse paradigma para a estimativa de profundidade métrica tem sido um desafio. Diferente da profundidade relativa, que aprende relações ordinais e se beneficia de dados sintéticos e destilação de pseudo-rótulos, a profundidade métrica requer o aprendizado de distâncias absolutas e fisicamente significativas. O campo tem sido limitado pela heterogeneidade das fontes de dados. As anotações 3D do mundo real originam-se de diversos sensores (LiDAR, RGB-D, estéreo) e algoritmos de reconstrução (SfM, MVS, SLAM), cada um introduzindo padrões de ruído distintos, artefatos de hardware e vieses dependentes da câmera. Essa heterogeneidade cria lacunas de domínio, supervisão ruidosa e ambiguidade métrica, impedindo que a estratégia de escalonamento de "sopa de dados" (data soup) tenha sucesso na profundidade métrica. Tentativas anteriores de abordar isso via métodos baseados em prompts foram limitadas a tarefas específicas, conjuntos de dados pequenos e pipelines de prompts complexos e manuais que introduzem fortes vieses humanos.

Metodologia

Os autores apresentam o Metric Anything, um framework de pré-treinamento minimalista projetado para aprender profundidade métrica a partir de fontes 3D diversas e ruidosas, sem arquiteturas específicas para tarefas ou prompts projetados manualmente.

1. Coleta de Dados Multifonte

Os autores agregaram um conjunto de dados de aproximadamente 20 milhões de pares imagem-profundidade abrangendo mais de 10.000 modelos de câmera. Os dados são categorizados em três fontes:

• Dados 3D Reconstruídos: Mapas de profundidade de técnicas SfM, SLAM, MVS e estéreo, frequentemente contendo artefatos e regiões ausentes.
• Dados 3D Capturados: Nuvens de pontos de sensores LiDAR, ToF e RGB-D, que são frequentemente esparsas e ruidosas devido a limitações de sensores e fatores ambientais.
• Dados 3D Renderizados: Mapas de profundidade sintéticos de motores virtuais, fornecendo supervisão geométrica livre de ruído.
  Todas as amostras são padronizadas em mapas de profundidade métrica por pixel com máscaras de validade.

2. Pré-treinamento via Prompt Métrico Esparso

A inovação central é o Sparse Metric Prompt (Prompt Métrico Esparso), uma interface universal que desacopla o raciocínio espacial dos vieses do sensor.

• Geração de Prompt: Em vez de simulações complexas, os prompts são criados mascarando aleatoriamente pixels válidos (amostrando de 2.000 a 40.000 pixels) a partir dos mapas de profundidade reais (ground truth).
• Preparação do Prompt: Para lidar com a heterogeneidade dos prompts brutos, os autores aplicam um Alinhamento de Escala de Profundidade por Pixel (PDSA) e uma Recuperação de Profundidade Métrica Global (GMDR) usando um modelo de profundidade pré-treinado para preencher regiões ausentes e alinhar escalas, criando uma representação intermediária unificada.
• Arquitetura: O modelo utiliza um backbone ViT padrão com um decodificador DPT. Os prompts são injetados via um cabeçalho DPT condicionado (adicionando apenas ~5% de parâmetros) em vez de modificar o backbone. Esse design evita mudanças arquiteturais customizadas, permitindo que o modelo aprere compreensão estrutural e métrica diretamente dos dados.
• Funções de Perda: O objetivo de treinamento combina Erro Absoluto Médio (MAE) e Erro de Gradiente Médio Invariante de Escala e Deslocamento (SSI-MAGE). Para dados do mundo real, utiliza-se um MAE robusto, descartando os 20% maiores erros para mitigar o ruído.

3. Destilação de Modelo Sem Prompt (Prompt-Free)

Para permitir a implantação em cenários sem prompts, os autores destilam o modelo "professor" pré-treinado em um estudante sem prompt (prompt-free).

• Geração de Pseudo-Rótulos: O modelo professor gera mapas de profundidade métrica densos e de alta fidelidade para todo o conjunto de dados, condicionados a prompts esparsos. Esses pseudo-rótulos cobrem uma ampla gama de profundidade (perto a longe), ao contrário de muitos conjuntos de dados reais enviesados para intervalos curtos.
• Arquitetura do Estudante: O estudante remove as camadas de injeção de prompt. Crucialmente, os autores invertem o esquema padrão de conexões de salto (skip-connections): recursos ViT de alto nível e profundos são injetados em camadas de decodificação mais profundas, enquanto recursos rasos alimentam camadas mais rasas. Isso aproveita a alta consistência semântica dos pseudo-rótulos do professor.
• Função de Perda: Uma Perda de Profundidade Inversa Balanceada por Distância é introduzida. Ao operar em um espaço logarítmico ($D_{log} = 1 - \ln(D)/\ln(C)$), esta perda preserva a sensibilidade fina em regiões próximas, enquanto estende a supervisão efetiva para áreas de longa distância, abordando as limitações das perdas de profundidade inversa padrão.

Principais Contribuições

1. Framework Metric Anything: Um paradigma de pré-treinamento minimalista e escalável que utiliza Prompts Métricos Esparsos para aprender profundidade métrica a partir de fontes 3D heterogêneas e ruidosas, sem prompts manuais ou arquiteturas específicas para tarefas.
2. Escalonamento Demonstrado: A agregação de 20 milhões de pares diversificados de imagem-profundidade revela uma clara tendência de escalonamento na estimativa de profundidade métrica, um fenômeno anteriormente não visto neste domínio. O desempenho melhora consistentemente à medida que o tamanho dos dados de treinamento aumenta.
3. Generalização Universal: Tanto o modelo pré-treinado quanto o estudante sem prompt alcançam desempenho de estado da arte (S SOTA) em dez tarefas downstream sem engenharia específica para a tarefa. Estas tarefas incluem:
   • Baseadas em prompt: Completagem de profundidade, super-resolução e fusão Radar-câmera.
   • Sem prompt: Estimativa de profundidade monocular, recuperação de intrínsecos da câmera, reconstrução 3D multivista e planejamento VLA.
   • Melhoria de MLLM: Aumentando significativamente as capacidades de raciocínio espacial de Modelos de Linguagem de Grande Escala Multimodais.

Resultados

• Tendência de Escalonamento: Experimentos mostram um aumento consistente na precisão $\delta_1$ zero-shot no Middlebury conforme os dados de treinamento escalam de 2M para 20M de pares.
• Tarefas Baseadas em Prompt: O modelo atinge desempenho SOTA zero-shot em super-resolução e completagem de profundidade no NYUv2, ETH3D e KITTI, superando métodos anteriores que dependem de simulação de prompt sintético. Na estimativa de profundidade Radar-Câmera no nuScenes, o modelo ajustado finamente quase dobra a precisão de sua contraparte treinada do zero e supera todos os métodos de fusão anteriores.
• Tarefas Sem Prompt: O modelo estudante destilado ocupa o 1º ou 2º lugar em seis benchmarks diversos de estimativa de profundidade monocular (ETH3D, NuScenes, Sun-RGBD, etc.) em um cenário rigoroso de zero-shot. Também alcança resultados SOTA em recuperação de intrínsecos de câmera e reconstrução 3D multivista.
• Inteligência Espacial: Quando usado como codificador visual para MLLMs, o modelo melhora significamente o desempenho no VSI-Bench, particularmente em tarefas que exigem estimativa de tamanho de objeto, medição de distância absoluta e planejamento de rotas.
• Robustez: O modelo demonstra forte generalização para configurações de sensores não vistas (ex: diferentes setups LiDAR-câmera), condições ambientais extremas (noite, chuva, névoa) e domínios visuais não vistos (olho de peixe, panoramas, desenhos animados).

Significância e Alegações

O artigo postula que a estimativa de profundidade métrica pode se beneficiar das mesmas leis de escalonamento que impulsionam os modelos de fundação modernos em NLP e visão 2D. Ao minimizar o design de vieses humanos em prompts e confiar no aprendizado baseado em dados de fontes heterogêneas, o Metric Anything estabelece um novo caminho para uma percepção métrica do mundo real escalável e eficiente.

Os autores alinham suas descobertas com "The Bitter Lesson" (A Lição Amarga), argumentando que métodos generalistas baseados em dados superam sistematicamente designs manuais. Eles alegam ter resolvido o problema da "escassez de dados" na profundidade métrica ao utilizar efetivamente fontes ruidosas e heterogêneas, desbloqueando assim capacidades emergentes e generalização robusta. O trabalho sugere que pesquisas futuras devem mudar o foco da engenharia específica de tarefas para paradigmas de pré-treinamento generalistas que possam se adaptar a diversos sensores e cenários. Os autores disponibilizam o framework em código aberto para apoiar a pesquisa da comunidade.