Resumo Técnico: DepthVLM

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram sucesso notável em tarefas 2D, como ancoragem visual e legendagem de imagens, mas permanecem fundamentalmente limitados na compreensão 3D. Um gargalo primário é o paradigma predominante de supervisão apenas em texto, onde entradas visuais são consumidas para gerar saídas textuais autoregressivas. Este projeto inerentemente sub-restringe a percepção visual de granularidade fina e impede a modelagem explícita da geometria densa da cena.

As abordagens existentes para preencher essa lacuna sofrem de desvantagens significativas:

1. Pipelines de Destilação de Conhecimento: Métodos que injetam sinais geométricos (por exemplo, mapas de profundidade) a partir de modelos 3D pré-treinados externos dependem de acúmulo de erros e carecem de integração nativa.
2. Predição Direta Ineficiente: Tentativas recentes de permitir que VLMs prevejam geometria diretamente enfrentam compromissos de eficiência ou qualidade. Por exemplo, o DepthLM alcança alta precisão, mas requer consultas por pixel, resultando em inferência proibitivamente lenta ($O(HW)$). O Youtu-VL permite a previsão de imagem completa em uma única passagem, mas produz saídas grosseiras em nível de token que requerem interpolação post-hoc. Além disso, muitos desses métodos degradam as capacidades multimodais gerais do VLM devido à supervisão pesada em texto ou a requisitos de treinamento do zero.

O desafio central abordado por este artigo é: Um VLM pode servir como um preditor de geometria densa nativo com mudanças arquiteturais mínimas, preservando sua capacidade multimodal geral?

Metodologia: DepthVLM

Os autores propõem o DepthVLM, um framework que transforma uma única espinha dorsal (backbone) de VLM em um modelo fundacional unificado capaz de gerar tanto mapas de profundidade métrica densos quanto respostas em linguagem em uma única passagem de forward.

1. Arquitetura Unificada

O DepthVLM estende a arquitetura padrão de VLM anexando uma cabeça de profundidade leve à espinha dorsal do Modelo de Linguagem de Grande Escala (LLM).

• Extração de Características: Em vez de depender exclusivamente dos estados ocultos finais do LLM, o modelo extrai uma pirâmide de características multiescala. Isso inclui três camadas intermediárias do codificador Vision Transformer (ViT) e os estados ocultos finais do LLM nas posições de tokens de imagem.
• Design da Cabeça de Profundidade: Inspirada pelo DPT (Vision Transformers para Predição Densa), a cabeça processa essas características multiescala. Crucialmente, como os tokens visuais do VLM já são subamostrados por mescladores de patches, os autores evitam nova subamostragem. Em vez disso, eles constroem uma pirâmide de baixo para cima via amostragem para cima, atribuindo maior resolução espacial às camadas anteriores do ViT.
• Saída: As características fundidas são decodificadas em um mapa de profundidade métrica densa e de resolução completa ($\hat{D} \in \mathbb{R}^{H \times W}$) ao lado da resposta em texto ($\hat{T}$). Uma ativação Softplus garante valores de profundidade estritamente positivos.

2. Estratégia de Treinamento em Duas Etapas

Para introduzir a predição de geometria densa sem comprometer a compreensão multimodal pré-treinada do VLM, os autores empregam um cronograma de treinamento em duas etapas:

• Etapa 1 (Inicialização da Cabeça de Profundidade): A espinha dorsal do VLM é congelada. Apenas a nova cabeça de profundidade adicionada é treinada usando uma perda logarítmica invariante a escala (SILog) em dados de profundidade métrica. Isso estabelece capacidades iniciais de predição de profundidade sem perturbar o conhecimento pré-treinado.
• Etapa 2 (Ajuste Fino End-to-End): A espinha dorsal do LLM é descongelada, e todo o modelo é ajustado fino end-to-end em uma mistura de dados de seguimento de instruções. A função objetivo combina a perda padrão de modelagem de linguagem autoregressiva ($L_{text}$) e a perda de profundidade ($L_{depth}$), equilibradas por um fator $\alpha$.

3. Curadoria e Normalização de Dados

• Normalização de Distância Focal: Para mitigar a ambiguidade de escala induzida pela câmera em conjuntos de dados heterogêneos (interior vs. exterior, diferentes sensores), todas as imagens são redimensionadas para uma distância focal canônica unificada ($f_c$). Isso alinha a geometria projetiva e impõe um mapeamento consistente de pixel para métrico.
• DepthVLM-Bench: Os autores introduzem um benchmark unificado agregando 8 conjuntos de dados de treinamento (cobrindo cenas internas e externas) e 9 conjuntos de dados de avaliação. Isso permite uma comparação justa entre VLMs e modelos de visão pura especializados sob um protocolo consistente.

Contribuições Principais

1. Predição Densa Nativa: O artigo demonstra que um VLM pode servir como um preditor de geometria densa nativo. Ao anexar uma cabeça leve, o DepthVLM alcança estimativa de profundidade em nível de pixel densa sem alterar o caminho de geração de texto.
2. Eficiência e Preservação de Capacidades: Diferentemente de métodos anteriores que degradam capacidades gerais ou sofrem com inferência lenta, o DepthVLM alcança custo de inferência $O(1)$ (passagem de forward única para resolução completa) e preserva o desempenho multimodal original do VLM através de uma estratégia de treinamento em duas etapas.
3. Benchmark Unificado: A introdução do DepthVLM-Bench permite treinamento eficaz e comparação direta e justa entre VLMs e modelos de visão pura especializados na estimativa de profundidade métrica.

Resultados Experimentais

Experimentos extensivos em diversos conjuntos de dados (Waymo, NuScenes, ETH3D, sunRGBD, etc.) destacam o seguinte:

• Superioridade sobre VLMs: O DepthVLM supera significativamente VLMs existentes, incluindo modelos de propósito geral (por exemplo, GPT-5.5, Qwen3-VL) e VLMs aprimorados espacialmente. Enquanto o GPT-5.5 alcança uma precisão $\delta_1$ de apenas ~0,41 em média, o DepthVLM-4B atinge 0,868.
• Superando Modelos de Visão Pura: Apesar de ser um modelo unificado, o DepthVLM supera modelos especializados de visão pura de última geração. Por exemplo, ele supera o DepthAnythingV3 (0,877 vs. 0,884 de $\delta_1$ médio) e o Metric3Dv2 (0,812 vs. 0,884).
• Eficiência de Inferência: O DepthVLM é substancialmente mais rápido que abordagens anteriores baseadas em VLM. Ele gera um mapa de profundidade 256×192 em 0,42s, comparado a 2,48s para o Youtu-VL e 13 horas para o DepthLM (devido a consultas por pixel).
• Capacidade Multimodal: A avaliação em benchmarks visuais gerais (MMBench, OCRBench, POPE) mostra que o DepthVLM iguala ou melhora ligeiramente sua espinha dorsal de VLM base, confirmando que a adição da cabeça de profundidade não degrada a compreensão multimodal geral.
• Raciocínio Espacial 3D: O modelo demonstra desempenho aprimorado em tarefas 3D complexas subsequentes, como estimativa de profundidade de pontos, estimativa de dimensão de objetos 3D e classificação de ordem de profundidade, sugerindo que a predição de geometria densa nativa serve como uma base sólida para raciocínio espacial de alto nível.

Significado e Alegações

O artigo alega que o DepthVLM representa um passo rumo a um modelo fundacional verdadeiramente unificado que se destaca conjuntamente na predição de geometria densa de baixo nível e na compreensão multimodal de alto nível.

• Mudança de Paradigma: Desafia a noção de que a predição de geometria densa requer modelos de visão separados e especializados ou VLMs baseados em consultas ineficientes. Em vez disso, mostra que a geometria pode emergir nativamente dentro de uma única espinha dorsal de VLM.
• Praticidade: Ao alcançar alta precisão com mudanças arquiteturais mínimas e preservar capacidades gerais, o DepthVLM oferece uma receita prática para integrar percepção 3D em ecossistemas de VLM existentes.
• Limitações: Os autores modestamente observam que o trabalho atual foca especificamente na estimativa de profundidade métrica densa. Tarefas mais amplas de percepção 3D, como detecção de objetos e estimativa de pose, permanecem como trabalho futuro.

Em resumo, o DepthVLM fornece uma solução leve, eficiente e eficaz para desbloquear a estimativa de profundidade métrica densa em VLMs, preenchendo a lacuna entre a compreensão multimodal 2D e a inteligência espacial 3D.