Resumo Técnico: Modelagem de Profundidade Mascarada para Percepção Espacial (LingBot-Depth)

1. Definição do Problema

A percepção espacial 3D precisa é crítica para aplicações no mundo físico, como condução autônoma e manipulação robótica. Embora as câmeras RGB-D sejam a única modalidade capaz de fornecer escala métrica absoluta, em tempo real e geometria densa alinhada aos pixels, elas sofrem com limitações inerentes de hardware. Especificamente, os algoritmos de correspondência estéreo (stereo matching) usados nesses sensores são altamente suscetíveis a ambiguidades de aparência, levando a corrupções severas de dados e valores ausentes (buracos) em cenários desafiadores, como superfícies de baixa textura, reflexos especulares e iluminação complexa.

Abordagens atuais frequentemente tratam essas medições ausentes como ruído a ser descartado. No entanto, este artigo argumenta que essas imprecisões não são meramente erros, mas sinais "mascarados" que refletem intrinsecamente ambiguidades geométricas e de aparência subjacentes. O desafio central é aproveitar essas regiões ausentes naturalmente ocorrentes para aprender representações de profundidade robustas e de escala métrica que possam completar a geometria mesmo onde os sensores falham.

2. Metodologia: Modelagem de Profundidade Mascarada (MDM)

Os autores propõem o LingBot-Depth, um modelo de completude de profundidade baseado em uma nova estrutura de Modelagem de Profundidade Mascarada (MDM). Esta abordagem adapta os princípios da modelagem de imagem mascarada auto-supervisionada (ex: MAE), mas desloca o objetivo da reconstrução de aparência para a predição de mapas de profundidade usando entradas RGB-D.

2.1 Arquitetura Central

O modelo utiliza um codificador Vision Transformer (ViT-Large) e um decodificador ConvStack.

• Codificação de Patch Separada: A imagem RGB e o mapa de profundidade são processados através de camadas de codificação de patch separadas para gerar tokens RGB e de profundidade alinhados.
• Embeddings Posicionais: O sistema emprega tanto embeddings posicionais espaciais 2D compartilhados quanto embeddings específicos de modalidade (distinguindo tokens RGB de tokens de profundidade) para capturar a localização espacial e a identidade da fonte de entrada.
• Embedding Conjunto: O codificador aprende uma representação conjunta ao atender ao contexto RGB completo (não mascarado) e aos tokens de profundidade válidos restantes.
• Decodificador ConvStack: Ao contrário do MAE padrão, que usa um decodificador Transformer raso para reconstrução de pixels, o LingBot-Depth utiliza um decodificador hierárquico ConvStack. Este é mais adequado para predição geométrica densa. O decodificador descarta os tokens de profundidade latentes e reconstrói o mapa de profundidade completo a partir dos tokens de contexto aprimorados (características RGB enriquecidas com contexto global da cena via o token [cls]).

2.2 Estratégia de Mascaramento

Uma inovação fundamental é a interpretação das falhas do sensor como "máscaras naturais".

• Mascaramento Natural: Em vez de mascaramento aleatório, o modelo mascara os tokens de profundidade correspondentes a medições de sensores ausentes ou inválidas.
• Mascaramento Adaptativo: Para patches que contêm uma mistura de valores válidos e inválidos, uma alta probabilidade (ex: 0,75) de mascaramento é aplicada. Se a razão de máscara natural for insuficiente, o mascaramento aleatório de tokens válidos adicionais é aplicado para atingir uma razão alvo de 60–90%.
• Sinal de Aprendizado: O modelo é forçado a inferir valores de profundidade ausentes ao raciocinar sobre a correlação entre o contexto RGB completo e os tokens de profundidade esparsos válidos. Isso unifica os objetivos de estimativa de profundidade monocular (quando toda a profundidade é mascarada) e completude de profundidade (quando apenas tokens inválidos são mascarados).

2.3 Pipeline de Curadoria de Dados

Para suportar o treinamento de MDM em larga escala, os autores construíram um pipeline de dados escalável gerando 3 milhões de pares RGB-D (2M reais, 1M sintéticos):

• Ramo Sintético (LingBot-Depth-S): Utiliza ativos 3D próprios no Blender para renderizar imagens RGB, profundidade perfeita e pares estéreo. Crucialmente, simula artefatos de sensores do mundo real aplicando o Algoritmo de Correspondência Semiglobal (SGM) aos pares estéreos para gerar mapas de profundidade "estilo sensor" com imperfeições naturais.
• Ramo do Mundo Real (LingBot-Depth-R): Utiliza um suporte de captura modular impresso em 3D compatível com várias câmeras RGB-D de consumo (ex: Intel RealSense, Orbbec Gemini, ZED). Rótulos de pseudo-profundidade são gerados via correspondência estéreo em pares de infravermelho (IR) capturados, com verificações de consistência para filtrar erros.
• Dados Suplementares: O conjunto de treinamento é aumentado com 7 conjuntos de dados RGB-D de código aberto, com estratégias de mascaramento adaptadas às suas características específicas de dados.

3. Resultados Principais

3.1 Completude de Profundidade

O LingBot-Depth foi avaliado em benchmarks padrão (iBims, NYUv2, DIODE, ETH3D) sob dois protocolos: mascaramento de profundidade por blocos e entradas SfM esparsas.

• Desempenho: O modelo superou consistentemente os métodos de estado da arte (OMNI-DC, PromptDA, PriorDA) em todos os níveis de dificuldade.
• Métricas: Em benchmarks de ambientes internos, reduziu o RMSE em mais de 40% em comparação com o melhor competidor em configurações extremas. No desafiador protocolo de SfM esparso do ETH3D, alcançou resultados de estado da arte, reduzindo o RMSE em 47% (interno) e 38% (externo).
• Qualitativo: O modelo produz bordas de profundidade mais nítidas e estruturas mais coerentes, particularmente em regiões com oclusão severa ou observações esparsas.

3.2 Estimativa de Profundidade Monocular

Quando usado como um backbone de pré-treinamento para o MoGe (substituindo o DINOv2), o codificador pré-treinado via MDM demonstrou desempenho superior em estimativa de profundidade monocular em 10 benchmarks diversos (internos, externos, sintéticos e do mundo real).

• Generalização: O modelo mostrou melhorias consistentes em métricas afins-invariantes, escala-invariantes e disparidade-invariantes, sugerindo que o MDM destila efetivamente o conhecimento geométrico 3D no codificador.

3.3 Integração com FoundationStereo

Usar o LingBot-Depth como um prior para o FoundationStereo resultou em:

• Convergência Mais Rápida: O modelo alcançou um forte desempenho até a época 5, superando significativamente as linhas de base (baselines) vanilla.
• Estabilidade: Evitou a instabilidade de treinamento observada em variantes baseadas em MoGe.
• Precisão Final: Alcançou os melhores resultados ou resultados comparáveis em todos os benchmarks testados (ETH3D, Middlebury, Booster, etc.) até a época 15.

3.4 Aplicações de Downstream

O artigo demonstra a utilidade do LingBot-Depth em cenários de zero-shot ou ajuste fino (finetuning) mínimo:

• Completude de Profundia em Vídeo: Apesar de ser treinado em imagens estáticas, o modelo produz fluxos de profundidade temporalmente consistentes. Ele preenche com sucesso regiões ausentes em superfícies transparentes e reflexivas (ex: paredes de vidro, túneis de aquários) onde sensores de luz estruturada e estéreo falham.
• Rastreamento de Pontos 3D: Integrado ao SpatialTrackerV2, a profundidade refinada permite uma estimativa de trajetória de câmera e rastreamento de objetos dinâmicos mais suaves e precisos em cenas com extensas superfícies de vidro.
• Agarragem Robótica (Grasping): Em uma tarefa de agarragem manual no mundo real (braço Rokae + mão X Hand-1), o modelo permitiu a agarragem bem-sucedida de objetos desafiadores (copos de vidro transparente, tigelas reflexivas) que derrotaram a profundidade bruta do sensor. As taxas de sucesso melhoraram significamente (ex: 17/20 vs. 13/20 para copos de aço; 16/20 vs. 12/20 para copos transparentes).

4. Significância e Alegações

O artigo afirma que o LingBot-Depth representa uma mudança de paradigma no tratamento das limitações dos sensores RGB-D. Ao tratar as falhas do sensor como "máscaras naturais" em vez de ruído, o modelo aprende a inferir a geometria a partir do contexto visual, preenchendo efetivamente a lacuna entre dados de sensores esparsos/inválidos e a percepção 3D densa e métrica-precisa.

Os autores enfatizam que sua abordagem:

1. Supera o Hardware: O modelo supera as melhores câmeras RGB-D comerciais tanto em precisão de profundidade quanto em cobertura de pixels, particularmente em condições de iluminação e materiais difíceis.
2. Unifica Tarefas: A estrutura MDM serve como um generalista versátil, capaz de funcionar tanto como uma ferramenta de completude de profundidade quanto como um estimador de profundidade monocular, dependendo da estratégia de mascaramento.
3. Habilita Utilidade Robótica: As predições de profundidade robustas e as representações latentes alinhadas permitem a manipulação confiável de objetos que tipicamente derrotam sensores convencionais, demonstrando valor prático imediato para a percepção espacial na robótica.

Os autores disponibilizam o código, os checkpoints e o conjunto de dados curado de 3 milhões de pares RGB-profundidade para a comunidade para facilitar novas pesquisas em percepção espacial.