Any to Full: Prompting Depth Anything for Depth Completion in One Stage

O artigo apresenta o Any2Full, um framework de uma única etapa e agnóstico a padrões que reformula a conclusão de profundidade como uma adaptação de escala baseada em prompts de um modelo pré-treinado de estimativa de profundidade monocromática, superando métodos existentes em robustez e eficiência ao eliminar a necessidade de alinhamento explícito em duas etapas.

O essencial

Imagine que você está tentando reconstruir um quebra-cabeça gigante de uma paisagem 3D (como uma estrada ou um armazém), mas a única peça que você tem é um mapa de profundidade muito "furado" e incompleto. É como tentar ver através de uma janela suja de chuva ou de uma tela de celular cheia de pixels mortos: você sabe que o carro está lá, mas não consegue ver a distância exata ou a forma completa.

Esse é o problema que o Any2Full resolve.

Aqui está uma explicação simples, usando analogias do dia a dia, sobre como esse novo sistema funciona:

1. O Problema: O "Mapa Furado"

Os sensores de profundidade (como os usados em carros autônomos ou robôs) são ótimos, mas não são perfeitos. Eles muitas vezes devolvem dados esparsos (pontos soltos) ou com buracos grandes, especialmente em superfícies pretas (que absorvem a luz) ou muito distantes.

• A situação antiga: Os métodos anteriores tentavam consertar esse mapa furado de duas etapas. Primeiro, eles faziam um "rascunho" grosseiro e depois tentavam polir os detalhes. O problema? Esse rascunho muitas vezes introduzia erros e distorções, como tentar desenhar um rosto em um papel amassado e depois tentar alisar o papel: as feições ficam tortas.

2. A Solução: O "Mestre da Geometria" (MDE)

Os pesquisadores perceberam que existem modelos de Inteligência Artificial (chamados MDE) que são mestres em entender a forma das coisas apenas olhando para uma foto comum (RGB). Eles sabem que "uma bola é redonda" ou que "um prédio é alto" sem precisar de dados de profundidade.

• O problema desses mestres: Eles são ótimos em dizer qual coisa está mais perto da outra (profundidade relativa), mas são péssimos em dizer exatamente a que distância (escala métrica). É como saber que o prédio é 10 vezes maior que o carro, mas não saber se o carro está a 5 metros ou 50 metros.

3. A Inovação: O "Prompt de Escala" (Any2Full)

O Any2Full é como um tradutor genial que une esses dois mundos em uma única etapa (daí o nome "Any2Full": de qualquer entrada para uma profundidade completa).

Aqui está a mágica:

• O Mestre (MDE): É o artista que já sabe desenhar a forma perfeita da paisagem.
• O Sensor (Dados Esparsos): É o cliente que entrega apenas algumas medidas soltas (ex: "este ponto está a 2 metros").
• O Tradutor (Any2Full): Em vez de tentar adivinhar o desenho inteiro do zero, o Any2Full pega essas medidas soltas e as transforma em um "prompt de escala".

A Analogia do "Ajuste de Zoom":
Imagine que você tem uma foto de um mapa mundi impressa em um papel pequeno (o modelo MDE). Você sabe que o Brasil está no lugar certo, mas não sabe se a foto está em escala de 1:100 ou 1:1000.
O Any2Full pega os poucos pontos que o sensor mediu (os "pontos de âncora") e diz para o modelo: "Olhe, este ponto aqui é exatamente 2 metros. Ajuste o zoom e a posição de toda a sua imagem para que este ponto bata certo com 2 metros."

O modelo então recalcula toda a imagem de uma vez só, mantendo a forma perfeita que ele já conhecia, mas agora com a escala correta.

4. Por que é tão especial?

• Não é "tentativa e erro": Métodos antigos faziam duas etapas (rascunho + polimento). O Any2Full faz tudo de uma vez, como um fotógrafo que ajusta o foco e a exposição instantaneamente, sem precisar tirar a foto, olhar, ajustar e tirar de novo.
• Funciona em qualquer lugar: Como ele usa o "Mestre da Geometria" (que aprendeu com milhões de fotos do mundo todo), ele funciona bem em florestas, cidades, armazéns escuros ou com luz forte, sem precisar ser reprogramado para cada lugar.
• Resistência a "Buracos": Se o sensor falha e deixa um buraco grande no mapa (como em uma caixa preta), o Any2Full usa a lógica geométrica do modelo para preencher esse buraco de forma realista, sem inventar coisas estranhas.

5. O Resultado no Mundo Real

Os autores testaram isso em um armazém robótico. Havia caixas pretas que os sensores normais não conseguiam "ver" (a luz do sensor era absorvida), fazendo o robô falhar ao tentar pegá-las.
Com o Any2Full, o robô conseguiu "enxergar" a forma completa e a distância exata dessas caixas pretas.

• Antes: O robô acertava apenas 28% das caixas pretas.
• Depois: O robô acertou 91,6% (quase 100%), sem danificar as caixas.

Resumo

O Any2Full é como dar a um artista experiente (que sabe desenhar formas perfeitamente) uma régua e alguns pontos de referência (os dados do sensor). Em vez de o artista tentar adivinhar o tamanho do mundo, ele apenas ajusta a régua uma vez e desenha o mapa completo, perfeito e preciso, instantaneamente. Isso torna os robôs mais rápidos, mais precisos e capazes de trabalhar em ambientes onde os sensores costumam falhar.

Resumo técnico

Título: Any to Full: Prompting Depth Anything for Depth Completion in One Stage

Autores: Zhiyuan Zhou et al. (Rutgers University, Michigan State University, JD Logistics, HKUST-GZ)

1. O Problema

A estimativa de profundidade densa e precisa é fundamental para a percepção robótica (navegação, manipulação, compreensão de cena). No entanto, sensores comerciais (LiDAR, ToF, câmeras de luz estruturada) frequentemente produzem mapas de profundidade esparsos ou incompletos devido a limitações de hardware, como resolução, alcance e interações com a luz (reflexão ou absorção, especialmente em superfícies pretas).

O campo de completamento de profundidade (Depth Completion) visa recuperar mapas de profundidade métrica densos a partir dessas medições esparsas e imagens RGB. As abordagens existentes enfrentam duas limitações principais:

1. Falta de Generalização de Domínio: Métodos tradicionais que fundem RGB e profundidade (RGBD) aprendem priores condicionados a distribuições específicas de treinamento, falhando quando há mudanças no domínio visual (iluminação, textura).
2. Sensibilidade a Padrões de Profundidade: Desempenho degradado quando os padrões de esparsidade mudam (ex: buracos aleatórios vs. limitações de alcance do sensor).
3. Ineficiência e Distorção em Abordagens de Duas Etapas: Métodos recentes que integram Estimativa de Profundidade Monocular (MDE) geralmente usam uma estratégia de duas etapas: primeiro alinham a profundidade relativa do MDE com a métrica esparsa para criar um mapa "coarse" (bruto), e depois refinam. Isso introduz custos computacionais extras e distorções estruturais devido à inconsistência de escala inerente aos modelos MDE.

2. Metodologia: Any2Full

O paper propõe o Any2Full, um framework de uma única etapa (one-stage), geral para domínios e agnóstico a padrões de profundidade. A ideia central é reformular o completamento de profundidade como uma adaptação por "prompt" de escala (scale-prompting) de um modelo MDE pré-treinado.

Principais Componentes:

1. Reformulação do Problema:

   • Em vez de prever um mapa de profundidade bruto e depois refinar, o Any2Full usa um modelo MDE pré-treinado (como o Depth Anything) como base.
   • O objetivo é injetar "prompts" de escala derivados da entrada esparsa para guiar o modelo MDE a produzir uma profundidade relativa consistente em escala (scale-consistent), que pode ser convertida em métrica global usando apenas um fator de escala e um viés (bias).

2. Scale-Aware Prompt Encoder (SAPE):

   • Este é o núcleo da arquitetura, projetado para lidar com níveis variáveis de esparsidade e distribuições espaciais irregulares.
   • Módulo de Enriquecimento Local (Local Enrichment): Combina as pistas de escala da profundidade esparsa com o contexto geométrico denso do MDE. Utiliza modulação linear Feature-wise Linear Modulation (FiLM) para ancorar as pistas de escala no espaço latente do MDE, tornando-as robustas a variações de esparsidade.
   • Módulo de Propagação Global (Global Propagation): Propaga as pistas de escala locais através da cena usando atenção guiada pela geometria do MDE. Diferente da atenção cruzada padrão, os pesos de atenção são calculados puramente a partir das características geométricas do MDE (Query e Key), usando as características de escala apenas como Value. Isso garante que a propagação siga a estrutura geométrica da imagem RGB e não os padrões de amostragem irregular da profundidade esparsa.
   • Fusão de Prompt de Escala: Os prompts gerados são injetados nos níveis do decodificador do MDE via FiLM, ajustando as características para previsão consistente em escala.

3. Inferência de Uma Etapa:

   • O processo é totalmente feed-forward. Não há previsão intermediária de profundidade "coarse" nem redes de refinamento auxiliares.
   • A profundidade métrica final é obtida aplicando um ajuste de mínimos quadrados não paramétrico (closed-form) entre a profundidade relativa prevista e as medições esparsas originais.

3. Contribuições Chave

1. Framework One-Stage: Introdução do Any2Full, que elimina a necessidade de etapas intermediárias de alinhamento explícito, reduzindo a latência e evitando distorções estruturais.
2. Generalização de Domínio e Padrão: O método é agnóstico a padrões de profundidade (buracos, aleatoriedade, limitação de alcance) e generaliza bem para domínios não vistos, preservando os priores geométricos do modelo MDE pré-treinado.
3. Eficiência Computacional: O encoder de prompt é leve e não requer otimização iterativa durante o teste (ao contrário de métodos de adaptação em tempo de teste), oferecendo uma velocidade superior.
4. Validação Prática: Implementação bem-sucedida em um cenário real de armazém robótico, demonstrando valor prático imediato.

4. Resultados Experimentais

Os experimentos foram conduzidos em seis benchmarks públicos (NYU-Depth V2, iBims-1, KITTI, DIODE, ETH3D, VOID) e um conjunto de dados real de armazém (Logistic-Black), cobrindo diversos padrões de profundidade (Hole, Range, Sparse, etc.).

• Desempenho Quantitativo:
  • O Any2Full superou o estado da arte (SOTA) OMNI-DC em 32,2% no erro médio AbsREL.
  • Comparado ao PriorDA (que usa a mesma base MDE), o Any2Full foi 1,4x mais rápido (0,49s vs 0,68s) e alcançou maior precisão.
  • A variante menor (Any2Full com backbone DA-S) foi 7x mais rápida que o PriorDA e 1000x mais rápida que métodos de adaptação em tempo de teste (como TestPromptDC), mantendo alta precisão.
• Robustez:
  • Demonstrou estabilidade superior em padrões de profundidade não vistos durante o treinamento (ex: limitação de alcance "Range").
  • Mantém a consistência de escala global, evitando artefatos como "sangramento" de profundidade ou anéis de erro comuns em outros métodos.
• Aplicação Real (Robótica):
  • Em um armazém robótico, o sistema foi usado para manipular pacotes pretos (que absorvem luz e causam falhas em sensores ToF).
  • A taxa de sucesso de pegada (grasp success rate) para pacotes pretos aumentou de 28% para 91,6% (ou 100% em testes controlados), eliminando danos por pontos de pegada incorretos.

5. Significado e Impacto

O trabalho Any2Full estabelece um novo paradigma para o completamento de profundidade universal. Ao reformular a tarefa como uma adaptação de prompt de escala em vez de uma fusão de dados ou refinamento em duas etapas, o método consegue:

• Desbloquear o poder dos modelos MDE fundacionais: Utiliza a forte generalização geométrica de modelos como o Depth Anything sem corrompê-la com alinhamentos explícitos ruidosos.
• Eficiência para Robótica: A inferência em uma única etapa e a alta velocidade tornam o método viável para aplicações em tempo real em robótica móvel e manipulação.
• Solução para Sensores Imperfeitos: Oferece uma solução robusta para os desafios de sensores de profundidade do mundo real, onde dados incompletos e padrões variáveis são a norma, não a exceção.

Em resumo, o Any2Full demonstra que é possível alcançar completamento de profundidade de alta precisão, generalizável e eficiente, integrando inteligentemente priores geométricos de modelos de visão monocular com pistas métricas esparsas em um único fluxo de inferência.