Efficient Test-Time Optimization for Depth Completion via Low-Rank Decoder Adaptation

1. Problema e Contexto

O completamento de profundidade (depth completion) visa gerar mapas de profundidade densos a partir de medições esparsas (como as de sensores LiDAR) e imagens RGB. Embora métodos baseados em treinamento tradicional sejam precisos, eles exigem conjuntos de dados específicos por sensor e ambiente, o que é caro e limita a generalização.

Métodos recentes de Otimização no Tempo de Teste (Test-Time Optimization - TTO) tentam resolver isso ajustando modelos de fundação de profundidade (Depth Foundation Models - DFMs) durante a inferência, usando apenas a profundidade esparsa como supervisão, sem re-treinamento. No entanto, esses métodos enfrentam um dilema crítico:

• Alta Latência: Métodos existentes (como Marigold-DC ou PromptDA) exigem múltiplas passagens para frente e para trás através de toda a rede (encoder + decoder) ou otimização de prompts visuais, resultando em tempos de inferência de vários segundos por imagem (ex: 3 a 6 segundos).
• Compromisso (Trade-off): Existe uma troca clara entre métodos rápidos (baseados em treinamento, mas sem generalização zero-shot) e métodos precisos (baseados em TTO, mas lentos).

2. Metodologia Proposta

Os autores propõem um método eficiente que quebra esse trade-off através da Adaptação de Baixo Rank apenas no Decodificador (Low-Rank Decoder Adaptation).

A. Análise Fundamental

Antes de propor a solução, os autores realizaram uma análise empírica das representações dos modelos de fundação (como Depth Anything V2 e UniDepth):

• Correlação Camada a Camada: Eles descobriram que os sinais fortemente alinhados com a profundidade final são baixos no encoder, mas aumentam drasticamente no decoder.
• Subespaço de Baixa Dimensão: A análise de PCA mostrou que a estrutura de profundidade no decoder está concentrada em um subespaço de baixa dimensão. O primeiro componente principal (PC1) do decoder já se alinha fortemente com o mapa de profundidade final.

B. O Algoritmo (Decoder-Only TTO)

Baseado na observação de que o encoder contém informações genéricas e o decoder contém a estrutura de profundidade específica, o método propõe:

1. Caching do Encoder: O encoder é executado apenas uma vez para extrair e armazenar (caching) as características da imagem RGB. Isso elimina a necessidade de reprocessar o encoder em cada iteração de otimização.
2. Adaptação no Subespaço do Decoder: A otimização ocorre exclusivamente no decoder, utilizando LoRA (Low-Rank Adaptation). Apenas os parâmetros de baixo rank do decoder são atualizados.
3. Supervisão Esparsa com Alinhamento: Como a profundidade esparsa pode ter viés de escala e deslocamento (offset) em relação à previsão do modelo, o método estima parâmetros de escala e deslocamento (scale-shift) via mínimos quadrados antes de calcular a perda de adaptação.
4. Objetivo: Minimizar o erro de alinhamento apenas nas posições onde há medições esparsas, atualizando apenas o subespaço de baixo rank do decoder.

3. Contribuições Principais

• Descoberta Teórica/Empírica: Demonstraram que a adaptação para completamento de profundidade pode ser restrita ao decoder e, mais especificamente, a um subespaço de baixa dimensão dentro dele, sem perda significativa de desempenho.
• Eficiência Computacional: Ao congelar o encoder e usar LoRA no decoder, o método reduz drasticamente o custo computacional e o uso de memória.
• Novo Fronteira de Pareto: O método alcança simultaneamente a maior precisão e a maior velocidade entre os métodos de otimização no tempo de teste (zero-shot), superando o estado da arte em todos os conjuntos de dados testados.

4. Resultados Experimentais

Os experimentos foram realizados em cinco conjuntos de dados (indoor e outdoor: IBims-1, VOID, NYUv2, KITTI-DC, DDAD) utilizando backbones como UniDepthV2 e Depth Anything V2.

• Precisão (RMSE/MAE): O método superou consistentemente abordagens anteriores como Marigold-DC e TestPromptDC. Por exemplo, no KITTI-DC, reduziu o RMSE de 1.793 (TestPromptDC) para 1.476.
• Velocidade de Inferência:
  • Métodos anteriores (TTO): Levam de 3 a 42 segundos por imagem (dependendo da resolução).
  • Método Proposto: Leva aproximadamente 0.3 a 2.5 segundos (dependendo da resolução), sendo o mais rápido entre os métodos de otimização.
  • Em resoluções altas (FHD), métodos concorrentes frequentemente falham por falta de memória (OOM), enquanto o método proposto permanece viável.
• Robustez: O método manteve desempenho superior em diferentes níveis de esparsidade (de 4 canais LiDAR até 1000 pontos) e em diferentes tamanhos de modelos (Small, Base, Large).
• Análise de LoRA: Ajustes de rank (r=8) capturaram mais de 90% da "energia" necessária para a adaptação, validando a hipótese de baixa dimensão.

5. Significado e Impacto

Este trabalho é significativo porque:

1. Viabiliza a Aplicação em Tempo Real: Reduz a latência de segundos para frações de segundo, tornando a completamento de profundidade zero-shot viável para aplicações em tempo real (como robótica e veículos autônomos).
2. Eficiência de Recursos: Permite a execução em GPUs de menor capacidade ou em cenários onde a memória é limitada, ao evitar o cálculo repetido do encoder.
3. Generalização: Oferece uma solução robusta que não depende de dados de treinamento específicos, adaptando-se dinamicamente a novos sensores e ambientes.
4. Insight Arquitetural: Fornece uma compreensão mais profunda de como os modelos de fundação de profundidade organizam a informação, sugerindo que a adaptação eficiente pode ser alcançada através de modificações localizadas e de baixo rank, em vez de ajustes globais.

Em resumo, o artigo apresenta uma mudança de paradigma na completamento de profundidade zero-shot, substituindo a otimização global e custosa por uma adaptação local, eficiente e altamente precisa no decoder.