Resumo Técnico: Depth2Pose

Declaração do Problema

A estimativa de profundidade monoculosa (MDE) avançou significativamente devido ao aprendizado profundo e a dados de treinamento em larga escala, com a profundidade prevista servindo cada vez mais como uma entrada crítica para tarefas geométricas subsequentes, como Estrutura a partir do Movimento (SfM), localização visual, Localização e Mapeamento Simultâneos (SLAM) e reconstrução 3D densa. No entanto, a avaliação de MDEs permanece restrita por protocolos tradicionais que dependem de métricas de precisão de profundidade pixel a pixel (por exemplo, AbsRel, RMSE, $\delta_1$). Essas métricas agregam erros globalmente, tratando todas as regiões da imagem de forma igual, o que falha em refletir a importância geométrica variável de diferentes regiões para tarefas subsequentes. Além disso, os benchmarks padrão dependem de profundidade de verdade fundamental densa, tipicamente adquirida via sensores LiDAR ou RGB-D. Essa dependência restringe a avaliação a ambientes específicos, exclui cenários desafiadores (por exemplo, cenas externas em grande escala, vegetação, superfícies reflexivas) e cria uma sobreposição distribucional entre dados de treinamento e teste que obscurece as capacidades de generalização.

Metodologia

Os autores propõem o Depth2Pose, um framework de avaliação orientado a tarefas que avalia a qualidade da MDE com base em sua utilidade para a estimativa de pose relativa da câmera, em vez da precisão direta da profundidade. A premissa central é que previsões de profundidade precisas em regiões geometricamente informativas devem levar a estimativas de pose relativa mais precisas quando utilizadas dentro de solvers geométricos conscientes de profundidade.

Pipeline de Avaliação

1. Preparação de Dados: Para uma cena dada, as poses da câmera são reconstruídas usando um pipeline SfM maduro (COLMAP) para servir como pseudo-verdade fundamental (pGT). Isso evita a necessidade de verdade fundamental de profundidade por pixel.
2. Seleção de Pares de Imagem: Pares de imagens com pelo menos 10% de sobreposição visual são amostrados com base no modelo SfM.
3. Correspondência de Características: Pontos-chave são detectados e correspondidos entre pares de imagens usando características locais aprendidas (especificamente LoMa ou SuperPoint+LightGlue).
4. Estimativa de Pose Consciente de Profundidade: As correspondências 2D correspondidas são aumentadas com valores de profundidade previstos pela MDE sob avaliação. Estes são alimentados em solvers de pose relativa conscientes de profundidade (especificamente variantes do framework RePoseD). Os solvers aproveitam conjuntamente correspondências de pontos e profundidade para estimar o movimento relativo da câmera ($R, t$).
5. Cálculo de Métricas: A pose relativa estimada é comparada com a pose de referência da reconstrução SfM. A métrica de avaliação é a Precisão Média (mAA) do erro de pose (rotação e translação) até um limite de $10^\circ$.

Variantes do Solver

O framework avalia múltiplas configurações de solver para isolar o impacto da profundidade:

• Base (B): Solver clássico de 5 pontos usando apenas correspondências 2D-2D (sem profundidade).
• Híbrido (H): Solver invariante à escala usando um erro híbrido (erro de Sampson para pontuação, combinado com erro de Sampson e erro de reprojeção simétrica para otimização).
• Reprojeção (R): Solver usando apenas erro de reprojeção simétrica tanto para pontuação quanto para otimização, fornecendo uma avaliação mais direta do impacto da profundidade ao não permitir que o erro de Sampson compense imprecisões de profundidade.
• Invariante a Afição: Variantes assumindo profundidade invariante a afi para cenários onde a escala métrica não é preservada.

Contribuições Principais

1. Framework Depth2Pose: Um paradigma de avaliação novel que substitui a profundidade de verdade fundamental por poses de verdade fundamental. Isso permite avaliação escalável em diversos ambientes do mundo real onde a detecção de profundidade densa é impraticável ou impossível.
2. Avaliação Relevante para a Tarefa: O framework captura a qualidade da profundidade espacialmente não uniforme, enfatizando regiões que são geometricamente informativas para tarefas subsequentes (por exemplo, áreas com correspondências de características estáveis) em vez de penalizar erros em regiões sem textura ou menos críticas.
3. Dataset D2P: Um novo dataset compreendendo 24 cenas desafiadoras do mundo real (12 "Estatuas" e 12 "Vegetação") que estão fora da distribuição dos dados de treinamento padrão. Essas cenas apresentam geometria complexa, oclusões pesadas e grandes variações de profundidade, projetadas especificamente para testar a generalização.
4. Protocolo Extensível: Um pipeline de avaliação simples e reproduzível que facilita a comparação em cenários anteriormente inacessíveis sem exigir anotações de profundidade por pixel.

Resultados

• Correlação com Métricas Padrão: Em benchmarks estabelecidos (ETH3D, ScanNet++, Sintel, LaMAR), a métrica baseada em pose (mAA) correlaciona-se fortemente com métricas de profundidade padrão ($\delta_1$). No entanto, os autores observam que altas pontuações de $\delta_1$ não garantem estritamente alta precisão de pose, pois a estimativa de pose depende de um subconjunto de correspondências estáveis em vez de precisão uniforme de pixels.
• Lacuna de Generalização: No dataset D2P, a classificação das MDEs muda significativamente em comparação com benchmarks padrão. Métodos que performam melhor em datasets padrão (por exemplo, MoGeV2) não necessariamente mantêm o desempenho superior no D2P, enquanto alguns métodos com pontuações de benchmark padrão mais baixas performam de forma competitiva. Isso destaca uma lacuna de generalização não capturada pela avaliação tradicional.
• Utilidade da Profundidade: As MDEs atuais ainda não superam consistentemente a base "Sem Profundidade" (usando apenas correspondências 2D-2D) no dataset D2P, sugerindo que, embora solvers conscientes de profundidade ofereçam um caminho para melhoria, as previsões de profundidade atuais frequentemente contêm erros que ainda não se traduzem em estimativa de pose robusta em cenários desafiadores e fora da distribuição.
• Sensibilidade do Solver: A escolha do solver (H vs. R) afeta a correlação entre erro de profundidade e precisão de pose. A variante R, que depende pesadamente do erro de reprojeção, fornece um teste mais rigoroso da qualidade da profundidade, enquanto a variante H oferece insights práticos sobre o desempenho do sistema.

Significado e Alegações

O artigo alega que o Depth2Pose oferece uma mudança necessária de avaliar a profundidade como uma tarefa de reconstrução isolada para avaliá-la como um componente de sistemas de raciocínio geométrico. Ao demonstrar que benchmarks padrão falham em prever o desempenho em cenas desafiadoras e do mundo real (D2P), os autores argumentam que a comunidade precisa de protocolos de avaliação orientados a tarefas.

Os autores afirmam modestamente que seu framework não substitui as métricas de profundidade padrão, mas as complementa. Eles reconhecem limitações, notando que o framework é aplicável apenas onde poses de câmera precisas podem ser recuperadas (por exemplo, via SfM) e que não pode distinguir entre profundidade precisa em regiões correspondidas versus regiões não correspondidas (por exemplo, espelhos). Além disso, eles notam que a estimativa de pose relativa é mais sensível a erros de profundidade do que pipelines complexos como SLAM, que podem tolerar erros mais altos através de redundância. Em última análise, o trabalho visa encorajar o desenvolvimento de MDEs que sejam robustas e úteis para tarefas geométricas subsequentes em diversos ambientes do mundo real.