Cov2Pose: Leveraging Spatial Covariance for Direct Manifold-aware 6-DoF Object Pose Estimation

1. Problema Abordado

O artigo foca no problema de estimar a pose de um objeto com 6 Graus de Liberdade (6-DoF) a partir de uma única imagem RGB. A pose é definida como uma transformação no grupo Euclidiano Especial $SE(3)$, composta por uma rotação e uma translação.

O trabalho identifica duas limitações principais nas abordagens diretas (end-to-end) atuais para regressão de pose:

1. Ignorância de Estatísticas de Segunda Ordem: A maioria dos regressores diretos utiliza apenas estatísticas de primeira ordem (média/pooling) das ativações de características extraídas por redes neurais. Eles ignoram a covariância espacial, que captura como diferentes regiões da imagem co-variaram, informação crucial para inferir a perspectiva e a pose.
2. Representações Descontínuas: Muitas abordagens diretas utilizam representações de rotação descontínuas (como ângulos de Euler ou quatérnios), o que pode levar a instabilidades no treinamento e erros de generalização devido a singularidades (ex: bloqueio de cardan).

Além disso, métodos indiretos (baseados em keypoints e solvers PnP) são precisos, mas computacionalmente caros devido à iteração, enquanto métodos diretos são rápidos, mas menos precisos.

2. Metodologia: O Framework Cov2Pose

O Cov2Pose é um pipeline de aprendizado profundo totalmente diferenciável e end-to-end que resolve as limitações acima através de três pilares principais:

A. Extração de Características Baseada em Covariância Espacial

Em vez de usar apenas mapas de características planos, o modelo aplica um pooling de covariância espacial sobre os mapas de características extraídos por uma rede backbone (ex: EfficientNet-B6).

• Sejam $F \in \mathbb{R}^{C \times H \times W}$ os mapas de características.
• O modelo calcula uma matriz de covariância $\hat{\Sigma}$ que descreve como os canais de características co-variaram em diferentes localizações espaciais ($H \times W$).
• Isso resulta em uma matriz Simétrica Positiva Definida (SPD), que reside em uma variedade Riemanniana não linear, capturando estatísticas de segunda ordem ricas em informação sobre a geometria da cena.

B. Cabeça de Aprendizado Consciente da Variedade (Manifold-aware)

Como as matrizes SPD não vivem em um espaço Euclidiano, o modelo não pode usar camadas totalmente conectadas padrão. O Cov2Pose emprega uma pilha de camadas especializadas para reduzir a dimensionalidade da matriz de covariância mantendo sua estrutura geométrica:

1. BiMap (Bilinear Mapping): Camadas que comprimem a matriz de covariância ($n \times n \to m \times m$) utilizando projeções ortogonais, preservando a propriedade SPD. Os pesos são otimizados na variedade de Stiefel.
2. ReEig (Eigenvalue Rectification): Uma operação não linear que eleva autovalores pequenos a um "teto" espectral, garantindo que a matriz permaneça estritamente positiva definida e evitando singularidades.

C. Mapeamento Contínuo para Pose (Decodificador Cholesky)

O grande diferencial é o decodificador que mapeia a matriz SPD compacta para a pose 6-DoF de forma contínua e injetiva:

• Utiliza-se uma Decomposição de Cholesky diferenciável sobre a matriz SPD reduzida ($\Sigma_L \in \mathcal{S}^4_{++}$).
• Isso gera uma matriz triangular inferior $L$.
• Os elementos não nulos de $L$ são usados para codificar:
  • Rotação: Dois vetores 3D $(u, v)$ que são mapeados para a variedade de Stiefel $V_2(\mathbb{R}^3)$ via um processo de Gram-Schmidt diferenciável, resultando em uma representação de rotação 6D contínua.
  • Translação: Os elementos diagonais de $L$ codificam o vetor de translação 3D.
• Essa abordagem evita as descontinuidades dos ângulos de Euler e quatérnios.

3. Principais Contribuições

1. Primeiro Framework de Covariância para Regressão Direta: É a primeira abordagem a utilizar estatísticas de covariância espacial de segunda ordem para regressão de pose 6-DoF end-to-end a partir de RGB.
2. Pipeline Consciente da Geometria: Desenvolvimento de um pipeline de treinamento que respeita a geometria Riemanniana das matrizes SPD, utilizando camadas BiMap e ReEig.
3. Decodificador Contínuo e CAD-free: Proposição de um mapeamento um-para-um, diferenciável e contínuo da variedade SPD para $SE(3)$ via decomposição de Cholesky, eliminando a necessidade de modelos CAD para treinamento e evitando representações de rotação descontínuas.
4. Desempenho Superior: Demonstração de que a covariância espacial é altamente correlacionada com a pose (validado experimentalmente), superando métodos diretos anteriores e aproximando-se da precisão de métodos indiretos baseados em PnP.

4. Resultados Experimentais

O método foi avaliado em três benchmarks padrão da comunidade (BOP): LineMOD (LM), LineMOD Occlusion (LM-O) e YCB-Video (YCB-V).

• Precisão: O Cov2Pose alcançou resultados State-of-the-Art (SOTA) entre os métodos de regressão direta (End-to-End) em todos os datasets.
  • No LineMOD, superou todos os métodos diretos e superou ligeiramente métodos baseados em PnP (como BPnP) em termos de ADD(-S).
  • No LM-O (com oclusão), superou todos os métodos diretos e reduziu a lacuna para o método indireto líder (ZebraPose) para apenas 0,1% de diferença.
  • No YCB-V, obteve o melhor ADD(-S) entre métodos diretos e o segundo melhor AUC, reduzindo significativamente a diferença em relação aos métodos baseados em correspondência.
• Eficiência: O tempo de inferência foi de 46,9 ms, oferecendo um excelente equilíbrio entre precisão e velocidade, sendo mais rápido que a maioria dos métodos indiretos iterativos.
• Ablação: Estudos mostraram que:
  • A representação de rotação 6D contínua é superior aos ângulos de Euler.
  • O uso de camadas SPD (BiMap/ReEig) é crucial; substituí-las por camadas Euclidianas padrão causa uma queda drástica de desempenho.
  • A covariância espacial é mais informativa que a covariância de canais.

5. Significado e Impacto

O trabalho é significativo por demonstrar que estatísticas de segunda ordem (covariância espacial), frequentemente negligenciadas em redes neurais para regressão de pose, contêm informações geométricas vitais que melhoram a precisão da estimativa direta.

Ao integrar a geometria Riemanniana das matrizes SPD diretamente no pipeline de aprendizado, o Cov2Pose resolve o problema da descontinuidade na representação de rotação, permitindo um treinamento mais estável e robusto. Isso abre caminho para aplicações em tempo real (robótica, realidade aumentada, navegação autônoma) onde métodos indiretos são muito lentos, mas onde a precisão dos métodos diretos tradicionais era insuficiente. O método também se mostrou generalizável para tarefas além da pose de objetos, como regressão de pose de câmera (APR) e estimativa de pose de espaçonaves.