Cov2Pose: Leveraging Spatial Covariance for Direct Manifold-aware 6-DoF Object Pose Estimation

1. 연구 배경 및 문제 정의 (Problem Statement)

• 목표: 단일 RGB 이미지로부터 객체의 6 자유도 (6-DoF) 포즈 (회전 및 병진 이동) 를 추정하는 것입니다.
• 기존 방법의 한계:
  • 간접적 방법 (Indirect Methods): 2D 키포인트나 밀도 좌표를 예측한 후 Perspective-n-Point (PnP) 솔버를 사용하여 포즈를 계산합니다. 정확도는 높지만, 반복적인 계산으로 인해 계산 비용이 크고 실시간 적용에 불리합니다.
  • 직접적 방법 (Direct Methods): 신경망을 통해 포즈를 엔드 - 투 - 엔드 (End-to-End) 로 회귀 (Regression) 합니다. 계산 효율성이 높지만, 정확도가 낮고 다음과 같은 두 가지 주요 문제가 있습니다.
    1. 1 차 통계량 의존: 기존 회귀 헤드는 평균 풀링 (Global Average Pooling) 등을 통해 특징을 집계하여 1 차 통계량만 사용합니다. 이는 이미지 내 공간적 변동성 (Spatial Variability) 정보를 무시합니다.
    2. 불연속 표현: 회전 표현에 오일러 각도나 쿼터니언을 사용하여 불연속성을 유발하며, 이는 학습의 안정성을 해칩니다.
• 핵심 가설: 이미지 특징의 공간 공분산 (Spatial Covariance) 은 객체의 포즈와 강한 상관관계가 있으며, 이를 2 차 통계량으로 활용하면 직접적 포즈 회귀의 정확도를 획기적으로 개선할 수 있습니다.

2. 제안된 방법론: Cov2Pose

저자들은 Cov2Pose라는 새로운 프레임워크를 제안하며, 이는 다음과 같은 세 가지 핵심 단계로 구성됩니다.

A. 공분산 기반 특징 추출 (Covariance-based Feature Extraction)

• 공간 공분산 풀링 (Spatial Covariance Pooling): CNN 백본 (EfficientNet-B6 등) 에서 추출된 특징 맵 ($C \times H \times W$) 을 공간 차원 ($H \times W$) 에서 풀링하여 대칭 양정부호 (SPD, Symmetric Positive Definite) 행렬 $\hat{\Sigma}$를 생성합니다.
  • 이 행렬은 특징 맵 간의 공간적 공변동 (Co-variation) 을 인코딩하여, 시점 (Viewpoint) 에 따라 체계적으로 변화하는 포즈 정보를 포착합니다.
• 기하학적 차원 축소 (Manifold-aware Dimensionality Reduction): 생성된 고차원 SPD 행렬은 유클리드 공간이 아닌 리만 다양체 (Riemannian Manifold) 상에 존재하므로, 표준 CNN 레이어를 적용할 수 없습니다. 이를 위해 다음과 같은 레이어를 사용합니다.
  • BiMap (Bilinear Mapping): 스테ifel 다양체 (Stiefel Manifold) 상의 가중치 행렬을 사용하여 SPD 구조를 보존하면서 차원을 축소합니다.
  • ReEig (Eigenvalue Rectification): 작은 고유값을 임계값 이상으로 조정하여 행렬이 양정부호성을 유지하도록 합니다.
  • 이 과정을 통해 컴팩트한 SPD 표현 ($\Sigma_L \in \mathcal{S}^n_{++}$) 을 얻습니다.

B. SPD 다양체에서 포즈로의 매핑 (SPD to Pose Mapping)

• 미분 가능한 Cholesky 분해: 축소된 SPD 행렬 $\Sigma_L$을 Cholesky 분해를 통해 하삼각 행렬 $L$로 분해합니다 ($\Sigma_L = LL^\top$).
  • Cholesky 분해는 유일성, 연속성, 미분 가능성을 보장하므로 엔드 - 투 - 엔드 학습에 적합합니다.
• 연속적인 포즈 인코딩: 하삼각 행렬 $L$의 비영 (Non-zero) 요소를 활용하여 포즈를 인코딩합니다.
  • 회전: $L$의 특정 요소를 추출하여 6D 회전 파라미터 $(u, v)$로 매핑한 후, 미분 가능한 Gram-Schmidt 과정을 거쳐 $SO(3)$ 회전 행렬로 변환합니다. 이는 오일러 각도의 불연속성 (Gimbal lock) 문제를 해결합니다.
  • 병진 이동 (Translation): $L$의 대각선 요소를 로그 (Log) 변환하여 3D 병진 벡터 $t$를 얻습니다.
• 결과: SPD 공간에서 연속적인 6D 회전 및 3D 병진 이동으로 직접 매핑되는 일대일 (One-to-one) 연속 매핑을 구현합니다.

C. 학습 전략 (Training Strategy)

• 손실 함수: 예측된 회전 행렬과 지상 진실 (Ground Truth) 간의 지오데식 거리 (Geodesic distance) 와 병진 이동 간의 $\ell_2$ 거리를 최소화합니다.
• 정규화: Gram-Schmidt 과정이 안정적으로 수행되도록 직교성 (Orthogonality) 과 단위 노름 (Unit-norm) 정규화 항을 손실 함수에 추가합니다.
• 최적화: BiMap 레이어의 가중치는 스테ifel 다양체 제약 조건을 만족하도록 Riemannian 최적화 (QR 재추출) 를 수행하고, 나머지 파라미터는 Adam 최적화를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 공분산 기반 엔드 - 투 - 엔드 프레임워크: RGB 이미지 기반 6-DoF 포즈 회귀에 공간 공분산 (2 차 통계량) 을 처음 도입한 프레임워크입니다.
2. 다양체 인식 학습 파이프라인: SPD 다양체의 기하학적 구조를 보존하는 BiMap 및 ReEig 레이어를 통해 컴팩트한 SPD 표현을 학습합니다.
3. CAD-free 연속 포즈 회귀: Cholesky 분해와 6D 회전 표현을 결합하여, CAD 모델 없이도 연속적이고 미분 가능한 포즈 표현을 직접 예측합니다.
4. 성능 입증: LineMOD, Occ-LineMOD, YCB-Video 등 주요 벤치마크에서 기존 직접 회귀 방법들을 압도하는 성능을 보이며, 간접적 방법 (PnP 기반) 과도 경쟁 가능한 결과를 달성했습니다.

4. 실험 결과 (Results)

• LineMOD (LM): 모든 직접 회귀 방법 (End-to-End) 중 가장 높은 ADD(-S) 점수 (97.2%) 를 기록했으며, PnP 기반 방법 (DeepIM 등) 보다도 약간 더 높은 성능을 보였습니다.
• LineMOD Occlusion (LM-O): 가려짐 (Occlusion) 이 심한 환경에서도 ZebraPose (PnP 기반) 와 0.1% 차이로 매우 근접한 성능 (76.8%) 을 보이며, 다른 직접 회귀 방법들보다 월등히 우수했습니다.
• YCB-Video: 직접 회귀 방법 중 가장 높은 ADD(-S) 점수 (69.7%) 를 기록했습니다.
• 추론 속도: 전체 파이프라인의 추론 시간은 약 46.9ms 로, 기존 PnP 기반 방법들 (100ms 이상) 보다 훨씬 빠르며 실시간 적용에 적합합니다.
• Ablation Study:
  • 회전 표현: 6D 회전 표현 (Gram-Schmidt) 을 사용한 것이 오일러 각도를 사용한 경우보다 성능이 훨씬 뛰어났습니다 (연속성의 중요성 입증).
  • SPD 헤드의 필요성: SPD 다양체 레이어를 제거하고 유클리드 MLP 로 대체하면 성능이 급격히 저하되어, SPD 기하학의 중요성이 확인되었습니다.
  • 공간 vs 채널 공분산: 공간 공분산이 채널 공분산보다 포즈 추정에 더 효과적임이 입증되었습니다.

5. 의의 및 결론 (Significance)

Cov2Pose는 2 차 통계량 (공분산) 이 포즈 추정에 얼마나 중요한 정보를 담고 있는지를 증명했습니다. 기존 직접적 방법들이 간과했던 공간적 상관관계를 SPD 다양체 기하학을 통해 효과적으로 모델링함으로써, 계산 효율성과 정확도를 동시에 달성했습니다.

이 연구는 CAD 모델 없이도 고도의 정확도를 내는 실시간 6-DoF 포즈 추정을 가능하게 하여, 로봇 조작, 증강현실 (AR), 자율주행, 산업 검사 등 다양한 분야에서 실용적인 솔루션을 제공할 것으로 기대됩니다. 또한, 향후 대칭성 (Symmetry) 처리를 포함한 CAD-free 환경에서의 확장 가능성을 제시했습니다.