Towards Symmetry-sensitive Pose Estimation: A Rotation Representation for Symmetric Object Classes

1. 문제 정의 (Problem Definition)

이 논문은 대칭적인 객체 (Symmetric Objects) 에 대한 6D 포즈 추정 (Pose Estimation) 에서 발생하는 고유한 어려움에 초점을 맞추고 있습니다.

• 대칭성으로 인한 모호성 (Ambiguity): 많은 산업용 및 일상적인 객체 (예: 병, 상자, 기어 등) 는 회전 대칭성을 가집니다. 이러한 객체의 경우, 시각적으로 동일한 이미지 (Visual Appearance) 가 여러 개의 서로 다른 수학적 회전 값 (Rotation Representation) 에 대응될 수 있습니다.
• 학습의 실패: 심층 신경망 (CNN 등) 은 시각적 입력 $V(p)$ 와 수치적 회전 표현 $N(p)$ 간의 일대일 대응 (Bijective relation) 을 학습하려 합니다. 그러나 대칭 객체의 경우 $V(p_1) = V(p_2)$ 이지만 $N(p_1) \neq N(p_2)$ 인 경우가 발생하여, 네트워크가 여러 가능한 포즈의 평균 (Mean) 으로 수렴하거나 학습 자체가 불안정해지는 문제가 발생합니다.
• 기존 방법의 한계:
  • 기존 연구들은 주로 손실 함수 (Loss Function) 를 수정하거나, 네트워크 아키텍처를 변경하여 모호성을 해결하려 했습니다.
  • 또는 대칭 불변 (Symmetry-invariant) 평가 지표 (VSD, MSSD 등) 를 사용하여 "어떤 하나의 올바른 포즈만 맞추면 점수를 준다"는 식으로 문제를 우회했습니다. 이는 네트워크가 실제로 모호성을 해결하지 않아도 높은 점수를 받을 수 있게 하여, 근본적인 해결을 방해합니다.
  • 일부 방법은 회전 공간을 이산적인 구간 (Bins) 으로 나누어 처리하지만, 이는 경계면에서 불연속성 (Discontinuity) 을 유발하여 학습을 방해합니다.

2. 제안된 방법론 (Methodology: SARR)

저자들은 회전 표현 자체를 수정하여 대칭 모호성을 해결하는 SARR (Symmetry-Aware-Rotation-Representation) 을 제안합니다.

• 핵심 아이디어: 객체의 기하학적 대칭성 (Symmetry Degree) 을 삼각함수 항에 직접 반영하여, 시각적으로 동일한 포즈는 수치적으로도 동일한 값으로 매핑되도록 하고, 대칭 경계면에서도 연속성 (Continuity) 을 유지하는 표현을 설계했습니다.
• 수식적 정의:
  • 기존 삼각함수 표현 $(\sin \theta, \cos \theta)$ 를 변형합니다.
  • 각 축 ($x, y, z$) 의 대칭 차수 (Degree of symmetry, $\kappa$) 를 각도에 곱하여 새로운 표현을 정의합니다.
  • 예: $z$ 축에 대해 2 배 대칭 ($\kappa=2$) 인 경우, 회전 각도 $\gamma$ 대신 $2\gamma$ 를 사용하여 $0^\circ$ 와 $180^\circ$ 를 수치적으로 동일하게 만듭니다.
  • 수식: $SARR_i(\alpha, \beta, \gamma) = [\sin(\kappa_\alpha \alpha), \sin(\kappa_\beta \beta), \sin(\lambda \gamma); \cos(\kappa_\alpha \alpha), \cos(\kappa_\beta \beta), \cos(\lambda \gamma)]$
• 특징:
  • 고유성 (Uniqueness): 시각적으로 동일한 모든 포즈가 하나의 '정규화된 (Canonic)' 수치 표현으로 매핑됩니다.
  • 연속성 (Continuity): 대칭 경계 (예: $180^\circ$) 를 넘어가더라도 수치적 변화가 급격하지 않아 심층 학습에 최적화되어 있습니다.
  • 3D 모델 불필요: 객체의 3D CAD 모델이 없더라도, 깊이 (Depth) 이미지나 텍스처가 없는 RGB/그레이스케일 이미지만으로 학습이 가능합니다.

3. 주요 기여 (Key Contributions)

1. 공식적 문제 정의: T-LESS 및 ITODD 데이터셋의 객체 대칭성으로 인한 모호성을 수학적으로 명확히 정의하고 분석했습니다.
2. SARR 표현 제안: 대칭성을 고려하면서도 연속적이고 고유한 회전 표현을 개발하여, 표준 CNN 을 사용하여 3D 방향을 추정할 수 있게 했습니다.
3. 성능 검증 및 비교:
   • 기존 벤치마크 (T-LESS, ITODD) 에서 SARR 기반 네트워크가 기존 최첨단 (SOTA) 방법들을 능가함을 입증했습니다.
   • Euler 각도, 회전 행렬, 쿼터니언, 6D 표현 (Zhou et al.), 일반 삼각함수 등 다른 회전 표현과 비교했을 때 SARR 이 압도적으로 우수한 성능을 보임을 증명했습니다.
   • 대칭 불변 평가 지표뿐만 아니라, 대칭 민감 (Symmetry-sensitive) 한 평가 지표 (ARC) 에서도 높은 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: T-LESS (실제 깊이 이미지) 와 ITODD (합성 깊이 이미지) 데이터셋을 사용했습니다.
• 평가 지표:
  • ARC (Average Recall of Cosine distance): 대칭 민감 지표로, 오직 하나의 정확한 정규화된 포즈만 정답으로 인정합니다.
  • ARB, ARG: 기존 대칭 불변 지표들입니다.
• 성능:
  • T-LESS: SARR 기반 네트워크는 ARC 지표에서 모든 기존 방법 (RGB-D 기반, RGB 만 기반, 깊이만 기반 등) 을 능가했습니다. 특히 3D 모델 없이 깊이 이미지만으로 학습한 경우에도 뛰어난 성능을 보였습니다.
  • ITODD: SC6D 와 같은 대칭성을 고려한 기존 방법보다 ARC 지표에서 더 높은 정확도를 기록했습니다.
  • 표현 비교: 동일한 네트워크 구조에서 SARR 을 사용한 경우, Euler, Quaternion, 6D 표현 등을 사용한 경우보다 모든 스코프 (Object, Symmetry, Dataset) 에서 성능이 우수했습니다. 특히 대칭성을 무시한 표현들은 ARC 지표에서 극도로 낮은 성능을 보였습니다.
  • 추가 실험: 대칭 클래스 분류 작업을 병행한 'dataset*' 네트워크는 분류 정확도가 높았으며, 이는 회전 추정 최적화에도 긍정적인 영향을 미쳤습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 근본적인 해결: 손실 함수나 평가 지표의 우회적 해결이 아닌, 회전 표현 (Representation) 자체를 수정하여 대칭 모호성 문제를 근본적으로 해결했습니다.
• 일반화 가능성: 제안된 SARR 은 다양한 대칭 차수와 축을 가진 객체에 대해 일반화될 수 있으며, T-LESS 와 ITODD 와 같이 서로 다른 대칭 특성을 가진 데이터셋에서도 일관된 성능을 입증했습니다.
• 실용성: 3D 모델 없이도 깊이 정보나 텍스처 없는 이미지만으로 정확한 포즈 추정이 가능하여, 산업용 로봇 그리핑 (Bin picking) 및 증강현실 (AR) 응용 분야에 매우 유용합니다.
• 향후 과제: 더 다양한 대칭 클래스 분석, 6D 포즈 (위치 + 회전) 추정으로의 확장, Transformer 아키텍처 적용 등을 통해 성능을 더욱 향상시킬 수 있을 것으로 기대됩니다.

이 논문은 대칭 객체 포즈 추정 분야에서 "어떻게 표현할 것인가 (Representation)"가 "어떻게 학습할 것인가"보다 더 중요할 수 있음을 보여주며, 새로운 표준을 제시했다는 점에서 중요한 의의를 가집니다.