MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion

기술 요약: MOTPose

문제 정의
단일 뷰 RGB 포즈 추정 모델은 딥러닝의 발전에도 불구하고, 폐쇄(occlusion), 반사 표면, 투명성 등으로 특징지어지는 복잡하고 역동적인 환경에서 어려움을 겪고 있습니다. 비디오 시퀀스를 활용하면 이러한 문제를 완화하기 위한 풍부한 시간적 정보를 얻을 수 있지만, 기존의 비디오 기반 방식들은 높은 계산 복량, 메모리 오버헤드, 그리고 3D 합성곱(convolution)의 비효율성 문제를 안고 있습니다. 또한, 표준 파이프라인은 객체 탐지와 포즈 추정을 별개의 단계로 처리하여, 두 작업 간의 상호 의존적인 특성을 활용하지 못하는 경우가 많습니다. 저자들은 비디오 프레임 전반에 걸쳐 시간적 정보를 효과적으로 융합함으로써 다중 객체 탐지와 6D 포즈 추정을 공동으로 수행하는 통합되고 효율적인 접근 방식의 필요성을 제기합니다.

방법론
제안된 MOTPose 프레임워크는 비전 트랜스포머(Vision Transformer) 아키텍처를 활용하여 다중 객체 6D 포즈 추정을 집합 예측(set prediction) 문제로 정식화합니다. 이 방법은 단일 모노큘러 이미지 시퀀스를 처리하여 객체를 탐지하고 그들의 6D 포즈(위치 및 방향)를 단 한 번의 순방향 패스(forward pass)로 공동 추정합니다.

• 아키텍처: 핵심적인 단일 프레임 처리는 YOLOPose 모델을 기반으로 하며, 특징 추출을 위한 CNN 백본과 트랜스포머 인코더-디코더 구조를 사용합니다. 디코더는 학습된 객체 쿼리(object queries)로부터 고정된 $N$개의 객체 임베딩을 생성합니다.
• 시간적 융합(Temporal Fusion): 새로운 기여점은 **TEFM(Temporal Embedding Fusion Module)**과 **TOFM(Temporal Object Fusion Module)**에 있습니다.
  • TEFM: 여러 과거 타임 스텝의 객체 임베딩을 융합합니다. 이는 이전 프레임($t_0$부터 $t_{T-1}$까지)의 임베딩을 키(key)와 값(value)으로 취급하고, 현재 프레임($t_T$)의 임베딩을 크로스 어텐션(cross-attention) 메커니즘의 쿼리(query)로 사용합니다.
  • TOFM: 유사하게, 크로스 어텐션을 사용하여 이전 프레임으로부터 객체별 출력(예: 키포인트 및 6D 포즈 파라미터)을 융합합니다.
  • 상대적 프레임 인코딩(Relative Frame Encoding, RFE): 어텐션 메커니즘의 순열 불변성(permutation-invariant) 특성을 해결하기 위해, RFE가 임베딩과 출력에 요소별(element-wise)로 더해집니다. 이는 상대적인 타임 스텝 거리를 인코딩하여 모델이 프레임을 구분할 수 있게 합니다.
• 학습 및 손실 함수: 모델은 예측값과 정답(ground truth)을 연결하기 위해 이분 매칭 알고리즘(헝가리안 알고리즘)을 사용하여 엔드투엔드(end-to-end)로 학습됩니다. 손실 함수는 다섯 가지 구성 요소의 가중 합으로 이루어집니다: 클래스 확률 손실(NLL), 바운딩 박스 손실(GIoU + $\ell_1$), 키포인트 손실($\ell_1$ + cross-ratio 일관성), 포즈 손실(회전을 위한 $\ell_2$ 및 ShapeMatch), 그리고 객체 임베딩의 매끄러운 진화를 보장하기 위한 시간적 일관성 손실($\ell_2$)입니다.

주요 기여

1. MOTPose 모델: 역동적인 비디오 시퀀스를 위해 특별히 설계되어 단일 단계에서 공동 탐지 및 포즈 추정을 수행하는 다중 객체 포즈 추정 모델입니다.
2. 크로스 어텐션 시간적 융합: 상대적 프레임 인코딩으로 강화된 크로스 어텐션을 사용하여 여러 타임 스텝에 걸쳐 객체 임베딩과 특정 출력을 집계하는 새로운 메커니즘(TEFM 및 TOFM)입니다.
3. SynPick-Ext 데이터셋: 대용량 데이터를 요구하는 트랜스포머 기반 모델의 학습을 지원하기 위해, 물리적으로 현실적인 SynPick 데이터셋을 확장하여 각 액션 분할(이동, 목표 픽, 비목표 픽)에 대해 300개의 비디오 시퀀스를 추가했습니다.
4. 정량적 평가: SynPick 및 YCB-Video 데이터셋에 대한 종합적인 평가를 통해 포즈 추정 및 객체 탐지 정확도 모두에서 개선을 입증했습니다.

결과
저자들은 SynPick(복잡한 빈 피킹 환경) 및 YCB-Video 데이터셋에서 MOTPose를 평가했습니다.

• SynPick 성능: 시간적 융합을 적용했을 때, MOTPose는 ADD-S의 AUC 82.0과 ADD(-S)의 AUC 77.1을 달려, 시간적 융합이 없는 모델에 비해 각각 1.2와 2.9 포인트의 향상을 보였습니다. 또한, 이 방법은 카디널리티 에러(cardinality error)를 (2.06에서 0.53으로) 그리고 미탐지율(false negative detection rates)을 (1.79에서 0.48로) 크게 감소시켰습니다.
• YCB-Video 성능: YCB-Video에서 모델은 ADD-S의 AUC 91.2와 ADD(-S)의 AUC 84.5를 달성했습니다. 이는 단일 프레임 베이스라인보다 우수한 성능을 보였으며, 더 무거운 트래킹 방식들과 비교했을 때 높은 프레임 레이트(30 fps)로 동작하면서도 DeepIM-Tracking 및 Periyasamy 등의 최신 방식들과 경쟁할 만한 수준을 보여주었습니다.
• 절제 연구(Ablation Studies): TEFM 모듈을 제거했을 때 성능이 크게 하락하여(ADD(-S)의 AUC가 74.9로 감소), 객체 임베딩 융합의 중요성을 확인했습니다. 8개의 타임 스텝($T=8$)을 사용할 때 전반적으로 가장 좋은 성능을 나타냈습니다.

의의 및 주장
본 논문은 MOTPose가 효율적인 어텐션 기반 메커니즘을 통해 시간적 정보를 활용함으로써 복잡하고 역동적인 환경의 과제를 성공적으로 해결한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 정확도 향상: 시간적 융합은 특히 폐쇄 및 객체 간 상호작용이 발생하는 시나리오에서 더 나은 포즈 예측과 객체 탐지를 용이하게 합니다.
• 효율성 증대: 3D 합성곱이나 동적 쿼리 세트를 사용하는 복잡한 '트래킹 바이 어텐션(tracking-by-attention)' 프레임워크와 달리, MOTPose는 고정된 객체 쿼리 세트와 크로스 어텐션 융합을 사용하여 다른 포즈 트래킹 방법들에 비해 더 가볍고 빠른 모델(30 fps)을 구현합니다.
• 통합된 작업: 탐지와 포즈 추정을 단일 집합 예측 문제로 처리함으로써, 모델은 다단계 파이프라인의 오류 전파와 계산 오버헤드를 방지합니다.

저자들은 자신의 집합 예측 형식이 모든 객체에 대한 6D 포즈 주석을 요구한다는 점(부분 주석 데이터셋과 비교되는 한계점)을 인정하면서도, 제안된 방법이 로보틱스의 다중 객체 조작 작업을 위한 견고하고 실시간적인 솔루션을 제공한다고 결론짓습니다.