💻 computer science

RRTrack: Robust and Recoverable Object 6D Pose Tracking for Dynamic Scenes

RRTrack은 2D-6D 폐루프 전략과 DINOv2 기반의 듀얼 뱅크 템플릿 매칭을 결합하여 빠른 움직임과 완전한 폐쇄를 견고하게 처리함으로써 새로운 합성 벤치마크에서 최첨단 성능을 달성하는 동적 장면을 위한 효율적이고 복구 가능한 6D 포즈 트래커입니다.

원저자: Junyue Li, Ye Zheng, Yifan Chen, Zhe Sun, Xuelong Li

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junyue Li, Ye Zheng, Yifan Chen, Zhe Sun, Xuelong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 팔에게 날아오는 공을 잡는 법을 가르치거나, 드론에게 복잡한 창고를 질주하며 패키지를 낚아채는 법을 가르치려 한다고 상상해 보십시오. 이를 위해 로봇은 물체가 3D 공간의 정확히 어디에 있는지 알아야 합니다. 단순히 왼쪽인지 오른쪽인지뿐만 아니라, 얼마나 멀리 떨어져 있는지, 그리고 기울어졌는지, 회전하고 있는지, 혹은 뒤집혀 있는지까지도 말입니다. 이것을 "6D 포즈 트래킹(6D pose tracking)"이라고 부릅니다. 이는 마치 로봇의 두뇌가 실시간으로 물체의 전체적인 위치와 방향을 끊임없이 추측하는 것과 같습니다.

하지만 현실 세계는 무질서합니다. 물체는 빠르게 움직이고, 카메라는 흔들리며, 때로는 물체가 벽이나 다른 물체 뒤로 사라지기도 합니다. 만약 로봇이 단 한 순간이라도 대상을 놓치면, 혼란에 빠지거나 물체가 어디 있었는지 잊어버리거나, 혹은 무작정 짐작하여 로봇이 충돌하거나 물체를 떨어뜨리는 결과를 초래할 수 있습니다. 현재의 방식들은 상황이 차분할 때는 성능이 좋지만, 물체가 빠르게 움직이거나 시야에서 사라질 때는 종종 실패합니다. 그것들은 마치 사람이 어둡고 붐비는 방 안에서 친구를 따라가려는 것과 같습니다. 친구가 기둥 뒤로 발을 들이는 순간, 그 사람은 친구를 영영 놓쳐버리거나 친구가 다시 나타났을 때 엉뚱한 방향을 예측하게 됩니다.

여기서 RRTrack이라는 새로운 시스템이 등장합니다. 이것을 결면 결코 평정심을 잃지 않는, 매우 똑똑하고 빠른 로봇 조수라고 생각하십시오. RRTrack의 연구자들은 기존의 트래커들이 모든 프레임에서 물체를 완벽하게 보는 것에 너무 의존하고 있다는 점을 깨달았습니다. 만약 물체가 너무 빠르게 움직이거나 가려지면 트래커는 고장 나게 됩니다. 이를 해결하기 위해, 그들은 세상을 바라보는 두 가지 서로 다른 방식을 결합한 시스템을 구축했습니다. 하나는 화면상의 물체의 형태와 위치만을 추적하는 "2D 눈"이고(마치 비디오 게임 캐릭터 트래커처럼), 다른 하나는 물체의 실제 3D 형태와 기하학적 구조를 이해하는 "3D 두뇌"입니다.

RRTrack의 마법은 이 두 부분이 서로 어떻게 소통하느냐에 달려 있습니다. "2D 눈"은 물체가 잠시 숨겨지더라도 물체가 있어야 할 위치에 대한 실행 기록을 유지합니다. "3D 두뇌"는 물체의 3D 형태가 "2D 눈"이 보는 것과 일치하는지 끊임없이 확인합니다. 만약 둘 사이의 의견이 일치하지 않는다면, 시스템은 무언가 잘못되었다는 것을 인지하고 즉시 스스로를 수정합니다. 하지만 진짜 기술은 물체가 완전히 사라졌을 때 일어납니다. 여러분이 숨바꼭질을 하고 있다고 상상해 보십시오. 친구가 벽 뒤로 달려갔습니다. 대부분의 트래커는 그냥 포기할 것입니다. 하지만 RRTrack은 특별한 "복구 키트"를 가지고 있습니다. 이 시스템은 (컴퓨터 시뮬레이션과 이전에 물체를 실제로 보았던 순간들로부터 얻은) 가능한 모든 각도에서의 물체 모습을 담은 정신적 라이브러리를 보유하고 있습니다. 물체가 다시 나타나면, RRTrack은 이 라이러리를 새로운 시각과 즉시 대조하여, 인간이 "여기 좀 봐!"라고 알려주지 않아도 물체가 정확히 어디에 있는지 추측해 냅니다.

연구진은 빠른 속도로 움직이는 로봇, 날아다니는 드론, 그리고 물체가 완전히 가려졌다가 다시 나타나는 상황이 포함된 가상 세계에서 이 시스템을 테스트했습니다. 그들은 RRTrack이 흐름을 따라가는 데 매우 뛰어나다는 것을 발견했습니다. 다른 방식들이 물체가 빠르게 움직이거나 가려질 때 고전하거나 완전히 실패했던 반면, RRTrack은 목표를 놓치지 않고 따라붙었습니다. 테스트 결과, RRTrack은 어떤 경우 기존의 최고 방식보다 약 66% 더 높은 추적 정확도를 보였으며, 동시에 실시간 비디오(초당 약 55프레임)를 따라갈 수 있을 만큼 충분히 빠르게 작동했습니다. 또한 그들은 카메라가 흔들리고 조명이 좋지 않은 주차장에서 드론이 비행하는 실제 환경에서도 테스트를 진행했는데, 시스템은 드론을 계속 추적해 냈으며 장애물 뒤로 날아간 후에도 위치를 복구해 냈습니다.

요약하자면, RRTrack은 역동적인 장면에서 "맥락을 놓치는(losing the plot)" 문제를 해결합니다. 이것은 단순히 관찰하는 것이 아니라, 기억하고, 재확인하며, 물체가 사라졌을 때를 대비한 백업 플랜을 가지고 있습니다. 빠른 시각적 트래커와 스마트한 3D 검증기, 그리고 영리한 복구 시스템을 결합함으로써, RRTrack은 로봇이 훨씬 더 역동적이고 예측 불가능한 현실 세계를 더 잘 다룰 수 있게 해줍니다. 이는 머지않아 로봇이 공장, 창고, 또는 가정에서 인간과 함께 협력하며, 물체가 너무 빨리 움직이거나 가려질 때 당황하지 않고 물체를 쫓고, 잡고, 조작하는 과업을 수행할 수 있음을 의미합니다.

기술 요약: RRTrack

문제 정의

정확하고 실시간적인 객체 6D 포즈 추적은 조작(manipulation), 시각적 서보잉(visual servoing), 내비게이션과 같은 로봇 응용 분야에서 필수적입니다. 그러나 기존 방법들은 급격한 객체 움직임, 갑작스러운 시점 변화, 폐쇄(occlusion)로 인한 일시적인 타겟 소실이 발생하는 역동적인 산업 환경에서 상당한 어려움에 직면해 있습니다.

현재의 접근 방식들은 두 가지 주요 한계점을 가집니다:

포즈 기반 추적(Pose-based tracking): 국소 최적화(local optimization)에 크게 의존하며, 이는 객체가 포즈 정밀화기(pose refiner)의 수렴 영역을 벗어날 때(예: 빠른 움직임 발생 시) 실패합니다.
2D 기반 추적(2D-based tracking): 빠른 움직임에는 강하지만, 기하학적 검증이 부족하여 폐쇄나 외형 변화가 발생할 때 드리프트(drift) 현상이 나타날 수 있습니다. 신뢰할 수 없는 관측치가 메모리에 통합되면 오류가 누적되어 돌이킬 수 없는 실패를 초래합니다.

또한, 대부분의 기존 프레임워크는 추적의 연속성에 집중할 뿐, 수동 재초기화 없이 "소실-재출현(disappearance–reappearance)" 이벤트를 극복할 수 있는 강력한 메커니즘이 부족합니다. 따라서 추적의 견고성, 메모리의 신뢰성, 그리고 회복 효율성을 공동으로 해결하는 통합된 프레임워크가 필요합니다.

방법론

저자들은 미학습 객체(unseen objects)를 위해 설계된, 학습이 필요 없고 회복 가능한 객체 6D 포치 추적 프레임워크인 RRTrack을 제안합니다. RRTrack은 메모리 기반 비디오 객체 분할(VOS)과 CAD 모델 기반 포즈 정밀화 사이의 폐쇄 루프 상호작용을 구축합니다.

1. 폐쇄 루프 2D–6D 추적 (Closed-Loop 2D–6D Tracking)

이 구성 요소는 메모리 기반 2D 트래커와 동결된(frozen) FoundationPose 정밀화기를 결합합니다.

2D 관측 스트림: CUTIE를 사용하여 시간에 따라 객체 중심 마스크( $M_t$ )를 전파하며, 짧은 폐쇄 기간 동안 타겟 지지(support)를 유지합니다.
6D 포즈 정밀화: 동결된 FoundationPose 정밀화기를 사용하여 RGB-D 관측으로부터 객체 포즈를 지속적으로 업데이트합니다.
렌더링된 마스크 일치(Rendered-Mask Agreement): 현재 6D 포즈 추정치로부터 이진 마스크( $R_t$ $R_{t}$ )를 렌더링하고 이를 전파된 2D 마스크( $M_t$ $M_{t}$ )와 비교하는 핵심 메커니즘입니다. 두 가지 점수가 계산됩니다:
- $P_t$ : 정밀도(Precision, 렌더링된 포즈가 2D 지지를 얼마나 잘 설명하는가)
- $S_t$ : 재현율(Recall, 렌더링된 객체의 어느 정도가 2D 지지에 의해 커버되는가)
상태 관리 및 교정:
- 스냅 교정(Snap Correction): 포즈 정밀도는 떨어졌으나 2D 마스크가 여전히 신뢰할 수 있는 경우, 회전은 유지한 채 2D 마스크 중심과 깊도를 기반으로 위치(translation)를 재추정하는 "스냅" 업데이트를 수행합니다.
- 품질 게이트형 메모리 주입(Quality-Gated Memory Injection): 장기 메모리와 온라인 템플릿 뱅크에 대한 업데이트는 일치 점수( $P_t, S_t$ )와 엔트로피( $H_t$ )에 의해 엄격하게 제어됩니다. 이는 드리프트를 유발할 수 있는 신뢰할 수 없거나 폐쇄된 관측치가 저장되는 것을 방지합니다.

2. 상태 인지 회복 (State-Aware Recovery)

트래커가 신뢰할 수 없는 상태(명시적인 손실 또는 정체 테스트를 통해 감지됨)에 진입하면 회복 모듈이 활성화됩니다.

이중 뱅크 검색(Dual-Bank Retrieval): 시스템은 두 가지 상호 보완적인 뱅크에서 거친 포즈 가설을 검색합니다:
- 오프라인 뱅크(Offline Bank): 전구(full-sphere) 뷰를 커버하는 256개의 합성 템플릿을 포함합니다.
- 온라인 뱅크(Online Bank): 도메인 차이를 메우기 위해 고품질 추적 기간의 관측 앵커를 동적으로 저장합니다.
특징 매칭: DINOv2를 사용하여 현재 마스킹된 관측값으로부터 글로벌 CLS 토큰 디스크립터를 추출합니다. 코사인 유사도를 기반으로 두 뱅크에서 상위 $K$ 개의 후보를 검색합니다.
정밀화 및 검증: 검색된 후보들은 FoundationPose 정밀화기를 사용하여 정밀화됩니다. 가장 적합한 후보는 렌더링된 마스크 정밀도( $P^*_t$ )가 적응형 임계값을 초과할 때만 수락되어, 재초기화 전 기하학적 일관성을 보장합니다.

3. 적응형 임계값 설정 (Adaptive Thresholding)

EMA–MAD(지수 이동 평균 – 중앙값 절대 편차) 관리자가 안정적인 추적 통계치를 바탕으로 추적 지속, 메모리 업데이트 및 회복 수락을 위한 임계값을 동적으로 계산하여, 시스템이 다양한 장면 조건에 적응할 수 있도록 합니다.

주요 기여

2D–6D 폐쇄 루프 트래커: 시각적 메모리와 기하학적 포즈 추정을 통합하고, 렌더링된 마스크 일치를 활용하여 관측치를 검증하고 메모리 업데이트를 드리프트로부터 보호하는 프레임워크입니다.
DINOv2 기반 이중 뱅크 회복: 타겟 상실 후 효율적인 포즈 재초기화를 위해 오프라인 합성 템플릿과 온라인 관측 앵커를 공동으로 활용하며, 상태 인지 컨트롤러에 의해 관리되는 학습이 필요 없는 회복 전략입니다.
합성 벤치마크: 빠른 움직임, 완전 폐쇄, 재출현 이벤트를 특징으로 하는 세 가지 로봇 시나리오(Franka-YCB, Agile Quadcopter, Dingo Factory)로 구성된 새로운 벤치마크를 제시하여, 역동적인 조건에서의 6D 포즈 추적을 평가하도록 설계되었습니다.

실험 결과

저자들은 제안된 합성 벤치마크와 실제 드론 시퀀스에서 RRTrack을 평가했습니다.

합성 벤치마크 성능:
- RRTrack은 73.5%의 equal-subset mean ADD-S AR과 49.2%의 ADD-S AUC를 달성했습니다.
- 이는 베이스라인인 FoundationPose 대비 ADD-S AR에서 66.3%, ADD-S AUC에서 65.7% 향상된 수치입니다.
- 시스템은 추가된 회복 및 검증 모듈에도 불구하고 55.2 FPS를 유지하며 실시간 성능을 유지합니다.
- 고역동성 시나리오(Agile Drone)에서 RRTrack은 베이스라인(예: FoundationPose의 9.2 ADD-S AR 대비 81.7)을 크게 압도했습니다.
- 소실-재출현 시나리오(Dingo)에서 RRTrack은 우수한 회복 능력을 보여준 반면, 다른 방법들은 종종 추적 재설정에 실패했습니다.
실제 환경 검증:
- 노이즈가 있는 센싱(핸드헬드 카메라, 모션 블러, 폐쇄)이 포함된 민첩한 드론 시퀀스에 대한 정성적 실험에서, RRTrack은 FoundationPose와 같은 베이스라인이 드리프트하거나 타겟을 놓치는 상황에서도 시각적으로 일관된 6D 바운딩 박스 정렬을 유지함을 입증했습니다.
- 시스템은 실제 시퀀스에서 49.3 FPS의 실시간 속도를 유지했습니다.
절제 연구(Ablation Studies):
- CUTIE 백본을 SAM2 또는 OSTracker로 교체했을 때 속도 저하나 정확도 손실이 발생하여 CUTIE의 선택이 타당함을 입증했습니다.
- 이중 뱅크 회복 모듈이나 포즈 게이트형 메모리 제어를 제거하면 회복 성공률과 회복된 포즈의 기하학적 품질이 감소했습니다.
- 적응형 임계값 설정은 고정 임계값에 비해 회복 지연을 줄이는 데 결정적인 역할을 하는 것으로 나타났습니다.

의의 및 주장

본 논문은 RRTrack이 역동적인 장면에서 추적의 견고성과 신뢰할 수 있는 회복 사이의 결정적인 단절을 해결한다고 주장합니다. 시각적 메모리, 기하학적 검증, 검색 기반 회복을 긴밀하게 결합함으로써, 이 프레 framework는 수동 재초기화 없이 장기 추적을 가능하게 합니다.

저자들은 이 접근 방식이 특정 작업에 대한 미세 조정 없이 동결된 파운데이션 모델(FoundationPose, DINOv2, CUTIE)에 의존하는 학습이 필요 없는(training-free) 및 제로샷(zero-shot) 방식임을 강조합니다. 제안된 합성 벤치마크는 고역동성 및 소실-재출현 이벤트를 명시적으로 다룸으로써 기존 문헌의 공백을 메우며, 이는 BOP와 같은 표준 벤치마크에서는 과소 대표되는 실제 로봇 운영의 일반적인 상황입니다. 결과에 따르면 RRTrack은 복잡하고 폐쇄되며 빠르게 변화하는 환경에서 작동하는 산업용 로봇 시스템에 실질적인 솔루션을 제공합니다.