💻 computer science

EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking

EgoTrack3D는 모션 스코어링과 복셀 기반 병합을 통해 2D 마스크를 글로벌 좌표계로 리프팅함으로써 1인칭 시점(egocentric) RGB 비디오로부터 동적인 3D 장면 표현을 재구성하고 유지하는 모듈형 프레임워크로, 희소하고 노이즈가 있는 관측 조건에서도 견고함을 유지하며 ADT 데이터셋에서 최첨단 추적 정확도를 달성합니다.

원저자: Jan Kulik, Bjarni Dagur Thor Karason, Yung-Hsu Yang, Boyang Sun, Marc Pollefeys, Xi Wang

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jan Kulik, Bjarni Dagur Thor Karason, Yung-Hsu Yang, Boyang Sun, Marc Pollefeys, Xi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇이나 비디오 게임 캐릭터처럼 세상을 3D로 볼 수 있는 첨단 기술 안경을 쓰고 있다고 상상해 보세요. 주변을 안전하게 탐색하기 위해, 이 안경은 주변의 모든 것, 즉 의자가 어디에 있는지, 커피컵이 어디에 놓여 있는지, 그리고 사람이 옆을 지나갈 때 장면이 어떻게 변하는지를 파악하여 머릿속에 지도를 그려야 합니다. 이것이 바로 컴퓨터가 카메라 영상을 통해 물리적 세계를 이해하려고 노력하는 분야인 **3D 인지(3D perception)**의 세계입니다.

보통 컴퓨터는 2D 사진(예: 사진 속의 고양이를 찾는 것)에서 사물을 포착하는 데 매우 뛰어납니다. 하지만 당신이 머리를 움직이면 세상은 뒤틀리고, 물체들은 서로의 뒤로 숨기도 하며, 상황은 까다로워집니다. 진정한 3D 지도를 구축하려면 컴퓨터는 단순히 물체가 '무엇'인지뿐만 아니라, 그것이 공간의 '정확히 어디'에 있는지, 그리고 시간이 흐름에 따라 어떻게 움직이는지도 알아야 합니다. 이것이 바로 **3D 객체 추적(3D object tracking)**입니다. 이는 어지러운 방을 찍은 단 한 장의 스냅샷을 찍는 것과, 당신이 방 안을 걸어 다닐 때마다 매 초마다 업데이트되는 라이브 3D 모델을 갖는 것의 차이와 같습니다. 이는 장난이에 걸려 넘어지는 것을 피해야 하는 로봇이나, 가상 드래곤이 실제 테이블 위에서 떠다니지 않게 배치하려는 증강 현실(AR) 앱에 매우 중요합니다.

문제점: "1인칭 시점"의 혼란

당신이 머리에 카메라를 쓰고 북적이는 주방을 걷고 있다고 상상해 보세요. 당신은 머그컵을 집어 들고, 테이블을 지나가고, 빠르게 몸을 돌립니다. 컴퓨터에게 이것은 악몽입니다. 시야는 격렬하게 회전하고, 당신의 손이 머그컵의 시야를 가리며, 물체들이 나타났다 사라졌다 합니다. 3D 지도를 구축하는 기존 방식들은 여기서 혼란을 겪습니다. 어떤 방식은 모든 것이 정지해 있다고 가정하며(마치 박물관처럼), 다른 방식은 현재 당신이 만지고 있는 것만을 추적합니다. 이들은 특히 카메라가 빠르게 움직이고 시야가 어지러울 때, 방 안의 모든 물체에 대해 일관된 "기억"을 유지하는 데 어려움을 겪습니다.

해결책: EgoTrack3D

첫 번째 시점 영상의 궁극적인 "기억 보관자"가 되도록 설계된 새로운 시스템, EgoTrack3D가 등장했습니다. 이것을 혼란스러운 도서관을 위한 매우 체계적인 사서라고 생각해보세요. 이 시스템의 역할은 흔들리고 빠르게 움직이는 영상을 받아, 그 영상에 보이는 모든 물체(정지해 있는 의장이든, 들고 이동 중인 컵이든)에 대한 안정적인 3D 지도로 변환하는 것입니다.

이 시스템은 보유한 정보의 양에 따라 두 가지 주요 모드로 작동합니다:

"고해상도" 모드 (Dense): 만약 컴퓨터가 완벽한 3D 깊이 데이터(매우 정확한 3D 스캐너와 같은)를 가지고 있다면, 이는 마치 숙련된 조각가처럼 행동합니다. 영상에서 추출한 물체의 2D 윤곽선을 가져와 이를 3D 공간으로 "들어 올려", 모든 아이템의 완전한 포인트 클라우드(point-cloud) 모델을 구축합니다. 그런 다음 특수한 동작 감지기를 사용하여 어떤 물체가 움직이고 있고 어떤 것이 제자리에 있는지 파악합니다. 만약 동일한 물체를 두 번 보게 된다면, 데이터를 똑똑하게 병합하여 하나의 의자를 두 개의 서로 다른 의치로 계산하지 않도록 합니다.
"실제 환경" 모드 (Sparse): 실제 세상에서는 완벽한 3D 스캐너를 구하기 어렵습니다. 종종 컴퓨터는 사물의 위치에 대해 대략적인 추측만을 가질 뿐입니다. 이 모드에서 EgoTrack3D는 전략을 바꿉니다. 모든 픽셀에 대해 완벽한 3D 모델을 만들려고 노력하는 대신, 각 물체에 대해 "최선의 추측"인 3D 박스를 사용합니다. 움직이는 손과 흔들리는 카메라의 혼란을 처리하기 위해, 이 시스템은 **상호작용(interactions)**을 관찰하는 영리한 트릭을 사용합니다. 만약 손이 냄비를 잡는 것을 본다면, 시스템은 그 냄비가 "동적(dynamic)"임을 인지하고 특별한 주의를 기울여야 함을 압니다. 또한 3D 박스가 다소 흔들리더라도 해당 냄비를 계속 추적할 수 있도록 임시 "앵커(anchor)"를 생성합니다.

작동 원리: 탐정의 도구 상자

이 시스템은 퍼즐을 풀기 위해 몇 가지 영리한 도구를 사용합니다:

모션 스코어 (Motion Score): 단순히 무언가가 움직이는지 추측하는 것이 아니라, 물체 위의 미세한 점들을 추적합니다. 만약 이 점들이 크게 변하면 시스템은 해당 물체를 "움س 움직이는 것"으로 표시하고 위치를 빠르게 업데이트합니다. 점들이 움직이지 않는다면, 그 물체를 방의 고정된 정적 부분으로 취급합니다.
복셀 병합 (Voxel Merge): 3D 세상이 "복셀(voxel)"이라고 불리는 작은 3D 픽셀들로 이루어져 있다고 상상해 보세요. 만약 시스템이 두 물체가 같은 공간을 차지하고 있는 것을 발견하면, 이는 동일한 물체일 가능성이 높다는 것을 압니다. 시스템은 이들을 하나로 병합하여 지도를 정리하고 중복을 제거합니다.
상호작용 가이드 (Interaction Guide): "Sparse" 모드에서 컴퓨터가 움직이는 물체에 대해 확신이 없을 때, 시스템은 손을 관찰합니다. 만약 손이 물체를 잡고 있다면, 시스템은 그 물체에 "VIP 패스"를 부여하여, 3D 데이터가 노이즈가 심하더라도 해당 물체가 길을 잃거나 다른 아이템과 혼동되지 않도록 보장합니다.

결과: 더 선명한 그림

연구진은 완벽한 3D 데이터를 사용할 수 있는 Aria Digital Twin (ADT) 데이터셋을 사용하여 EgoTrack3D를 테스트했습니다. 그들은 이 시스템을 기존의 강력한 방법들과 비교했습니다.

결과는 유망했습니다. 완벽한 데이터를 사용할 때, EgoTrack3D는 가장 강력한 기존 베이스라인과 비교하여 물체 위치 파악 정확도를 11% 향상시켰습니다. "고해상도" 모드에서 이 시스템은 **63.01%**의 물체가 정확하게 추적 및 위치 파악되었다는 점수(PCL이라는 지표로 측정됨)를 달성했으며, 이는 중복 발생이나 추적 실패로 어려움을 겪었던 다른 방법들보다 현저히 높은 수치였습니다.

데이터가 지저분하고 불완전한 "실제 환경" 모드에서도, 시스템은 유용한 3D 지도를 구축할 수 있음을 보여주었습니다. 이 시스템은 냄비나 메모장처럼 조작되는 물체들을 시점이 크게 변하는 상황에서도 성공적으로 추적해 냈으며, 이는 다른 시스템들이 흔히 실패하거나 물체를 놓쳐버리는 작업이었습니다.

결론

EgoTrack3D가 모든 문제를 즉각적으로 해결하는 마법 지팡이는 아닙니다. 저자들은 카메라의 깊이 데이터가 매우 노이즈가 심할 경우 시스템이 여전히 혼란을 겪을 수 있으며, 물체가 오랫�이 사라졌다가 다시 나타날 때 재식별하는 데 어려움을 겪을 수 있음을 인정합니다. 그러나 이 논문은 입력값의 품질에 따라 서로 다른 도구를 교체할 수 있는 "모듈형" 방식(modular)을 취함으로써, 이 시스템이 견고한 진전을 이루었음을 시사합니다. 이는 우리가 1인칭 영상을 통해 정지된 가구와 일상의 역동적인 혼란을 모두 다루는 동적인 3D 지도를 구축할 수 있음을 입증하며, 더 똑똑한 로봇과 더 몰입감 있는 증강 현실을 위한 길을 열어줍니다.

기술 요약: EgoTrack3D

문제 정의

1인칭 시점(egocentric) 비디오로부터 3D 장면을 이해하는 것은 로보틱스와 자율 주행에 있어 매우 중요하지만, 급격한 시점 변화, 부분적인 폐쇄(occlusion), 절단된 시야(truncated field of view), 그리고 객체의 빈번한 진입 및 퇴출로 인해 독특한 과제들을 안고 있습니다. 2D 장면 그래프(scene graph)는 고차원적 추론 측면에서 발전해 왔으나, 기존의 3D 트래킹 및 장면 그래프 구축 방법들은 역동적인 1인칭 환경에서 실패하는 경우가 많습니다. 현재의 접근 방식들은 대개 정적인 장면을 가정하거나, 미리 계산된 표현 방식에 의존하거나, 혹은 사전에 정의된 상호작용 객체에만 집중합니다. 결과적으로, 사전 환경 모델 없이 1인칭 RGB 비디오로부터 정적 및 동적 객체 모두에 대해 지속적인 전체 장면 3D 트래킹을 유지할 수 있는 방법론이 부족한 실정입니다.

방법론

저자들은 1인칭 RGB 비디오로부터 동적인 3D 장면 표현을 직접 재구성하고 유지하도록 설계된 모듈형 프레임워크인 EgoTrack3D를 소개합니다. 이 프레임워크는 2D 세그멘테이션 마스크를 전역 3D 좌표계로 리프팅(lifting)하며, 기하학적 및 시각적 특징을 사용하여 객체를 추적합니다. 파이프라인은 입력 제약 조건에 따라 두 가지 변체(variant)로 나뉩니다.

1. EgoTrack3D-Dense (제어된 환경)

이 변체는 정확한 픽셀당 메트릭 깊이(metric depth), 카메라 포즈, 세그멘테이션 마스크가 가용하다고 가정합니다 (예: Aria Digital Twin 데이터셋의 ground truth 사용).

전처리: 각 프레임에 대한 세그멘테이션 마스크와 깊이 지도를 생성합니다.
모션 탐지: CoTracker3를 활용하여 시간 창( $\Delta t$ ) 동안 $N \times N$ 그리드의 점들을 추적합니다. 각 점에 대한 모션 및 방향 점수를 계산합니다. 객체는 집계된 모션 및 방향 점수가 특정 임계값을 초과할 경우 움직이는 것으로 분류됩니다.
외관 임베딩(Appearance Embedding): 프레임 간 연관성을 지원하기 위해 MASA를 사용하여 객체별 시각적 임베딩을 추출합니다.
3D 리프팅: 깊이, 내적 파라미터(intrinsics), 포즈를 사용하여 2D 이미지 점들을 월드 좌표계로 투영합니다. 각 객체에 대해 3D 점들을 수집하고, 복셀 다운샘플링(voxel-downsampling)을 거친 후, 주성분 분석(PCA)을 통해 정렬된 바운딩 박스(oriented bounding box)를 적합(fitting)시킵니다.
트래킹 및 병합:
- 연관(Association): 3D IoU, Chamfer 거리(형태 유사성), 특징 유사성을 결합한 비용 함수를 사용하여 새로운 탐지 결과와 기존 트랙을 매칭합니다. 할당 문제는 헝가리안 알고리즘(Hungarian algorithm)으로 해결합니다.
- 상태 업데이트: 정적 객체는 시간이 지남에 따라 포인트 클라우드를 축적합니다. 움직이는 객체는 포인트 클라우드를 동적으로 업데이트합니다. 시각적 특징은 지수 평활법(exponentially smoothed)을 적용합니다.
- 트랙 병합: 폐쇄나 부분적인 시야로 인해 발생하는 중복을 제거하기 위해, 상당한 3D 포인트 클라우드 중첩을 가진 트랙들을 복셀 기반 휴리스틱으로 병합합니다.

2. EgoTrack3D-Sparse (실제 환경)

이 변체는 제약 없는 비디오에서 신뢰할 수 있는 밀집 깊이(dense depth)의 문제를 해결하기 위해, 밀집 리프팅 모듈을 희소 3D 박스 추정으로 대체합니다.

입력: 모델이 생성한 2D 마스크(CropFormer 사용)와 희소 포인트 클라우드를 사용합니다.
3D 리프팅: 희소 기하 구조로부터 정렬된 3D 바운딩 박스를 예측하기 위해 BoxerNet을 채택합니다.
동적 연관(Dynamic Association): 손으로 잡는 객체(hand-held objects)에 대한 BoxerNet의 예측은 노이즈가 발생할 수 있으므로, 시스템은 상호작용 가이드 동적 연관을 사용합니다:
- Hands23이 손과 상호작용하는 객체를 탐지합니다.
- 손과 상호작용하는 객체와 겹치는 마스크는 동적인 것으로 표시됩니다.
- 이 동적 마스크에 대해 단기 SAM2 트랙을 초기화하고 $K$ 프레임 동안 전파합니다.
- 전파된 SAM2 마스크와 겹치는 탐지 결과는 기하학적 할당 이전에 동일한 ID로 강하게 연관(hard-associated)되어, 조작되는 객체에 대한 견고한 2D 앵커를 생성합니다.
병합: 중복 트랙은 3D 박스 및 외관 유사성을 기준으로 병합되지만, 별도의 동적 마스크 ID에 의해 보호받는 경우는 제외됩니다.

주요 기여

모듈형 파이프라인: 2D 세그멘테이션을 시간적으로 일관된 3D 객체 트랙으로 리프팅하는 프레임워크로, 밀집(dense) 및 희소(sparse) 3D 입력 모두에 적응 가능합니다.
모션 인지 연관(Motion-Aware Association): 기하학(3D IoU, Chamfer 거리)과 외관(시각적 특징)을 결합하여 정적 객체와 동적 객체를 구분하고 선택적 업데이트를 가능하게 하는 메커니즘입니다.
희소 입력 변체: BoxerNet 기반 3D 박스와 상호작용 가이드 동적 연관을 사용하는 견고한 구성을 통해, 밀집 메트릭 깊이 없이도 시스템이 작동할 수 있도록 합니다.
포괄적인 평가: Aria Digital Twin (ADT) 및 HD-EPIC 데이터셋에 대한 평가를 통해, 정확한 입력과 노이즈가 있는 입력 조건 모두에서 개선된 3D 트래킹 일관성을 입증했습니다.

결과

밀집 입력 (ADT): EgoTrack3D-Dense는 ADT 데이터셋에서 가장 강력한 베이스라인인 Boxer 대비 11% 향상된 위치 정확도 백분율(PCL)을 달ometric했습니다. 구체적으로, 정적 장면 중심인 Boxer의 평균 PCL 56.53%에 비해 **63.01%**의 평균 PCL을 기록했습니다. 또 다른 베이스라인인 OSNOM은 21.41%로 훨씬 낮은 점수를 기록했습니다. 트랙 병합 휴리스틱은 병합 기능이 없는 변체(34.36%) 대비 시스템의 평균 PCL을 83.38% 개선함으로써 핵심적인 역할을 하는 것으로 나타났습니다.
희소 입력 (ADT): 밀집 깊이를 희소 입력으로 대체했을 때, EgoTrack3D-Sparse는 F1 스코어를 29.88%(Boxer 베이스라인)에서 **40.79%**로 향상시켰습니다. 종합적인 지표는 정적 객체에 의해 지배되었으나, 상호작용 가이드 구성 요소는 조작되는 객체의 ID를 유지하는 데 필수적인 것으로 증명되었습니다.
정성적 결과 (HD-EPIC): 실제 제약 없는 비디오에서, 희소 변체는 큰 시점 변화 속에서도 조작되는 객체(예: 메모장, 냄비)의 ID를 성공적으로 보존했습니다. 반면, 상호작용 가이드 연관을 제거했을 때는 트랙을 놓치거나 잘못 연관되는 문제가 발생했습니다.

의의 및 주장

본 논문은 EgoTrack3D가 역동적인 1인칭 관찰에 대한 지속적인 전체 장면 트래킹의 공백을 메운다고 주장합니다. 정적 위치 추정이나 제한된 상호작용 객체에 집중하는 기존 연구와 달리, EgoTrack3D는 사전 환경 모델 없이 RGB 비디오로부터 환경 전체의 3D 표현을 직접 구축합니다.

저자들은 프레임워크의 모듈성을 강조합니다. 이 시스템은 트래킹 성능을 격리하기 위해 고정밀 ground-truth 입력을 사용할 수도 있고, 상호작용 단서를 활용하여 현실적이고 노이즈가 있는 희소 입력에 적응할 수도 있습니다. 본 시스템이 직접적으로 장면 그래프를 생성하는 것은 아니지만, 장면 그래프로 확장 가능한 필수적인 3D 구조적 표현(객체, 속성, 공간 관계)을 제공합니다. 이 연구는 로보틱스, 증강 현실, 그리고 체화된 공간 추론(embodied spatial reasoning)을 위한 일반화 가능한 동적 3D 장면 재구성을 향한 단계적 진전을 의미합니다.

인정된 한계점:
저자들은 시스템이 인식 모듈(마스크, 깊이, 포즈)의 오류를 상속받는다는 점을 언급했습니다. 밀집 환경에서의 결과는 완전한 엔드투엔드 실세계 인식보다는 정확한 기하학적 입력 하에서의 성능을 반영합니다. 희소 환경에서 시스템은 여전히 손으로 잡는 객체에 대한 BoxerNet 예측의 오류에 민적입니다. 또한, 연관 과정이 기하학적 비용에 크게 의존하므로, 충분한 시각적 증거 없이 3D 위치가 크게 변할 경우 재식별(re-identification)이 어려울 수 있습니다.