💻 computer science

G $^2$ TAM: Geometry Grounded Track Anything Model

이 논문은 새롭게 구축된 InsTrack 데이터셋에 의해 뒷받침되는, 변화하는 시점과 가려짐 현상에 대해 강건하고 프롬프트 가능한 3D 인스턴스 추적 및 비디오 세그멘테이션을 달성하기 위해 공간적으로 정렬된 기하학적 표현을 암시적 메모리로 활용하는 통합 프레임워크인 G $^2$ TAM을 소개한다.

원저자: Chenming Zhu, Peizhou Cao, Jingli Lin, Wenbo Hu, Yunlong Ran, Jiangmiao Pang, Tai Wang, Xihui Liu

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenming Zhu, Peizhou Cao, Jingli Lin, Wenbo Hu, Yunlong Ran, Jiangmiao Pang, Tai Wang, Xihui Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡하고 어질러진 방을 걷고 있다고 상상해 보세요. 당신은 특정한 빨간 의자 하나를 발견합니다. 당신이 방 안을 돌아다닐 때, 당신의 눈에 비친 의자의 모양은 변합니다. 옆에서 보면 평평한 선처럼 보이고, 뒤에서 보면 다리만 보입니다. 만약 당신이 책장 뒤로 지나가면, 의자는 완전히 사라져 버립니다.

현재 대부분의 컴퓨터 비전 시스템은 현재 보이는 모습만으로 사물을 인식하는, 아주 짧은 단기 기억력을 가진 사람과 같습니다. 만약 그 빨간 의자가 "평평한 선"으로 변하거나 가려지게 되면, 이 시스템들은 그것을 놓치게 되어, 이를 새로운 물체로 인식하거나 영원히 사라졌다고 생각하곤 합니다. 이들은 과거에 그 물체가 어떻게 생겼었는지 보여주는 "사진 앨범"에 의존하여 대상을 찾아내려 합니다.

G2TAM(Geometry Grounded Track Anything Model)은 다르게 생각하는 새로운 AI 시스템입니다. 단순히 사진을 기억하는 대신, 이 시스템은 방이 어떻게 생겼는지에 대한 **3D 정신적 지도(mental 3D map)**를 구축합니다. G2TAM은 그 "평평한 선"과 "다리"가 사실은 동일한 빨간 의자라는 것을 이해합니다. 왜냐하면 그것들이 동일한 3D 공간 안에 들어맞기 때문입니다.

다음은 이 시스템이 어떻게 작동하는지에 대한 설명을 쉬운 비유를 들어 설명한 것입니다.

1. 핵심 아이디어: "3D 기억" vs "사진 앨범"

기존 방식 (사진 앨범): 기존 시스템은 물체의 사진들을 쌓아둔 메모리 뱅크를 유지합니다. 만약 물체가 방향을 틀거나 가려지면, 시스템은 일치하는 사진을 찾으려고 시도합니다. 하지만 각도가 너무 다르거나 물체가 너무 오래 가려지면 혼란에 빠집니다.
G2TAM 방식 (정신적 지도): G2TAM은 단순히 사진을 보는 것이 아니라, 장면의 3D 형태를 즉각적으로 파악합니다. 이 3D 형태를 자신의 "기억"으로 삼습니다. 설령 빨간 의자가 벽 뒤에 숨겨지더라도, G2TAM은 방의 기하학적 구조를 이해하고 있기 때문에 3D 공간 내 정확히 어디에 있는지 알고 있습니다. 이 시스템은 사진 더미를 필요로 하지 않습니다. 지속적이고 보이지 않는 지도를 가지고 있기 때문입니다.

2. 명령을 받는 방법 (프롬프트 시스템)

당신은 친구에게 길을 알려주듯 세 가지 방식으로 G2TAM에게 추적할 대상을 말할 수 있습니다:

가리키기: 화면의 한 지점을 탭합니다 (예: "저 빨간 의자").
박스 그리기: 물체 주변에 사각형을 그립니다 (예: "이 박스 안의 의자").
말하기: "창문 근처에 있는 의자를 찾아줘"라고 말합니다.

G2TAM은 이러한 지시를 받아 이를 즉시 자신의 3D 정신적 지도로 변환합니다. 단순히 빨간 덩어리를 찾는 것이 아니라, 그 특정 공간에 있는 당신의 설명과 일치하는 3D 물체를 찾습니다.

3. 학습의 "마법"

논문에 따르면 G2TAM은 두 가지를 동시에 학습하기 때문에 추적 능력이 향상됩니다:

물체를 그리는 법 (Segmentation/분할)
3D 공간을 재구성하는 법 (Reconstruction/재구성)

이것은 마치 자동차를 그리는 법을 배우는 학생과 같습니다. 만약 정면에서 본 자동차만 연습한다면, 옆모습을 그려달라는 요청에는 실패할 수 있습니다. 하지만 자동차를 그리면서 동시에 3D 모델을 만드는 연습을 한다면, 모든 각도에서 바퀴가 차체와 어떻게 연결되는지 이해하게 됩니다. G2TAM도 이와 같습니다. 3D 세계를 재구축하는 법을 배움으로써, 카메라가 움직이거나 물체가 가려질 때 물체를 놓치는 일이 훨씬 줄어듭니다.

4. 할 수 있는 일 (논문의 주장 기반)

연구진은 G2TAM을 테스트하였으며, 다음과 같은 분야에서 탁월한 성능을 보임을 확인했습니다:

혼란 속에서의 추적: 카메라가 격렬하게 회전하거나 물체가 오랫동안 사라지더라도, G2D TAM은 물체가 3D 공간 내 어디에 있어야 하는지 알기 때문에 끝까지 추적할 수 있습니다.
언어 이해: 복잡한 설명(예: "창문 근처의 의자")을 바탕으로 물체를 찾아내고, 다양한 카메라 각도에서도 이를 추적할 수 있습니다.
세계 구축: 추적하는 동안, 카메라의 위치와 방의 깊이(depth)를 포함하여 장면의 3D 지도를 함께 생성합니다.

5. 새로운 "체육관" (데이터셋)

이를 훈련하고 테스트하기 위해, 저자들은 InsTrack이라는 새로운 데이터셋을 구축했습니다. 이것은 영상과 3D 스캔으로 채워진 거대하고 복잡한 장애물 코스를 상상하시면 됩니다. 그들은 물체가 숨겨지거나, 카메라가 빠르게 움직이거나, 지시 사항이 까다로운 특정 도전 과제들을 만들어 G2TAM이 이전 시스템들보다 더 강력하다는 것을 증명했습니다.

요약

G2TAM은 보는 것(물체가 어떻게 생겼는가)과 공간을 이해하는 것(물체가 3D 어디에 있는가)을 결 Combine한 시스템입니다. 기억을 단순히 사진 목록이 아닌 세계의 기하학적 구조에 기반함으로써, G2TAM은 물체가 움직이거나, 모양이 변하거나, 시야에서 사라지더라도 훨씬 더 안정적으로 물체를 추적할 수 있습니다. 이는 AI가 세상을 단순히 2D 사진의 연속이 아니라, 안정적인 3D 공간으로 이해하는 방식, 즉 인간이 세상을 이해하는 방식에 한 걸음 더 다가가는 과정입니다.

기술 요약: G2TAM (Geometry Grounded Track Anything Model)

문제 정의

현재의 비디오 객체 분할(VOS) 및 인스턴스 추적 방법들은 주로 외형 매칭과 명시적인 시간적 메모리 뱅크(temporal memory banks)에 의존합니다. 이러한 방식은 정적이거나 느리게 움직이는 시나리오에서는 효과적이지만, 급격한 시점 변화, 장기적인 폐쇄(occlusion), 그리고 복잡한 동적 장면에서는 어려움을 겪습니다. 이들은 시각적 단서가 저하되거나 객체가 시야에서 벗어날 때 객체의 정체성을 유지하는 데 자주 실패합니다.

기하학(geometry)을 통합하려는 기존의 시도들은 대개 2D 추적 결과를 기성 포즈 및 깊이 추정기를 사용하여 3D 공간으로 사후 투영하는 "매핑을 통한 추적(Tracking-by-Mapping)" 패러다임을 따릅니다. 이러한 다단계 파이프라인은 서로 연결되지 않은 모듈 간의 오차 전파 문제를 겪으며, 정확한 기하학적 정보가 이미 가용한 시나리오로 엄격히 제한됩니다. 본 논문은 근본적인 질문을 제기합니다: 기하학이 단순히 사후 검증 도구가 아니라, 전체 인지 과정을 암시적으로 뒷받받하는 "잠재적 토대(latent foundation)"로서 역할을 할 수 있는가?

방법론

저자들은 순서 없는 RGB 이미지 또는 비디오만을 사용하여 3D 공간에서 프롬프트 가능한 인스턴스 추적을 수행하는 통합 엔드투엔드 프레임워크인 **G2TAM (Geometry Grounded Track Anything Model)**을 제안합니다. 핵심 혁신은 암시적 메모리로서의 기하학(Geometry as Implicit Memory) 개념으로, 공간적으로 정렬된 기하학적 표현이 명시적인 시간적 메모리 뱅크를 대체하여 안정적인 인스턴스 정체성과 위치 파악을 보장합니다.

아키텍처

G2TAM은 Pi3(순열 불변 시각 기하 학습) 아키텍처를 기반으로 구축되었으며 세 가지 주요 구성 요소로 이루어져 있습니다:

프롬프트 인코더 (Prompt Encoders):
- 시각적 프롬프트 (Visual Prompts): 점(points)과 박스(boxes)는 SAM과 유사하게 위치 인코딩(random Fourier features)과 학습 가능한 타입 임베딩을 사용하여 인코딩됩니다.
- 텍스트 프롬프트 (Text Prompts): 텍스트는 토큰화되어 CLIP 텍스트 인코더를 통해 처리되며, 학습 가능한 임베딩으로 투영됩니다.
교차 모달 공간 인코더 (Cross-Modal Spatial Encoder):
- 이것이 핵심적인 혁신입니다. 이는 시각적 토큰(DINOv2 백본에서 추출), 프롬프트 토큰, 그리고 학습 가능한 레지스터 토큰을 하나의 통일된 시퀀스로 융합합니다.
- 조기 융합 (Early Fusion): 프롬프트를 디코딩 단계 후반에 주입하는 방식과 달리, G2TAM은 텍스트와 시각적 프롬프트를 조기에 통합합니다. 텍text 토큰은 모든 프레임에 걸쳐 글로벌 컨디셔닝 신호로 삽입되는 반면, 시각적 프롬프트는 특정 프레임에 국한됩니다.
- 인코더는 교대적인 인트라 뷰 셀프 어텐션(intra-view self-attention)과 글로벌 크로스 뷰 어텐션(global cross-view attention) 블록을 사용하여 공유된 기하-의미적 특징 공간을 구축합니다.
기하 및 마스크 디코더 (Geometry & Mask Decoders):
- 기하 디코더 (Geometry Decoder): Pi3에서 상속되었으며, 카메라 포즈( $K_i$ ), 픽셀 정렬 3D 포인트 맵( $X_i$ ), 그리고 신뢰도 맵( $C_i$ )을 포함한 포괄적인 기하 세트를 각 프레임에 대해 예측합니다.
- 마스크 디코더 (Mask Decoder): SAM에서 변형되었으며, 인스턴스 마스크( $M_i$ )를 예측합니다. 조기 융합 덕분에 마스크 디코딩 과정에서 프롬프트 임베딩은 제거되며, 모델은 융합된 기하-의미적 표현에 의존합니다. 추가적인 MLP 헤드는 타겟 객체의 존재 가능성을 예측합니다.

학습 전략

모델은 다음과 같은 합성 손실 함수를 통해 엔드투엔드로 학습됩니다:
$L = \lambda_{seg}L_{seg} + \lambda_{geo}L_{geo}$

분할 손실 ( $L_{seg}$ ): Binary Cross-Entropy와 Dice loss의 가중 합입니다.
기하 손실 ( $L_{geo}$ ): 포인트 재구성 손실, 표면 법선(surface normal) 손실, 신뢰도 손실, 그리고 카메라 포즈 손실을 포함합니다.
데이터: 모델은 분할 데이터셋(예: DAVIS, SA-V), 재구성 데이터셋(예: ScanNet++, OmniWorld), 그리고 새롭게 도입된 InsTrack 데이터셋의 대규모 집합체를 통해 학습됩니다.

데이터셋: InsTrack

학습과 평가를 지원하기 위해 저자들은 ScanNet++에서 유도된 대규모 데이터셋인 InsTrack을 구축했습니다. 특징은 다음과 같습니다:

856개의 학습 장면과 50개의 검증 장면.
멀티 모달 프롬프트(텍스트, 점, 박스) 및 인스턴스 일관성을 가진 3D 마스크.
벤치마킹을 위한 전용 검증 스플릿.
프롬프트를 생성하고 3D 메쉬 주석을 2D 마스크로 래스터화하는 자동화된 파이프라인.

주요 기여

G2TAM 프레임워크: 명시적인 3D 입력이나 시간적 메모리 뱅크 없이 공동의 3D 재구성과 공간-시간적 일관성을 가진 인스턴스 분할을 수행하는 통합 모델입니다.
암시적 메모리로서의 기하학: 정렬된 기하학적 표현이 외형 기반 메모리보다 도전적인 뷰에서 더 우수한 성능을 보이며, 정체성 추론을 위한 지속적인 메모리 역할을 할 수 있다는 제안입니다.
교차 모달 공간 인코더: 텍스트와 시각적 프롬프트를 공유된 기하 공간에 직접 통합하여 강력한 멀티 모달 추론을 가능하게 하는 조기 융합 메커니즘입니다.
InsTrack 데이터셋 및 벤치마크: 정적 시나리오에서 뷰 간 인스턴스 분할 일관성을 평가하기 위해 설계된 새로운 데이터셋과 프롬프트 가능한 인스턴스 공간 추적(PIST) 태스크를 제공합니다.

실험 결과

광범한 실험을 통해 G2TAM의 우수성을 입증했습니다:

프롬프트 가능한 인스턴스 공간 추적 (PIST): InsTrack 검증 세트에서 G2TAM은 74.3 S-mIoU를 달성하여 SAM2(47.6 S-mIoU) 및 기타 VOS 모델을 크게 앞질렀습니다. 외형 기반 모델들이 실패하는 큰 시점 변화 상황에서도 높은 일관성을 유지합니다.
3D 시각적 그라운딩 (3D Visual Grounding): G2TAM은 ScanRefer에서 45.7% Acc@0.5를 달성하여 이전 SOTA(VLM-Grounder, 32.8%)를 능가했습니다. 이는 모델이 명시적인 포인트 클라우드 입력에 의지하지 않고 2D 이미지로부터 직접 객체 관계를 추론할 수 있음을 보여줍니다.
비디오 객체 분할 (Video Object Segmentation):
- 준지도 VOS (Semi-supervised VOS): G2TAM은 MOSE와 같은 벤치마크에서 SAM2(77.8 vs 5.2 J&F)를 능가하며, 심한 폐쇄에 대한 강건함을 보여줍니다.
- 참조 VOS (Referring VOS, RVOS): G2TAM은 Ref-YTVOS에서 72.2 J&F를 달성하여 ReferDINO보다 2.9 높게 나타났습니다.
절제 연구 (Ablation Studies):
- 결합 학습 (Joint Training): 재구성과 분할을 결합하여 학습하면 분할 전용 학습에 비해 분할 정확도가 4.0% 향상되어, 기하학이 정규화 도구로서 유효함을 입증했습니다.
- 메모리 (Memory): 명시적인 메모리 모듈(SAM2와 같은)을 추가해도 성능이 일관되게 향 향상되지 않았으며, 이는 암시적 기하 메모리가 충분함을 시사합니다.
- 시간적 강건성 (Temporal Robustness): 모델은 입력 프레임이 시간적으로 섞여도 성능을 유지하며, 이는 시간적 연속성이 아닌 공간적 일관성에 의존함을 확인시켜 줍니다.

의의 및 주장

본 논문은 G2TAM이 상호작용 가능한, 기하학에 기반한 공간 추론의 토대를 마련한다고 주장합니다. 외형과 기하학을 잠재적이고 공간적으로 정렬된 특징 공간 내에 통합함으로써, 모델은 다단계 파이프라인의 고질적인 문제인 오차 전파 없이 강력한 추적을 달성합니다.

저자들은 다음과 같은 점을 강조합니다:

안정적인 정체성: 급격한 시점 변화 및 장기적인 폐쇄 상황에서도 객체의 정체성을 유지합니다.
멀티 모달 상호작용: 3D 인스턴스 추적을 위해 텍스트, 점, 박스 프롬프트를 지원합니다.
일반화: 추론 시 명시적인 3D 기하 입력 없이도 정적 및 동적 시나리오, 그리고 3D 시각적 그라운딩 작업에서 우수한 성능을 발휘합니다.

이 연구는 "매핑을 통한 추적"에서 기하학이 인지 과정의 본질적이고 암시적인 구성 요소가 되는 패러다임으로의 전환을 시사하며, 복잡한 환경에서의 공간 이해를 위한 더 강력한 솔루션을 제공합니다.