🤖 AI

DRMOT: A Dataset and Framework for RGBD Referring Multi-Object Tracking

이 논문은 2D 전용 모델의 한계를 해결하기 위해 RGB, 깊이(depth), 언어 양식(modality)을 융합하여 강건한 3D 인지 대상 추적 및 공간-의미론적 그라운딩을 수행하는 새로운 RGBD 참조 다중 객체 추적(Referring Multi-Object Tracking) 태스크인 DRMOT과 DRSet 데이터셋 및 DRTrack 프레임워크를 소개한다.

원저자: Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

게시일 2026-02-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 붐비고 북적이는 방 안에서 특정 친구를 찾으려고 한다고 상상해 보세요. 당신은 스마트 비서에게 "카메라와 가장 가까운 사람을 찾아줘"라고 요청합니다.

만약 당신의 비서가 2D 사진(스마트폰에 있는 평면적인 사진 같은 것)만을 가지고 있다면, 비서는 혼란에 빠질 것입니다. 평면적인 사진 속에서는 모든 사람이 마치 같은 평면에 있는 것처럼 보입니다. 바로 옆에 서 있는 사람과 저 멀리 뒤에 있는 사람이 비슷한 옷을 입고 있다면 크기가 비슷해 보일 수 있습니다. 비서는 뒤에 있는 사람을 가리키는 대신 앞에 있는 사람을 가리켜야 함에도 불구하고 잘못된 추측을 할 수도 있습니다. 이것이 현재 트래킹 기술의 문제입니다. 그것은 실제 방이 아니라 평면적인 그림처럼 세상을 보고 있습니다.

이 논문은 비서에게 3D 안경(깊이 정보)과 슈퍼 브레인(대규모 언 언어 모델)을 쥐여줌으로써 이 문제를 해결하는 새로운 방법을 소개합니다.

다음은 저자들이 수행한 작업에 대한 간단한 분석입니다:

1. 새로운 게임: DRMOT

저자들은 DRMOT(Depth Referring Multi-Object Tracking, 깊이 참조 다중 객체 추적)라는 새로운 챌린지를 만들었습니다.

기존 방식: 컴퓨터에게 비디오와 "빨간 모자를 쓴 남자를 추적해"와 같은 문장을 줍니다. 컴퓨터는 오직 비디오의 색상만을 사용하여 그를 따라가려고 시도합니다.
새로운 방식: 컴퓨터에게 비디오, 문장, 그리고 "깊이 맵"(모든 픽셀이 얼마나 떨어져 있는지 정확히 알려주는 특수 이미지)을 함께 줍니다. 이제 당신이 "카메라와 가장 가까운 사람을 추적해"라고 말하면, 컴퓨터는 실제로 거리를 측정하여 멀리 있는 사람과 외형이 동일하더라도 올로 정당한 사람을 골라낼 수 있습니다.

2. 새로운 지도: DRSet

컴퓨터에게 이 새로운 기술을 가르치기 위해, 저자들은 DRSet이라는 특별한 훈련 라이브러리를 구축했습니다.

이것은 공원, 거실, 거리와 같은 187개의 서로 다른 "장면(scene)"으로 이루어진 거대한 도서관이라고 생각하면 됩니다.
각 장면마다 일반 비디오, 3D 깊이 맵, 그리고 240개의 구체적인 지시 사항이 인간의 언어로 작성되어 있습니다.
결정적으로, 56개의 지시 사항은 거리에 의존합니다(예: "나무 뒤에 있는 자동차" 또는 "우리에게 가장 가까운 사람"). 이는 컴퓨터가 공간을 이해하기 위해 3D 공간을 사용하는 법을 강제로 학습하게 만듭니다.

3. 새로운 두뇌: DRTrack

그들은 또한 이 퍼즐들을 풀기 위해 DRTrack이라는 새로운 시스템을 만들었습니다. 이것은 두 가지 도구를 가진 탐정처럼 두 단계로 작동합니다.

1단계: "독수리의 눈" (MLLM):
그들은 강력한 AI 두뇌(멀티모달 대규모 언어 모델)를 사용하여 비디오, 깊이 맵, 그리고 문장을 동시에 살펴봅니다. 이것은 마치 방을 3D로 볼 줄 아는 탐정과 같습니다. 당신이 "가장 가까운 사람을 찾아"라고 말하면, 이 두뇌는 깊이 맵을 사용하여 누가 실제로 앞에 있고 누가 뒤에 있는지 즉각적으로 파악합니다. 그리고 올바른 사람 주위에 상자를 그립니다.
- 비유: 이것은 지도를 읽으면서 거리를 측정하는 레이저 포인터를 가진 것과 같습니다.
2단계: "테이프" (The Tracker):
두뇌가 첫 번째 프레임에서 사람을 찾고 나면, 시스템은 그 사람이 벽이나 군중에 의해 가려지더라도 계속해서 그를 따라가야 합니다. 저자들은 트래킹 방식에 "깊이 테이프"를 추가했습니다.
- 보통 두 사람이 가까이 걸어가면 컴퓨터가 그들을 혼동하여 ID를 바꿀 수 있습니다.
- DRTrack을 사용하면 컴퓨터는 3D 거리를 확인합니다. 만약 A라는 사람이 2미터 떨어져 있고 B라는 사람이 5미터 떨어져 있다면, 컴퓨터는 설령 그들이 매우 비슷하게 생겼더라도 그들이 서로 다른 사람임을 알게 됩니다. 이는 그들의 정체성을 분리하고 혼란을 방지합니다.

4. 결과

저자들은 평면적인 2D 비디오만을 사용하는 기존 시스템들과 새로운 시스템을 테스트했습니다.

결과: 새로운 시스템(DRTrack)은 올바른 사람을 찾고 혼동 없이 추적하는 데 훨씬 더 뛰어난 성능을 보였습니다.
왜 중요한가: 이것은 AI에게 "깊이 시각"을 주는 것이 공간과 거리에 관한 지시를 이해하는 핵심임을 증아했습니다. 이는 평면적인 2D 카메라 자체만으로는 할 수 없는 일입니다.

요약하자면: 이 논문은 "만약 AI가 '우리와 가장 가까운 사람'과 같은 지시를 이해하게 하고 싶다면, 단순히 평면적인 비디오를 보여주는 것만으로는 부족하다. 그 방의 3D 깊이도 함께 보여줘야 한다. 우리는 이것이 작동함을 증명하기 위해 새로운 데이터셋과 새로운 AI 두뇌를 만들었다"라고 말합니다.

기술 요약: DRMOT: RGBD Referring Multi-Object Tracking을 위한 데이터셋 및 프레임워크

1. 문제 정의

Referring Multi-Object Tracking (RMOT)은 자연어 설명을 기반으로 특정 타겟을 식별하고 추적하는 것을 목표로 하며, 이는 로보틱스 및 자율 주행과 같은 대화형 AI 시스템에 필수적인 능력입니다. 그러나 기존의 RMOT 접근 방식은 RGB 2D 데이터에만 전적으로 의존합니다. 이러한 한계는 언어 설명이 깊이(depth)에 의존하는 복잡한 공간적 의미론(예: "카메라와 가장 가까운 사람")을 포함하거나, 타겟이 심각한 폐쇄(occlusion)를 겪을 때 상당한 문제를 야기합니다. 명시적인 3D 공간 정보가 없으면, 2D 모델은 공간적 계층 구조를 해결하는 데 어려움을 겪어 모호한 추론, 잘못된 타겟 그라운딩(grounding), 그리고 ID 스위칭 현상을 초래합니다.

이러한 한계를 해결하기 위해, 저자들은 새로운 과업인 **RGBD Referring Multi-Object Tracking (DRMOT)**을 제안합니다. 이 과업은 모델이 RGB, Depth (D), Language (L) 양식을 융합하여 3D 인지 추적을 달고, 기하학적 맥락 내에서 의미론적 설명을 효과적으로 그라운딩하는 동시에 시간적 ID 일관성을 유지할 것을 요구합니다.

2. 방법론

본 논문은 DRMOT 과업을 발전시키기 위해 두 가지 주요 구성 요소인 맞춤형 데이터셋(DRSet)과 추적 프레임워크(DRTrack)를 소개합니다.

2.1. DRSet 데이터셋

DRSet는 실제 3D 환경 조건에서의 공간-의미론적 그라운딩 및 추적 능력을 평가하도록 구축되었습니다.

구성: DRSet는 동기화된 RGB 이미지와 깊이 맵(depth map)을 포함하는 187개의 다양한 장면(실내, 실외, 야간, 복잡한 날씨)으로 구성됩니다.
주석(Annotations): 240개의 언어 설명이 포함되어 있습니다. 특히, 이 중 56개의 설명은 명시적으로 깊이 관련 정보(예: 상대적 거리, 앞/뒤 위치)를 포함하고 있습니다.
구조: 데이터 누수를 방기하기 위해 장면 단위(scene level)로 141개의 훈련 비디오와 99개의 테스트 비디오로 분할되었습니다. 이는 다양한 개수와 짧은 길이부터 1,000 프레임 이상의 길이에 이르는 18개의 객체 카테로리(사람, 동물, 차량, 사물)를 다룹니다.
주석 프로세스: 엄격한 4단계 프로세스가 적용되었습니다: (1) 정적 및 동적 특징을 위한 속성 테이블 생성; (2) 대표 타겟 선정; (3) 프레임 단위 바운딩 박스 주석 및 언어 구성; (4) 좌표 유효성과 의미론적 일관성을 보장하기 위한 2인 교차 검토 프로토콜.

2.2. DRTrack 프레임워크

DRTrack는 견고한 그라운딩과 안정적인 프레임 간 연관(association)을 위해 설계된 다중 양식 대규모 언어 모델(MLLM) 가이드 프레임워크입니다. 이는 두 단계로 작동합니다.

1단계: 깊이 촉진 언어 그라운딩 (Depth-Promoted Language Grounding)

입력: 프레임워크는 언어 설명( $L$ ), RGB 이미지($RGB$), 그리고 Depth 맵( $D$ )의 세 가지 양식을 동시에 처리하는 MLLM(Qwen2.5-VL-3B)을 활용합니다. Depth 맵은 3채널 의사-RGB(pseudo-RGB) 표현으로 변환됩니다.
목표: MLLM은 2D 모호성을 해결하기 위해 깊이 단서를 활용하여, 언어로 설명된 타겟에 대한 정밀한 2D 바운딩 박스를 출력하는 임무를 수행합니다.
학습 전략: MLLM은 **GRPO(Group Relative Policy Optimization)**를 사용하여 미세 조정됩니다. 특화된 보상 함수( $R_{total} = R_{format} + R_{IoU}$ $R_{t o t a l} = R_{f or ma t} + R_{I o U}$ )가 사용됩니다:
- Format Reward: 신뢰할 수 있는 박스 추출을 위해 구조화된 JSON 출력을 보장합니다.
- IoU Reward: 매칭을 위한 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 예측된 박스와 정답(ground-truth) 박스 사이의 기하학적 일관성을 장려합니다.

2단계: 깊이 강화 OC-SORT 연관 (Depth-Enhanced OC-SORT Association)

메커니즘: 관측 중심의 OC-SORT 트래커를 기반으로 하는 이 단계는 궤적 연관을 정교화하기 위해 깊이 정보를 통합합니다.
RGBD 결합 유사도 ( $S_{RGBD}$ ): 2D 외형과 3D 깊이 일관성을 결합하는 새로운 유사도 지표가 정의됩니다:
$S_{RGBD} = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot S_D$
여기서 $S_D$ 는 탐지와 궤적 예측 사이의 절대적 깊이 차이에 대한 지수 감소 함수입니다.
연관 비용 (Association Cost): 최종 할당 비용은 RGBD 결합 유사도와 속도 방향 일관성(Velocity Direction Consistency, VDC) 운동 사전 정보(motion prior)의 조합을 최소화합니다:
$C = -(S_{RGBD} + \lambda \cdot \text{VDC})$
이 이중 제약 비용 함수는 2D 폐쇄 또는 근접으로 인한 잘못된 연관을 완화합니다.

3. 주요 기여

DRMOT 과업 정의: RGB, Depth, Language 양식을 명시적으로 통합하여 3D 인지 공간 추론 및 추적을 처리하는 RGBD Referring Multi-Object Tracking을 공식화했습니다.
DRSet 데이터셋: 187개 장면과 240개 설명(깊이 특화 설명 56개 포함)을 특징으로 하는 포괄적인 데이터셋을 구축하여, 3D 환경에서의 공간-의미론적 그라운딩을 평가하기 위한 벤치마크를 제공합니다.
DRTrack 프레임워크: 기하학 인지 GRPO 미세 조정을 통한 그라운딩과 견고한 연관을 위한 깊이 강화 OC-SORT를 결격하여 최첨단 성능을 달성하는 새로운 MLLM 가이드 아키텍처를 제시합니다.

4. 실험 결과

DRSet 테스트 세트에서 HOTA(Higher Order Tracking Accuracy) 및 그 구성 요소(탐지 정확도, 연관 정확도 등)를 사용하여 광범적인 실험이 수행되었습니다.

성능: DRTrack는 **HOTA 33.24%**를 달성하며 모든 베이스라인을 크게 앞질렀습니다.
- 이는 가장 강력한 제로샷 MLLM 베이스라인(L+RGB 입력을 사용하는 Qwen2.5-VL-3B, HOTA: 15.13%)보다 18 퍼센트 포인트 이상 높은 수치입니다.
- 또한, 오직 RGB 입력에만 의존하는 이전의 RMOT 방식(TransRMOT, TempRMOT) 및 기타 MLLM(DeepSeek-VL, LLaVA 시리즈)보다 우수한 성능을 보였습니다.
Ablation 연구:
- Depth 양식: 미세 조정 없이 MLLM 입력에 깊이 정보를 추가했을 때(L+RGB+D), HOTA가 15.13%에서 32.68%로 증가하여 기하학적 단서의 결정적인 가치를 입증했습니다.
- GRPO 미세 조정: 기하학 인지 GRPO 미세 조정을 적용했을 때 HOTA가 32.68%에서 33.24%로 더욱 향상되어, 보상 기반 최적화의 효용성을 확인했습니다.
- 융합 가중치 ( $\alpha$ ): 민감도 분석 결과, 2D IoU를 우선시하면서 10%의 깊이 제약을 포함하는 융합 가중치 $\alpha=0.9$ 가 공간적 맥락과 기하학적 견고함 사이의 균형을 맞추어 최적의 결과를 냈습니다.

5. 의의 및 주장

본 논문은 깊이 정보의 통합이 2D 이미지 공간에서는 구분이 불가능한 참조 표현(referring expressions)을 모호함을 해소하는 데 필수적이라고 주장합니다. DRMOT과 DRSet 데이터셋을 제안함으로써, 저자들은 기하학적 모호성 하에서의 공간-의미론적 그라운딩에 대한 모델을 평가할 수 있는 필수적인 자원을 제공합니다.

DRTrack 프레임워크는 깊이 단서와 MLLM을 시너지화함으로써 공간적 모호성(예: "가장 가까운" 것과 "가장 먼" 것을 구분)을 효과적으로 해결하고 심각한 폐쇄 상황에서도 ID 일관성을 유지할 수 있음을 보여줍니다. 저자들은 DRMOT을 더 강력하고 3D 인지가 가능한 대화형 AI 시스템을 향한 기초적인 단계로 설정하며, 이 신흥 분야의 미래 연구를 위한 강력한 베이스라인을 제공합니다. 본 연구는 머신 러닝 인지 분야의 발전으로 제시되었으며, 자율 시스템을 위한 환경 이해 개선이라는 일반적인 목표 외에 특별한 사회적 결과는 강조되지 않았습니다.