NOVA: Next-step Open-Vocabulary Autoregression for 3D Multi-Object Tracking in Autonomous Driving

이 논문은 대규모 언어 모델의 자기회귀 능력을 활용하여 3D 객체 추적을 시공간적 의미 시퀀스 생성 문제로 재정의함으로써, 기존 폐쇄집합 기반 방법론의 한계를 극복하고 미지의 객체에 대한 일반화 성능을 획기적으로 향상시킨 'NOVA'라는 새로운 패러다임을 제안합니다.

핵심

NOVA: 자율주행차의 '눈'을 열어주는 새로운 추적 기술

이 논문은 자율주행차가 길을 가다가 아직 본 적 없는 새로운 물체(예: 낯선 형태의 드론이나 이상한 모양의 차량)를 만나도, 그 물체를 잃어버리지 않고 계속 따라갈 수 있게 해주는 획기적인 기술인 NOVA를 소개합니다.

기존 기술의 문제점과 NOVA 가 어떻게 해결하는지, 마치 친구와 대화하는 상황에 비유해서 쉽게 설명해 드릴게요.

---

1. 기존 기술의 문제: "알고 있는 것만 아는 눈"

기존의 자율주행차 추적 시스템은 마치 매우 엄격한 시험을 본 학생과 같습니다.

• 상황: 시험지에는 '자동차', '사람', '자전거'만 나왔습니다. 학생은 이 세 가지만 완벽하게 외웠습니다.
• 문제: 갑자기 시험지에 **'낯선 드론'**이 등장하면 학생은 당황합니다. "이건 시험 범위에 없는데? 그냥 배경 (하늘) 이겠지?"라고 생각하며 무시해버립니다.
• 결과: 자율주행차는 새로운 물체를 인식하지 못하거나, 인식해도 바로 길을 잃어버려 추적이 끊깁니다. 이를 '닫힌 세계 (Closed-set)' 가정이라고 합니다.

2. NOVA 의 등장: "상상력이 풍부한 대화형 추적자"

NOVA 는 이 문제를 해결하기 위해 **대규모 언어 모델 **(LLM, 예: ChatGPT 같은 AI)을 추적 시스템에 도입했습니다. NOVA 는 단순히 물체의 위치를 재는 것이 아니라, "이 물체가 다음에 어디로 갈까?"를 문장처럼 예측합니다.

🌟 핵심 비유 1: "연속된 이야기책"

기존 추적기는 매 프레임 (화면) 마다 물체를 따로따로 찍어서 비교합니다. 마치 사진첩을 넘기듯 "아, 저기 차가 있네. 다음 장엔 저기 있네" 하는 식입니다.
하지만 NOVA 는 연속된 이야기책을 읽습니다.

• "어제 차가 오른쪽으로 갔고, 속도가 빨랐어. 오늘도 같은 차일 거야."
• "저 드론은 이상한 모양이지만, 어제부터 저기서 날아다니고 있었어. 계속 따라가자."
  이처럼 **과거의 맥락 **(이야기)을 통해 물체의 정체성을 유지합니다.

🌟 핵심 비유 2: "눈가리개 훈련 (하이브리드 프롬프팅)"

NOVA 는 훈련할 때 의도적으로 눈가리개를 합니다.

• 상황: "이건 '버스'야"라고 알려주면 학생은 '버스'라는 단어만 외웁니다.
• NOVA 의 방법: "이건 **알 수 없는 것 **(Unknown)"이라고만 알려줍니다.
• 효과: 학생은 '이름'을 외우는 대신, **물체의 모양 **(기하학적)과 **움직임 **(시간적 흐름)에 집중하게 됩니다. 그래서 나중에 진짜로 낯선 드론이 나와도, "이름은 모르지만 움직임 패턴이 비슷하니까 이거 맞겠다!"라고 추론할 수 있게 됩니다.

🌟 핵심 비유 3: "혼란스러운 시장에서의 구별하기 (하드 네거티브 마이닝)"

사람들이 빽빽하게 모여 있는 시장 (복잡한 도로) 에서 친구를 찾으려 할 때, 멀리 있는 사람보다 바로 옆에 있는 사람을 구별하는 게 더 어렵습니다.
NOVA 는 훈련할 때 **가장 헷갈리는 친구들 **(가까운 거리, 비슷한 모양)을 일부러 골라내어 "이건 친구가 아니야!"라고 반복해서 가르칩니다. 이를 통해 아주 미세한 차이도 구별해내는 능력을 기릅니다.

---

3. NOVA 가 실제로 한 일 (성과)

이 기술은 실제 자율주행 데이터 (nuScenes, KITTI 등) 에서 테스트되었습니다.

• **기존 기술 **(Open3DTrack) 새로운 물체 (Novel Class) 를 추적할 때 성공률이 **2.2%**에 불과했습니다. (거의 못 찾음)
• NOVA: 같은 상황에서 성공률을 **22.4%**까지 끌어올렸습니다. (약 10 배 향상!)
• 특이점: 아주 작은 모델 (0.5B 파라미터, 스마트폰용 AI 수준) 로도 이 놀라운 성과를 냈습니다. 무거운 컴퓨터 없이도 실시간으로 작동할 수 있다는 뜻입니다.

4. 요약: 왜 이것이 중요한가요?

세상은 끊임없이 변하고, 우리가 모르는 새로운 물체들이 항상 나타납니다.

• 기존 방식: "내가 아는 것만 추적한다." → 새로운 게 나오면 추락.
• NOVA 방식: "이름은 몰라도, 움직임과 맥락으로 이해한다." → 새로운 게 나와도 이해하고 따라간다.

NOVA 는 자율주행차가 **미지의 세계 **(Open World)에서도 안전하게, 그리고 똑똑하게 길을 찾을 수 있게 해주는 상상력이 풍부한 파트너가 되어줍니다. 이제 자율주행차는 단순히 '차'만 보는 것이 아니라, 세상의 모든 움직임을 '이야기'로 읽어낼 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 자율주행 환경은 예측 불가능한 '오픈 월드 (Open-world)' 특성을 가지며, 사전에 정의된 카테고리 목록에 없는 새로운 객체 (Novel objects) 가 빈번하게 등장합니다.
• 기존 방식의 한계:
  • Closed-set 가정: 기존 3D MOT(Multi-Object Tracking) 파이프라인은 훈련된 클래스만 인식하도록 설계되어 있어, 미지의 객체는 배경으로 간주하거나 추적 실패로 이어집니다.
  • 기존 Open-Vocabulary 3D MOT 의 결함: 기존 연구들 (예: Open3DTrack) 은 2D 오픈 보카불러리 검출기를 3D 제안 (proposals) 에 매핑하는 '후처리 (post-hoc)' 방식을 사용합니다. 이는 3D 검출기가 미지 클래스에 대해 불안정한 기하학적 정보와 일관성 없는 시맨틱 라벨을 생성할 때, 추적 연결 (association) 단계에서 심각한 위치 드리프트 (localization drift) 와 시맨틱 모호성을 초래합니다.
  • 핵심 과제: 불확실한 기하학적 신호와 일관성 없는 카테고리 시맨틱 하에서, 장거리 (long-range) 로 논리적 일관성을 유지하며 객체의 정체성 (ID) 을 어떻게 유지할 것인가?

2. 제안 방법론 (Methodology: NOVA)

저자들은 3D 추적을 단순한 거리 기반 매칭이 아닌, 생성적 시공간 시맨틱 모델링 (Generative Spatio-Semantic Modeling) 으로 재정의했습니다. 이를 위해 대규모 언어 모델 (LLM) 의 ** autoregressive(자기회귀)** 능력을 활용하여 "다음 단계 (Next-step)" 예측 문제로 추적을 변환했습니다.

핵심 아키텍처 및 기술

1. 자기회귀 추적 프레임워크 (Autoregressive Formulation):

   • 3D 궤적을 단순한 박스 연결이 아닌, 물리적 운동 법칙과 언어적 논리를 동시에 따르는 "시공간 시맨틱 문장 (spatio-semantic sentence)"으로 간주합니다.
   • LLM 이 궤적 컨텍스트를 기반으로 "이 검출이 동일한 객체인가?"라는 이진 질문 (Yes/No) 을 다음 토큰 예측 (Next-token prediction) 으로 수행하여 매칭 확률을 도출합니다.

2. 기하학 인코더 (Geometry Encoder) 및 IoU 보조 헤드:

   • 문제: LLM 은 이산 토큰을 처리하지만, 3D 추적은 연속적인 기하학 좌표에 의존합니다. 텍스트로 숫자를 나열하면 토큰화 과정에서 정보 손실과 노이즈에 취약합니다.
   • 해결: 3D 박스 상태 (위치, 크기, 방향 등) 를 학습된 임베딩 벡터로 변환하여 <box> 토큰으로 주입합니다.
   • IoU 보조 헤드: 검출기의 신뢰도 점수 대신, 실제 IoU(Intersection over Union) 를 예측하는 보조 헤드를 추가하여 기하학적 정합성을 강화하고 학습을 안정화합니다.

3. 하이브리드 프롬프팅 (Hybrid Prompting):

   • 문제: 훈련 시 특정 클래스 이름에 의존하면 (Overfitting), 추론 시 미지 클래스 (Novel classes) 에 대해 성능이 급격히 떨어집니다.
   • 해결: 훈련 시 베이스 클래스는 명시적 이름 (예: "Car") 을 사용하지만, 미지 클래스는 "Unknown"으로 마스킹하여 모델이 클래스 이름이 아닌 기하학적 속성과 시맨틱 특징을 학습하도록 유도합니다. 이는 추론 시 시맨틱 불확실성에 강인한 추론을 가능하게 합니다.

4. 하드 네거티브 마이닝 (Hard Negative Mining):

   • 공간적으로 가깝지만 정체성이 다른 객체들 (가장 혼란스러운 네거티브 샘플) 을 의도적으로 샘플링하여 모델이 미세한 기하학적 차이를 구분하도록 훈련시킵니다. 이는 혼잡한 장면에서의 추적 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. NOVA 프레임워크 도입: 오픈 보카불러리 3D MOT 를 위한 최초의 자기회귀 (Autoregressive) 공식화. 궤적 컨텍스트를 기반으로 한 토큰 예측을 통해 유연한 추적 가능.
2. 기하학 인식 임베딩: 연속적인 3D 박스 상태를 LLM 이 이해할 수 있는 임베딩으로 변환하고 IoU 기반 보조 손실을 도입하여 노이즈가 많은 검출에서도 강인한 연관성을 확보.
3. 시맨틱 불확실성 해결 전략: 하이브리드 프롬프팅과 하드 네거티브 마이닝을 통해 오픈 보카불러리의 시맨틱 불확실성을 처리하고, 특히 미지 클래스 (Novel) 에 대한 추적을 강화.
4. 경량화된 고효율 모델: 0.5B(5 억 파라미터) 크기의 소형 LLM 만으로 SOTA 성능을 달성하여 실시간 적용 가능성 입증.

4. 실험 결과 (Results)

• 데이터셋: nuScenes, V2X-Seq-SPD, KITTI 에서 광범위한 평가 수행.
• 주요 성과 (nuScenes 기준):
  • Novel 클래스 AMOTA: 기존 베이스라인 (Open3DTrack) 의 **2.20%**에서 **22.41%**로 20.21%p의 절대적 개선을 기록.
  • Novel 클래스 MOTA: 2.70% 에서 19.60% 로 대폭 향상.
  • Base 클래스: 기존 방법과 유사하거나 경쟁력 있는 성능 유지 (과적합 없이 미지 클래스에 특화된 개선).
• 모델 효율성:
  • 0.5B 파라미터 모델 (Qwen2.5-0.5B) 이 3.8B 모델보다 더 높은 sAMOTA 를 기록하며, 파라미터 수 증가가 항상 성능 향상으로 이어지지 않음을 보임.
  • V2X-Seq-SPD 에서 sAMOTA 45.56% 달성.
• 정성적 분석:
  • 기존 방식은 객체 간 ID 전환 (ID switch) 이나 클래스 전환 (Class switch) 이 빈번했으나, NOVA 는 장거리 시퀀스에서의 일관성을 유지하며 이러한 오류를 현저히 줄임.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 3D MOT 를 "거리 기반 매칭"에서 "생성적 시퀀스 완성 (Sequence Completion)" 문제로 전환하여, 오픈 월드 환경에서의 추적을 근본적으로 재해석했습니다.
• 오픈 월드 대응: 사전 정의된 클래스에 의존하지 않고, 언어적 사전 지식과 기하학적 연속성을 결합하여 미지 객체도 안정적으로 추적할 수 있음을 증명했습니다.
• 실용성: 복잡한 수식이나 복잡한 매칭 알고리즘 없이, 소형 LLM 을 활용한 간결한 아키텍처로 높은 성능을 달성하여 자율주행 시스템의 실시간성 요구사항을 충족시킵니다.

이 논문은 오픈 보카불러리 3D 추적 분야에서 LLM 의 자기회귀 능력을 효과적으로 활용하여, 기존 방법론이 해결하지 못했던 '미지 객체 추적의 불안정성' 문제를 해결한 획기적인 연구로 평가됩니다.