Open-World Motion Forecasting

이 논문은 불완전한 인식과 진화하는 객체 분류를 가진 실제 환경에서 자동주행 차량을 위해 새로운 객체 클래스가 순차적으로 도입되는 '오픈 월드 모션 예측' 설정을 제안하고, 가짜 라벨링과 비전 - 언어 모델, 그리고 쿼리 특징 분산을 활용한 재샘플링 전략을 통해 기존 클래스의 망각을 방지하면서 새로운 클래스에 적응하는 최초의 엔드 - 투 - 엔드 클래스 증분 모션 예측 프레임워크를 제시합니다.

핵심

1. 문제 상황: "모든 것을 미리 다 알아야 한다?"는 착각

기존의 자율주행 기술은 **'닫힌 세상 (Closed-World)'**이라는 가정에 기반하고 있었습니다.

• 비유: 마치 초등학교 교실처럼, 교실에는 '학생', '선생님', '책상'이라는 정해진 역할만 있고, 그 외의 것은 존재하지 않는다고 가정하는 것입니다.
• 현실: 하지만 실제 길은 **'열린 세상 (Open-World)'**입니다. 갑자기 '전동 킥보드', '휠체어', '새로운 종류의 드론' 같은 것들이 나타날 수 있습니다.
• 기존 방식의 한계: 만약 새로운 '전동 킥보드'가 등장하면, 기존 시스템은 이를 인식하지 못하거나, 이를 학습시키기 위해 과거의 모든 데이터를 다시 수집하고, 다시 학습해야 했습니다. 이는 마치 새로운 학생이 들어오면 교실 전체를 해체하고 다시 짓는 것과一样로, 시간과 비용이 너무 많이 들고 비현실적입니다. 또한, 새로운 것을 배우는 과정에서 이전에 배운 '차'나 '보행자'에 대한 기억을 잊어버리는 (망각) 현상이 발생했습니다.

2. 해결책: OMEN (오멘) - "지속적으로 배우는 영리한 운전사"

저자들은 이 문제를 해결하기 위해 OMEN이라는 시스템을 만들었습니다. OMEN은 새로운 물체가 등장할 때마다 기억을 잃지 않으면서도 새로운 것을 자연스럽게 배워가는 시스템입니다.

핵심 전략 1: "미래의 눈으로 과거를 채우기" (가상 레이블 생성)

새로운 물체 (예: 전동 킥보드) 를 가르칠 때, 과거의 데이터에 대한 정확한 라벨 (정답) 이 없습니다.

• 비유: OMEN은 시간 여행을 합니다. 과거의 영상에서 아직 '전동 킥보드'로 분류되지 않았더라도, **미래의 프레임 (다음 순간)**을 먼저 보고 "아, 저건 움직이는 물체구나"라고 추측합니다.
• 작동 원리: 과거의 모델이 미래의 위치를 예측한 것을 '가상 정답 (Pseudo-label)'으로 만들어, 마치 정답이 있는 것처럼 학습시킵니다.

핵심 전략 2: "AI 감시관 (VLM) 의 검증"

하지만 AI 가 만든 가상의 정답이 틀릴 수도 있습니다. (예: 그림자를 사람으로 착각하는 경우)

• 비유: OMEN은 **AI 감시관 (Vision-Language Model)**을 고용합니다. 감시관은 "저게 정말 전동 킥보드야? 아니면 그냥 그림자야?"라고 이미지와 언어를 연결해 꼼꼼히 확인합니다.
• 효과: 틀린 추측은 걸러내고, 확실한 것만 진짜 정답으로 인정받아 학습에 반영됩니다.

핵심 전략 3: "가장 중요한 추억만 간직하기" (기억 재생 전략)

새로운 것을 배울 때, 예전에 배운 '차'나 '보행자'에 대한 기억이 사라지지 않게 해야 합니다.

• 비유: 인간의 뇌는 모든 기억을 다 저장할 수 없으므로, 가장 중요한 추억만 골라 보관합니다. OMEN도 마찬가지입니다. 단순히 무작위 영상을 저장하는 게 아니라, **"가장 복잡하고 흥미로운 움직임"**을 보여주는 장면들 (예: 급정거하는 차, 꺾어지는 보행자) 을 골라 '기억 창고 (Replay Buffer)'에 저장해 둡니다.
• 효과: 새로운 것을 배우는 동안, 이 '중요한 추억'들을 다시 꺼내 보며 예전 지식도 잊지 않게 합니다.

3. 결과: 왜 이것이 혁신적인가?

• 실제 도로에서의 적응: OMEN은 새로운 물체가 등장해도 시스템을 처음부터 다시 만들지 않고, 점진적으로 적응합니다.
• 기억력 유지: 새로운 '전동 킥보드'를 배우면서도, '차'와 '보행자'를 예측하는 능력은 그대로 유지됩니다. (기존 방식은 새로운 것을 배우면 예전 것을 잊어버리는 '재앙적 망각'이 발생했습니다.)
• 제로샷 (Zero-shot) 능력: 훈련 데이터에 없던 실제 도로 환경에서도 잘 작동합니다. 마치 유능한 운전사가 처음 보는 길에서도 교통 규칙을 적용해 안전하게 운전하는 것과 같습니다.

4. 요약

이 논문은 **"자율주행차가 새로운 물체를 마주했을 때, 과거의 지식을 잊지 않고 새로운 것을 배울 수 있는 방법"**을 제시합니다.

• 기존 방식: 새로운 학생이 오면 교실을 다 부수고 다시 짓는다. (비효율적, 기억 상실)
• OMEN 방식: 새로운 학생을 받아들이면서, 기존 학생들의 특징을 잊지 않고 함께 배울 수 있는 지속적인 학습 시스템을 구축했다.

이 기술은 자율주행차가 복잡한 실제 도로 환경에서 더 안전하고 유연하게 움직일 수 있는 토대를 마련해 줍니다. 연구진은 이 코드를 공개하여 전 세계의 개발자들이 함께 발전시킬 수 있도록 했습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 운동 예측 모델들은 클로즈드 월드 (Closed-World) 가정을 기반으로 합니다. 즉, 학습 시점에 미리 정의된 고정된 객체 카테고리 (차량, 보행자 등) 만 존재하며, 모든 클래스에 대한 고품질의 관측 데이터가 존재한다고 가정합니다.

하지만 실제 세계에서는 다음과 같은 문제들이 발생합니다:

• 새로운 객체 클래스의 등장: 전동 킥보드, 휠체어 등 모델이 학습하지 않은 새로운 객체가 지속적으로 등장합니다.
• 불완전한 지각 (Imperfect Perception): 실제 센서 데이터는 잡음이 있고, 탐지 및 추적이 불완전합니다.
• 재학습의 비효율성: 새로운 클래스를 추가하기 위해 과거 데이터를 모두 다시 주석 (Annotation) 하고 모델을 처음부터 재학습시키는 것은 비용과 시간, 저장 공간 측면에서 비현실적입니다.
• 카타스트로픽 포기 (Catastrophic Forgetting): 새로운 클래스만 학습하면 이전에 학습했던 클래스들의 성능이 급격히 저하되는 현상이 발생합니다.

이러한 문제를 해결하기 위해, 저자들은 오픈 월드 운동 예측이라는 새로운 설정을 정의했습니다. 이는 카메라 이미지로부터 직접 미래 궤적을 예측하면서, 새로운 클래스가 순차적으로 도입되는 환경에서 기존 클래스의 성능을 유지하며 새로운 클래스를 학습하는 클래스 증분 학습 (Class-Incremental Learning) 과 엔드 - 투 - 엔드 (End-to-End) 방식을 결합한 과제입니다.

2. 제안 방법론: OMEN (Methodology)

저자는 OMEN이라는 엔드 - 투 - 엔드 클래스 증분 운동 예측 프레임워크를 제안했습니다. 이 프레임워크는 크게 두 가지 핵심 메커니즘을 통해 작동합니다.

A. VLM 기반의 의사 레이블 생성 (VLM-Guided Pseudo-Label Generation)

새로운 클래스 $c$가 도입될 때, 기존에 학습된 모델 ($\Phi_{i-1}$) 을 사용하여 과거 클래스들 ($1$부터$c-1$) 에 대한 3D 탐지 및 운동 예측 의사 레이블 (Pseudo-labels) 을 생성합니다.

• 미래 탐지 활용: 단순한 과거 예측이 아니라, 미래 시간 단계의 이미지에서 3D 탐지 디코더를 통해 객체의 위치를 추정하고 이를 현재 좌표계로 변환하여 운동 궤적 의사 레이블을 생성합니다.
• VLM 기반 필터링: 생성된 의사 레이블은 오탐 (False Positives) 이나 과도한 확신을 가질 수 있습니다. 이를 해결하기 위해 Grounded SAM 2와 같은 비전 - 언어 모델 (VLM) 을 활용합니다. VLM 은 객체의 2D 인스턴스 마스크와 3D 탐지 박스를 매칭하여, 시각적 증거와 일치하지 않는 부정확한 예측을 필터링합니다.

B. 분산 기반 경험 재생 전략 (Variance-Based Experience Replay)

기억 제약 조건 내에서 과거 클래스의 성능 저하 (포기) 를 방지하기 위해 경험 재생 (Experience Replay) 버퍼를 사용합니다.

• 시퀀스 단위 샘플링: 개별 프레임이 아닌, 운동 예측 모델이 문맥을 이해해야 하므로 시퀀스 (Sequence) 단위로 데이터를 선택합니다.
• 잠재 공간 분산 (Latent Feature Variance): 단순히 이미지 특징이나 데이터 분포를 기반으로 샘플링하는 대신, 모델의 잠재 운동 쿼리 (Latent Motion Query) 의 분산을 계산합니다. 각 클래스별로 운동 패턴이 다양하고 정보량이 풍부한 (높은 분산을 가진) 시퀀스를 선별하여 버퍼에 저장합니다. 이는 정적인 객체보다 복잡한 운동 패턴을 가진 객체들을 효과적으로 재학습하게 합니다.

C. 클래스 증분 오픈 - 루프 계획 (Class-Incremental Open-Loop Planning)

운동 예측 모델에 자차 (Ego-vehicle) 쿼리를 추가하여, 운동 예측 능력을 바탕으로 자차의 경로 계획 (Planning) 까지 증분적으로 학습할 수 있도록 확장했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 정의: 오픈 월드 운동 예측 (Open-World Motion Forecasting) 과 엔드 - 투 - 엔드 클래스 증분 학습 설정을 공식적으로 정의했습니다.
2. OMEN 프레임워크: 위 설정을 해결하는 최초의 엔드 - 투 - 엔드 클래스 증분 운동 예측 방법론을 제안했습니다.
3. VLM 기반 필터링: 탐지 기반 의사 레이블 생성 시 VLM 을 활용하여 오탐을 제거하고 레이블의 신뢰도를 높이는 전략을 도입했습니다.
4. 분산 기반 재생 전략: 운동 쿼리의 잠재 분산을 기반으로 정보량이 풍부한 과거 시퀀스를 선택하는 새로운 경험 재생 메커니즘을 제안하여 장기적인 포기를 완화했습니다.
5. 광범위한 실험 및 실증: nuScenes 와 Argoverse 2 데이터셋에서 광범위한 실험을 수행하고, 실제 자율주행 차량을 이용한 제로샷 (Zero-shot) 실증 평가를 통해 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: nuScenes (싱가포르, 보스턴) 와 Argoverse 2 (미국 6 개 도시) 를 사용했습니다.
• 성능:
  • 포기 방지: 기존 클래스 (특히 차량, 보행자) 의 성능을 유지하면서 새로운 클래스를 학습했습니다. 'Forgetting' 기준선 모델에 비해 기존 클래스의 mAP(평균 정밀도) 를 크게 향상시켰습니다.
  • 정밀도: Joint Training(모든 데이터를 한 번에 학습) 의 성능에 근접하거나, 선형 운동 객체의 경우 이를 능가하는 결과를 보였습니다.
  • 비선형 운동 예측: 복잡한 비선형 궤적을 가진 객체에 대한 예측 정확도가 기존 방법론 (CL-DETR 등) 보다 우수했습니다.
• 실제 환경 적용: nuScenes 데이터로만 학습된 모델을 실제 자율주행 차량에 적용했을 때, 학습되지 않은 환경에서도 기존 클래스 (차량, 보행자) 에 대한 운동 예측 능력을 유지하는 제로샷 (Zero-shot) 능력을 입증했습니다.
• 계획 (Planning) 확장: 운동 예측 모델이 증분적으로 학습됨에 따라, 자차의 경로 계획 성능 (L2 오차 감소, 충돌률 감소) 또한 점진적으로 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율주행 시스템이 실제 세계의 동적 변화 (새로운 객체의 등장) 에 유연하게 대응할 수 있는 길을 열었습니다.

• 실용성: 대규모 데이터 재주석과 전체 모델 재학습 없이도, 소량의 데이터만으로 새로운 객체 클래스를 모델에 통합할 수 있어 비용과 시간을 절감합니다.
• 기술적 진보: 엔드 - 투 - 엔드 학습과 클래스 증분 학습, 그리고 VLM 을 결합한 새로운 패러다임을 제시했습니다.
• 미래 전망: 이 프레임워크는 자율주행 시스템 전체 (지각, 예측, 계획) 를 오픈 월드 환경에서 지속적으로 적응 (Continual Adaptation) 시킬 수 있는 기반을 마련했습니다.

결론적으로, OMEN 은 자율주행 차량이 예측 불가능한 실제 도로 환경에서도 안전하고 효율적으로 주행할 수 있도록 하는 핵심 기술로 평가됩니다.