기술 요약: UniMotion

문제 정의

모션 이해(Motion understanding)는 자율 주행의 핵심 요소로, 모션 시뮬레이션(motion simulation), 궤적 예측(trajectory prediction), 그리고 **에고 플래닝(ego planning)**이라는 세 가지 기초적인 과업을 포괄한다. 이러한 과업들은 역동적인 교통 시나리오를 모델링하는 데 매우 중요하지만, 전통적으로는 특화된 모델 설계를 사용하여 각각 독립적으로 다루어져 왔다. 이러한 분리는 교차 과업 일반화(cross-task generalization)를 저해하고, 시스템 확장성을 제한하며, 다중 에이전트 상호작용 이해, 모션 행동 모델링, 시공간 역학 추론과 같은 공유된 기저 역량으로부터 얻을 수 있는 상호 이점을 간과하게 만든다. 기존 방식들은 다양한 모션 생성(시뮬레이션)과 장기 궤적 예측(예측/플래닝) 사이의 공통점을 활용하지 못해 중복된 개발과 파편화된 지식을 초래하는 경우가 많다.

방법론

저자들은 다양한 모션 과업의 공유된 구조를 포착하면서도 각 과업의 특정 요구 사항을 수용할 수 있도록 설계된 통합 모션 프레임워크인 UniMotion을 제안한다. 이 프레임워크는 단순성, 확장성 및 강력한 생성 능력을 갖춘 디코더 전용 트랜스포머(decoder-only Transformer) 아키텍처를 기반으로 구축되었다.

1. 통합 표현 및 아키텍처

• 토큰화(Tokenization): 일반화를 보장하기 위해, 프레임워크는 토큰화를 통해 입력을 표준화한다. 에이전트 궤적은 고정된 간격으로 분할되고 클러스터링되어 에이전트 토큰 어휘($S_a$)를 형성한다. 마찬가지로, HD 맵 폴리라인(polyline)은 분할 및 클러스터링되어 맵 토큰($S_m$)을 생성한다. 이들은 특징 벡터($E_a$ 및 $E_m$)로 임베딩된다.
• 인코더-디코더 구조: 모델은 맵 특징($F_m$)을 처리하는 맵 인코더와 분리된 에이전트 디코더를 사용한다. 디코더는 세 가지 어텐션 메커니즘을 활용한다:
  • 시간적 셀프 어텐션(Temporal self-attention).
  • 에이전트-맵 크로스 어텐션(Agent-map cross-attention).
  • 에이전트-에이전트 셀프 어텐션(Agent-agent self-attention).
  • 좌표 변환에 대한 불변성을 유지하기 위해 상대적 위치 임베딩(Relative positional embeddings)이 사용된다.

2. 공동 학습 전략

UniMotion은 모션 과업들을 다양한 모션 생성과 장거리 궤적 예측이라는 두 가지 근본적인 구성 요소로 추상화하여 이를 통합한다. 모델은 과업별 어텐션 마스크와 맞춤형 목적 함수를 사용하여 공동 학습된다:

• 모션 시뮬레이션: 자기 회귀적(auto-regressive) 언어 생성 과업으로 모델링된다. 이는 **인과적 어텐션 마스크(causal attention mask)**와 **다음 토큰 예측(Next-Token Prediction, NTP)**을 사용하여 다중 에이전트 상태를 반복적으로 생성하며, 단기적 다양성을 강조한다.
• 궤적 예측: 시퀀스 투 시퀀스(sequence-to-sequence) 과업으로 취급된다. 이는 seq2seq 어텐션 마스크(과거 토큰은 서로를 참조하고, 미래 토크는 과거 및 이전 미래 토큰을 참조함)를 사용한다. 결정적으로, 토큰 분류를 대신하여 정규화된 궤적 회귀(normalized trajectory regression)를 도입하는 **장거리 미래 회귀(Long-range Future Regression, LFR)**를 사용하여 완전한 장거리 궤적을 직접 예측함으로써 정확도를 보장한다.
• 에고 플래닝: 생성과 예측의 결합으로 간주된다. 모델은 먼저 주변 에이전트의 미래 궤적을 예측한 다음, 이러한 예측을 바탕으로 에고 차량의 궤적을 점진적으로 생성한다.

3. 과업별 미세 조정(Fine-Tuning)

특정 애플리케이션에서 최첨단 성능을 달ico하기 위해, 프레임워크는 새로운 파라미터를 도입하지 않고 전용 미세 조정 전략을 채택한다:

• 시뮬레이션 (RL 기반): 생성된 궤적을 인간의 운전 행동 및 교통 법규와 정렬하기 위해 강화 학습(구체적으로 GRPO)을 활용한다. 보상 함수는 운동학적 유사성(그라운드 트루스의 로그 가능도)과 충돌 회피를 결합한다.
• 예측 (멀티모달): 멀티모달 출력을 정교화하기 위해 **의도 앵커(intention anchors)**를 가진 경량 트랜스포머 디코더를 도입하여 궤적의 다양성과 신뢰도를 높인다.
• 플래닝 (Pred2Gen): 예측된 에이전트 토큰과 학습 데이터 사이의 분포 불일치 문제를 해결하기 위해, 예측된 결과를 사용하여(필요한 경우 필터링 및 그라운드 트루스로 대체) 에고 생성 과정을 엔드투엔드 지도 학습 방식으로 미세 조정한다.

주요 기여

1. 통합 프레임워크: 논문은 모션 과업을 두 가지 핵심 범주로 추상화하고, 일반성과 교차 과업 지식 공유를 촉진하기 위해 시뮬레이션, 예측, 플래닝을 공동 모델링하는 트랜스포머 기반 프레임워크인 UniMotion을 제안한다.
2. 미세 조 통한 전문화: 저자들은 공동 학습된 모델이 과업별 전문성을 습득할 수 있도록 효과적인 미세 조정 전략(시뮬레이션을 위한 RL, 예측을 위한 멀티모달 디코딩, 플래닝을 위한 Pred2Gen)을 설계하였다.
3. 실증적 검증: **Waymo Open Motion Dataset (WOMD)**에 대한 광범한 실험을 통해, 공동 학습이 강력한 일반화를 이끌어내는 반과 미세 조정된 버전이 세 가지 모션 과업 모두에서 최첨단(SOTA) 결과를 달성함을 입증하였다.

실험 결과

모델은 Waymo Open Motion Dataset(486k 시나리오)을 대상으로 평가되었다.

• 시뮬레이션: Waymo Open Sim Agents Challenge에서 UniMotion은 Realism Meta Metric 0.7851을 기록하여, 기존 방식인 UniTFormer(0.7776)와 LLM2AD(0.7779)를 능가하였다. 특히 RL 기반 미세 조정 덕분에 운동학적 지표(Kinematic Metrics)에서 강점을 보였다.
• 예측: WOMD Prediction Leaderboard에서 UniMotion은 minADE 0.5718 및 minFDE 1.1643을 달성하여, EDA 및 RMP-YOLO와 같은 상위 방법들과 경쟁력 있는 순위를 기록하였다.
• 플래닝: Waymo 플래닝 벤치마크에서 UniMotion은 기존 방식들을 크게 앞질러, 1초 시점에서의 플래닝 오차 0.083 및 5초 시점에서의 2.246을 달성하였으며, 모방 학습 베이스라인에 비해 현저히 낮은 충돌 및 신호 위반율을 보였다.

소거 연구(Ablation studies)를 통해 NTP와 LFR를 모두 사용하는 공동 학습이 단일 과업 학습보다 더 나은 성능을 낸다는 것과, 과업별 미세 조정이 모든 지표에서 일관된 개선을 제공한다는 것을 확인하였다.

의의 및 주장

본 논문은 모션 과업들이 흔히 독립적인 문제로 취급되지만, 실제로는 공동 최적화를 위해 활용할 수 있는 근본적인 구조를 공유하고 있음을 보여줌으로써, UniMotion이 자율 주행을 위한 다재다능하고 확장 가능한 솔루션을 구축한다고 주장한다. 저자들은 이러한 통합적 접근 방식이 효율적인 표현 공유를 가능하게 할 뿐만 아니라, 타겟팅된 전문화를 위한 미세 조정을 허용함으로써 일반적인 모션 이해와 전문가 수준의 과업 수행 사이의 간극을 메울 수 있다고 주장한다.

이 연구는 디코더 전용 프레임워크가 유연성을 제공하지만, 시공간적 상호작용을 위한 상세한 위치 정보에 의존하므로 현재로서는 광범위한 LLM 관련 기술을 직접 적용하는 데 한계가 있음을 강조한다. 향-후 연구로는 공동 학습 성능을 더욱 향상시키기 위한 교차 데이터셋 학습 탐색이 제안되었다.