기술 요약: 결합 임베딩 예측 아키텍처를 통한 제로 라벨 주행 시나리오 복잡도 탐지

문제 정의

실제 자율주행 자동차(AV) 데이터셋은 평범하고 일상적인 주행 시나리오에 크게 치우쳐 있어, 드물고 복잡하며 안전에 직결되는 이벤트를 식별하는 작업은 노동 집약적이고 비용이 많이 듭니다. 기존 솔루션들은 인간의 주석(annotation), 지도 학습 분류기, 또는 수작업으로 만든 규칙 세트에 의존하며, 이는 상당한 사전 지식이나 비용이 많이 드는 데이터 수집을 필요로 합니다. 저자들은 모델이 미래 에이전트의 역학(dynamics)을 예측하는 능력만을 바탕으로 어떻게 복잡한 시나리오를 자율적으로 식별할 수 있는지 질문하며, 라벨 없이 완전히 시나리오 복잡도를 발견하는 해결책을 제안합니다.

방법론

데이터 및 표현

본 연구는 nuPlan mini 데이터셋을 활용하여 1,322개의 시나리오(10Hz 속도로 5초간의 데이터)를 추출했습니다. 원시 픽셀을 사용하는 방식과 달리, 이 방법은 구조화된 에이전트 상태 데이터 상에서 작동합니다. 각 시나리오는 최대 21개(자차 및 주변 20개 에이전트)의 에이전트를 인코딩하는 $[50, 21, 6]$ 형태의 텐서로 표현됩니다. 6개의 특징은 위치($x, y$), 속도($v_x, v_y$), 헤딩($\theta$), 그리고 에이전트 유형을 포함합니다. 데이터는 일반적인 값들이 $[-1, 1]$ 근처에 위치하도록 정규화되었습니다.

아키텍처: 결합 임베딩 예측 아키텍처 (JEPA)

본 접근 방식의 핵심은 구조화된 에이전트 상태에 대해 학습된 최소한의 **결합 임베딩 예측 아키텍처 (JEPA)**입니다. 아키텍처는 네 가지 구성 요소로 이루어집니다:

1. 컨텍스트 인코더 (Context Encoder): 첫 25개 타임스텝(컨텍스트 윈도우)을 처리하여 잠재 표현 $z_{ctx}$를 생성하는 4계층 트랜스포머(Transformer)입니다.
2. 예측기 (Predictor): 학습 가능한 호라이즌 임베딩(horizon embedding)을 조건으로 하여 $z_{ctx}$를 예측된 미래 잠재 상태 $\hat{z}_{tgt}$로 매핑하는 2계층 트랜스포머입니다.
3. 타겟 인코더 (Target Encoder): 미래 25개 타임스텝(타겟 윈도우)을 처리하여 그라운드 트루스(ground-truth) 잠재 상태 $z_{tgt}$를 생성하는 컨텍스트 인코더와 동일한 복사본입니다. 결정적으로, 이 인코더는 역전파(backpropagation)를 통해 업데이트되지 않으며, 오직 컨텍스트 인코더 가중치의 **지수 이동 평균 (EMA)**을 통해서만 업데이트됩니다.
4. 포지션 디코더 (Position Decoder): 예측된 잠재 상태를 미래 위치로 디코딩하는 작은 MLP로, 보조적인 감독 신호 역할을 합니다.

학습 목적 함수

모델은 두 개의 항이 결합된 자기 지도 학습 손실 함수로 학습됩니다:
$$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{JEPA Loss}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Position Loss}}$$
여기서 $\lambda = 0.1$입니다. 그래디언트는 컨텍스트 인코더와 예측기를 통해 흐르지만, 타겟 인코더에서는 중단됩니다. EMA 업데이트($\alpha = 0.996$)는 타겟 인코더가 컨텍스트 인코더의 매끄러운 역사적 평균을 유지하도록 함으로써 표현 붕괴(representation collapse)를 방지합니다.

복잡도 지표: 서프라이즈 점수 (Surprise Score)

추론 시에는 라벨을 사용하지 않습니다. 시나리오에 대한 서프라이즈 점수($s$)는 예측된 미래 잠재 상태와 실제 미래 잠재 상태 사이의 L2 거리로 정의됩니다:
$$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$$
높은 점수는 모델의 미래 상태 예측이 부정확했음을 의미하며, 이는 해당 시나리오에 복잡하고 예상치 못한 상호작용이 포함되어 있음을 시사합니다.

주요 기여

1. 제로 라벨 복잡도 스코어링: 저자들은 라벨 없이 구조화된 주행 데이터로 학습된 JEPA 모델이 그라운드 트루스 시나리오 태그(예: "unprotected turn", "pedestrian proximity")와 강한 상관관계를 갖는 서프라이즈 점수를 생성함을 입증했습니다.
2. 절제 실험 (Ablation Analysis): 네 가지 실험을 통해 신호의 출처를 분리하여 검증했습니다:
   • 셔플된 점수 (Shuffled Scores): 상관관계가 분석 파이프라인의 인위적인 결과물이 아님을 확인했습니다.
   • 랜덤 인코더 (Random Encoder): 학습된 가중치가 필수적임을 증명했습니다 (랜덤 초기화 시 상관관계가 나타나지 않음).
   • 등속도 베이스라인 (Constant-Velocity Baseline): 단순 운동학적 예측은 복잡한 시나리오를 올바르게 순위 매기는 데 실패하며, 종종 복잡한 기동 전의 감속 이벤트에 낮은 서프라이즈 점수를 부여함을 보여줍니다.
   • No-EMA 학습: EMA 없이는 모델이 붕괴됨을 보여줍니다 (점수 분포가 44배 감소). 이는 EMA가 시간적 구조 학습을 가능하게 하는 특정 메커니즘임을 증명합니다.
3. 다운스트림 이상 탐지: 서프라이즈 점수는 효과적인 제로샷 이상 탐지 도구로 작용하며, 찬스 베이스라인인 0.436 대비 0.512의 평균 정밀도(AP)를 달축성했습니다.

결과

• 태그 상관관계: 모델은 "starting unprotected cross turn"(1.978) 및 "near pedestrian on crosswalk"(1.834)와 같은 복잡한 태그에 훨씬 높은 서프라이즈 점수를 부여하는 반면, "following lane with lead"(1.406)와 같은 일상적인 태그에는 낮은 점수를 부여합니다.
• 절제 실험 결과: 등속도 베이스라인은 중간 정도의 상관관계($\rho=0.314$)를 보였으나, 제어된 감속으로 시작되는 복잡한 시나리오를 구분하는 데 실패했습니다. No-EMA 모델은 모든 시나리오에 거의 동일한 점수를 부여하며 완전히 실패했습니다.
• 이상 탐지: 학습된 JEPA 모델만이 전체 랭킹 커브 전반에 걸쳐 찬스 베이스라인보다 일관되게 높은 성능을 유지한 유일한 방법이었습니다. 등속도 베이스라인은 상위 5%의 랭킹 시나리오 이후 찬스 베이스라인 아래로 떨어졌습니다.
• 정성적 검증: 가장 놀라운(surprising) 상위 9개 시나리오를 시각적으로 검토한 결과, 밀집된 에이전트 클러스터링, 교차로, 보행자 횡단보도가 나타난 반면, 하위 9개 시나리오는 희소하고 평행한 차선 주행을 보여주었습니다.

의의 및 주장

본 논문은 자기 지도 학습된 잠재 세계 모델(latent world model)에서의 시간적 예측 오차가 실질적인 주행 시나리오 복잡도의 대리 지표(proxy)가 될 수 있음을 주장합니다.

• 메커니즘: 모델은 미래 에이전트 상호작용의 "압축된 본질"을 예측하도록 학습됩니다. 이 모델은 시각적 노이즈나 정적 특성이 아닌, 특이한 다중 에이전트 역학에 반응합니다.
• 운동학 대비 장점: 등속도 베이스라인과 달리, JEPA 모델은 교차로를 향한 제어된 감속이 복잡한 이벤트의 전조임을 인식하여, 결정적인 기동이 일어나기 전에도 더 높은 서프라이즈 점수를 부여합니다.
• 실용성: 이 접근 방식은 주석 비용이 들지 않습니다. 표준적인 자기 지도 학습 목적 함수를 사용하여 엔드 투 엔드로 학습된 단일 모델은 복잡한 시나리오를 표면화함으로써 데이터 불균형 문제를 해결하고 데이터셋을 자동으로 큐레이션할 수 있습니다.

저자들은 nuPlan의 미니 서브셋(1,322개 시나리오) 사용과 현재 nuPlan 데이터 파이프라인과의 결합이라는 한계를 언급하며 겸허한 범위를 유지하였으며, 더 큰 규모의 데이터로 캘리브레이션을 수행하면 성능이 개선될 수 있음을 시사했습니다.