기술 요약: 폐쇄 루프 교통 모델링(CRAFT)에서의 국소적 관찰과 전역적 시뮬레이션 간의 간극 해소

1. 문제 정의

본 논문은 자기회귀(autoregressive) 교통 시뮬레이터에서 발생하는 근본적인 국소적-전역적 맥락 불일치(local-to-global context mismatch) 문제를 다룹니다. 최첨단 시뮬레이터 대부분은 모방 학습 패러다임 하에서 대규모의 에고 중심(ego-centric) 주행 로그(예: Waymo, nuPlan)를 통해 학습됩니다. 이러한 로그에서 에고 차량은 풍부한 국소적 관찰 정보를 가지지만, 주변 에이전트들은 센서 제한, 가려짐(occlusion), 인지 경계 등으로 인해 부분적으로만 관찰됩니다.

결과적으로, 시뮬레이터는 **불완전한 맥락-행동 매핑(incomplete context–action mappings)**을 학습하게 됩니다. 로그에 기록된 유효한 기동(예: 차량의 제동)은 그 기동을 정당화하는 하류 맥락(예: 가려진 장애물) 없이 기록될 수 있습니다. 이러한 모델이 전역적으로 관찰 가능한 폐쇄 루프 환경에 배포될 때, 모델은 실제 인과적 맥락이 부재함에도 불구하고 해당 행동을 재현합니다. 이는 비정상적인 정지, 안전하지 않은 상호작용, 교통 법규 위반 등 장기적 롤아웃(long-horizon rollouts) 과정에서 비현실적인 행동을 초래하며, 시뮬레이션의 행동적 합리성을 저해합니다.

기존 솔루션은 주로 지도 미세 조정(supervised fine-tuning)이나 강화 학습을 통해 기본 시뮬레이터를 재학습시키는 데 의존하지만, 이는 희소한 피드백, 신용 할당(credit-assignment)의 어려움, 높은 계산 비용 등의 문제를 겪을 수 있습니다. 저자들은 기본 생성기를 재학습시키지 않고도 이러한 편향을 수정하는 테스트 타임 정렬(test-time alignment) 전략을 제안합니다.

2. 방법론: CRAFT

저자들은 행동의 생성과 평가를 분리하는 CRAFT(Contextual pReference Alignment Framework for Traffic Simulation) 프레임워크를 제안합니다. 이는 세 가지 주요 단계로 구성됩니다.

A. 그룹화된 완전한 맥락 기반 'What-If' 시뮬레이션

CRAFT는 정적인 로그에만 의존하는 대신, 동결된(frozen) 기본 시뮬레이터($\pi_\theta$)를 "전역적으로 관찰 가능한 샌드박스"로 활용합니다.

• 프로세스: 로그된 초기 상태에서 시작하여, 기본 시뮬레이터는 서로 다른 랜덤 시드를 사용하여 $N$개의 다양한 확률적 롤아웃(what-if 시나리오)을 생성합니다.
• 결과: 이러한 롤아웃은 모든 에이전트가 전체 맵 맥락 하에서 상호작용하는 다양한 미래로 진화합니다. 이 과정은 원래의 로그에는 숨겨져 있었으나 폐쇄 루프 생성 중에 나타나는 **시뮬레이터 유도 실패(simulator-induced failures)**를 드러냅니다.
• 어노테이션: 자동화된 규칙 기반 평가기가 인간의 주행 사전 지식(안전, 규칙 준수, 운동학적 타당성)에 기반하여 모든 에이전트-시간 토큰에 이진 레이블(비정상 0, 합리적 1)을 할당합니다. 이를 통해 동일한 초기 장면(scene)에 대한 대안적 미래를 포함하는 그룹화된 선호도 데이터셋($D_{pref}$)이 생성됩니다.

B. 맥락적 선호도 평가기(CPE) 학습

경량화된 맥락적 선호도 평가기($\pi_\phi$)는 $D_{pref}$를 통해 완전한 장면 맥락 하에서의 움직임 토큰의 합리성을 예측하도록 학습됩니다.

• 아키텍처: CPE는 기본 시뮬레이터의 동결된 장면 인코더를 재사용하며, 템포럴 컨볼루션 디코더를 사용하여 조밀한 선호도 점수 행렬($R \in [0, 1]^{N_a \times T_f}$)을 출력합니다.
• 손실 함수: 학습 목적 함수는 세 가지 구성 요소의 결합입니다:
  1. 절대적 토큰 레벨 감독 ($L_{bce}$): 자동 레이블링된 이진 정답에 대한 가중치 적용 이진 교차 엔트로피(Weighted Binary Cross-Entropy).
  2. 궤적 내 선호도 ($L_{intra}$): 단일 롤아웃 내에서 정상적인 행동 세그먼트와 이후의 실패 세그먼트를 구분하도록 유도하는 마진 랭킹 손실(margin ranking loss).
  3. 롤아웃 간 선호도 ($L_{inter}$): 동일한 초기 장면에서 생성된 대안적 미래들을 비교하는 브래들리-테리(Bradley-Terry) 목적 함수로, 평가기가 국소적으로는 그럴듯하지만 일관성이 없는 궤적보다 전역적으로 일관된 궤적을 선호하도록 학습시킵 direction.

C. 테스트 타임 선호도 정렬

추론 시, CPE는 동결된 기본 시뮬레이터의 디코딩 분포를 재가중하는 플러그인 가이드 모듈 역할을 합니다.

• Lookahead Search: 각 단계 $t$에서 기본 시뮬레이터는 $K$개의 후보 행동 토큰을 제안합니다.
• 독립적 한계 근사(Independent Marginal Approximation): 모든 결합 행동 조합을 평가하는 데 드는 난해한 $K^{N_a}$ 복잡도를 피하기 위해, CRAFT는 $K$개의 병렬 결합 행동 시나리오를 샘플링합니다. 이는 샘플링된 그럴듯한 배경 교통 상황(결합 기댓값을 근사함)에 대해 각 후보 행동의 선호도 점수를 평가합니다.
• 재가중치 적용: 원래의 디코딩 확률은 가이던스 스케일 $\beta$를 가진 소프트맥스를 통해 선호도 점수($R$)를 사용하여 보정됩니다:
  $$P_{post} \propto P_{prior} \cdot \exp(\beta \cdot R)$$
  이를 통해 오토레그레시브 디코딩이 실행 전 전체 교통 장면과 일치하는 행동을 따르도록 유도합니다.

3. 주요 기여

1. 불일치 식별: 본 논문은 불완전한 맥락을 가진 에고 중심 로그로 학습됨으로써 발생하는 폐쇄 루프 행동의 저하를 명시적으로 식별하고 분석하며, 모방 학습이 어떻게 허위적인 맥락-행동 연관성을 유발하는지 보여줍니다.
2. 분리된 평가기 (CPE): 인간의 주행 사전 지식에 근거한 자가 생성 "what-if" 롤아웃을 통해 학습된 새로운 평가기입니다. 이는 기본 시뮬레이터의 가중치를 수정하지 않고도 국소적으로는 그럴듯하지만 맥락적으로 일관되지 않은 행동을 구별하는 법을 배웁니다.
3. 플러그인 테스트 타임 정렬: CPE를 가벼운 추론 타임 모듈로 배포하여 오토레그레시브 디코딩을 가이드하는 전략입니다. 이 접근 방식은 재학습의 불안정성이나 비용 없이 다양한 기본 시뮬레이터(CAT-K 및 SMART에서 입증됨)의 행동적 합리성을 개선합니다.

4. 실험 결과

프레임워크는 WOSAC 벤치마크와 추가적인 행동 합리성 지표를 사용하여 **Waymo Open Motion Dataset (WOMD)**에서 평가되었습니다.

• 안전 및 준수: CRAFT는 베이스라인(Top-K 샘플링, Auto-labeler, RL 미세 조정 모델 포함)에 비해 비정상적 행동을 크게 감소시켰습니다.
  • 충돌(Collisions): 31.2% 감소.
  • 교통 위반(Traffic Violations): 33.2% 감소.
  • 오프로드(Offroad): (장면 수준에서) 16.6% 감소.
• 행동적 합리성: CRAFT는 속도, 각속도, 인접 에이전트 거리 분포에 대해 가장 낮은 옌센-샤논 거리(Jensen-Shannon Distance, JSD)를 달성하였으며, 이는 실제 주행 분포와의 더 나은 정렬을 나타냅니다.
• 현실성 트레이드오프: 논문은 CRAFT가 WOSAC "현실성(Realism)" 지표(로그된 궤적과의 일대일 유사도를 측정)에서 약간의 저하를 보인다고 언급합니다. 저자들은 이것이 필요한 트레이드오프라고 주장합니다. 기본 모델의 높은 현실성 점수는 종종 불완전한 로컬 로그에 대한 밀접한 일치를 반영하는 반면, CRAFT는 전역적 행동 합리성을 우선시하여 통계적으로 로그에는 나타날 수 있으나 전체 맥락에서는 비합리적인 행동을 교정하기 때문입니다.
• 효율성: CRAFT는 Top-K 샘플링(2ms)에 비해 중간 정도의 런타임 오버헤드(76ms/step)를 추가하지만, 규칙 기반 auto-labeler(~491ms)보다 훨씬 빠르면서도 우수한 성능을 제공합니다.

5. 의의 및 주장

본 논문은 CRAFT가 폐쇄 루프 교통 시뮬레이션을 개선하는 경량화되고 보완적인 경로를 제공한다고 주장합니다.

• 수동적에서 능동적으로의 전환: 로그를 수동적으로 모방하는 것에서 전역 장면 맥락에 능동적으로 정렬하는 것으로 패러다임을 전환합니다.
• 실패 발견: 시뮬레이터 자체를 사용하여 실패 사례(what-if 롤아웃)를 생성함으로써, 시뮬레이터가 도입하는 바로 그 편향을 수정하기 위한 자기 지도 신호를 생성합니다.
• 일반화 가능성: CPE의 플러그인 특성은 재학습 비용이 높거나 불안정한 기존 월드 모델 및 시뮬레이터의 행동적 합리성을 개선할 수 있게 하여 범용성을 제공합니다.
• 한계: 저자들은 방법론이 기본 시뮬레이터가 제안하는 후보 집합의 품질에 의해 제약을 받는다는 점을 인정합니다. 만약 최적의 행동이 Top-K 후보에 포함되어 있지 않다면(기본 모델의 사전 확률이 너무 약한 경우), CPE는 이를 복구할 수 없고 단지 가용한 차선책들의 순위를 재조정할 수 있을 뿐입니다.

요약하자면, CRAFT는 국소적 관찰과 전역적 시뮬레이션 요구 사이의 간극을 메우며, 테스트 타임 선호도 정렬이 생성 모델의 구조를 해치지 않으면서도 자율 주행 시뮬레이션의 안전성과 합리성을 크게 향상시킬 수 있음을 입증합니다.