SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

이 논문은 자율주행 시스템 훈련을 위해 정적 초기화나 로그 재생에 의존하지 않고 트랜스포머 모델을 활용해 교통 신호, 에이전트 상태, 운동 벡터를 토큰 시퀀스로 표현하여 무한한 시간 범위 내에서 에이전트를 동적으로 생성 및 제거하는 연속 시나리오 생성 프레임워크 'SceneStreamer'를 제안합니다.

핵심

SceneStreamer: 자율주행차를 위한 '살아있는' 교통 시뮬레이터

이 논문은 UCLA 연구팀이 개발한 **'SceneStreamer(씬스트리머)'**라는 새로운 기술을 소개합니다. 이 기술을 쉽게 이해하기 위해, 기존의 시뮬레이션과 비교하며 **'죽은 영화'**와 **'살아있는 연극'**의 차이로 비유해 보겠습니다.

1. 문제점: 왜 기존 시뮬레이션은 부족할까요?

기존의 자율주행 훈련용 시뮬레이션은 마치 녹화된 영화를 다시 재생하는 것과 비슷했습니다.

• 녹화 재생 (Log-Replay): 실제 도로에서 찍은 영상을 다시 틀어놓는 겁니다. 차들이 정해진 길로만 움직일 뿐, 우리 차 (자율주행차) 가 갑자기 브레이크를 밟거나 방향을 틀어도 주변 차들은 전혀 반응하지 않습니다. 마치 무대 위의 배우들이 대본만 외우고 관객의 반응에 무감각한 연극 같습니다.
• 한계: 이런 환경에서는 자율주행차가 "만약 내가 급정거하면 저 차가 어떻게 할까?"라는 상황을 제대로 배우기 어렵습니다.

2. 해결책: SceneStreamer 는 무엇인가요?

SceneStreamer 는 **매 순간 새로운 이야기를 만들어내는 '생생한 연극'**과 같습니다. 이 시스템은 다음과 같은 마법을 부립니다.

🎭 마법 1: 모든 것을 '단어'로 바꾸다 (토큰화)

이 시스템은 복잡한 도로 상황을 언어 모델이 이해할 수 있는 **'단어 (Token)'**의 나열로 바꿉니다.

• 지도: 도로의 선, 신호등, 횡단보도 등을 단어의 나열로 표현합니다.
• 신호등: "초록불", "빨간불"을 단어처럼 나열합니다.
• 차량과 사람: 차가 어디에 있고, 어떤 속도인지, 어떤 방향을 향하는지 모두 작은 '단어'로 변환합니다.

🎬 마법 2: 다음 단어를 예측하며 이야기를 이어가다 (자기회귀 생성)

이 시스템은 소설가가 다음 장을 써내려가듯 교통 상황을 만들어냅니다.

• "지금 신호등이 초록불이고, 차가 A 지점에 있다"는 상황을 보고, AI 가 **"다음 순간 신호등은 어떻게 변할까? 차는 어디로 갈까? 새로운 보행자가 나타날까?"**를 하나씩 예측합니다.
• 중요한 점은, 새로운 차나 사람이 갑자기 나타날 수도 있고, 기존 차가 사라질 수도 있다는 것입니다. 마치 연극 중간에 배우가 무대에 새로 등장하거나 퇴장하는 것처럼, 시나리오가 유동적으로 변합니다.

🧩 마법 3: 상황별 '연출'이 가능하다

SceneStreamer 는 하나의 모델로 여러 가지 역할을 합니다.

• 예측: "지금 차가 이렇게 움직인다면, 5 초 뒤엔 어디에 있을까?"를 맞춥니다.
• 생성: "아무것도 없는 지도에서 새로운 교통 상황을 처음부터 만들어라"고 하면, 차와 사람을 자연스럽게 배치합니다.
• 편집: "이 도로에 차가 너무 적으니, 갑자기 10 대의 차를 더 태워 넣어라"라고 하면, 그 자리에서 새로운 차들을 만들어내어 교통 체증을 시뮬레이션합니다.

3. 왜 이것이 중요한가요? (실제 효과)

이 기술을 통해 훈련된 자율주행 시스템은 훨씬 더 똑똑해집니다.

• 실제 같은 훈련: AI 는 예측 불가능한 상황 (갑작스러운 보행자 등장, 신호 위반 차량 등) 을 수없이 겪으며 훈련합니다.
• 강인함 (Robustness): 실험 결과, SceneStreamer 에서 훈련된 자율주행 AI 는 실제 도로에서 더 안전하고, 예기치 못한 상황에서도 잘 대처했습니다. 마치 다양한 난이도의 스페셜 스테이지를 통과한 게임 캐릭터가 일반 스테이지에서 더 잘하는 것과 같습니다.

📝 한 줄 요약

SceneStreamer는 정적인 녹화 영상을 재생하는 대신, 매 순간 새로운 이야기와 배우 (차량/보행자) 를 즉석에서 창조하며 살아 숨 쉬는 교통 환경을 만들어내는 AI입니다. 이를 통해 자율주행차는 실제 도로의 복잡하고 예측 불가능한 상황을 미리 경험하며 더 안전하고 똑똑해질 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 시스템의 훈련 및 평가를 위해서는 현실적이고 상호작용적인 교통 시뮬레이션이 필수적입니다. 그러나 기존 데이터 기반 시뮬레이션 방법론들은 다음과 같은 한계를 가지고 있습니다.

• 정적 초기화 및 로그 재생 (Log-Replay) 의존성: 기존 방법들은 대부분 실제 데이터의 정적 초기 상태나 기록된 궤적 재생에 의존합니다. 이는 배경 에이전트 (배경 차량, 보행자 등) 가 자차 (Ego Vehicle) 의 행동에 반응하지 못하게 하여, 폐루프 (Closed-loop) 평가의 유효성을 떨어뜨립니다.
• 동적 에이전트 관리의 부재: 대부분의 생성 모델은 고정된 에이전트 집합을 가정하거나, 초기 상태 생성과 운동 예측을 분리하여 수행합니다. 이로 인해 시뮬레이션 도중 새로운 에이전트가 진입하거나 기존 에이전트가 퇴장하는 것과 같은 현실적인 '개방형 시스템' 특성을 모델링하기 어렵습니다.
• 오차 누적 (Covariate Shift): 일회성 예측 모델 (One-shot prediction) 은 시뮬레이션을 전개할 때 작은 예측 오차가 누적되어 분포 밖 (Out-of-distribution) 상태에 도달하게 하거나 비현실적인 결과를 초래합니다.

2. 방법론 (Methodology)

저자들은 SceneStreamer를 제안합니다. 이는 전체 교통 시나리오를 토큰 시퀀스로 표현하고, 트랜스포머 (Transformer) 모델을 사용하여 다음 토큰 그룹을 예측하는 방식으로 연속적인 시나리오를 생성하는 통합 자동회귀 (Autoregressive) 프레임워크입니다.

2.1 토큰화 전략 (Tokenization)

장면은 정적 맵 토큰을 기반으로 각 시간 단계 (Step) 마다 다음과 같은 동적 토큰 그룹으로 구성됩니다:

1. 교통 신호 토큰 (): 신호등 상태 (초록, 노랑, 빨강 등) 를 표현합니다.
2. 에이전트 상태 토큰 (): 각 에이전트 (차량, 보행자, 자전거 등) 의 상태를 4 개의 순차적 토큰으로 인코딩합니다.
   • <SOA>: 에이전트 시작 플래그.
   • <TYPE>: 에이전트 유형 (차량, 보행자 등).
   • <MS>: 에이전트가 위치한 맵 세그먼트 (Map Segment) ID.
   • <RS>: 선택된 맵 세그먼트에 대한 상대적 상태 (Relative State). 위치, 방향, 속도, 크기 등을 맵 기준 좌표계로 표현하여 토큰 어휘를 통일하고 확장성을 높입니다.
3. 에이전트 운동 토큰 (): 가속도와 요레이트 (Yaw rate) 쌍 $(a, \omega)$를 이산화된 토큰으로 표현합니다.

2.2 자동회귀 생성 프로세스

SceneStreamer 는 인코더 - 디코더 구조를 따릅니다.

• 인코더: 벡터화된 HD 맵 정보를 정적 맵 토큰으로 인코딩합니다.
• 디코더: 매 시간 단계마다 다음 순서로 토큰을 생성합니다.
  1. 교통 신호 예측: 모든 신호등 토큰을 한 번에 배치 (Batch) 로 생성합니다.
  2. 에이전트 상태 생성: 새로운 에이전트가 진입할 경우, 에이전트 유형 $\rightarrow$ 맵 세그먼트 선택 $\rightarrow$ 상대적 상태 (Relative State) 순서로 순차적으로 생성합니다. 기존 에이전트의 경우, 예측된 운동 토큰을 기반으로 상태를 재구성하여 State-forcing (예측 대신 재구성된 토큰을 입력) 을 수행합니다.
  3. 운동 예측: 모든 에이전트의 운동 토큰을 배치로 생성합니다.

2.3 어텐션 메커니즘

• 그룹 인과 어텐션 (Group Causal Attention): 동일한 그룹 내 토큰은 자유롭게 상호작용하되, 그룹 간에는 인과적 순서 (예: 운동 토큰은 현재 상태 토큰을 참조하지만 그 역은 불가) 를 따릅니다.
• 상대적 어텐션 (Relative Attention): 토큰 간의 공간적, 시간적 거리 ($\Delta x, \Delta y, \Delta \psi, \Delta t$) 를 어텐션 가중치에 반영하여 모델의 학습을 용이하게 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 상태 및 궤적 토큰화: 에이전트의 초기 상태와 운동 궤적을 하나의 연속된 토큰 시퀀스로 통합하여, 초기화와 운동 예측 간의 일관된 조건부 의존성을 보장합니다.
2. 에이전트 상태 자동회귀 생성: 맵 기반 상대적 상태 토큰을 순차적으로 생성하는 새로운 방식을 도입하여, 에이전트가 맵의 특정 차선 (Lane) 에 정확하게 배치되고 물리적으로 일관된 상태 (위치, 방향, 속도) 를 생성할 수 있게 합니다.
3. 다양한 기능성 (Versatility): 토큰 그룹을 동적으로 'State-forcing'하거나 샘플링함으로써, 운동 예측, 초기 상태 생성, 시나리오 생성, 시나리오 밀집화 (새로운 에이전트 주입), 장면 편집 등 다양한 작업에 유연하게 적용 가능합니다.

4. 실험 결과 (Results)

Waymo Open Motion Dataset (WOMD) 을 기반으로 한 실험 결과, SceneStreamer 는 다음과 같은 성과를 보였습니다.

• 초기 상태 품질: 생성된 초기 에이전트 상태의 분포가 실제 데이터와 매우 유사합니다 (MMD 지표 기준). 특히 순차적 토큰 생성 (AR Decoding) 을 통해 보행자나 자전거와 같은 이종 에이전트까지 현실적으로 생성하며, 기존 2 단계 모델 (TrafficGen 등) 보다 물리적/의미적 일관성이 뛰어납니다.
• 운동 예측: 8 초 이상의 장기 예측에서 합리적인 정확도 (ADE/FDE) 를 유지하며, 특히 다양한 행동 패턴 (다양성, ADD/FDD) 을 생성하는 데 강점을 보입니다.
• 강화학습 (RL) 플랜터 훈련: SceneStreamer 에서 생성된 시나리오로 훈련된 RL 기반 자율주행 플랜터는 기존 로그 재생 (Log-Replay) 데이터로 훈련된 모델보다 더 높은 견고성 (Robustness) 과 일반화 능력을 보입니다. 충돌률 감소 및 경로 완료율 향상 등의 지표에서 우위를 점했습니다.
• WOSAC (Waymo Sim Agents Challenge): 2025 년 테스트 세트에서 경쟁 모델 (UniMM, CAT-K 등) 과 비교하여 현실성 (Realism) 과 행동 확률 (Behavioral Likelihood) 측면에서 경쟁력 있는 성능을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 동적 시뮬레이션의 패러다임 전환: 고정된 에이전트 집합이나 단순한 로그 재생을 넘어, 시뮬레이션 도중 에이전트가 유입/퇴장하는 **열린 시스템 (Open System)**을 자연스럽게 모델링할 수 있는 첫 번째 통합 프레임워크 중 하나입니다.
• 고충실도 훈련 환경: 생성된 시나리오가 실제 도로 환경과 유사한 복잡성과 상호작용을 제공하므로, 자율주행 시스템의 안전성 검증 및 강화학습 훈련에 매우 효과적인 데이터 증강 도구로 작용합니다.
• 효율성과 확장성: 맵 기반 상대적 토큰화를 통해 글로벌 맵을 이산화할 필요 없이 확장 가능한 시나리오 모델링이 가능하며, 단일 모델로 다양한 다운스트림 태스크를 처리할 수 있어 효율적입니다.

결론적으로, SceneStreamer 는 자율주행 시스템 개발을 위한 차세대 생성형 시뮬레이션 플랫폼으로서, 현실적이고 반응형인 교통 환경을 생성하여 안전하고 견고한 자율주행 알고리즘 훈련을 가능하게 합니다.