💻 computer science

Long-Horizon Consistent and Interaction-Aware World Models for Multi-Style End-to-End Driving

본 논문은 시간적 일관성 정규화, 명시적 상태 분리, 그리고 그룹 상대 정책 최적화(Group Relative Policy Optimization)를 통해 시간적 불일치, 상호작용 모델링, 스타일 적응성 문제를 해결하는 월드 모델 기반 프레임워크인 StyleDrive를 제안하며, 이를 통해 Bench2Drive 벤치마크에서 최첨단 성능을 달ato 달성하고 성공적인 sim-to-real 전이를 입증하였다.

원저자: Yuxuan Han, Kunyuan Wu, Liyunong Yang, Zilu Wang, Cansen Jiang, Yi Xiao, Liang Hu

게시일 2026-09-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Han, Kunyuan Wu, Liyunong Yang, Zilu Wang, Cansen Jiang, Yi Xiao, Liang Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자율주행 차량은 오랫동안 도로를 먼저 보고, 그다음 다른 차들이 어디로 갈지 예측하고, 마지막으로 어떻게 조향할지를 결정하는 단계별로 작업을 나누는 모듈형 방식에 의존해 왔습니다. 이 방식은 효과적이긴 하지만, 이전에 본 적 없는 새로운 상황이 도로에 나타날 때 어려움을 겪는 경우가 많습니다. 엔드 투 엔드(end-to-end) 학습이라고 알려진 더 새로운 접근 방식은, 인간 운전자가 경험을 통해 배우는 것과 매우 유사하게 센서가 보는 것을 직접 스티어링 휠과 페달로 매핑하도록 차량을 가르치고자 합니다. 이러한 학습 과정을 더 안전하고 효율적으로 만들기 위해, 연구자들은 '월드 모델(world models)'을 사용하기 시작했습니다. 이는 차량이 컴퓨터를 떠나지 않고도 미래의 시나리오를 상상하고 그에 대한 반응을 연습할 수 있는 내부 시뮬레이션입니다. 이를 통해 AI는 갑작스러운 충돌과 같은 위험한 상황을 탐색하고, 실제 세계의 위험 없이 그 결과를 통해 배울 수 있습니다. 그러나 이러한 정신적 시뮬레이션은 종종 특정한 결함 문제를 겪습니다. 차량이 더 먼 미래를 상상할수록 화면이 흐릿하고 일관성이 없어지며, 시스템이 중요한 근처 차량과 중요하지 않은 먼 차량을 구분하는 데 실패하곤 합니다.

연구팀은 이러한 문제들을 해결하기 위해 '스타일드라이브(StyleDrive)'라는 새로운 시스템을 개발했습니다. 고정밀 주행 시뮬레이터와 실제 차량에서 테스트된 이들의 연구는, AI가 미래에 대해 명확하고 일관된 그림을 유지하는 동시에 다양한 '성격'에 맞춰 운전하는 법을 배우는 방법을 도입합니다. 이 혁신의 핵심은 차량의 정신적 타임라인을 안정적으로 유지하는 방법입니다. 차량이 몇 초 뒤의 미래를 상상할 때 오류가 쌓이도록 내버려 두는 대신, 시스템은 현재의 예측을 과거 상태의 이력과 끊임없이 대조합니다. 이는 마치 흔들림 없는 손처럼 작용하여, 상상된 앞길이 장기간에 걸쳐서도 물리적으로 타당하고 일관성을 유지하도록 보장합니다. 이를 통해 차량은 빠른 속도로 움직이는 교통 흐름에 합류하는 것과 같은 복잡한 기동을 훨씬 높은 확신을 가지고 계획할 수 있습니다.

연구진은 또한 차량이 주변 환경에 주의를 기울이는 방식도 다루었습니다. 이전 시스템에서 AI는 종종 모든 다른 차량이나 보행자를 동일한 수준의 중요도로 취급하여 집중력을 분산시키곤 했습니다. 새로운 시스템은 세상을 두 부분으로 명확히 나눕니다. 즉, 차량의 안전과 움직임에 직접적인 영향을 미치는 요소와 그렇지 않은 배경 요소입니다. 이를 통해 차량은 보행자가 연석에서 내려오거나 차량이 끼어드는 것과 같이 결정적인 상호작용에 의사결정 능력을 집중하는 한편, 무관한 세부 사항은 무시할 수 있습니다. 이러한 분리는 차량의 선택을 더 해석 가능하고 안전하게 만듭니다. 왜냐하면 어떤 환경적 요소가 자신의 행동을 유도하는지 명확히 식별할 수 있기 때문입니다.

StyleDrive의 가장 독특한 특징은 처음부터 다시 학습할 필요 없이 다양한 운전 스타일에 적응할 수 있는 능력입니다. 대부분의 자율주행 시스템은 단일하고 고정된 방식으로 운전하도록 훈련되며, 종-종 극도로 조심스러운 방향으로 치우칩니다. 그러나 StyleDrive는 동일한 프레임워크 내에서 보수적, 보통, 또는 공격적으로 운전하는 법을 배울 수 있습니다. 연구진은 서로 다른 여러 주행 시나리오를 동시에 학습시키고 그 결과를 비교함으로써 이를 달성했습니다. 시스템은 차량이 내딛는 모든 작은 발걸음에 보상을 주는 대신, 여정 전체의 성공 여부를 평가합니다. 이를 통해 차량은 완벽한 조건이 갖춰질 때까지 기다리는 신중한 운전자부터 계산된 위험을 감수하는 적극적인 운전자에 이르기까지, 안전을 유지하면서도 폭넓은 행동 양식을 배울 수 있습니다.

이러-접근 방식의 결과는 상당했습니다. 표준 자율주행 벤치마크에서 테스트했을 때, 이 시스템은 88.44의 주행 점수와 66.82%의 성공률을 기록했습니다. 이 수치들은 유사한 월드 모델 기술을 사용했던 기존의 최고 방법들보다 실질적인 향상을 나타내는데, 기존 방식들은 훨씬 낮은 점수를 기록했습니다. 이 시스템은 교차로에서 마주 오는 차량을 통과하거나 갑작스러운 장애물에 반응하는 것과 같은 복잡한 시나리오에서 특히 효과적이었습니다. 한 테스트에서 다른 시스템들이 긴급 차량과 충돌하거나 보도로 돌진하는 동안, StyleDrive는 올바르게 양보하고 안전하게 합류했습니다. 또 다른 테스트에서는 경쟁 모델들이 보인 불안전한 기동 없이 멈춰 선 차량들을 부드럽게 추월했습니다.

연구진은 이러한 기술이 단순히 시뮬레이터의 결과가 아님을 증명하기 위해, 카메라와 레이저 센서가 장착된 실제 자동화 차량에 시스템을 배치했습니다. 실제 환경 테스트에서 차량은 마주 오는 장애물을 피하거나 예상치 못하게 길을 건너는 보행자를 위해 멈추는 것과 같은 역동적인 상황을 성공적으로 처리했습니다. 시스템은 가상 세계에서 학습한 행동을 물리적 세계로 전이할 수 있음을 입증했으며, 상황에 따라 다양한 운전 스타일을 전환하는 능력을 유지했습니다. 시뮬레이션에서 현실로의 이러한 성공적인 전환은 시스템의 내부 세계 모델이 실제 교통의 예측 불가능성을 다룰 만큼 견고하다는 것을 시사합니다.

이 연구는 자율주행의 미래가 단일하고 경직된 규칙 세트가 아니라, 미래를 명확하게 상상하고 맥락에 따라 행동을 적응시킬 수 있는 유연한 시스템에 있다는 점을 강조합니다. 미래를 안정적으로 예측하고 중요한 것에 집중함으로써, StyleDrive는 더 안전할 뿐만 아니라 다양하고 종종 혼란스러운 실제 도로를 항해할 수 있는 역량을 갖춘 차량을 향한 길을 제시합니다. 연구진의 작업은 적절한 내부 모델이 있다면, 기계가 이전에는 도달할 수 없었던 수준의 미묘함과 적응력을 가지고 운전하는 법을 배울 수 있음을 시사합니다.

기술 요약: StyleDrive

문제 정의

엔드 투 엔드(E2E) 자율 주행은 상상된 롤아웃(imagined rollouts)을 통해 학습 효율을 높이기 위해 월드 모델(World Model, WM) 기반 강화 학습(RL) 프레임워크를 점점 더 많이 채택하고 있습니다. 그러나 기존의 월드 모델 기반 접근 방식은 세 가지 근본적인 한계점을 가집니다:

시간적 불일치(Temporal Inconsistency): 장기적인 상상된 롤아웃은 명시적인 장기 물리적 타당성 제약 없이 단일 단계 사전 확률(single-step priors)로부터 자기회귀적으로 잠재 상태를 생성하기 때문에, 오차 누적과 시간적 불일치 문제를 겪는 경우가 많습니다.
불충분한 상호작용 모델링: 대부분의 모델은 주변 교통 참여자들을 균등하게 취급하며, 자차(ego)에게 중요한 에이전트와 중요도가 낮은 에이전트를 구분하지 못합니다. 이는 복잡한 시나리오에서 최적의 주의 집중 할당을 방해하고 의사 결정 능력을 저하시킵니다.
비유연한 정책 적응: 현재의 정책은 대개 밀집된 수동 설계 보상 함수에 의존하여 스케일링에 민감하며, 다단계 주행 의도를 포착하는 데 어려움을 겪습니다. 다양한 주행 스타일(예: 보수적 vs 공격적)에 적응하기 위해서는 전체 재학습이 필요한 경우가 많아 행동의 유연성이 제한됩니다.

방법론

저자들은 이러한 한계점들을 통합된 학습 패러다임을 통해 해결하기 위해 설계된 월드 모델 기반 RL 프레임워크인 StyleDrive를 제안합니다. 이 프레임워크는 월드 모델 표현 학습(World Model Representation Learning)과 정책 학습(Policy Learning)의 두 단계 학습 과정을 따릅니다.

1. 월드 모델 표현 학습

프레임워크는 특정 구조적 혁신이 강화된 순환 상태 공간 모델(Recurrent State Space Model, RSSM)을 채택합니다:

명시적 상태 분리(Explicit State Disentanglement): 잠재 상태는 제어 가능한 자차 상태( $z^ego_t$ )와 상호작나적인 환경 상태( $z^{env}_t$ )로 분리됩니다. 상호작용 상태는 다시 자차 관련(ego-relevant) 성분과 자차 무관(ego-irrelevant) 성분으로 분해됩니다. 이는 전용 GRU(Gated Recurrent Units)를 사용하는 두 개의 브랜치 구조를 통해 구현됩니다.
시간적 일관성 정규화(Temporal Consistency Regularization): 장기 롤아웃을 안정화하기 위해, 모델은 **게이트형 크로스 어텐션(gated cross-attention)**을 통해 과거의 잠재 컨텍스트를 통합합니다. 단일 단계 사전 확률에만 의존하는 대신, 모델은 과거의 사전 상태들로부터 시간적 컨텍스트 시퀀스를 구축하고 학습 가능한 게이팅 메커니즘을 사용하여 이 이력을 현재의 사전 확률과 융합함으로써 오차 누적을 완화합니다.
의미론적 의존성(Semantic Dependency): 상호작용 상태의 관련성은 기하학적 근접성과 의미론적 상호작용에 기반한 의미론적 의존도 점수를 사용하여 정교화되며, 이를 통해 의존도가 낮은 영역을 억제하여 해석 가능성과 안전성을 높입니다.

2. 정책 학습

StyleDrive는 다중 스타일 정책 최적화 전략을 도입합니다:

다중 스타일 구성: 주행 스타일(보수적, 보통, 공격적)은 핵심 보상 가중치(예: 충돌 페널티, 웨이포인트 보상)를 의미론적으로 분할하여 정의됩니다. 정책은 이러한 스타일 구성( $\alpha(n)$ )에 따라 조건화됩니다.
그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO): 이 프레임워크는 표준적인 단계별 보상 최적화를 **경로별 상대적 이득(trajectory-wise relative advantages)**으로 대체합니다. 에이전트를 병렬 환경에 배치함으로써, 이 방법은 그룹 정규화된 리턴을 계산합니다. 이러한 그룹 내 상대적 순위 지정은 단계별 이득 추정이나 가치 함수 없이도 높은 리턴을 가진 경로를 장려하며, 재학습이나 보상 스케일링 없이도 다양한 주행 스타일의 공동 학습을 가능하게 합니다.

주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

시간적 일관성 정규화: 장기 상상된 롤아웃을 안정화하고 오차 누적을 줄이기 위해 게이트형 크로스 어텐션을 통해 과거 잠재 컨텍스트를 통합하는 메커니즘.
명시적 상태 분리: 자차 관련 상태와 자차 무관 상호작용 상태를 분리하여 해석 가능하고 위험을 인지하는 의사 결정을 가능하게 하는 모듈.
그룹 상대적 정책 최적화(GRPO): 단계별 보상을 경로별 상대적 선호도로 대체하여 다중 주행 스타일의 공동 학습을 용이하게 하는 프레임워크.
Sim-to-Real 배포: 동적인 주행 시나리오에서 강력한 성능을 보여주는, 제안된 프레임워크의 전이 능력을 입증하는 실제 자동 안내 차량(AGV) 플랫폼에서의 실용적 시연.

실험 결과

저자들은 Bench2Drive 폐쇄 루프 주행 벤치마크에서 StyleDrive를 평가하고, 실제 AGV 플랫폼에 배포했습니다.

정량적 성능: Bench2Drive 벤치마크에서 StyleDrive의 다중 모달리티 변체는 주행 점수(Driving Score, DS) 88.44와 **성공률(Success Rate, SR) 66.82%**를 달성했습니다. 이는 이전 최고 성능의 월드 모델 기반 방법인 Epona 대비 DS는 +17.08, SR은 +16.58% 향상된 결과입니다. 카메라 전용 설정에서도 단일 모달리티 모델 중 최고의 성능(DS: 79.78, SR: 57.91%)을 기록했습니다.
다중 능력: 모델은 다섯 가지 독립적인 주행 기술(차선 합류, 추월, 비상 제동, 양보, 교통 표지판)에 대해 견고함을 입증하였으며, 다중 모달리티 설정에서 새로운 SOTA 평균 점수인 64.71을 달축했습니다.
절제 연구(Ablation Studies):
- 분리(Disentanglement): 크로스 어텐션을 통해 환경 상태를 자차 관련 및 자차 무관 성분으로 명시적으로 분해한 결과, 분산 기반 또는 단순한 자차-환경 분할 방식보다 유의미한 이득(DS +8.01, SR +9.20%)을 얻었습니다.
- 정책 최적화: 다중 스타일 정책을 GRPO 파인튜닝과 통합했을 때 모든 지표에서 가장 높은 성능을 보였으며, 다양성(Diversity) 점수는 0.524를 기록했습니다(GRPO 없는 다중 스타일 PPO 대비 68% 증가).
- 시간적 일관성: 정규화는 폐쇄 루프 성능과 오픈 루프 롤아웃 충실도를 크게 개선했습니다. 오픈 루프 테스트에서, 모델은 예측 호라이즌이 길어짐에 따라 성능 격차가 벌어지는 가운데 기존 베이스라인보다 낮은 FID 및 FVD 점수를 유지했습니다.
실제 환경 배포: 시스템은 LiDAR와 카메라가 장착된 AGV 플랫폼에 성공적으로 배포되었습니다. 마주 오는 장애물 회피, 정적 장애물 회피, 무단 횡단 보행자에 대한 비상 대응 시나리오에서 성공적인 Sim-to-Real 전이를 보여주었으며, 공격적 스타일과 보수적 스타일 모두에 적응하는 모습을 보였습니다.

의의

StyleDrive는 기존 월드 모델 기반 주행 프레임워크의 핵심적인 공백을 해결한다고 주장합니다. 장기적 일관성을 강제하고, 상호작용 상태를 명시적으로 분리하며, 재학 training 없이 다중 스타일 최적화를 가능하게 함으로써, 이 프레임워크는 E2E 자율 주행을 위한 더욱 견고하고 해석 가능하며 유연한 솔루션을 제공합니다. 성공적인 Sim-to-Real 전이는 동적인 실제 교통 환경에서 제안된 접근 방식의 실용적인 적용 가능성을 입증합니다.