🤖 AI

Orbis 2: A Hierarchical World Model for Driving

이 논문은 장기적인 장면 구조를 위한 상위 수준 예측기와 세밀한 충실도를 위한 하위 수준 생성기를 결합한 계층적 주행 월드 모델인 Orbis 2를 소개하며, 풍부한 표현력을 위해 디퓨전 포싱(diffusion forcing)으로 사전 학습하고 안정적인 롤아웃을 위해 티처 포싱(teacher forcing)으로 미세 조정하는 새로운 2단계 학습 패러다임을 활용하여 주행 시뮬레이션에서 최첨단 성능을 달성한다.

원저자: Sudhanshu Mittal, Arian Mousakhan, Silvio Galesso, Karim Farid, Jonannes Dienert, Rajat Sahay, Thomas Brox

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sudhanshu Mittal, Arian Mousakhan, Silvio Galesso, Karim Farid, Jonannes Dienert, Rajat Sahay, Thomas Brox

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 운전하는 법을 가르치려 한다고 상상해 보세요. 단순히 로봇이 정지 표지판을 인식하게 하는 것만으로는 부족합니다. 당신은 로봇이 그 '다음'에 어떤 일이 일어날지를 이해하기를 원합니다. 만약 로봇이 빨간 불을 본다면, 앞차는 멈출 것이고, 교통 체증이 발생할 것이며, 결국 불이 초록색으로 바뀔 것이라는 것을 예측해야 합니다. 인공지능의 세계에서, 미래를 추측하는 이러한 능력은 '월드 모델(world model)'이라고 불립니다. 로봇의 뇌 속에 있는 정신적인 영화 프로젝터라고 생각하면 됩니다. 로봇이 현재의 장면을 볼 때, 이 프로젝터는 로봇이 핸들을 꺾는 것과 같은 특정 행동을 취했을 때 세상이 몇 초 후에 어떻게 보일지를 미리 보여줍니다.

오랫동안 이러한 정신적인 영화들은 다소 흐릿하거나 짧았습니다. 대부분의 로봇은 사진첩을 너무 빠르게 넘기는 것처럼, 아주 작은 프레임 단위로 미래를 예측하려고 시도했습니다. 이는 1~2초 정도는 괜찮게 작동했지만, 만약 1분 뒤의 미래를 상상해 보라고 하면 영화는 엉망이 되고, 자동차들은 공중에 떠다니며, 도로는 사라져 버렸습니다. 문제는 로봇이 아스팔트의 질감이나 특정 나뭇잎의 색깔 같은 세세한 디테일에 집착하느라, "도로가 왼쪽으로 굽는다"라거나 "차가 속도를 줄이고 있다"와 같은 큰 그림에 집중하지 못했다는 점입니다. 과학자들은 좋은 예측을 하기 위해서는 인간 운전자가 경로를 계획하기 위해 지평선을 바라보면서도 바로 앞 범퍼를 계속 주시하는 것처럼, '큰 아이디어'와 '세부 사항'을 분리해야 한다는 사실을 깨달았습니다.

여기에 프라이부르크 대학교 연구진이 개발한 새로운 종류의 운전 두뇌인 Orbis 2가 등장했습니다. 그들의 핵심 아이디어는 모든 것을 한꺼번에 하려고 애쓰는 대신, 로봇을 위한 2층짜리 정신적 집을 짓는 것입니다. 꼭대기 층은 '추상적 예측기(Abstract Predictor)'로, 큰 그림을 보는 현명하고 높은 수준의 계획가입니다. 이 단계에서는 지나가는 트럭의 페인트 색깔 따위에는 관심이 없습니다. 오직 도로의 구조, 다른 차량의 위치, 그리고 다음 몇 초 동안 여정이 어디로 향하는지에 대해서만 관심을 가집니다. 이는 체스판 전체를 보고 나무 조각의 결을 신경 쓰지 않은 채 열 수 앞을 내다보는 체스 그랜드마스터와 같습니다.

아래층은 '디테일 생성기(Detail Generator)'입니다. 이 단계는 예술가입니다. 이들은 꼭대기 층에서 내려온 거친 스케치를 받아 누락된 픽셀들을 채워 넣습니다. 자동차 창문의 반짝이는 빛 반사, 나무의 구체적인 모양, 도로의 질감을 추가합니다. 이렇게 업무를 분담함으로써, 로봇은 길을 잃지 않고 길고 복잡한 경로를 계획할 수 있는 동시에, 믿을 수 없을 정도로 현실적이고 선명한 영상을 만들어낼 수 있습니다.

하지만 문제가 하나 있었습니다. 로봇이 이 기술을 배울 때 종종 혼란을 겪었습니다. 만약 과거의 완벽하고 깨끗한 예시만을 보여주며 미래를 예측하게 한다면, 로봇은 게을러져서 상황이 약간이라도 잘못되었을 때 실패하게 됩니다. 연구진은 이를 해결하기 위해 '디퓨전 포싱(diffusion forcing)'이라는 방법으로 학습시키는 영리한 트릭을 발견했습니다. 학생에게 사진 한 장을 보여준 뒤, 그 사진을 약간의 흙으로 더럽히고 원래 사진이 어떤 모습이었는지 맞혀보라고 하는 과정을 상상해 보세요. 이를 반복함으로써, 로봇은 세상의 '구조'를 매우 잘 이해하게 되어 지저받고 무질서한 실제 상황도 처리할 수 있게 되었습니다. 일단 이러한 깊은 이해를 습득한 후, 연구진은 바로 다음 프레임을 완벽하게 예측할 수 있도록 표준적인 학습 방법으로 전환했습니다.

결과는 인상적이었습니다. 실제 주행 데이터로 테스트했을 때, Orbis 2는 단순히 보기 좋았을 뿐만 아니라 훨씬 더 오랫동안 안정성을 유지했습니다. 다른 로봇들이 몇 초 만에 환각을 일으키거나 도로 밖으로 벗어나기 시작할 때, Orbis 2는 평정심을 유지하며 더 긴 시간 동안 높은 정확도로 미래를 예측했습니다. 또한, 단순히 매우 선명한 카메라를 갖는 것보다 세상에 대한 강력한 '이해'(예를 들어 도로나 자동차가 무엇인지 아는 것)를 갖는 것이 장기적인 안정성에 더 중요하다는 것을 입증했습니다. 이 모델은 또한 매우 효율적이어서, 경쟁 모델들보다 훨씬 빠르게 작동하면서도 더 적은 컴퓨터 메모리를 사용합니다.

요약하자면, Orbis 2는 똑똑한 자율주행차의 비결이 더 큰 뇌나 더 선명한 눈이 아니라, 뇌를 계층적으로 조직하는 데 있다는 것을 시사합니다. 고수준의 계획가가 '무엇'과 '어디'에 집중하게 하고, 디테일에 집중하는 예술가가 '어떻게 보이는지'를 처리하게 함으로써, 로봇은 이전에는 도달할 수 없었던 통찰력과 안정성을 가지고 복잡하고 혼란스러운 운전의 세계를 항해할 수 있습니다. 이는 기계가 단순히 도로를 보는 것을 넘어, 도로가 어디로 향하는지를 진정으로 이해하게 되는 단계로 나아가는 발걸음입니다.

기술 요약: Orbis 2: 계층적 주행 월드 모델 (A Hierarchical World Model for Driving)

문제 정의

현재 자율주행을 위한 월드 모델은 단일 수준의 추상화 단계에서 작동하며, 이는 두 가지 주요 한계를 나타냅니다:

단일 시간 척도 (Single Temporal Scale): 예측기가 프레임 단위로 롤아웃(rollout)을 생성함에 따라, 시간이 지남에 따라 오차가 누적되고 장기적인 장면 진화에 대해 명시적으로 추론하는 능력이 제한됩니다.
최적화되지 않은 잠재 공간 (Suboptimal Latent Space): 잠재 공간은 일반적으로 미세한 시각적 디테일(질감, 외관)을 보존하는 재구성 목적 함수에 의해 형성됩니다. 그러나 장기적인 역학 관계는 거칠고 천천히 변화하는 의미론적 속성에 의해 지배됩니다. 결과적으로, 픽셀 충실도에 최적화된 표현은 장기 예측 및 계획에 있어 최적이 아닐 수 있습니다.

또한, 교사 강제 학습 (Teacher Forcing)(깨끗한 정답 컨텍스트로부터 다음 프레임을 예측하는 방식)을 사용하는 표준 훈련 방식은 모델이 훈련 중에 분포 외(out-of-distribution) 또는 손상된 컨텍스트를 접하지 못하기 때문에 강력한 내부 표현을 학습하는 데 실패합니다. 이는 낮은 일반화 성능과 불안정한 자기회귀(autoregressive) 롤아웃을 초래합니다.

방법론

저자들은 두 개의 서로 다른 추상화 수준 및 시간 척도로 미래 예측을 분리하고, 새로운 2단계 훈련 패러다임을 결합한 계층적 주행 월드 모델인 Orbis 2를 제안합니다.

1. 계층적 아키텍처

이 모델은 예측을 상위 레벨 예측기와 하위 레벨 생성기로 분해합니다:

상위 레벨 예측기 (추상적 - High-Level Predictor): 조밀하지 않은 추상적 잠재 공간에서 거친 시간 해상도(2 Hz)로 작동합니다. 이는 장기적인 역학 관계와 장면 구조를 예측하여 "서브골(subgoals)"을 생성합니다.
- 잠재 공간: 공간 구조와 의미론적 이해를 포착하기 위해 DINOv2 특징을 경량화된 투영(16차원으로 압축)하여 활용합니다. 약한 재구성 정규화(weak reconstruction regularizer)를 통해 작업 관련 시각 정보가 유지되도록 합니다.
- 목적 함수: 과거의 추상적 잠재 상태와 에고 액션(ego actions)에 조건화된 미래의 추상적 잠재 상태를 모델링합니다.
하위 레벨 예측기 (상세 - Low-Level Predictor): 미세한 시간 해상도(10 Hz)의 픽셀 정렬된 잠재 공간에서 작동합니다. 상위 레벨의 추상적 예측에 조건화되어 상세하고 단기적인 프레임을 생성합니다.
- 잠재 공간: 미세한 시각적 디테일을 보존하기 위해 픽셀 정렬 재구성을 위해 훈련된 표준 VQGAN 기반 토크나이저를 사용합니다.
- 목적 함수: 상위 레벨 예측기가 제공하는 장기적인 컨텍스트를 바탕으로, 추상적 타임스텝 사이의 $k$ 개 중간 프레임을 생성합니다.

2. 훈련 패러다임: 디퓨전 포싱 (Diffusion Forcing) + 교사 강제 학습 (Teacher Forcing)

저자들은 표현의 품질과 롤아웃의 안정성 사이의 균형을 맞추기 위해 두 단계의 훈련 전략을 도입합니다:

1단계: 디퓨전 포싱 사전 훈련 (Diffusion Forcing Pre-training): 시퀀스의 모든 프레임에 독립적으로 노이즈를 가하는 디퓨전 포싱 목적 함수를 사용하여 모델을 사전 훈련합니다. 이를 통해 모델이 깨끗한 정답에 의존하는 대신, 노이즈를 제거하고 보간함으로써 강력한 내부 표현을 학습하도록 강제합니다.
2단계: 교사 강제 학습 미세 조정 (Teacher Forcing Fine-tuning): 표준 교사 강제 학습(깨끗한 컨텍스트로부터 다음 프레임을 예측)을 사용하여 모델을 미세 조정합니다. 이는 사전 훈련 중에 학습된 풍부한 표현을 유지하면서, 예측기를 다운스트림 자기회귀 생성 목적 함수에 정렬시켜 롤아웃을 안정화합니다.

3. 액션 조건화 (Action Conditioning)

모델은 평면 궤적(planar trajectories)에 대한 조건부 생성을 지원합니다. 스티어링 벡터는 임베딩되어 타임 임베딩(time embedding)에 더해지며, 적응형 레이어 정규화(adaLN)를 통해 예측기에 입력됩니다. 상위 레벨 예측기 브랜치만이 액션에 조건화됩니다.

주요 기여

계층적 주행 월드 모델: 장기적인 의미론적 예측(추상 공간)과 단기적인 고충실도 생성(상세 공간)을 분리하는 이단계 아키텍처를 제시합니다.
2단계 훈련 패러다임: 풍부한 표현(디퓨전 포싱)과 안정적인 롤아웃(교사 강제 학습)을 결합하는 일반적인 접근 방식을 도입하여, 두 목적 함수를 단독으로 사용할 때보다 우수한 성능을 입증했습니다.
압축된 DINO 잠재 변수: DINOv2 특징을 저차원 잠재 공간으로 압축하는 경량 투영을 도입하여, 추상 공간에서의 안정적인 플로우 매칭(flow-matching) 예측을 가능하게 했습니다.
최첨단 성능 (SOTA): 충실도, 안정성 및 표현 품질 전반에 걸쳐 표준 주행 월드 모델 벤치마크에서 선도적인 결과를 달もの했습니다.

결과 및 평가

모델은 Waymo, nuPlan, nuPlan-turns와 같은 확립된 벤치마크에서 평가되었으며, Vista, GEM, Cosmos, Epona와 같은 최첨단 모델들과 비교되었습니다.

장기 충실도 및 안정성: Orbis 2는 Waymo 벤치마크에서 최첨단 FVD(Fréchet Video Distance) 점수를 달성했으며, 장기적인 관점에서 탁월한 안정성을 보여줍니다. 또한 가장 낮은 FVD-slope(시간 경과에 따른 비디오 품질 저하를 측정하는 지표)를 기록하였는데, 이는 더 큰 규모의 Cosmos-v2.5를 포함한 베이스라인 모델들보다 오차 누적이 현저히 적음을 나타냅니다.
표현 품질: 시맨틱 세그멘테이션(Cityscapes) 및 깊이 추정(KITTI)에 대한 선형 프로빙(Linear probing) 결과, Orbis 2가 비교된 모든 모델 중 가장 강력한 내부 표현을 학습했음을 보여줍니다. 논문은 더 나은 의미론적/기하학적 이해를 가진 모델이 더 안정적인 장기 예측을 달성한다는 명확한 상관관계를 입증했습니다.
액션 제어 가능성: 역사실적 시나리오(예: 변경된 스티어링 속도 및 요 레이트)에서 Orbis 2는 베이스라인 대비 우수한 반응성과 낮은 평균 변위 오차(ADE)를 보여주며, 보지 못한 스티어링 명령에 대한 일반화 능력을 증명했습니다.
효율성: 1.07B 개의 파라미터를 가졌음에도 불구하고, Orbis 2는 6k H100-GPU-시간 미만으로 훈련되었으며(유사 모델 대비 현저히 적음), 베이스라인 중 가장 빠른 추론 속도(3.64 FPS)와 가장 낮은 VRAM 요구량(19 GB)을 달성했습니다.

의의 및 주장

본 논문은 Orbis 2가 지각적 충실도와 장기적 추론 사이의 트레이드오프를 해결함으로써 주행 월드 모델링의 중요한 진전을 이루었다고 주장합니다. 저자들의 논지는 다음과 같습니다:

분해가 핵심이다: 예측을 추상적 수준과 상세한 수준으로 분리함으로써, 모델이 의미론적 추론과 픽셀 단위의 완벽한 생성 각각의 강점을 활용할 수 있게 합니다.
표현이 안정성을 결정한다: 내부 표현의 품질이 순수한 지각적 충실도 단독보다 장기적인 안정성에 더 결정적인 요소입니다.
훈련 전략이 중요하다: 디퓨전 포싱 사전 훈련 후 교사 강제 미세 조정을 수행하는 방식은 보지 못한 시나리오에 잘 일반화되는 강력한 예측기를 학습하는 데 필수적인 요소입니다.

이 연구는 계층적 접근 방식이 효과적이지만, 추상화 수준 간의 상호작용은 향후 연구에서 개선될 수 있음을 언급하며 초기 연구 기여로서의 위치를 설정합니다. 저자들은 실제 사회적 영향력은 규모 확장(scaling), 검증 및 시스템 통합의 추가적인 발전에 달려 있음을 강조합니다.