[기술 요약] OccDirector: 4D Occupancy 공간에서의 언어 가이드 기반 행동 및 상호작용 생성

1. 문제 정의 (Problem Statement)

자율주행 시뮬레이션을 위한 생성형 월드 모델(Generative World Models)은 점점 더 정교한 4D Occupancy(3D 공간 + 시간 축) 표현 방식에 의존하고 있습니다. 그러나 기존의 4D Occupancy 생성 프레임워크들은 다음과 같은 한계를 가집니다.

• 경직된 제어 조건 (Rigid Geometric Conditions): 기존 방식은 명시적인 경로(Trajectory), BEV 레이아웃, 또는 단순한 속성 텍스트에 의존합니다. 사용자가 복잡한 시나리오를 만들려면 일일이 3D 경로를 설계해야 하므로 직관적이지 않고 확장성이 떨어집니다.
• 의미-시공간 간극 (Semantic-Spatiotemporal Gap): 자연어는 관계적 구조와 순차적 논리(예: "트럭을 따라가다가 교차로 이후 추월한다")를 포함하지만, 기존의 텍스트 인코더(CLIP 등)는 이를 단순한 '단어 꾸러미(Bag-of-words)'로 처리하여 복잡한 상호작용을 이해하지 못하고 충돌이나 불연속적인 움직임을 생성하는 문제가 있습니다.

2. 핵심 방법론 (Methodology)

본 논문은 사용자가 자연어 스크립트만으로 복잡한 주행 시나리오를 연출할 수 있는 "시나리오 디렉터" 역할을 하는 OccDirector 프레임워크를 제안합니다.

A. 모델 아키텍처 (Architecture)

• VLM 기반 의미 추출 (Procedural Semantic Extraction): 단순 CLIP 대신 강력한 **VLM(Vision-Language Model)**을 텍스트 인코더로 사용하여 복잡한 절차적 의미를 파악합니다. 이후 Token Refiner(경량 양방향 트랜스포머)를 통해 텍스트 특징을 4D Occupancy 생성에 최적화된 형태로 정제합니다.
• Spatio-Temporal MMDiT (Scalable 4D Backbone): 대규모 4D 토큰을 효율적으로 처리하기 위해 **STSA(Spatio-Temporal Separated Attention)**를 도입했습니다.
  • Spatial Attention: 각 프레임 내에서 텍스트와 공간 토큰 간의 정렬을 수행합니다.
  • Temporal Attention: 시간 축을 따라 토큰 간의 움직임을 모델링하여 부드러운 동역학을 생성합니다.
• History-Prefix Anchoring (상호작용 일관성 유지): 생성된 미래가 과거의 맥락(History)과 어긋나지 않도록, 학습 시 과거 프레임을 깨끗한(Clean) 상태로 고정하고 미래만 예측하도록 하는 전략을 사용합니다. 이를 통해 추론 시에도 과거 데이터와 완벽하게 이어지는 일관된 상호작용을 보장합니다.

B. 데이터 엔진 (OccInteract-85k)

텍스트와 4D Occupancy가 쌍을 이루는 데이터가 부족한 문제를 해결하기 위해 자동화된 파이프라인을 구축했습니다.

• 계층적 데이터 구성: 정적 레이아웃(Static), 환경-에이전트 상호작용(Env), 다중 에이전트 상호작용(Agent)의 세 단계로 구성됩니다.
• VLM 기반 자동 주석: VLM을 활용해 시나리오의 위험도(Criticality score)와 상세한 행동 설명을 자동으로 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: 기하학적 사전 정보(경로 등) 없이 순수하게 자연어만으로 4D Occupancy를 생성하는 최초의 프레임워크를 제안했습니다.
2. 기술적 혁신: VLM 기반의 의미 추출, STSA 구조, 그리고 일관성을 위한 History-prefix anchoring 전략을 통해 의미-시공간 간극을 극복했습니다.
3. 대규모 데이터셋 및 벤치마크: 풍부한 언어 지시어가 포함된 OccInteract-85k 데이터셋과 VLM 기반의 새로운 평가 벤치마크를 구축했습니다.

4. 실험 결과 (Results)

• 생성 품질 (Generation Quality): 기존의 기하학적 조건 기반 모델(DOME, DynamicCity 등)과 비교했을 때, 텍스트 기반임에도 불구하고 대등하거나 더 뛰어난 시각적 품질(FID, IS 등)을 보였습니다.
• 시간적 일관성 (Temporal Coherence): FVD(Fréchet Video Distance) 지표에서 기존 텍스트 적응 모델 대비 약 29.1% 향상된 성능을 기록하며 매우 사실적인 움직임을 보여주었습니다.
• 지시 이행 능력 (Instruction Following): VLM 평가 결과, 복잡한 부정문(예: "다른 차량 없이"), 속성 결합(예: "정지하는 버스"), 복잡한 경로(예: "차선 변경/Cut-in") 등을 정확하게 생성해내며 압도적인 성능을 입증했습니다.

5. 의의 (Significance)

OccDirector는 자율주행 시뮬레이션의 제어 방식을 "수치 기반의 경로 설계"에서 "언어 기반의 시나리오 연출"로 전환시켰습니다. 이는 개발자가 복잡하고 위험한 엣지 케이스(Edge cases, 예: 갑작스러운 보행자 출현, 급정거 상황)를 자연어로 쉽게 생성하여 자율주행 시스템을 더욱 안전하고 정교하게 검증할 수 있게 함을 의미합니다.