SIMSplat: Language-Aligned 4D Gaussian Splatting for Driving Scenario Generation

SIMSplat 기술 요약: 주행 시나리오 생성을 위한 언어 정렬 기반 4D 가우시안 스플래팅

문제 정의

현재의 주행 시뮬레이션 프레임워크는 언어 이해, 객체 수준의 장면 조작, 그리고 반응형 멀티 에이전트 시뮬레이션 사이에서 근본적인 파편화 문제를 겪고 있습니다. 기존 방식들은 대개 이들을 느슨하게 연결된 단계로 취급합니다:

• 언어 가이드 편집기는 종종 온라인 3D 탐지기나 사전 정의된 인스턴스 ID/속성에 의존하여 객체를 국지화하며, 이는 경직된 구조적 속성에 국한되어 자유로운 형식의 자연어 제어를 방해합니다.
• 비언어 편집기는 더 넓은 범위의 객체 수준 편집을 지원하지만, 언어 제어 능력과 자동화가 부족합니다.
• 보행자 처리: 대부분의 프레임워크는 차량과 같은 강체 객체에만 집중하며, 안전에 결정적인 역할을 하는 보행자를 간과합니다.
• 시뮬레이션 유효성: 타당성 검증이 주로 자차(ego vehicle) 또는 단일 대상에 대해서만 이루어지며, 행동 변화가 주변 에이전트에 미치는 연쇄 효과는 무시됩니다.
• 확장성: 다양한 시나리오를 생성하기 위해 매 단계마다 수동 개입이 필요하며, 이는 롱테일(long-tailed) 시나리오 생성을 저해합니다.

식별된 핵심 문제는 도로 역학을 포착할 만큼 표현력이 풍부하면서도 자연어를 통해 제어할 수 있을 만큼 접근성이 높은 공유된 장면 표현체가 부재하다는 점입니다.

방법론

SIMSplat은 **언어 정렬된 특징(language-aligned features)**으로 보강된 **장면 그래프 기반 4D 가우시안 스플래팅(4DGS)**을 기반으로 구축된 프레임워크를 도입하여 이러한 과제를 해결합니다. 이 파이프라인은 네 가지 핵심 구성 요소로 통합됩니다:

1. 장면 그래프 기반 4D 가우시안 스플래팅
시스템은 동적 장면을 장면 그래프 내에 조직된 이방성 가우시안 블롭(anisotropic Gaussian blobs)의 집합으로 표현합니다. 신경장(neural field) 접근 방식과 달리, 이는 장면을 다음과 같은 모듈형 노드로 분해합니다:

• 강체 노드(Rigid nodes): 강체 변환($SE(3)$)을 통해 변환되는 차량 및 정적 배경을 나타냅니다.
• 비강체 노드(Non-rigid nodes): 전역 움직임과 국부적 변형(포즈 및 제스처 모델링)을 겪는 보행자를 나타냅니다.
• 정적 배경(Static background): 환경을 나타냅니다.
  이 구조는 모듈형 재구성 및 제어 가능한 편집을 가능하게 합니다.

2. 언어-가우시안 정렬(Language-Gaussian Alignment)
장면을 자유로운 형식의 자연어로 쿼리할 수 있도록, SIMSplat은 세 가지 유형의 시맨틱 특징을 가우시안 노드에 직접 임베딩합니다:

• 외형 정렬(Appearance Alignment): 정적 언어 특징은 경량 오토인코더를 사용하여 CLIP 특징을 잠재 공간으로 압축함으로써 임베딩됩니다. 이를 통해 시각적 속성(예: "빨간색 클래식 차량")에 기반한 오픈 보캐블러리 선택이 가능해집니다.
• 움직임 인식 정렬(Motion-Aware Alignment): 주행 쿼리는 종종 동적인 묘사(예: "길을 건너는 중", "좌회전하는 중")를 포함한다는 점을 인식하여, 시스템은 객체의 궤적을 잠재 표현으로 인코딩합니다. 이는 일반적인 도로 행동(예: "오른쪽에서 왼쪽으로 이동", "자차 앞")에 대한 프로토 ട로입(prototype)을 포함하는 움직임(motion) 및 **위치 코드북(location codebooks)**과 연관됩니다. 차량과 보행자를 위해 별도의 움직임 코드북이 유지되며, 유형 간 공유되는 위치 코드북이 사용됩니다.
• 쿼리(Querying): 추론 과정에서 텍est 프롬프트는 (E5 Sentence Transformer를 사용하여) 인코딩되며, 임베딩된 외형, 움직임 및 위치 특징과 비교되어 유사한 외형을 가진 객체가 밀집된 장면에서도 대상 객체를 정확하게 찾아냅니다.

3. 자동화된 시나리오 마이닝
프레임워크는 시각-언어 모델(VLM)을 통합하여 파이프라인을 자동화합니다:

• 프롬프트 생성: VLM은 다중 뷰 주행 이미지에 기반하여 잠재적인 장면 수정을 설명하는 자연어 프롬프트를 생성합니다.
• 타당성 및 그라운딩(Grounding): 프로프트는 지원되는 편집 기능에 대해 검증됩니다. 대상 객체는 온라인 탐지기나 수동 공간 주석 없이도 언어적으로 그라운딩된 장면 그래프 내에서 국지화됩니다.
• 편집 작업: 시스템은 차량과 보행자 모두에 대해 삽입, 제거, 교체 및 궤적 수정을 지원합니다. 센서 데이터에서 추출한 실제 보행자 자산(asset)을 포함하는 자산 뱅크를 활용하여 현실적인 삽입을 보장합니다.
• 반복 검증: VLM은 렌더링된 출력을 평가하여 시맨틱 타당성과 물리적 일관성(예: 충돌 여부 확인)을 검사합니다. 불일치가 감지되면 시스템은 자산 선택이나 움직임 파라미터를 반복적으로 정교화합니다.

4. 멀티 에이전트 경로 정교화
반응형 시뮬레이션을 보장하기 위해, 멀티 에이전트 경로 정교화 모듈(SMART-1B와 같은 모션 예측 모델 사용)은 편집된 대상 객체뿐만 아니라 모든 에이전트의 궤적을 정교화합니다.

• 편집된 대상 객체의 궤적과 모든 에이전트의 이력을 바탕으로, 예측기는 미래의 롤아웃(rollouts)을 생성합니다.
• 이를 통해 주변 에이전트(예: 뒤따르는 차량, 보행자)가 변화(예: 무단 횡단자를 위해 멈춤, 새로운 장애물을 피해 우회)에 자연스럽게 반응하도록 하여, 물리적으로 타당한 전체 장면 시뮬레이션을 생성합니다.

주요 기여

1. 움직임 인식 언어-가우시안 정렬: 외형, 움직임 및 위치 특징을 장면 그래프 가우시안에 임베딩하여, 궤적 역학을 공동으로 인코딩함으로써 동적인 도로 객체의 정밀한 오픈 보캐블러리 그라운딩을 가능하게 하는 새로운 방법론을 제시합니다.
2. 언어 제어 객체 수준 편집기: 자유로운 자연어를 통해 차량과 안전 필수 에이전트(보행자) 모두에 대한 미세한 조작(삽입, 제거, 궤적 수정 포함)을 지원하는 시스템입니다.
3. 멀티 에이전트 경로 정교화: 편집 사항을 모든 도로 참여자에게 전파하여, 주변 에이전트가 변화에 자연스럽게 반응하도록 하고 전체 장면 수준에서 타당성을 검증하는 메커니즘입니다.
4. 자동화된 시나리오 마이닝: VLM이 프롬프트를 생성하고, 출력을 평가하며, 파라미터를 반복적으로 정교화하는 폐쇄 루프 파이프라인을 통해 수동 개입 없이 확장 가능한 롱테일 주행 시나리오 생성을 가능하게 합니다.

실험 결과

실험은 자동화를 위해 Qwen3-VL-32B 모델을 사용하여 Waymo Open Dataset에서 수행되었습니다.

• 객체 그라운딩: SIMSplat은 가장 강력한 베이스라인(4DLangSplat)보다 두 배 이상의 그라운딩 정확도를 보여줍니다. 차량에 대해 0.83 정확도 및 0.81 vIoU를 달성하였고, 보행자에 대해 0.63 정확도 및 0.78 vIoU를 달성하여 움직임 묘사에 어려움을 겪는 베이스라인들을 크게 앞질렀습니다.
• 작업 완료율: 프레임워크는 다양한 편집 카테고리(추가, 수정, 제거)에서 가장 높은 작업 완료율을 기록했습니다. 인간 가이드 버전은 **87.2%**에 도달했으며, VLM 구동 버전은 **71.1%**를 달성하여 보행자 편집이나 미세 제어 기능이 없는 ChatSim 및 OmniRe와 같은 베이스라인을 능가했습니다.
• 시뮬레이션 유효성: SIMSplat은 멀티 에이전트 시나리오에서 가장 낮은 실패율(충돌, 도로 이탈 등 총 실패율 20.0%)을 기록했습니다(베이스라인은 53.3%에서 80.0% 사이). 이는 복잡한 도시 시나리오에서 멀티 에이전트 경로 정교화의 필요성을 입증합니다.
• VLM 성능: 더 큰 VLM(예: GPT-5, Claude-Opus-4.1)은 더 적은 반복 횟수로 더 높은 작업 완료율과 타당성 점수를 보여주었으나, 오픈 소스인 Qwen3-VL-32B도 강력한 베이스라인을 제공했습니다.

의의 및 주장

본 논문은 SIMSplat이 언어 이해, 객체 수준 조작, 그리고 반응형 멀티 에이전트 시뮬레이션을 매끄럽게 연결하는 통합 인터페이스를 제공한다고 주장합니다. 언어 시맨틱을 4D 가우시안 장면 그래프에 직접 임베딩함으로써, 이 프레임워크는 휴리스틱한 객체 국지화 및 수동 가이드의 필요성을 제거합니다.

저자들은 이 접근 방식이 자연어 명령과 복잡한 주행 역학 사이의 간극을 메워 다음과 같은 성과를 가능하게 한다고 단언합니다:

• 수동 개입 없이도 다양하고 안전에 직결된 시나리오(보행자 상호작용 포함)의 확장 가능한 생성.
• 편집된 대상 객체뿐만 아니라 전체 장면이 일관되게 반응하는 반응형 시뮬레이션.
• 멀티 에이전트 상호작용에서 가장 낮은 실패율로 검증된, 시각적 렌더링과 행동적 타당성 모두에서의 높은 충실도.

이 연구는 언어 정렬된 4D 가우시안 표현이 차세대 주행 장면 시뮬레이션을 위한 충분하고 효과적인 토대임을 입증하며, 이전에 수동으로 조정된 시스템들을 필요로 했던 기능들을 하나로 통합합니다.