HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles

이 논문은 Gaussian Splats 와 Mesh 를 결합한 3D 표현과 비디오 확산 모델을 활용하여, 다양한 궤적과 차량을 자유롭게 편집하면서도 높은 사실감과 일관성을 유지하는 자율주행 시뮬레이션 프레임워크 'HorizonForge'를 제안합니다.

핵심

호라이즌포지 (HorizonForge): 자율주행 시뮬레이터의 '마법 지팡이'

이 논문은 자율주행 자동차를 훈련시키기 위해 필요한 '가상의 도로 상황'을 마음대로 만들어주는 새로운 기술을 소개합니다. 기존에는 드문 사고 상황이나 위험한 상황을 실제로 촬영하거나, 복잡한 3D 모델을 일일이 수정하는 데 엄청난 시간과 비용이 들었습니다. 하지만 이 기술은 마치 레고 블록을 조립하거나, 사진 편집 프로그램에서 배경을 바꿀 때처럼 Driving Scene(주행 장면) 을 자유롭게 편집할 수 있게 해줍니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

---

1. 핵심 아이디어: "현실 같은 3D 레고와 시간의 마법"

이 기술은 크게 두 가지 핵심 장치를 사용합니다.

① 3D 레고 (Gaussian Splats & Meshes)

기존의 3D 모델링은 마치 거친 점토로 조각한 것처럼, 모양을 바꾸면 깨지거나 뭉개지기 쉽습니다. 하지만 이 기술은 **'반짝이는 3D 구슬 (가우시안 스플래트)'**과 **'정교한 3D 레고 (메쉬)'**를 사용합니다.

• 비유: 기존 방법은 거친 점토로 만든 인형을 움직이다가 모양이 망가질까 봐 걱정하는 것과 같습니다. 반면, 이 기술은 완벽하게 조립된 레고 인형을 가지고 있습니다. 레고 인형의 팔을 떼어내거나, 새로운 레고 자동차를 끼워 넣어도 모양이 뭉개지지 않고 아주 깔끔하게 유지됩니다.
• 효과: 차를 다른 길로 돌리거나, 갑자기 새로운 차를 끼워 넣어도 배경이나 다른 차들이 뭉개지지 않고 자연스럽게 유지됩니다.

② 시간의 마법 (Video Diffusion)

단순히 3D 모델을 움직여 영상을 만들면, 화면이 깜빡이거나 찌그러지는 '아티팩트 (오류)'가 생기기 쉽습니다. 이를 해결하기 위해 **'시간을 이해하는 마법사 (비디오 확산 모델)'**를 투입합니다.

• 비유: 3D 레고를 움직여 영상을 만들면, 한 프레임은 맑고 다음 프레임은 흐릿하게 깜빡일 수 있습니다. 이 기술은 영화를 만드는 감독처럼, 한 장의 그림이 아니라 연속된 영화를 보며 "이 장면이 다음 장면으로 자연스럽게 이어지려면 어떻게 움직여야 할지" 계산합니다.
• 효과: 차가 급정거하거나 방향을 틀 때, 화면이 끊기거나 흔들리지 않고 영화처럼 매끄럽고 리얼하게 보입니다.

---

2. 이 기술로 무엇을 할 수 있나요?

이 시스템은 **자연어 (말)**로 명령을 내리면 됩니다.

• 상황 1: "내 차가 오른쪽으로 꺾어."
  • 기존 영상에서 내 차 (Ego car) 의 궤적을 수정하면, 차가 자연스럽게 우회전하는 새로운 영상이 만들어집니다.
• 상황 2: "앞에 회색 세단 한 대를 끼워 넣으세요."
  • "회색 세단"이라고 말만 하면, 시스템이 3D 모델을 만들어서 지정된 위치에 차를 끼워 넣습니다. 마치 게임에서 캐릭터를 소환하듯 쉽습니다.
• 상황 3: "갑자기 앞차가 급정거해."
  • 안전을 위해 자주 발생하지 않는 '긴급 상황'을 인위적으로 만들어내어, 자율주행 AI 가 어떻게 반응하는지 훈련시킬 수 있습니다.

---

3. 왜 이 기술이 중요한가요? (실제 효과)

자율주행은 **'드문 사건 (Long-tail scenarios)'**을 겪지 않으면 안전을 보장할 수 없습니다. 하지만 실제 도로에서 "갑자기 아이가 뛰쳐나오는 상황"이나 "폭주하는 차"를 수십 번 찍는 것은 불가능에 가깝습니다.

• 기존 방식: 실제 데이터를 모으느라 몇 년이 걸리거나, 3D 모델을 일일이 수정하느라 비용이 천문학적으로 듭니다.
• 호라이즌포지 방식: 한 번만 학습하면, 어떤 상황 (차량 추가, 제거, 경로 변경) 이든 순간적으로 만들어냅니다.
  • 결과: 다른 최신 기술들보다 83.4% 더 높은 사용자 선호도를 얻었으며, 영상의 선명도와 자연스러움도 압도적으로 뛰어납니다.

---

4. 요약: 이 기술이 가져오는 변화

이 기술은 자율주행 개발자에게 **"무한한 연습장"**을 제공합니다.

"마치 게임 개발자가 레벨 디자인을 하듯, 자율주행 엔지니어는 이제 말 한마디로 어떤 위험한 상황이라도 만들어내어 AI 를 훈련시킬 수 있게 되었습니다."

이 기술은 **3D 레고 (정교한 구조)**와 **시간의 마법 (자연스러운 움직임)**을 결합하여, 더 안전하고 현실적인 자율주행 시대를 앞당기는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 알고리즘의 안전성을 검증하기 위해서는 희귀하지만 치명적인 '롱테일 (Long-tail)' 시나리오 (예: 급격한 차선 변경, 갑작스러운 제동 등) 에 대한 평가가 필수적입니다. 그러나 실제 데이터 수집은 비용이 많이 들고 어렵습니다. 이를 해결하기 위해 기존 주행 로그를 편집하여 시나리오를 생성하는 시뮬레이션 기술이 개발되었으나, 다음과 같은 한계가 존재했습니다.

• 재구성 기반 (Reconstruction-based) 방법: 3D 모델링을 통해 기하학적 정확도를 제공하지만, 보이지 않는 영역으로의 일반화가 어렵고 새로운 에이전트 (차량) 를 추가하는 데 한계가 있습니다.
• 생성 기반 (Generation-based) 방법: 텍스트나 맵을 통해 새로운 콘텐츠를 생성할 수 있으나, 장면의 구조와 외관을 유지하지 못해 세부적인 교통 편집이 어렵고 물리적으로 일관성이 떨어집니다.
• 하이브리드 방법: 최근 시도된 방법들은 복잡한 아키텍처와 궤적별 최적화 (per-trajectory optimization) 를 요구하여 계산 비용이 높고 확장성이 떨어집니다.

2. 방법론 (Methodology)

HorizonForge는 **편집 가능한 3D 표현 (Gaussian Splats 및 Meshes)**과 **노이즈 인식 비디오 확산 모델 (Noise-aware Video Diffusion)**을 결합한 통합 프레임워크입니다. 주요 프로세스는 다음과 같습니다.

2.1. 3D 자산 수확 (3D Assets Harvesting)

• 3D 가우시안 스플래팅 (3D Gaussian Splats): 입력된 비디오를 고해상도의 3D 가우시안 표현으로 재구성합니다. 이는 점 구름 (Point Cloud) 이나 3D 바운딩 박스보다 풍부한 외관 정보와 기하학적 세부 사항을 제공하여 편집 시 사실성을 극대화합니다.
• 메쉬 수확 및 삽입 파이프라인:
  • 기존 차량의 메쉬를 비디오에서 추출하여 재사용합니다.
  • 텍스트 기반 차량 삽입: Hunyuan3D 와 같은 오프더셸 (Off-the-shelf) 모델을 사용하여 자연어 프롬프트로 새로운 차량의 3D 메쉬를 생성합니다.
  • 생성된 메쉬는 실제 차량의 크기, 방향, 위치와 정렬 (Alignment) 되어 물리적으로 타당한 경로에 배치됩니다.

2.2. 비디오 렌더링 (Video Rendering)

• 궤적 기반 편집: 사용자가 지정한 임의의 궤적 (Ego 차량 및 주변 차량 포함) 에 따라 3D 자산을 재배치합니다.
• 비디오 확산 모델 (Video Diffusion Model, VDM): 3D 렌더링 과정에서 발생할 수 있는 아티팩트 (노이즈, 왜곡) 를 보정하기 위해 VDM 을 사용합니다.
  • 노이즈 인식 학습: 3D 가우시안으로 생성된 '불완전한' 렌더링 영상을 입력으로 받아, 이를 원본과 유사한 '고품질' 영상으로 변환하도록 학습합니다.
  • 시간적 일관성 (Temporal Consistency): 이미지 확산 모델이 아닌 비디오 확산 모델을 사용하여 프레임 간의 시간적 연속성을 보장하고, 복잡한 다중 에이전트 편집에서도 일관된 움직임을 생성합니다.

3. 주요 기여 (Key Contributions)

1. HorizonForge 프레임워크: 3D 편집과 언어 기반 객체 삽입을 모두 지원하는 단순하면서도 강력한 통합 프레임워크를 제안했습니다.
2. 메쉬 수확 및 삽입 파이프라인: 텍스트 프롬프트만으로 임의의 차량을 삽입할 수 있는 기술을 개발했습니다.
3. HorizonSuite 벤치마크: 자율주행 시뮬레이션 평가를 위한 포괄적인 벤치마크를 제안했습니다.
   • 작업 범위: Ego 차량 및 주변 차량의 속도 변경, 차선 변경, 방향 전환, 삽입, 제거 등 다양한 편집 작업을 포함합니다.
   • 지표: FID/FVD(화질), VIMS(차량 정체성 유지), BAS(배경 정렬), OSR(작업 성공률) 등 정량적 및 정성적 지표를 제공합니다.
4. 핵심 설계 원칙 발견:
   • 3D 표현의 중요성: 가우시안 스플래팅이 점 구름이나 바운딩 박스보다 훨씬 뛰어난 사실성과 제어력을 제공합니다.
   • 시간적 사전 지식 (Temporal Priors) 의 중요성: 비디오 확산 모델이 이미지 모델보다 시간적 일관성을 훨씬 잘 유지합니다.

4. 실험 결과 (Results)

HorizonSuite 벤치마크에서 기존 최첨단 방법 (StreetCrafter, Difix3D, OmniRe 등) 과 비교 평가되었습니다.

• 정량적 성능:
  • FID (Fréchet Inception Distance): 25.19% 개선 (두 번째로 좋은 방법 대비).
  • 사용자 선호도: 83.4% 의 우세한 승리율을 기록했습니다.
  • VIMS 및 BAS: 차량 정체성 유지와 배경 정렬 측면에서도 모든 작업에서 최상위 성능을 보였습니다.
• 추론 효율성: 기존 방법들이 궤적마다 최적화를 수행해야 했던 반면, HorizonForge는 3D 표현을 한 번만 수확한 후 단일 순방향 통과 (single feed-forward pass) 로 다양한 편집 변형을 생성할 수 있어 효율성이 뛰어납니다.
• 하류 작업 (Downstream Tasks): 생성된 데이터를 Waymo 데이터셋의 3D 객체 감지 (BEVFormer) 학습에 활용했을 때, IoU 0.3 기준 AP 가 10.9%~30.1% 까지 향상되어 생성 데이터의 유용성을 입증했습니다.

5. 의의 (Significance)

HorizonForge는 물리적으로 기반을 둔 (Physically grounded) 자율주행 시뮬레이션의 새로운 패러다임을 제시합니다.

• 안전성 및 확장성: 희귀한 사고 시나리오를 저렴하고 대량으로 생성하여 자율주행 시스템의 안전성을 높일 수 있습니다.
• 유연성: 자연어 명령과 임의의 궤적 제어를 통해 복잡한 교통 상황을 자유롭게 편집할 수 있습니다.
• 표준화: HorizonSuite 를 통해 향후 연구들을 위한 표준화된 평가 프로토콜을 마련했습니다.

결론적으로, HorizonForge는 3D 가우시안 표현의 사실성과 비디오 확산 모델의 시간적 일관성을 결합하여, 기존 방법론들의 한계를 극복하고 고품질의 제어 가능한 주행 장면 생성을 가능하게 하는 획기적인 기술입니다.