R3D2: 자율주행 시뮬레이션을 위한 확산 모델 기반의 현실적 3D 애셋 삽입 기술 요약

이 논문은 자율주행 (AD) 시스템의 검증을 위한 현실적인 가상 환경 구축을 위해 제안된 R3D2(Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation) 라는 새로운 프레임워크를 소개합니다. 기존 신경 렌더링 기술의 한계를 극복하고, 다양한 소스의 3D 애셋을 기존 장면 reconstruction 에 자연스럽게 통합하여 그림자, 조명 등 현실적인 렌더링 효과를 실시간으로 생성하는 데 중점을 둡니다.

1. 문제 정의 (Problem)

자율주행 시스템의 안전성을 검증하기 위해서는 다양한 시나리오와 안전-중요 (safety-critical) 테스트가 필요하며, 이를 위해 포토리얼리스틱한 가상 환경이 필수적입니다.

• 기존 시뮬레이션의 한계: CARLA 와 같은 전통적인 시뮬레이터는 제어 가능성이 높지만, 애셋과 환경 제작에 많은 리소스가 소요되며 실제 데이터와의 도메인 격차 (domain gap) 가 존재합니다.
• 신경 렌더링 (Neural Rendering) 의 한계: 3D 가우스 스플래팅 (3DGS) 과 같은 신경 렌더링 기술은 실제 주행 데이터를 기반으로 디지털 트윈을 효율적으로 생성할 수 있습니다. 하지만 다음과 같은 근본적인 문제가 있습니다:
  • 단일 장면 최적화 (Per-scene Optimization): 각 장면마다 최적화를 수행하므로, 동적 객체 (보행자, 차량 등) 를 이동시키거나 새로운 관점에서 바라볼 때 불완전한 3D 모델이 생성되거나 아티팩트가 발생합니다.
  • 재사용성 부족: 조명과 그림자가 부분적인 재구성에 통합되어 있어, 다른 장면이나 조명 조건에서 애셋을 재사용하기 어렵습니다.
  • 물리 기반 렌더링 (PBR) 의 어려움: PBR 을 통해 그림자와 조명을 추가하려면 재질 속성 (알베도, 거칠기 등) 과 장면 조명 정보가 필요하지만, 신경 재구성 파이프라인에서는 이러한 정보가 부족하거나 불완전하여 정확한 추정이 어렵습니다.

2. 방법론 (Methodology)

R3D2 는 명시적인 재질 속성이나 환경 맵 없이도, 삽입된 3D 애셋에 대해 현실적인 렌더링 효과 (그림자, 조명 조정 등) 를 생성하여 기존 장면과 자연스럽게 융합시키는 가벼운 1-스텝 확산 모델 (One-step Diffusion Model) 입니다.

2.1. 데이터셋 구축: R3D3

R3D2 를 학습시키기 위해 R3D3이라는 새로운 데이터셋을 구축했습니다.

• 애셋 생성: Waymo Open Dataset (WOD) 의 실제 주행 데이터에서 객체 중심 이미지를 추출하고, 이미지 기반 3D 생성 모델 (Amodal3R) 을 사용하여 완전한 3D 가우스 애셋을 생성합니다.
• 장면 재구성 및 삽입: SplatAD 와 같은 최신 신경 재구성 기술을 사용하여 가상 환경을 구축한 후, 원래의 동적 객체를 제거하고 생성된 3DGS 애셋을 동일한 포즈로 삽입합니다.
• 학습 쌍 (Training Pairs):
  • Input ($I_{input}$): 현실적인 그림자/조명 효과가 없는 채로 삽입된 3D 애셋이 있는 장면 렌더링.
  • Target ($I_{target}$): 원래의 실제 이미지 (Ground Truth).
• 데이터 정제: 생성된 애셋의 기하학적 불일치를 필터링하여 총 5,071 개의 고품질 애셋을 확보했습니다.

2.2. R3D2 모델 아키텍처

• 기반 모델: SD-Turbo (텍스트-이미지 모델) 를 기반으로 하되, 텍스트 조건을 제거하고 이미지-투-이미지 (Image-to-Image) 방식으로 재구성했습니다.
• 1-스텝 확산: 노이즈를 추가하지 않고 저하된 입력 이미지 ($I_{input}$) 에서 직접 타겟 이미지 ($I_{target}$) 로 변환하는 단일 역확산 단계를 수행하여 실시간 추론 속도를 확보합니다.
• 아키텍처 세부사항:
  • Distilled Autoencoder: 추론 속도를 높이기 위해 증류된 (distilled) VAE 인코더/디코더를 사용합니다.
  • Skip Connections: 입력 이미지의 세부 정보가 잠재 공간 인코딩 과정에서 손실되는 것을 방지하기 위해 인코더에서 디코더로 스킵 연결을 추가합니다.
  • 손실 함수: 픽셀 단위 정렬 오차를 고려하여 L2 손실 대신 LPIPS(지각적 손실) 와 Gram Matrix 손실(스타일/세부 정보) 을 사용합니다.
• 학습 전략: VAE 인코더는 고정하고, UNet 과 VAE 디코더를 LoRA 를 통해 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. R3D2 모델 제안: 실시간으로 렌더링 효과 (그림자, 조명) 를 생성하여 삽입된 3D 애셋의 현실감을 극대화하는 경량 확산 모델.
2. 유연한 애셋 조작 및 일반화: 동일한 장면 내 객체 조작은 물론, 텍스트-투-3D 생성, 다른 장면/데이터셋 간의 객체 이관 (Cross-scene/dataset transfer) 등 다양한 응용을 지원합니다.
3. R3D3 데이터셋 구축: 실제 AD 데이터에서 생성된 3DGS 애셋과 원래 장면을 매칭한 새로운 학습 데이터셋 공개.

4. 실험 결과 (Results)

실험은 Waymo 데이터셋의 검증 세트를 기반으로 수행되었으며, 다양한 메트릭 (PSNR, SSIM, LPIPS, FID, CLIP/DINO 유사도) 을 사용했습니다.

• 동일 장면 애셋 재삽입 (Same-scene Re-insertion):
  • R3D2 는 단순 삽입 (Naive Insertion) 대비 FID 를 22.52 에서 10.85 로, LPIPS 를 0.211 에서 0.142 로 크게 개선하여 원본 재구성 (Orig. Recon.) 에 근접한 품질을 달성했습니다.
  • 객체 중심 컷 (Actor-centric crops) 에서도 유사한 개선을 보였습니다.
• 애셋 조작 (Manipulation):
  • 기존 신경 렌더링은 객체 회전 (10°, 20°, 180°) 시 품질이 급격히 저하되는 반면, R3D2 는 완전한 3D 애셋을 사용하여 회전 시에도 높은 일관성과 현실감을 유지했습니다.
• 외부 애셋 삽입 (Foreign Assets):
  • Cross-Scene/Dataset: 다른 장면이나 PandaSet 데이터셋에서 가져온 객체를 삽입했을 때, R3D2 는 그림자와 조명 효과를 자연스럽게 생성하여 FID 점수를 크게 향상시켰습니다.
  • Text-to-3D: 텍스트 프롬프트로 생성된 TRELLIS 모델을 통한 3D 애셋 삽입도 성공적으로 수행되었으며, 실제 주행 시나리오에서 보기 드문 객체들도 현실적으로 통합되었습니다.
• 실시간 성능:
  • NVIDIA RTX 5090 에서 1080x1920 해상도 기준 초당 13.36 프레임 (FPS) 을 달성하여 10Hz 카메라 기반의 실시간 시뮬레이션이 가능함을 입증했습니다. (기존 대형 모델 대비 3.3 배 속도 향상)

5. 의의 및 결론 (Significance)

R3D2 는 자율주행 시뮬레이션 분야에서 다음과 같은 중요한 의의를 가집니다:

• 확장성 (Scalability): 물리 기반 렌더링의 복잡한 재질/조명 정보 추론 없이, 생성 모델의 사전 지식을 활용하여 현실적인 통합을 가능하게 함으로써 대규모 시나리오 생성을 용이하게 합니다.
• 안전성 검증 강화: 텍스트 기반 생성이나 다양한 데이터셋 간의 객체 이관을 통해, 실제 도로에서 발생하기 어려운 안전-중요 시나리오를 저렴하고 빠르게 생성하여 자율주행 시스템의 검증을 강화합니다.
• 실용성: 실시간 추론 속도를 제공하여 실제 AD 시스템 개발 파이프라인에 통합 가능한 수준의 효율성을 확보했습니다.

한계점 및 향후 과제:

• 애셋 생성 파이프라인의 오차로 인한 기하학적 불일치가 학습에 반영될 수 있음.
• 현재는 이미지 단위 모델이므로, 비디오 시퀀스나 멀티뷰 설정에서 시간적 일관성 (Temporal Consistency) 이나 깜빡임 문제가 발생할 수 있음. 향후 비디오 기반 모델로 확장 필요.

결론적으로, R3D2 는 신경 렌더링 기반의 디지털 트윈에 대한 현실적인 객체 삽입 문제를 해결하여, 보다 다양하고 통제 가능하며 고품질의 자율주행 검증 환경을 구축하는 데 중요한 기여를 합니다.