IDSplat: Instance-Decomposed 3D Gaussian Splatting for Driving Scenes

IDSplat 은 인간의 수동 주석이 필요 없는 자기지도 학습 방식으로 3D 가우시안 스플래팅을 통해 동적 주행 장면을 재구성하면서 LiDAR 기반의 제로샷 언어 추적과 조향 각도 보정 기법을 활용하여 객체별 인스턴스 분해와 일관된 운동 궤적을 동시에 달성하는 프레임워크입니다.

핵심

IDSplat: 자율주행 차를 위한 '디지털 블록' 재조립 기술

이 논문은 자율주행 자동차가 세상을 어떻게 이해하고, 가상의 세계에서 어떻게 연습할 수 있는지에 대한 새로운 기술을 소개합니다. 제목인 IDSplat은 복잡한 도로 상황을 마치 레고 블록처럼 하나하나 분리해서 재조립하는 방법입니다.

자세히 설명해 드릴게요.

1. 왜 이 기술이 필요한가요? (문제 상황)

자율주행 차를 개발하려면 실제 도로를 다닐 필요 없이, 컴퓨터 안에서 가상의 도로를 만들어 수많은 상황을 연습해야 합니다. 이를 위해 최근에는 '3D Gaussian Splatting'이라는 기술이 주목받았는데, 이는 사진을 3D 공간으로 변환해 아주 사실적인 영상을 만드는 기술입니다.

하지만 기존 기술에는 두 가지 큰 문제가 있었습니다:

• 사람의 손이 많이 필요함: 움직이는 차나 사람 하나하나를 사람이 직접 표시해 주어야 (라벨링) 했습니다. 이는 시간도 많이 들고 비용도 비쌉니다.
• 혼란스러운 재구성: 움직이는 물체와 정지한 배경이 뒤섞여 있었습니다. 마치 흐르는 강물과 강변의 돌멩이를 구분하지 않고 한 덩어리로 처리하는 것과 같아서, 나중에 특정 차만 빼거나 움직이게 하는 것이 불가능했습니다.

2. IDSplat 의 핵심 아이디어: "움직이는 것은 따로 떼어내자!"

IDSplat 은 이 문제를 해결하기 위해 세상 모든 움직이는 물체를 '개별적인 캐릭터'로 인식합니다.

• 레고 비유: 기존 기술이 도로 전체를 흐르는 '물'처럼 처리했다면, IDSplat 은 도로 위의 차, 버스, 자전거를 각각 별개의 레고 블록으로 봅니다.
• 자율주행: 이 레고 블록들은 스스로 움직임을 학습합니다. 사람이 "이 차는 앞으로 간다"고 알려주지 않아도, 카메라와 라이다 (레이저 거리 측정기) 데이터를 보고 스스로 "아, 나는 저쪽으로 이동하고 있구나"라고 파악합니다.

3. 어떻게 작동할까요? (마법 같은 3 단계)

1 단계: 눈으로 보고 구분하기 (Zero-shot 추적)
IDSplat 은 최신 AI( Grounded-SAM-2) 를 이용해 영상에서 "차", "사람", "자전거"가 어디에 있는지 자동으로 찾아냅니다. 마치 눈이 좋은 비서가 영상 속 모든 움직이는 대상을 자동으로 스티커로 붙여주는 것과 같습니다. 이때 사람이 직접 가르쳐 줄 필요도 없습니다.

2 단계: 3D 공간에 입히기 (라이다와 결합)
2D 영상에서 찾은 스티커를 3D 공간으로 옮겨줍니다. 이때 라이다 (레이저) 데이터를 이용해 정확한 위치를 잡습니다. 마치 투명한 3D 유령을 실제 사물의 위에 딱 맞게 입히는 작업입니다.

3 단계: 부드러운 움직임 만들기 (궤적 정제)
초기에 찾은 움직임은 조금 떨릴 수 있습니다. IDSplat 은 이를 스무스한 춤 동작처럼 다듬습니다. 차가 갑자기 점프하거나 꺾이는 비현실적인 움직임을 보정하고, 물리 법칙에 맞게 자연스럽게 궤적을 만들어냅니다.

4. 이 기술의 놀라운 점

• 사람의 손이 필요 없음: 사람이 일일이 표시해 주지 않아도 스스로 학습합니다.
• 누가 누구인지 정확히 구분: "저 차가 어디로 갔지?"라고 묻지 않아도, 각 객체 (Instance) 가 고유한 ID 를 가지고 있어 추적과 편집이 가능합니다.
• 가상 세계 편집 가능: 이 기술로 만든 3D 세상에서는 특정 차만 지우거나, 위치를 바꾸거나, 경로를 변경할 수 있습니다. 마치 게임에서 캐릭터를 드래그해서 옮기듯이요.
• 적은 데이터로도 잘 작동: 카메라가 많지 않아도 (시야가 좁아도) 움직이는 물체를 선명하게 재현합니다.

5. 결론: 자율주행의 미래를 여는 열쇠

IDSplat 은 자율주행 자동차 개발자들에게 가상의 연습장을 제공합니다. 이제 개발자들은 실제 도로에 나가지 않고도, 이 기술로 만든 디지털 트윈 (Digital Twin) 에서 수천 가지의 위험한 상황을 안전하게 시뮬레이션할 수 있습니다.

요약하자면, IDSplat 은 **"움직이는 도로 상황을 레고 블록처럼 하나하나 분리해서, 사람이 개입하지 않아도 스스로 움직임을 배우고, 나중에 마음대로 편집할 수 있게 만드는 똑똑한 3D 재구성 기술"**입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 시스템 개발을 위해서는 센서 현실적인 (sensor-realistic) 시뮬레이션을 통한 동적 장면 재구성이 필수적입니다. 최근 3D 가우스 스플래팅 (3DGS) 기반 방법들은 높은 렌더링 품질을 보여주지만, 다음과 같은 주요 문제점이 존재합니다.

• 수동 주석 의존성: 대부분의 고성능 방법들은 객체의 3D 바운딩 박스와 시간적 인스턴스 연관성을 위한 고비용의 수동 주석 데이터에 의존합니다.
• 명시적 인스턴스 분해 부재: 자기지도 학습 (self-supervised) 기반 방법들은 동적/정적 요소를 분리하지만, 개별 객체 단위로 명확하게 분해하지 못합니다. 이는 시간 가변적인 프리미티브 (time-varying primitives) 를 사용하여 정적 배경과 동적 객체가 얽히게 만들며, 개별 객체의 조작이나 새로운 시나리오 생성을 어렵게 만듭니다.

2. 방법론 (Methodology)

IDSplat 은 **명시적인 인스턴스 분해 (Instance Decomposition)**와 **학습 가능한 운동 궤적 (Learnable Motion Trajectories)**을 통해 동적 장면을 재구성하는 자기지도 학습 프레임워크입니다.

핵심 아이디어

동적 객체를 시간 가변적인 비구조적 프리미티브가 아닌, 강체 변환 (rigid transformations) 을 겪는 일관된 인스턴스로 모델링합니다.

주요 단계

1. 인스턴스 분해 (Instance Decomposition):

   • Zero-shot 마스크 생성: Grounded-SAM-2 를 사용하여 클래스 프롬프트 (car, pedestrian 등) 기반으로 비디오 프레임에서 인스턴스 마스크를 생성합니다.
   • 3D 리프팅 (Lifting): 생성된 2D 마스크를 LiDAR 포인트 클라우드를 통해 3D 공간으로 매핑합니다.
   • 필터링: 카메라-LiDAR 설치 오차나 큰 운동으로 인한 오차를 줄이기 위해 마스크를 침식 (erosion) 하고 DBSCAN 클러스터링을 적용하여 가장 큰 클러스터만 인스턴스로 유지합니다.

2. 궤적 추정 (Trajectory Estimation):

   • 특징 매칭: DINOv3 를 사용하여 프레임 간 특징 (features) 을 추출하고 코사인 유사도로 대응 관계를 설정합니다.
   • RANSAC 등록: 대응 관계를 기반으로 RANSAC 을 사용하여 강체 변환 (Pose) 을 추정합니다.
   • 초기화: LiDAR 관측이 가장 밀집된 시점을 기준 (canonical) 프레임으로 설정하고, 이를 기준으로 다른 프레임들을 등록합니다.

3. 궤적 정제 (Trajectory Refinement):

   • Coordinated-Turn (CT) 평활화: RANSAC 기반의 초기 궤적은 노이즈나 결측치가 있을 수 있으므로, GTSAM 을 이용한 반복적인 궤도 그래프 최적화 (pose graph optimization) 를 수행합니다.
   • 물리 일관성: CT 운동 모델 (Coordinated-Turn model) 을 팩터로 도입하여 물리적으로 일관되고 시간적으로 매끄러운 궤적을 보장하며, 이상치 (outliers) 를 제거합니다.

4. 장면 최적화 (Scene Optimization):

   • 정적 배경과 동적 인스턴스 (각각의 궤적과 연결된 가우스 집합) 를 결합하여 3D 가우스 스플래팅을 수행합니다.
   • 이미지 (RGB) 와 LiDAR (깊이, 강도, 레이 드롭) 재구성 손실을 최소화하며, 가우스 파라미터와 객체 궤적을 공동으로 (jointly) 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 자기지도 인스턴스 분해 프레임워크: 수동 주석 없이도 장면을 정적 배경과 동적 객체 인스턴스로 명시적으로 분해하고, 각 객체의 운동 궤적을 학습합니다. 이를 통해 렌더링, 세그멘테이션, 모션 트래킹을 동시에 수행할 수 있습니다.
2. Zero-shot 3D 인스턴스 분해 및 자세 추정: Grounded-SAM-2 와 DINOv3 를 활용하여 새로운 데이터셋과 객체 클래스에 대한 재학습이나 추가 주석 없이도 일반화 가능한 3D 인스턴스 분해와 자세 추정이 가능합니다.
3. 효율적인 궤적 최적화 기법: 희소한 뷰 (sparse views) 환경에서도 정확한 궤적을 얻기 위해 운동 모델링과 광도 일관성 (photometric consistency) 을 결합한 간단한 그러나 효과적인 정제 기법을 제안합니다.

4. 실험 결과 (Results)

Waymo Open Dataset 및 PandaSet 에서 광범위한 실험을 수행하여 성능을 검증했습니다.

• 재구성 품질 (NVS):
  • 기존 자기지도 학습 방법들 (DeSiRe-GS, AD-GS 등) 보다 우수한 또는 경쟁력 있는 PSNR, SSIM, LPIPS 점수를 기록했습니다.
  • 특히 **동적 영역 (Dynamic Regions)**에서의 재구성 품질 (DPSNR) 이 기존 방법들을 크게 상회했습니다.
  • LiDAR 렌더링: 수동 주석을 사용하는 SplatAD 와 유사한 LiDAR 깊이 및 강도 재구성 성능을 달성했습니다.
• 일반화 능력:
  • 뷰 밀도 (View Density): 학습에 사용되는 프레임 수를 25% 로 줄여도 동적 객체의 재구성 품질이 크게 저하되지 않아, 희소한 뷰 환경에서도 강건함을 입증했습니다.
  • 데이터셋 일반화: Waymo 에서 학습된 모델을 하이퍼파라미터 튜닝 없이 PandaSet 에 적용하여도 SplatAD 와 유사한 성능을 보였습니다.
• 객체 클래스별 성능: 차량 (Vehicles) 에서는 가장 높은 정확도를 보였으며, 보행자 및 자전거와 같은 변형 가능한 객체에서도 강체 가정에도 불구하고 높은 품질의 렌더링을 제공했습니다.
• 추적 성능: 최적화된 궤적은 수동 주석 기반의 Ground Truth 와 비교하여 합리적인 추적 정확도 (MOTA/MOTP) 를 보였으나, ID 스위칭 등 개선의 여지가 있음을 인정했습니다.

5. 의의 및 의의 (Significance)

• 자율주행 시뮬레이션의 혁신: 수동 주석의 비용과 시간을 크게 절감하면서도, 개별 동적 객체를 분리하여 조작 (이동, 제거, 수정) 할 수 있는 디지털 트윈 (Digital Twin) 구축을 가능하게 합니다. 이는 새로운 주행 시나리오 생성 및 안전 테스트에 필수적입니다.
• 3DGS 의 동적 장면 적용 확장: 3D 가우스 스플래팅이 동적 장면에서 개별 객체의 강체 운동을 모델링함으로써, 시간 가변적 프리미티브의 한계를 극복하고 일관된 기하학적 표현을 유지할 수 있음을 입증했습니다.
• 실용성: 대량의 자율주행 데이터에 적용 가능한 확장성 (Scalability) 과 다양한 센서 (카메라, LiDAR) 에 대한 호환성을 제공합니다.

결론적으로, IDSplat 은 수동 주석 없이도 정밀한 인스턴스 분해와 운동 추정이 가능한 강력한 3D 재구성 프레임워크를 제시하여, 차세대 자율주행 시스템 개발을 위한 시뮬레이션 기술의 중요한 진전을 이루었습니다.