Synthetic Dataset Generation for Partially Observed Indoor Objects

1. 문제 정의 (Problem)

• 배경: 3D 장면 재구성 및 객체 완성 (Object Completion) 을 위한 학습 기반 방법론은 '부분 스캔'과 '완전한 정답 지리 (Ground-truth Geometry)'가 짝을 이룬 대규모 데이터셋이 필요합니다.
• 현실적 한계:
  • 실제 세계의 스캐닝 시스템을 사용하여 이러한 데이터셋을 수집하는 것은 비용이 많이 들고 시간이 오래 걸립니다.
  • 특히 가려진 영역 (Occluded regions) 에 대한 정확한 정답 데이터를 얻기 위해서는 여러 위치에서 스캔하거나 통제된 환경이 필요하여 확장성이 떨어집니다.
  • 기존 실제 데이터셋은 대부분 관측된 부분만 제공하며, 가려진 영역에 대한 정답 정보가 부재하여 지도 학습 (Supervised Learning) 에 한계가 있습니다.
• 기존 합성 데이터의 결함:
  • 기존 합성 데이터 생성 방식은 3D 메시 (Mesh) 표면을 직접 샘플링하는 방식을 주로 사용합니다.
  • 이 방식은 비현실적인 점 분포를 생성하거나, 실제 스캐너에는 보이지 않는 표면까지 포함하여 실제 센서의 물리적 제약 (가시성, 거리 제한, 측정 노이즈 등) 을 반영하지 못합니다.

2. 방법론 (Methodology)

저자들은 Unity 엔진 기반의 가상 스캐닝 프레임워크를 제안하여 현실적인 합성 3D 스캔 데이터셋을 생성합니다.

A. 가상 스캐너 (Virtual Scanner)

• 레이 기반 스캐닝 (Ray-based Scanning): 메시 표면을 직접 샘플링하는 대신, 가상 시점에서 레이 (Ray) 를 투사하여 장면과 교차하는 지점을 찾습니다. 이를 통해 실제 센서의 가시성, 가려짐 (Occlusion), 거리 의존적 노이즈 등을 정밀하게 모델링합니다.
• 구현 파라미터: 실제 스캐너 (Leica P30, NavVis VLX, iPhone Pro LiDAR 등) 의 특성을 모방하기 위해 스캔 해상도, 측정 범위, 시스템 오차, 거리 의존적 오차 등을 설정 가능한 파라미터로 제공합니다.
• 색상 할당: 스캐너 위치에서 캡처한 360 도 파노라마 이미지를 사용하여 생성된 포인트 클라우드에 색상을 부여합니다. 이를 통해 조명, 그림자, 재질 정보가 반영된 시각적으로 일관된 포인트 클라우드를 생성합니다.

B. 절차적 장면 생성 (Procedural Scene Generation)

• 자동화된 실내 배치: Unity 스크립트ableObject 을 활용하여 방의 치수, 벽, 창문, 문 등을 확률적으로 생성하고, 가구 객체를 충돌 검사 (Collision-free) 를 통해 배치합니다.
• 다양성 확보: 다양한 스타일의 가구와 건축 요소를 정의된 자산 컬렉션 (Asset Collections) 으로 교체하여 시각적으로 다양한 실내 환경을 대량으로 생성할 수 있습니다.

C. 데이터 생성 파이프라인

1. 장면 스캔: 생성된 furnished(가구 배치) 장면을 가상 스캐너로 스캔하여 부분 관측 데이터 생성.
2. 정답 데이터 생성: 모든 비구조적 객체 (가구 등) 를 제거한 '빈 장면 (Empty Scene)'을 다시 스캔하여 완전한 정답 지리 (Ground-truth) 데이터 생성.
3. 가려짐 분석 (Occlusion Analysis):
   • Voxel Grid: 장면 전체 및 객체 수준 (Object-level) 에서 3D 볼륨 그리드 (Voxel Grid) 를 계산합니다.
   • 가시성 매핑: 스캐너 원점에서 각 볼륨 중심에 레이를 투사하여 다른 기하학적 구조에 의해 가려진 (Occluded) 볼륨과 관측된 볼륨을 명시적으로 레이블링합니다.

3. 주요 기여 (Key Contributions)

1. Unity용 가상 스캐너: 실제 스캐닝 행동을 시뮬레이션하고 임의의 Unity 장면에 플러그 앤 플레이 방식으로 통합 가능한 모듈 제공.
2. 절차적 장면 생성 파이프라인: 다양한 실내 레이아웃과 가구 배치를 자동으로 생성하는 자동화 시스템.
3. 가려짐 볼륨 그리드 (Occlusion Voxel Grids): 스캔된 환경 내의 가시성을 명시적으로 표현하는 장면 전체 및 객체 단위 가려짐 그리드 계산 기능.
4. V-Scan 데이터셋: 부분적으로 스캔된 실내 장면과 객체, 그리고 완전한 정답 지리 (Ground-truth) 가 짝을 이룬 합성 데이터셋 공개.

4. 결과 (Results)

• V-Scan 데이터셋: 약 100 개의 furnished 가상 스캔으로 구성되며, 각 장면은 다음 데이터를 포함합니다:
  • 가구 배치된 장면 스캔 (부분 관측)
  • 빈 장면 스캔 (완전한 정답 지리)
  • 객체 수준의 부분 포인트 클라우드 및 방향성 바운딩 박스 (OBB)
  • 볼륨 기반 가려짐 (Occlusion) 주석
• 데이터 특성: 실제 스캐너의 노이즈와 가시성 제약을 반영한 현실적인 부분 스캔 데이터와, 학습에 필요한 완전한 정답 데이터를 동시에 제공합니다.

5. 의의 및 결론 (Significance)

• 학습 기반 방법론의 발전: 단순한 표면 샘플링과 비용이 많이 드는 실제 스캔 사이의 간극을 메우며, 장면 재구성 및 객체 완성 (Completion) 과 같은 작업에 필요한 고품질의 지도 신호 (Supervision Signals) 를 제공합니다.
• 확장성: 절차적 생성과 가상 스캐닝의 결합을 통해 대량의 다양한 데이터셋을 효율적으로 생성할 수 있어, 3D 인지 및 재구성 모델의 훈련에 필수적인 데이터 부족 문제를 해결합니다.
• 향후 과제: 모바일 스캐닝 궤적 지원 및 생성된 환경의 다양성 증대를 통해 합성 데이터셋의 현실성과 적용 범위를 더욱 확장할 계획입니다.

이 연구는 실제 물리적 제약 조건을 시뮬레이션한 고품질 합성 데이터셋 생성을 통해, 가려진 영역의 기하학적 복원 및 3D 장면 이해를 위한 딥러닝 모델 개발에 중요한 기여를 하고 있습니다.