LiteReality: RGB-D 스캔을 기반으로 한 그래픽 준비 완료 (Graphics-Ready) 3D 씬 재구성

이 문서는 LiteReality라는 새로운 파이프라인을 제안하는 논문으로, 실제 실내 환경의 RGB-D 스캔 데이터를 컴팩트하고 사실적이며 상호작용이 가능한 3D 가상 복제본으로 변환하는 기술을 다룹니다. 기존 3D 재구성 방법들이 시각적 사실성 (Photorealism) 에만 집중하여 '3D 사진'과 같은 정적인 결과물을 생성하는 한계를 극복하고, 시뮬레이션, 게임, AR/VR 등에 바로 활용 가능한 구조화된 3D 씬을 만드는 것을 목표로 합니다.

---

1. 문제 정의 (Problem)

기존의 3D 재구성 기술 (SfM, Gaussian Splatting, NeRF 등) 은 기하학적 형태와 텍스처를 매우 사실적으로 복원할 수 있지만, 다음과 같은 한계가 있습니다:

• 상호작용 부재: 개체 (Object) 단위의 독립적인 존재감이나 물리적 속성이 부족하여 조작이나 시뮬레이션이 어렵습니다.
• 구조적 결여: 문, 서랍 등 관절 (Articulation) 이 있는 객체의 기능적 모델링이 부족합니다.
• 그래픽 파이프라인 비호환성: 생성된 메시 (Mesh) 나 포인트 클라우드가 게임 엔진이나 렌더링 파이프라인에 바로 적용하기 어렵고, PBR(Physically Based Rendering) 재료가 결여되어 다양한 조명 조건에서 사실적인 표현이 어렵습니다.

따라서, 단순한 시각적 복원을 넘어 객체 중심 (Object-centric), 물리 법칙 기반, PBR 재료를 갖춘 그래픽 준비 완료 (Graphics-Ready) 씬을 자동으로 생성할 필요가 있습니다.

---

2. 방법론 (Methodology)

LiteReality 는 크게 4 단계의 파이프라인으로 구성되어 있습니다 (Figure 2 참조).

1 단계: 장면 인식 및 파싱 (Scene Perception and Parsing)

• 입력: RGB-D 스캔 데이터 (실제 iPhone RoomPlan 앱 등 사용).
• 처리: 방의 레이아웃과 객체의 방향성 있는 바운딩 박스 (Oriented Bounding Box) 를 추출합니다.
• 장면 그래프 (Scene Graph): 추출된 데이터는 노이즈가 많고 충돌이 발생할 수 있으므로, 이를 구조화하기 위해 '장면 그래프'를 구성합니다.
  • 노드: 벽, 창문, 문, 객체 등.
  • 엣지: 객체 간 공간적 관계 (벽에 부착됨, 위에 놓임, 테이블 - 의자 페어 등) 를 정의하여 물리적으로 타당한 배치를 유도합니다.
  • 충돌 해결: 제약 기반 충돌 해결 (Constraint-Based Collision Resolution) 알고리즘을 통해 객체들이 겹치거나 공중에 떠 있는 문제를 자동으로 수정합니다.

2 단계: 객체 재구성 (Object Reconstruction)

• 데이터베이스 검색: 실제 스캔된 객체와 가장 유사한 아티스트가 제작한 3D 모델 (CAD) 을 커스텀 데이터베이스 (LiteReality DB) 에서 검색합니다.
• 학습 없는 검색 (Training-free Retrieval):
  • 의미론적 필터링: 하위 카테고리 (예: 2 좌석 소파) 로 분류.
  • 이미지 기반 검색: DINOv2 특징을 사용하여 2D 뷰를 비교.
  • 포지 인식 렌더링: 검색된 후보를 실제 스캔된 포즈에 맞춰 렌더링 후 다시 비교하여 상위 4 개로 좁힘.
  • 맥락 선택 (Contextual Selection): GPT-4 와 같은 대규모 멀티모달 모델 (MLLM) 을 사용하여 스타일, 비율, 시각적 일관성을 평가하여 최적의 모델을 선택합니다.
• 클러스터링: 동일한 객체들은 그룹화하여 한 번만 검색되도록 효율성을 높입니다.

3 단계: 재료 페인팅 (Material Painting)

• 목표: 검색된 3D 모델에 고품질의 PBR 재료를 입혀 사실감을 높입니다.
• 자동 크롭 매핑: SAM(Segment Anything Model) 과 Grounding DINO 를 사용하여 이미지에서 의미 있는 패치를 추출하고, MLLM 을 사용하여 3D 모델의 재료 세그먼트와 매핑합니다.
• 시맨틱 및 비주얼 가이드 검색: 언어 (텍스트) 와 비주얼 (이미지) 정보를 결합하여 재료 데이터베이스에서 초기 재료를 검색합니다.
• 알베도 전용 최적화 (Albedo-Only Optimization): 전체 PBR 파라미터를 다시 최적화하는 고비용 연산 대신, CIE LAB 색 공간에서 알베도 (Albedo) 의 전역 색상 분포만 조정하여 원본 스캔 이미지의 색상과 일치시킵니다. 이는 조명, 가림, 기하학적 불일치가 심한 환경에서도 견고하게 작동합니다.

4 단계: 절차적 재구성 (Procedural Reconstruction)

• Blender 기반 자동화: 최종 씬을 Blender 에서 절차적으로 조립합니다.
  • 벽, 창문, 문 조립.
  • 객체 배치 및 물리 속성 (질량, 중력, 충돌) 할당.
  • MLLM 을 사용하여 객체의 질량을 예측하여 현실적인 물리 시뮬레이션을 가능하게 합니다.
• 출력: 상호작용이 가능하고 물리 엔진과 호환되는 최종 3D 씬.

---

3. 주요 기여 (Key Contributions)

1. LiteReality 프레임워크: RGB-D 스캔을 고품질 PBR 재료를 갖춘 컴팩트한 CAD 표현으로 변환하는 최초의 시스템입니다. 이는 렌더링, 시뮬레이션, 가상 상호작용을 위한 강력한 기반을 제공합니다.
2. 학습 없는 검색 파이프라인: Scan2CAD 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성하는 훈련이 필요 없는 객체 검색 시스템을 도입했습니다. 이는 대규모 데이터베이스 확장 시 유연성을 보장합니다.
3. 강건한 재료 페인팅: 기하학적 불일치, 열악한 조명, 다양한 이미지 스타일 (만화, 드로잉 등) 이 존재하는 상황에서도 고품질 PBR 재료를 3D 모델에 성공적으로 전이하는 새로운 방법을 제안했습니다.
4. 실제 적용 가능성: AR/VR, 게임, 로봇 공학, 디지털 트윈 등 다양한 분야에서 즉시 활용 가능한 결과물을 제공합니다.

---

4. 실험 결과 (Results)

• 검색 유사성 (Retrieval Similarity): ScanNet 데이터셋을 기반으로 한 벤치마크에서 기존 방법 (MSCD, Digital Cousin, ScanNotate 등) 보다 낮은 Chamfer Distance 를 기록하며 가장 정확한 형태 매칭을 달성했습니다 (Table 1).
• 재료 추정 (Material Estimation): iPhone 으로 스캔한 111 개의 객체에 대한 평가에서 RMSE, SSIM, LPIPS 지표 모두에서 기존 방법 (PhotoShape, Make-It-Real 등) 보다 우수한 성능을 보였습니다 (Table 2).
• 전체 씬 재구성: 전체 씬의 시각적 품질 평가에서도 LiteReality 가 Phone2Proc 및 Digital Cousin 기반 방법들보다 뛰어난 사실감을 보여주었습니다 (Table 3, Figure 9).
• 강건성: 단일 이미지로 여러 모델을 페인팅하거나, 다양한 스타일의 이미지 (만화 등) 로 페인팅하는 등 극단적인 조건에서도 성공적인 결과를 얻었습니다.
• 실행 시간: RTX 3090 GPU 기준, 방 크기의 씬 재구성에 약 20~60 분 소요되며, 이 중 재료 페인팅 단계가 가장 많은 시간을 차지합니다.

---

5. 의의 및 결론 (Significance)

LiteReality 는 단순한 3D 재구성을 넘어 시각적 사실성과 기능적 구조를 결합한 새로운 패러다임을 제시합니다.

• 상호작용 가능한 디지털 트윈: 로봇 훈련, 가상 현실, 게임 개발 등에서 실제 환경을 그대로 복제하여 물리 법칙에 기반한 상호작용을 가능하게 합니다.
• 자동화 및 확장성: 수동으로 모델을 제작하거나 재료를 입히는 번거로움을 줄이고, 실제 스캔 데이터로부터 자동으로 고품질 에셋을 생성하여 디지털 콘텐츠 제작의 생산성을 극대화합니다.
• 미래 지향성: 이 연구는 향후 대규모 건물 단위 재구성, 실시간 온디바이스 처리, 그리고 더 정교한 물리 엔진 통합을 위한 중요한 발걸음이 될 것입니다.

결론적으로, LiteReality 는 실제 세계의 디지털 복제본을 만드는 과정에서 '보는 것 (Visual)'을 넘어 '조작하고 시뮬레이션하는 것 (Interactive & Functional)'을 가능하게 하는 핵심 기술로 평가됩니다.