1. 문제 정의 (Problem Statement)

기존의 실내 공간 3D 재구성 기술은 증강현실 (AR), 가상현실 (VR), 확장현실 (XR) 및 인테리어 디자인 분야에서 중요한 역할을 하지만, 다음과 같은 한계점을 가지고 있습니다.

• 정적 모델의 한계: 가구 재배치나 벽면 장식 변경과 같은 사소한 변화가 발생하면 전체 모델을 다시 스캔해야 합니다.
• 시맨틱 이해 부족: 현재 알고리즘들은 장면의 의미론적 이해 (Semantic Understanding) 가 부족하여, 특정 객체 (예: 테이블) 만 제거하거나 벽면만 수정하는 등의 선택적 기하학적 변경이 어렵습니다.
• 텍스처링 품질 저하:
  • 환경적 요인: 가구 등에 의한 가려짐 (Occlusion) 으로 인해 텍스처가 없는 영역이 발생하거나, 그림자가 벽면에 투영됩니다.
  • 기술적 요인: 카메라 자세 드리프트 (Pose Drift) 로 인한 흐릿한 이미지, 여러 이미지를 합성할 때 발생하는 이음새 (Seams), 조명 불일치 등이 시각적 일관성을 해칩니다.
• 모바일 환경의 제약: 고성능 3D 재구성을 모바일 기기에서 실시간으로 수행하며 고품질 텍스처를 생성하는 것은 계산 비용과 메모리 제약으로 인해 어렵습니다.

2. 방법론 (Methodology)

저자들은 RoomRecon이라는 모바일 기반의 인터랙티브 실시간 스캐닝 및 텍스처링 파이프라인을 제안합니다. 이 시스템은 두 단계 (Two-phase) 프로세스로 구성됩니다.

1 단계: 캡처 및 메시 처리 (Capturing & Mesh Processing)

• 영구 요소 중심 스캐닝: 가변적인 가구 등을 제외하고 벽, 바닥, 천장과 같은 영구적인 방 구조 (Room Layout) 만 스캔합니다. 이를 통해 가구 변경 시 재스캔 없이도 모델을 유지할 수 있습니다.
• 메시 처리 (Mesh Processing):
  • RGB-D 센서 (예: iPhone) 로 획득한 원본 메시 ($M_{original}$) 를 방 레이아웃 정보를 기반으로 필터링합니다.
  • 벽면에 너무 가까운 객체 메시는 제거하고, 구조적 요소 (벽, 바닥, 천장) 만 남긴 필터링된 메시 ($M_{filtered}$) 를 생성합니다.
  • 리메싱 (Remeshing): Constrained Delaunay Triangulation (CDT) 을 사용하여 벽, 바닥, 천장을 규칙적인 격자로 재구성하여 결합된 메시 ($M_{combined}$) 를 생성합니다.
• AR 가이드 이미지 획득 (Texture Image Acquisition):
  • 기존 스캔 이미지 ($C_{original}$) 대신 텍스처링을 위해 새로운 고품질 이미지 ($C_{recaptured}$) 를 획득합니다.
  • Divide-and-Conquer 알고리즘: 큰 벽면을 카메라 시야 (FoV) 에 한 번에 담기 어려운 경우, AR 가이드를 통해 사용자가 최적의 위치에서 작은 서브-플레인 (Sub-plane) 단위로 이미지를 촬영하도록 유도합니다.
  • AR 가이드 UI: 사용자에게 목표 평면, 최적 카메라 위치 (3D 폰 모델), 거리 경고 (초록색 경계선) 를 시각화하여 선명한 단일 이미지 촬영을 돕습니다.

2 단계: 텍스처링 및 후처리 (Texturing & Post-Texturing)

• 할당 기반 텍스처링 (Assignment-based Texturing): 생성된 $M_{combined}$ 메시와 새로 획득한 고품질 이미지 ($C_{recaptured}$) 를 사용하여 SeamlessTex 나 MVSTex 와 같은 최신 할당 기반 알고리즘을 적용합니다.
• Plane2Image 모듈: 3D 텍스처링된 평면을 2D 이미지로 렌더링합니다. 이를 통해 이미지 처리 기법을 직접 적용할 수 있습니다.
• 후처리 (Post-Texturing):
  • ImageMode: 2D 이미지 영역에서 이미지 인페인팅 (ZIT 모델 사용) 을 통해 가려진 영역을 채우고, 생성형 AI (Stable Diffusion) 를 활용하여 사용자 정의 장식을 추가합니다.
  • SampleMode: 바닥과 천장의 반복적인 패턴을 위해 사용자가 샘플 이미지를 직접 촬영하거나 데이터베이스에서 선택하여 텍스처를 생성하고 조정합니다.

3. 주요 기여 (Key Contributions)

1. RoomRecon 프레임워크: 모바일 기기에서 효율적으로 완전하고 고충실도 (High-fidelity) 인 3D 방 모델을 생성하는 시스템.
2. AR 가이드 분할 정복 전략: AR 을 활용한 인간의 개입을 통해 표면 텍스처링을 위한 고품질 이미지 획득을 유도하는 전략.
3. Plane2Image 렌더링 모듈: 3D 평면을 2D 이미지 공간으로 변환하여 기존 이미지 처리 기법이나 생성형 AI 를 적용할 수 있게 하는 모듈.
4. 성능 검증: 다양한 실내 공간에서 수행한 실험과 사용자 연구를 통해 기존 SOTA(State-of-the-Art) 방법 대비 우수한 텍스처링 품질과 온디바이스 계산 시간을 입증.

4. 실험 결과 (Results)

• 품질 평가 (Local & Global):
  • PSNR 및 Blurriness: 제안된 방법 (Our-MVSTex, Our-SeamlessTex) 은 기존 방법들보다 PSNR 이 높고 흐림 (Blurriness) 이 현저히 낮았습니다. 이는 재획득된 이미지 ($C_{recaptured}$) 가 원본이나 샘플링된 이미지보다 34~39% 더 선명하기 때문입니다.
  • SSIM 및 ST-LPIPS: 구조적 유사성과 지각적 유사성에서도 기존 방법 (SeamlessTex, MVSTex) 을 능가하거나 동등한 수준을 유지하며, 특히 전역 (Global) 평가에서 이음새가 적고 구조가 명확한 결과를 보였습니다.
• 속도 및 효율성:
  • 텍스처링 시간: Linux 환경에서 Our-MVSTex 는 약 3.23 초, Our-SeamlessTex 는 4.44 초로, 기존 방법 (MVSTex: 8.48 초, SeamlessTex: 32.62 초) 보다 훨씬 빠릅니다.
  • 이미지 수 감소: 평균적으로 방당 필요한 이미지 수가 258.85 장에서 11.38 장으로 대폭 감소하여 처리 시간을 단축했습니다.
  • 모바일 성능: iPhone 12 Pro 에서 전체 파이프라인 (텍스처링 포함) 을 약 9.48 초에 처리하여 사용자 대기 시간을 최소화했습니다.
• 사용자 연구: 30 명의 참가자를 대상으로 한 설문조사에서, 제안된 방법 (Our-MVSTex, Our-SeamlessTex) 이 **43.6%**와 **42.1%**의 투표율을 받아 가장 선호되는 텍스처링 솔루션으로 선정되었습니다.

5. 의의 및 결론 (Significance)

• 실용성: 모바일 기기의 보편성을 활용하여 일반 사용자가 쉽게 고품질의 3D 실내 모델을 생성할 수 있게 하여, VR/AR 콘텐츠 제작, 부동산 가상 투어, 인테리어 디자인 등의 분야에 혁신을 가져옵니다.
• 유연성: 영구적인 방 구조만 스캔하고 가변적인 객체는 CAD 모델이나 별도 메시로 대체할 수 있게 하여, 공간 변경 시 재스캔 없이도 모델을 유지·수정할 수 있습니다.
• 기술적 진보: 환경적/기술적 제약 (가려짐, 드리프트 등) 을 AR 가이드와 생성형 AI 를 결합하여 해결함으로써, 기존 자동화 방식의 한계를 극복하고 시각적 현실감을 크게 향상시켰습니다.

결론적으로 RoomRecon 은 모바일 환경에서 고품질의 텍스처링된 3D 방 레이아웃 재구성을 가능하게 하는 효율적이고 사용자 친화적인 솔루션을 제시합니다.