💻 computer science

Mixed Neural Rendering: Interactive Mixed Reality Capture and Curation for Neural 3D Reconstruction

이 논문은 전통적인 획득의 한계를 극복하고 강건한 객체 중심 신경 3D 재구성을 가능하게 하기 위해 실시간 캡처, 인시투(in-situ) 검사, 그리고 프롬프트 기반 세그멘테이션을 통합하는 홀로렌즈 2 기반의 인터랙티브 혼합 현실 파이프라인인 MiNeR(Mixed Neural Rendering)을 소개한다.

원저자: Alessio Paolucci, Lorenzo Stacchio, Emanuele Balloni, Pasquale Cascarano, Primo Zingaretti

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alessio Paolucci, Lorenzo Stacchio, Emanuele Balloni, Pasquale Cascarano, Primo Zingaretti

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 가장 좋아하는 장난감의 완벽하고 사실적인 3D 복사본을 카메라로 만들려고 노력하고 있다고 상상해 보세요. 보통은 사진을 수없이 찍어서 슈퍼컴퓨터로 보낸 뒤, 컴퓨터가 각 사진을 찍을 때 당신이 어디에 서 있었는지 알아내기 위해 몇 시간 동안 기다려야 합니다. 만약 특정 지점을 놓쳤거나 사진이 흐릿하게 찍혔다면, 컴퓨터는 작동을 멈출 수도 있고, 당신은 너무 늦기 전까지는 그 사실을 알 수 없습니다. 이는 마치 케이크를 굽고 나서야 달걀을 넣는 것을 깜빡했다는 사실을 오븐에 넣은 후에야 깨닫는 것과 같습니다.

이러한 "베이킹 재앙" 문제를 해결하기 위해 설계된 새로운 시스템인 MiNeR(Mixed Neural Rendering)가 등장했습니다. 연구팀은 홀로렌즈 2(HoloLens 2)라는 특별한 헤드셋을 사용하여 사진을 촬영하는 동안에도 사진을 캡처하고, 확인하고, 수정할 수 있는 워크플로우를 구축했습니다.

"마법 안경" 워크플로우

HoloLens 2를 단순한 카메라가 아니라 세상을 3D로 보는 마법 안경이라고 생각하세요. 이 안경을 쓰고 사진을 찍으면, 안경은 당신이 정확히 어디에 서 있고 어디를 보고 있는지 즉시 알 수 있습니다.

기존 방식에서는 사진을 찍어 집으로 돌아간 뒤 컴퓨터가 각도를 계산해주기를 기도해야 했습니다. 하지만 MiNeR를 사용하면, 물체 주위를 걸어 다니는 동안 시야에 당신이 사진을 찍은 위치를 보여주는 작은 떠 있는 "유령 카메라"들이 보입니다.

문제점: 만약 사진을 찍지 않은 빈 공간이나 흐릿한 사진이 떠 있는 것을 발견한다면, 그 자리에서 바로 삭제할 수 있습니다.
해결책: 당신은 그 빈 곳으로 걸어가서 즉시 새 사진을 찍을 수 있습니다. 당신은 컴퓨터가 작업을 시작하기도 전에 스스로 데이터셋을 관리하는 인간 편집자 역할을 수행하게 됩니다.

세 가지 주요 실험

연구진은 단순히 시스템을 구축한 것에 그치지 않고, 이를 아홉 가지의 서로 다른 실제 사물(물병, 배낭, 선풍기 등)을 통해 엄격한 "맛 테스트"를 거쳤습니다. 그들은 어떤 요소가 최상의 3D 복사본을 만드는지 확인하기 위해 세 가지 변수를 테스트했습니다.

"GPS" (포즈 소스): 헤드셋의 내장 트래킹(Direct)을 사용할 것인가, 아니면 각도를 파악하기 위해 COLMAP이라는 강력한 오프라인 컴퓨터 프로그램(SfM)을 사용할 것인가?
"마스크" (세그멘테이션): AI 도구(SAM 2)를 사용하여 배경을 잘라내고 물체에만 집중할 것인가, 아니면 배경의 혼란스러움을 그대로 둘 것인가?
"엔진" (렌더러): 기존의 "NeRF" 방식을 사용할 것인가, 아니면 더 새로운 "3D 가우시안 스플래팅(3DGS)" 방식을 사용하여 3D 모델을 구축할 것인가?

결과 (성적표)

1. "골드 스탠다드" (최고 품질)
모든 것이 완벽하게 진행되었을 때, 최고의 결과는 다음 세 가지를 결합했을 때 나타났습니다.

각도를 파악하기 위해 COLMAP 컴퓨터 프로그램을 사용함.
배경을 마스킹하기 위해 SAM 2 AI를 사용함.
3D 가우시안 스플래팅(3DGS) 엔진을 사용함.

이 조합은 가장 높은 품질의 이미지를 생성했으며, PSNR 31.78, SSIM 0.964, LPIPS 0.050을 기록했습니다. (PSNR을 선명도 점수라고 생각한다면, 31.78은 매우 날카롭고 선명한 수치입니다.)

2. "플랜 B" (신뢰성)
여기 반전이 있습니다. "골드 스탠다드"(COLMAP)는 취약합니다. 테스트 결과, 이 방식은 9개 중 4개의 물체에서 작동에 실패했습니다(성공률 55%). 이는 마치 길이 조금만 울퉁불퉁해도 고장 나는 고급 스포츠카와 같습니다.

하지만 "Direct" 방식(헤드셋 자체 트래킹 사용)은 절대 실패하지 않았습니다. 이 방식은 9개 중 9개 모든 물체에서 100% 성공했습니다.

트레이드오프: Direct 방식은 단독으로 사용했을 때 (마스킹 없이) 더 낮은 품질의 이미지(PSNR 약 13.27 ~ 13.36)를 생성했습니다. 하지만 절대 멈추지 않았습니다. 저자들은 이것이 필수적인 "백업" 옵션이라고 제안합니다. 만약 화려한 컴퓨터 프로그램이 작동하지 않더라도, 헤드셋의 자체 트래킹이 프로세스를 계속 유지해 주기 때문입니다.

3. "마스크"의 힘
어떤 방식을 사용하든, AI 마스크로 배경을 잘라내는 것은 엄청난 차이를 만들었습니다.

3DGS 엔진의 경우, 마스킹을 사용하면 COLMAP 사용 시 품질 점수가 +12.37 포인트 향상되었고, Direct 헤드셋 포즈를 사용할 때도 +10.04 포인트 향상되었습니다.
기본적으로, 컴퓨터에게 "지저한 방은 무시하고 의자만 봐"라고 말하는 것이 배경의 혼란스러움 때문에 컴퓨터가 혼동하는 것을 막아주었습니다.

4. 엔진의 승자
새로운 3D 가우시안 스플래팅(3DGS) 방식은 거의 모든 테스트에서 기존의 NeRF 방식을 일관되적으로 압도했습니다. 이 방식은 더 빨랐고, "Direct" 포즈를 더 잘 처리했으며, 더 선명한 결과를 만들어냈습니다.

결론

이 논문은 MiNeR가 인간을 과정에 참여시킴으로써 일반적인 사진으로 3D 모델을 만드는 방식의 게임 체인저가 될 수 있음을 시사합니다. 이 시스템이 헤드셋의 트래킹이 완벽하다고 약속하는 것은 아닙니다(헤드셋의 각도가 컴퓨터보다 "흔들리거나" 덜 정확할 수 있음을 인정합니다). 대신, 안전망을 제공합니다. 컴퓨터가 제대로 작동한다면 최고 품질을 얻을 수 있지만, 헤드셋의 자체 트래킹과 AI 마스킹을 사용한다면 언제나 사용 가능한 결과를 얻을 수 있습니다.

이것은 모든 문제를 즉시 해결하는 마법 지팡이는 아닙니다. 저자들은 자신들의 테스트 규모가 작았으며(방 안의 9개 물체 대상), 자를 사용하여 정확한 기하학적 정밀도를 측정하지 않았다는 점을 인정합니다. 하지만 현재로서는 인간의 큐레이션과 AI 마스킹, 그리고 적절한 3D 엔진을 결럽하는 것이 지저분한 방을 깔끔하고 재사용 가능한 3D 자산으로 만드는 가장 신뢰할 수 있는 방법임을 보여줍니다.

기술 요약: 혼합 신경 렌더링 (MiNeR)

문제 정의
NeRF(Neural Radiance Fields) 및 3DGS(3D Gaussian Splatting)와 같은 신경 렌더링(Neural Rendering, NR) 방식은 일상적으로 촬영된 이미지로부터 실사 수준의 새로운 시점 생성 및 3D 재구성을 수행하는 능력을 입증해 왔다. 그러나 이러한 방식의 실질적인 신뢰성은 획득 품질, 구체적으로는 충분한 다중 시점 커버리지와 정확한 카메라 포즈에 크게 의존한다. 전통적으로 이러한 요구사항은 오프라인 구조 복원(Structure-from-Motion, SfM) 파이프라인(예: COLMAP)을 통해 충족된다. 이러한 접근 방식은 상당한 한계를 지닌다: 계산 비용이 많이 들고, 불완전한 캡처(예: 낮은 질감, 모션 블러, 제한된 중첩)에 취약하며, 종종 캡처 세션이 완료된 후에야 실패 여부를 알 수 있다. 결과적으로 사용자는 데이터 획득 과정 중에 데이터 품질을 검사하거나, 커버리지 공백을 식별하거나, 데이터셋을 선별할 수 있는 능력이 부족하여, 이는 노력의 낭비와 재구성 실패로 이어진다.

방법론: MiNeR 파이프라인
저자들은 획득, 검사, 선별 및 검증을 하나의 상호작용형 워크플로우로 통합하도록 설계된 혼합 현실(MR) 캡처-재구성 파이프라인인 **Mixed Neural Rendering (MiNeR)**를 소개한다. 이 시스템은 Microsoft HoloLens 2를 센싱 장치이자 몰입형 인터페이스로 활용한다.

파이프라인은 클라이언트-서버 아키텍처를 통해 작동한다:

MR 클라이언트 (획득 및 선별): 사용자는 헤드셋이 시각-관성 SLAM을 통해 6-DoF 포즈를 추적하는 동안 RGB 이미지를 캡처한다. 전통적인 워크플로우와 달리, MiNeR는 캡처된 시점을 물리적 환경에 고정된 "공간 카메라 프록시(spatial camera proxies)"로 렌더링함으로써 실시간 현장 피드백을 제공한다. 이를 통해 사용자는 커버리지 분포를 시각화하고, 누락된 각도를 식별하며, 흐릿하거나 중복된 프레임을 대화형으로 제거할 수 있다. 또한 사용자는 동일한 세션 내에서 타겟팅된 재촬영을 수행할 수 있다.
프롬프트 기반 세그멘테이션 (Promptable Segmentation): 객체 중심 재구성을 지원하기 위해, 시스템은 SAM 2(Segment Anything Model 2)를 통합한다. 사용자가 대표 프레임에 단일 주석(annotation)을 제공하면, 모델은 전체 시퀀스에 전경 마스크를 전파하여 배경의 방해 요소로부터 관심 대상(subject)을 분리한다.
서버 (처리 및 재구성): 서버는 선별된 데이터셋을 입력받으며, 다음 세 가지 이진 요인을 변화시키는 제어된 요인 설계( $2 \times 2 \times 2$ $2 \times 2 \times 2$ )를 지원한다:
- 마스킹 (Masking): Off (원본 이미지) vs. On (SAM 2 전경 마스크).
- 포즈 소스 (Pose Source): COLMAP 기반 SfM 포즈 vs. 직접적인 헤드셋 SLAM 포즈.
- 신경 표현 (Neural Representation): NeRF (NeRFacto) vs. 3D Gaussian Splatting (Splatfacto).
  시스템은 Unity 네이티브 헤드셋 포즈를 Nerfstudio에서 사용하는 OpenGL/Blender 컨벤션과 정렬하기 위한 좌표 변환 레이어를 포함한다.

주요 기여

MiNeR 시스템: 상황적 시각 파편(situated visual fragments)을 공간적으로 근거가 있는 신경 자산(neural assets)으로 변환하며, 데이터 획득 과정에서 운영자를 명시적으로 루프 안에 유지하는 MR 가이드 파이프라인이다.
대화형 워크플로우: 3D 공간에서 데이터셋을 캡처, 검사 및 선별할 수 있는 통합 인터페이스를 제공하여, 재구성 전에 뷰를 제거하거나 교체할 수 있게 한다.
포즈 상호 운용성: 동일한 캡처 세션을 고정밀 SfM 포즈 또는 SfM이 필요 없는 직접 센서 포즈로 모두 처리할 수 있는 프레임워크를 제공하여, 재구성 경로 간의 직접적인 비교를 용이하게 한다.
프롬프트 기반 세그멘테이션 통합: 단일 샷 다중 시점 세그멘테이션을 도입하여 전경 중심의 학습과 제어된 마스크/언마스크 비교를 가능하게 한다.
기술적 평가: 9개의 실제 사물 데이터셋에 대한 통제된 연구를 통해 포즈 정확도, 세그멘테이션 및 렌더링 패러다임 간의 트레이드오프를 정량화한다.

실험 결과
저자들은 HoloLens 2로 캡처된 9개의 실내 객체 중심 시퀀스(예: 가구, 전자제품, 개인 소지품) 데이터셋을 통해 시스템을 평가했다.

포즈 소스의 영향: SfM(COLMAP)이 성공할 경우 가장 높은 재구성 충실도를 보인다. 그러나 COLMAP은 44%의 시퀀스(9개 중 5개 성공)에서 수렴에 실패한 반면, 직접적인 헤드셋 포즈 경로는 100%의 시퀀스에서 성공했다. 직접 포즈는 SLAM 드리프트와 스케일 불일치로 인해 충실도는 낮지만, 강력한 SfM-free 백업 역할을 한다.
세그멘테이션의 영향: SAM 2 마스킹의 사용은 모든 구성에서 재구성 품질을 유의미하게 향 향상시켰다. 3DGS와 COLMAP 포즈를 결합했을 때, 마스킹은 PSNR을 +12.37 dB(19.41에서 31.78 dB로) 증가시켰다. 직접 포즈를 사용한 경우에도 마스킹은 상당한 이득(예: 3DGS의 경우 +10.04 dB)을 제공했으며, 이는 전경 격리가 배경으로 인한 최적화 노이즈를 완화함을 나타낸다.
렌더링 패러다임: 3D Gaussian Splatting (3DGS)은 두 포즈 소스 및 마스킹 조건 모두에서 NeRF보다 PSNR, SSIM, LPIPS 측면에서 일관되게 우수한 성능을 보였다. 최적의 구성(COLMAP + SAM + 3DGS)은 31.78 dB PSNR, 0.964 SSIM, 0.050 LPIPS를 달성했다.
효율성: 직접 포즈 구성은 계산 집약적인 SfM 전처리 단계를 건너뜀으로써 엔드 투 엔드 시간을 단축했다.

의의 및 주장
본 논문은 MiNeR를 XR 메모리 시스템의 "캡처-재구성 간극(capture-reconstruction gap)"을 해결하는 솔루션으로 제시한다. 저자들은 캡처 품질을 획득 과정 중에 가시적이고 실행 가능하게 만듦으로써, MiNeR가 일상적인 시각적 경험을 재사용 가능한 신경 자산으로 변환한다고 주장한다.

연구는 클래식 SfM이 조건이 유리할 때는 최대 충실도를 위한 골드 표준으로 남아 있지만, 실제 환경에서는 취약하다는 결론을 내린다. MiNeR는 보완적인 전략을 제공한다: 직접 헤드셋 포즈는 SfM이 실패할 때 작동성을 보장하며, 프롬프트 기반 세그멘테이션과 3DGS는 이러한 제약 조건 내에서 품질을 극대화한다. 이 시스템은 캐주얼한 MR 획득과 재구성 준비가 된 공간 콘텐츠 사이의 간극을 효과적으로 메워, 사용자가 비용이 많이 드는 오프라인 처리에 착수하기 전에 데이터를 검사, 검증 및 선별할 수 있도록 한다.

저자들은 데이터셋의 작은 규모(9개의 객체), 단일 MR 장치에 대한 의존성, 외부 기하학적 그라운드 트루스의 부재, 인지 부하 또는 획득 효율성을 측정하기 위한 사용자 연구의 부재를 포함한 한계점을 명시적으로 언급했다. 향-후 작업으로는 데이터셋 확장, 다양한 장치 테스트, 정량적인 기하학적 오차 지표 포함 등이 제안되었다.

"마법 안경" 워크플로우

세 가지 주요 실험

결과 (성적표)

결론

기술 요약: 혼합 신경 렌더링 (MiNeR)

유사한 논문