NVS-HO: A Benchmark for Novel View Synthesis of Handheld Objects

기술 요약: NVS-HO: 손에 든 물체의 새로운 시점 합성(Novel View Synthesis)을 위한 벤치마크

문제 정의

실제 환경에서 손에 든 물체(handheld objects)의 새로운 시점 합성(NVS)은 여전히 미개척된 과제로 남아 있습니다. 기존 데이터셋들은 6-DoF 포즈 추정 기술을 발전시켜 왔으나, 대개 깊이 센서, 사전 스캔된 3D 물체 모델, 또는 MANO 손 모델에 의존하고 있어 RGB 전용 NVS 작업에는 부적합합니다. 또한, 기존의 NVS 지향 데이터셋(예: CO3D, WildRGB-D)은 물체의 정답(ground-truth) 포즈가 부족하거나, 동적인 핸드 조작보다는 정적인 장면에 집중되어 있습니다. 구체적인 어려움은 손에 의해 조작되는 동안 물체의 전체 외형을 포착하는 데 있으며, 이는 카메라가 고정된 상태에서 부분적인 가려짐(occlusion)과 모션 블러를 유발합니다. 기존 방법론들은 이러한 제약 없는 조건 하에서 RGB 이미지만으로 정확한 포즈를 추정하는 데 어려움을 겪으며, 이는 렌더링 품질의 상당한 성능 격차로 이어집니다.

방법론

데이터셋 생성 (NVS-HO)

저자들은 RGB 전용 핸드헬드 물체 NVS를 위한 최초의 벤치마크인 NVS-HO를 소개합니다. 이 데이터셋은 두 가지 상호 보완적인 시퀀스로 기록된 67개의 물체(식료품 및 장난감)로 구성됩니다:

1. 핸드헬드 시퀀스 (Handheld Sequence, HS): 정지된 카메라 앞에서 사람이 물체를 자유롭게 조작합니다. 이 시퀀스는 자연스러운 상호작용을 시뮬레이션하며 NVS 모델의 학습에 사용됩니다. 실제 환경을 반영하기 위해 모션 블러가 포함된 프레임이 포함되어 있습니다.
2. 보드 시퀀스 (Board Sequence, BS): 동일한 물체가 ChArUco 보드 위에 고정되어 있고 카메라는 그 주변을 이동합니다. 보드의 마커 검출을 통해 정확한 ground-truth 6-DoF 카메라 포즈를 제공합니다. 이 시퀀스는 오직 평가를 위해서만 사용됩니다.

데이터 처리 파이프라인:

• 세그멘테이션(Segmentation): Grounded SAM2를 사용하여 두 시퀀스 모두에 대한 이진 전경 마스크(binary foreground masks)를 생성하여 배경과 손(HS의 경우)을 제거합니다.
• 포즈 정렬(Pose Alignment): NVS 방법들을 공정하게 평가하기 위해, 마스킹된 HS와 BS 이미지를 병합하여 **결합 시퀀스(Combined Sequence, CS)**를 생성합니다. CS에 BS 포즈를 하드 제약 조건(hard constraints)으로 주입하여 COLMAP을 실행합니다. 이를 통해 HS 포서가 BS와 동일한 메트릭 스케일 및 좌표계 내에서 추정되도록 강제합니다.
• 평가 프로토콜: 방법론에 구애받지 않는 절차로서, Sim(3) 변환(Kabsch–Umeyama 알고리즘)을 사용하여 테스트 포즈(BS)를 임의의 NVS 방법이 추정한 HS 포즈의 좌표계로 정렬합니다. 이를 통해 합성된 이미지와 ground-truth 이미지 간의 정량적 비교가 가능해집니다.

베이스라인 및 실험

저자들은 두 가지 포즈 추정기와 두 가지 NVS 아키텍처를 사용하여 베이스라인을 구축했습니다:

• 포즈 추정기:
  • COLMAP: 순차적 매칭을 사용하는 클래식한 Structure-from-Motion(SfM) 파이프라인입니다.
  • VGGT: 최첨단 비전 트랜스포머 기반 모델입니다. 저자들은 일반적인 설정에서 흔히 나타나는 넓고 균일한 배경을 처리하기 위해, 배경 토큰을 제거하고 전경 물체에 어텐션을 집중하도록 VGGT를 수정했습니다.
• NVS 모델:
  • Nerfacto: Nerfstudio의 NeRF 기반 구현체입니다.
  • Splatfacto: 3D Gaussian Splatting 구현체입니다.
• 학습 전략: 모델들은 COLMAP 또는 VGGT에 의해 추정된 포즈를 사용하여 HS에서 학습되었습니다. NVS 학습 단계 중 포즈 최적화(refinement)를 적용하거나 적용하지 않은 실험이 포함되었습니다. 물체 경계를 보존하기 위해 알파 투명도 카빙(Alpha transparency carving)이 사용되었습니다.

지표 (Metrics)

평가는 물체에 집중하고 배경 렌더링의 차이를 처리하기 위해 마스킹된 이미지 상에서 수행됩니다:

• 전경 평가 (Foreground Evaluation): 엄격하게 물체 영역에 대해서만 PSNR, SSIM, LPIPS를 계산합니다.
• 배경 평가 (Background Evaluation): 배경 영역에 대해 지표를 계산하며, 공정한 비교를 위해 ground-truth 배경 색상을 특정 NVS 방법의 출력값에 맞춰 정규화합니다.

주요 결과

NVS-HO 데이터셋에 대한 실험 결과, 제약 없는 핸드헬드 조건 하에서 상당한 성능 격차가 드러났습니다:

1. 포즈 추정: COLMAP이 모든 지표(PSNR, SSIM, LPIPS)에서 VGGT를 크게 앞질렀으며, 더 나은 중앙값과 낮은 분산을 보였습니다. 이는 신뢰할 수 있는 핸드헬드 시나리오의 포즈 추정을 위해 현재의 피드포워드 트랜스포머 접근 방식보다 전통적인 SfM이 여전히 선호됨을 시사합니다.
2. NVS 성능: Splatfacto(Gaussian Splatting)가 모든 지표에서 Nerfacto(NeRF)보다 일관되게 우수한 성능을 보였습니다.
3. 절대적 성능: Splatfacto가 COLMAP과 결합했을 때 상대적으로 우수함에도 불구하고, 절대적인 성능은 여전히 낮았습니다 (예: 중앙값 PSNG ~16).
4. 포즈 최적화: NVS 학습 중 포즈 최적화를 활성화하는 것은 미미한 개선만을 제공했으며, 이는 근본적인 병목 현상이 NVS 모델의 정교화 능력보다는 초기 포즈 추정의 품질에 있음을 나타냅니다.
5. 정성적 분석: 렌더링 결과는 특히 VGGT 포즈를 사용할 때 새로운 시점에서 물체를 완전히 재구성하는 데 실패하는 경우가 많았으며, 이는 가려짐이 발생하는 핸드헬드 시퀀스로부터 전체 물체의 외형을 학습하는 것이 어렵다는 점을 강조합니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 최초의 RGB 전용 벤치마크: MANO 손 모델이나 사전 스캔된 3D 물체 모델에 의존하지 않고, 실제 환경의 핸드헬드 물체 NVS를 위해 특별히 설계된 최초의 벤치마크를 도입했습니다.
• 새로운 데이터셋: ground-truth 포즈를 포함하는 쌍을 이룬 핸드헬드(학습용) 및 보드(평가용) 시퀀스를 특징으로 하는 67개의 물체 데이터셋을 공개합니다.
• 방법론 불가지론적 프로토콜: ground-truth 뷰포인트를 임의의 NVS 방법의 참조 프레임으로 정렬하는 표준화된 평가 프로토콜을 제안하여, 서로 다른 포즈 추정 전략 간의 공정한 비교를 용이하게 합니다.
• 도전 과제 식별: 본 벤치마크는 현재의 최첨단 파이프라인이 제약 없는 핸드헬드 조건, 특히 포즈 추정의 어려움과 손에 의한 가려짐 문제를 처리하는 데 있어 상당한 어려움을 겪고 있음을 밝혀냈습니다.

저자들은 NVS-HO가 RGB 기반 핸드헬드 물체의 새로운 시점 합성을 위한 더욱 견고한 접근 방식을 향한 미래 연구를 이끌어낼 도전적이고 실용적인 토대를 제공한다고 결론짓습니다.