기술 요약: 이러한 뷰는 하나의 장면일 수 있는가? 3D 기반 모델이 환각을 일으킬 때의 다중 뷰 3D 일관성 평가

문제 제기

다중 뷰 3D 평가는 일반적으로 입력 이미지가 단일 정적 3D 장면의 관측치라고 가정합니다. 그러나 새로운 뷰 합성 (NVS) 과 희소 뷰 재구성에서는 이러한 가정이 자주 위반됩니다. 입력 또는 생성된 출력에는 아티팩트, 이상치 프레임, 반복된 뷰, 또는 노이즈가 포함될 수 있음에도 불구하고, 현재 평가 지표들은 여전히 높은 3D 일관성 점수를 부여합니다.

기존의 정답 (ground-truth) 이 없는 지표들 (예: MEt3R) 은 기하학을 추론하고 일관성을 측정하기 위해 학습된 3D 재구성 백본 (예: DUSt3R, MASt3R, VGGT, Fast3R) 에 의존합니다. 본 연구에서 규명한 핵심 문제는 이러한 백본들이 기하학을 생성하도록 훈련되었지, 유효하지 않은 입력을 거부하도록 훈련된 것이 아니라는 점입니다. 결과적으로, 일관된 장면을 정의하지 않는 입력 (예: 관련 없는 장면의 혼합, 반복된 이미지, 또는 가우스 노이즈) 에 대해서도 밀집된 3D 구조와 교차 뷰 지원을 "환각"할 수 있습니다. 이러한 백본을 기반으로 구축된 지표들은 이러한 실패를 물려받아, 기하학적 증거의 존재를 검증하는 대신 환각된 대응 관계에서 특징 잔차를 평가함으로써 유효하지 않은 입력에 대해 부당하게 높은 일관성을 보고합니다.

방법론

1. SysCON3D 벤치마크

지표의 견고성을 체계적으로 평가하기 위해 저자들은 Mip-NeRF360 데이터셋의 다중 뷰 이미지 세트에 특정 불일치를 주입한 제어된 벤치마크인 SysCON3D를 도입했습니다. 이 벤치마크는 다음을 포함합니다:

• L0 (일관됨): 단일 장면의 깨끗한 뷰.
• L1–L3 (교차 장면 혼합): 이국적인 뷰의 증가하는 밀도 (단일 이상치, 제어된 혼합, 무작위 혼합).
• SysCON3D-N (노이즈): 패치된 가우스 노이즈 및 전체 가우스 노이즈.
  이 벤치마크는 지표들이 이러한 불일치 그룹에 대해 깨끗한 세트에 비해 더 낮은 일관성 점수를 올바르게 부여할 수 있는지 테스트합니다.

2. 매개변수 신경 지표 패밀리

저자들은 신경 지표를 세 가지 구성 요소로 분해하는 통합 프레임워크를 제안합니다:
$$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$$

• 백본 ($B$): 3D 기하학을 생성하는 재구성 모델 (MASt3R, Fast3R, VGGT).
• 잔차 ($\rho$): 와핑 기반 (뷰 쌍 와핑) 또는 포인트 일관성 (PC) (3D 포인트 투영) 방법을 통해 DINOv2/FeatUp 를 사용하여 특징 불일치를 계산하는 함수.
• 집계 ($\mathcal{A}$): 잔차를 요약하는 함수. 저자들은 MEt3R 에서 사용되는 표준 평균 집계와 잔차 분포의 형태를 보존하고 이상치에 더 민감한 분포 기반 집계 (MMD, 역 다중 제곱근 (IMQ), 에너지 거리) 를 비교합니다.

3. COLMAP 기반 지표

학습된 백본의 한계를 해결하기 위해, 저자들은 COLMAP을 사용한 고전적 기하학적 검증을 기반으로 한 지표를 도입했습니다. 이러한 지표는 재구성 실패를 일관성 부재의 신호로 간주합니다:

• 기하 - 광도 일관성 (GPC): 픽셀 유효성으로 가중치를 둔 기하학적 및 광도 깊이 맵 간의 일치를 측정합니다.
• 통합 일관성 질량 (ICM): 신뢰할 수 있는 밀집 3D 지원의 총량을 정량화합니다.
• 커버리지 가중 GPC (W-GPC): GPC 를 등록된 카메라의 각도 커버리지와 결합합니다.
  중요하게도, COLMAP 이 기하학적 증거 부족으로 인해 카메라를 등록하거나 밀집 맵을 생성하지 못할 경우, 지표 점수는 0 으로 떨어지며 유효하지 않은 입력에 대해 명시적으로 패널티를 부과합니다.

4. 인간 정렬 연구

저자들은 8 가지 NVS 방법을 평가하기 위해 11 명의 참가자 (전문가 2 명 포함) 가 참여한 구조화된 인간 연구를 수행했습니다. 참가자들은 3D 일관성, 시각적 사실성, 그리고 타당성에 기반하여 익명화된 NVS 비디오를 비교했습니다. 순위는 가중치 엘로 프로토콜을 사용하여 집계되어 3D 일관성에 대한 정답 인간 선호도를 확립했습니다.

주요 결과

SysCON3D에서의 견고성

• 백본 환각: 테스트된 모든 백본 (VGGT, MASt3R, DUSt3R, Fast3R) 은 가우스 노이즈와 교차 장면 혼합에 대해 밀집된 포인트 클라우드와 0 이 아닌 중첩을 생성하여, 기하학적 지원을 생성하지 않고 환각한다는 것을 확인했습니다.
• 집계 영향: 평균 집계에서 분포 기반 집계 (특히 IMQ) 로 전환하면 견고성이 크게 향상되었습니다. 가장 우수한 신경 변형인 MASt3R-W-IMQ는 SysCON3D 에서 71% 의 전체 승리율을 달성한 반면, 기준선 MEt3R(MASt3R-W-Base) 은 23% 였습니다.
• 한계점: 개선된 집계에도 불구하고, 신경 지표는 단일 이상치 (L1) 와 가우스 노이즈에 어려움을 겪었습니다. 이는 환각된 기하학이 집계 단계 이전에 발생했기 때문입니다.

인간 정렬

• 신경 지표: MASt3R-W-IMQ 는 인간 판단과 중간 정도의 정렬 (Spearman $\rho \approx 0.48$, $K=6,9$) 을 보였으며, MEt3R 보다 우수했지만 여전히 방법들을 완벽하게 순위 매기지 못했습니다.
• COLMAP 지표: W-GPC 지표는 인간 판단과 가장 강력한 정렬을 달성하여, DL3DV 에서 0.98, Mip-NeRF360 에서 0.98의 Spearman 상관관계를 기록했습니다. 이는 MEt3R 대비 최대 4 배 향상을 의미합니다.
• 실패 모드: COLMAP 지표는 신경 지표가 실패한 불일치 입력에 대해 거의 0 점에 가까운 점수를 올바르게 부여하여, 명시적 기하학적 검증이 장면 수준 일관성에 대한 더 신뢰할 수 있는 신호임을 입증했습니다.

중요성과 주장

본 논문은 정답이 없는 3D 평가의 신뢰성이 정제되지 않은 환경에서 학습된 재구성 모델을 평가자로 사용할 때 근본적으로 훼손된다고 주장합니다. 핵심 발견은 현대 3D 기반 모델이 유효한 다중 뷰 증거가 없는 입력에 대해 기하학적 지원을 환각하여 하류 지표들이 유효하지 않은 데이터를 검증하게 만든다는 점입니다.

저자들은 다음과 같이 주장합니다:

1. 분포 기반 집계는 신경 지표를 개선하지만 백본이 생성한 지지되지 않는 기하학을 완전히 교정할 수는 없습니다.
2. 고전적 기하학적 검증 (COLMAP 을 통해) 은 보완적이고 실패 인식 신호를 제공합니다. 등록 또는 재구성의 불가능성을 부정 점수로 간주함으로써, 이러한 지표는 3D 일관성에 대한 인간 판단과 훨씬 더 잘 정렬됩니다.
3. 실무 권장 사항: NVS 출력의 견고한 평가를 위해 저자들은 W-GPC를 ICM 및 등록률과 함께 보고할 것을 권장합니다. MASt3R-W-IMQ 와 같은 신경 지표는 보조 진단 도구로 활용될 수 있지만, 환각된 기하학이 증거로 오인될 수 있는 안전 필수 응용 분야에서는 명시적 기하학적 검증을 대체해서는 안 됩니다.

이 연구는 재구성 문제 자체를 해결했다고 주장하는 것이 아니라, 생성된 콘텐츠에서 환각된 3D 일관성의 오해를 방지하기 위한 진단 프레임워크와 견고한 지표를 제공합니다.