기술 요약: 모호한 시나리오에서 디스트랙터(Distractor) 없는 3DGS를 위한 엔트로피 기반 RefineSplat

문제 정의

다양하고 제약 없는 실제 환경에서의 현실적인 3D 신규 뷰 합성(NVS)은 동적 객체, 변화하는 가려짐(occlusion), 또는 외형 변화와 같은 일시적인 요소인 "디스트랙터(distractors)"의 존재로 인해 어려움을 겪고 있습니다. 3D 가우시안 스플래팅(3DGS) 및 뉴럴 래디언스 필드(NeRF)에 기반한 기존 방식들은 많은 진전을 이루었으나, **모호한 시나리오(ambiguous scenarios)**에서는 심각한 한계를 보입니다.

현재의 접근 방식은 대개 다음 세 가지 패러다임에 의존합니다:

1. 잔차 기반 마스킹(Residual-based masking): 광도 오차(photometric error)를 사용하여 일시적인 마스크를 생성합니다.
2. 시맨틱 기반 마스킹(Semantic-based masking): DINOv2와 같은 모델의 특징(feature)을 활용하여 디스트랙터를 식별합니다.
3. 휴리스틱 기반 마스킹(Heuristic-based masking): 광도 오차에 조건화된 추출된 마스크(예: SAM)를 사용합니다.

그러나 이러한 방법들은 디스트랙터가 정적 배경 요소와 유사한 색상이나 시맨틱 수준을 공유하는 모호한 실제 환경(예: 움직이는 차량 vs 주차된 차량, 또는 사람 vs 조각상)에서 결정적인 한계에 직면합니다. 이러한 경우:

• 광도 오차는 일시적 요소를 구별하지 못해 부정확한 마스크를 생성합니다.
• 광도 그래디언트에 기반한 밀도 제어는 가우시안의 정렬을 어긋나게 하여 렌더링 품질을 저하시킵니다.
• 시맨틱 특징만으로는 시맨틱 유사성이 높은 인스턴스를 해결할 수 없습니다.

방법론: RefineSplat

저자들은 모호한 시나리오를 위해 디스트랙터 마스크를 구축하고 가우시안을 정렬하도록 설계된 체계적인 프레임워크인 RefineSplat을 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 엔트로피 인식 적응형 마스킹 (Entropy-Aware Adaptive Masking)

색상이나 시맨틱으로 구별하기 어려운 모호한 디스트랙터를 포착하기 위해, RefineSplat은 **샤논 엔트로피(Shannon entropy)**를 인스턴스 마스크와 통합합니다.

• 인스턴스 수준 분석: 이 방법은 세그멘테이션 모델(Grounded SAM)을 사용하여 인스턴스 마스크를 얻습니다. 이후 동결된(frozen) DINOv2 모델에서 추출된 시맨틱 특징을 사용하여 각 인스턴스의 평균 엔트로피를 계산합니다.
• 적응형 임계값 설정: 모호한 장면에서 흔히 발생하는 왜곡된 분포에서 실패하는 고정 또는 통계적 임계값(평균/분산) 대신, RefineSplat은 인스턴스 엔트로피 분포의 하위 집합과 상위 집합 사이의 엔트로피 합을 최대화함으로써 최적화되는 **적응형 엔트로피 임계값($T_{ent}$)**을 채택합니다.
• 글로벌 정교화: 엔트로피에 대한 불확실성 비율로부터 유도된 불확실성 맵을 박스 필터로 매끄럽게 처리하여 글로벌 적응형 마스크를 구축합니다.
• 최종 마스크: 최종 견고한 마스크($M_{final}$)는 로컬 적응형 마스크와 글로벌 마스크의 합집합입니다.

2. 엔트로피 인식 밀도 제어 (Entropy-Aware Density Control)

표준 3DGS 밀도 제어는 광도 손실에서 유도된 위치 그래디언트에 의존하며, 이는 모호한 영역에서 가우시안의 정렬을 어긋나게 할 수 있습니다. RefineSplat은 새로운 밀도 제어 전략을 도입합니다:

• 엔트로피 구동 그래디언트: 이 방법은 엔트로피를 포함하는 아이덴티티 손실($L_{id}$)의 그래디언트를 기반으로 새로운 가우시안을 도출합니다. 이를 통해 시스템은 단순히 광도 오차가 아닌 엔트로피 크기에 따라 가우시안을 복제(clone)하거나 분할(split)할 수 있습니다.
• 병합 과정: 중복성과 아티팩트를 줄이기 위해 겹치는 가우시안들을 병합합니다. 병합 기준은 겹침 비율과 색상 유사성을 고려하며, 속성(위치, 색상, 불투명도, 공분산)을 가중치 방식으로 집계합니다.

3. 일관성 정규화 (Consistency Regularization)

추출된 인스턴스 마스크의 잠재적 오류를 바로잡기 위해 일관성 정규화 항($L_{cr}$)이 도입됩니다. 이 항은 동일한 세그먼트 내 픽셀들의 엔트로피 값 사이의 쿨백-라이블러 발산(KL divergence)을 최소화하여, 세그먼트 내의 픽셀들이 일관된 정체성을 나타내도록 보장합니다.

전체 최적화 손실은 표준 3DGS 손실(최종 마스크에 의해 가중치 적용됨), 아이덴티티 손실, 그리고 일관성 정규화 항을 결합합니다.

주요 기여

1. RefineSplat 프레임워크: 실제 환경의 모호한 디스트랙터를 포착하기 위해 엔트로피와 인스턴스 마스크를 활용한 최초의 접근 방식으로, 기존의 잔차 및 시맨틱 기반 방법들의 실패 모드를 해결했습니다.
2. 엔트로피 인식 밀도 제어: 엔트로피 크기를 위치 그래디언트로 사용하여 가우시안을 정렬하는 새로운 전략을 제시하며, 이를 통해 모호한 영역에서의 정렬 불량으로 인한 아티팩트 문제를 효과적으로 완화합니다.
3. Ambiguous Wild 데이터셋: 디스트랙터와 정적 요소가 색상이나 시맨틱 유사성으로 인해 구별하기 어려운 18개의 도전적인 장면(실외 11개, 실내 7개)을 포함하는 새로운 데이터셋을 제작하여 공개했습니다. 이 데이터셋은 모호한 조건에서 방법론들을 엄격하게 평가하도록 설계되었습니다.
4. 최첨단 성능(SOTA): 광범위한 실험을 통해 RefineSstpl이 기존 방법들을 능가하며, 디스트랙터가 없는 신규 뷰 합성을 달성하여 우수한 정량적 지표(PSNR, SSIM, LPIPS)와 메모리 효율성을 보여주었습니다.

실험 결과

저자들은 Ambiguous Wild, NeRF On-the-go, Photo Tourism, Drone Imagery 데이터셋에서 RefineSplat을 평가했습니다.

• 정량적 성능: RefineSplat은 WildGaussians, RobustSplat, DroneSplat, GS-W와 같은 베이스라인과 비교하여 PSNR, SSIM에서 가장 높은 점수를, LPIPS에서는 가장 낮은 값을 지속적으로 달성했습니다. 예를 들어, Ambiguous Wild 데이터셋에서 PSNR 23.83(베이스라인 20.52 대비) 및 LPIPS 0.149를 기록했습니다.
• 정성적 결과: 시각화를 통해 RefineSplat이 다른 방법들이 마스킹에 실패하거나 아티팩트를 생성하는 상황(예: 조각상에 섞여 있는 사람, 유사한 색상의 차량)에서도 모호한 디스트랙터를 성공적으로 제거함을 보여줍니다.
• 효율성: 엔트로피 인식 밀도 제어 및 병합 과정은 시각적 품질을 유지하면서도 베이스라인에 비해 가우시안의 수와 메모리 사용량을 줄여 상당한 메모리 효율성을 가져왔습니다.
• 절제 연구(Ablation Studies): 실험을 통해 각 모듈(엔트로피 인식 마스킹, 밀도 제어, 일관성 정규화)의 필요성을 확인했습니다. 적응형 엔트로피 임계값($T_{ent}$)은 고정 또는 통계적 임계값보다 왜곡된 분포에 더 견고하다는 것이 입증되었습니다.

의의 및 주장

본 논문은 RefineSplat이 모호한 실제 환경에서의 신규 뷰 합성을 위한 길을 여는 첫 번째 연구라고 주장합니다. 그 의의는 다음과 같습니다:

• 근본적인 격차 해소: 정적 장면과 시각적 또는 시맨틱 유사성을 공유할 때 일시적 요소를 구별하는 특정 문제를 해결하며, 이는 기존의 제약 없는 NVS 방법들의 한계였습니다.
• 새로운 메커니즘: 단순한 광도 또는 시맨틱 휴리스틱을 넘어 엔트로피 기반의 마스킹 및 밀도 제어 방식을 공식화했습니다.
• 커뮤니티 자원: Ambiguous Wild 데이터셋의 공개는 기존 문헌에서 과소 대표되었던 시나리오인 모호한 디스트랙터를 다루는 향후 연구를 위한 표준화된 벤치마크를 제공합니다.

저자들은 성능이 기초 비전 모델(vision foundation models)에 의존하며, 극도로 희소한 뷰(sparse views)에 대한 일반화가 여전히 도전 과제임을 언급하며 한계를 인정했습니다. 이들은 향후 연구로 확산 모델(diffusion models)을 통합하여 희소한 영역을 인페인팅하거나, 대규모 동적 장면으로 확장하는 것을 제안합니다.