기술 요약: HarmoGS: 갈등 인식 그라디언트 조화를 통한 야외 환경에서의 강건한 3D 가우스 스플래팅

1. 문제 제기

제약 없는 '야외 (in-the-wild)' 이미지 컬렉션으로부터 신뢰할 수 있는 3D 표현을 재구성하는 것은 컴퓨터 비전에서 여전히 중요한 과제로 남아 있습니다. 3D 가우스 스플래팅 (3DGS) 과 같은 최근의 발전은 실시간 고품질 렌더링을 달성했지만, 일반적으로 일관된 조명과 안정적인 장면 콘텐츠를 가정합니다. 실제 세계 시나리오에서는 훈련 이미지가 종종 일시적인 방해 요소(예: 이동하는 보행자, 차량) 와 다른 뷰 간 조명에 의한 외관 불일치로 인해 손상됩니다.

기존 방법들은 주로 신뢰할 수 없는 감독을 억제하기 위해 이미지 수준의 마스킹에 의존합니다. 그러나 저자들은 이 접근 방식에 두 가지 중요한 한계가 있음을 지적합니다:

1. 잔여 가림 (Residual Occlusions): 마스크는 종종 복잡하거나 의미론적으로 모호한 일시적 객체를 완전히 배제하지 못해 잔여 노이즈를 남깁니다.
2. 조명 갈등 (Illumination Conflicts): 마스크는 뷰 의존적 조명 불일치를 해결할 수 없습니다.

이러한 해결되지 않은 문제들은 크로스뷰 그라디언트 갈등을 초래합니다. 일관되지 않은 뷰들을 사용하여 공유된 가우스 표현을 최적화할 때, 유도된 그라디언트들은 서로 반대 방향 (둔각을 형성) 을 가리킬 수 있습니다. 이는 최적화 과정을 불안정하게 만들어 가시적인 재구성 아티팩트와 떠 있는 프리미티브를 발생시킵니다.

2. 방법론

저자들은 이러한 문제들을 해결하기 위해 듀얼뷰 훈련 전략과 세 가지 핵심 구성 요소를 통해 갈등 인식 3DGS 프레임워크인 HarmoGS를 제안합니다:

A. 의미론적 일관성 유도 마스킹

그라디언트 형성 전에 감독의 신뢰성을 향상시키기 위해, 이 방법은 사전 마스크를 정제하는 적응형 마스킹 전략을 도입합니다:

• 사전 마스크 (Prior Mask): 잠재적인 일시적 영역을 식별하기 위해 사전 훈련된 SAM(Segment Anything Model) 을 사용하여 이진 마스크 ($M_{bin}$) 가 생성됩니다.
• 학습된 일관성 점수: 고정된 DINOv2 백본에 의해 안내되는 경량 예측기 ($f_\psi$) 가 훈련 중에 픽셀 단위 일관성 점수 ($S_i$) 를 학습합니다. 이 점수는 렌더링된 이미지와 실제 이미지 간의 광도 잔차와 의미론적 불일치 모두에서 유도됩니다.
• 적응형 정제: 최종 마스크 ($M_i$) 는 이진 사전 정보와 학습된 일관성 점수를 결합합니다. 이는 신뢰할 수 없는 영역 (일시적 방해 요소) 을 적응적으로 억제하면서 초기 이진 마스크의 오류를 수정하여, 오직 신뢰할 수 있는 이미지 증거만이 손실 계산에 기여하도록 보장합니다.

B. 갈등 인식 그라디언트 조화

마스킹만으로는 모든 최적화 갈등을 제거할 수 없다는 점을 인식하여, 이 프레임워크는 듀얼뷰 훈련 접근 방식을 채택합니다. 각 반복에서 두 개의 뷰가 샘플링되고, 해당 특정 그라디언트 ($g_1, g_2$) 가 계산됩니다.

• 갈등 감지: 두 그라디언트의 내적이 음수 ($g_1^\top g_2 < 0$) 일 때 갈등이 식별되며, 이는 둔각 ($\theta > \pi/2$) 을 나타냅니다.
• 직교 회전: 갈등을 해결하기 위해, 이 방법은 두 그라디언트가 span 하는 부분 공간 ($V = \text{span}(g_1, g_2)$) 내에서 두 그라디언트를 직교 ($\tilde{g}_1^\top \tilde{g}_2 = 0$) 될 때까지 회전시킵니다.
  • 총 각도 보정 ($\theta - \pi/2$) 은 할당 매개변수 $\rho$를 사용하여 두 그라디언트 간에 분배됩니다.
  • 회전은 그라디언트의 원래 크기를 보존하면서 부정적인 방향 간섭을 제거합니다.
• 선형 결합: 조화된 그라디언트는 분석적으로 유도된 계수를 사용하여 원래 그라디언트의 선형 결합 ($\tilde{g} = \tau_1 g_1 + \tau_2 g_2$) 으로 합산되고 표현됩니다.
• 기하학적 감쇠: 기하학적 속성 (위치, 회전, 스케일) 의 경우, 갈등이 감지되면 추가적인 감쇠 인자가 적용되어 아티팩트를 더욱 억제합니다.

C. 갈등 인식 밀집화 및 가지치기

이 프레임워크는 크로스뷰 갈등을 인식하도록 표준 3DGS 구조 업데이트를 확장합니다:

• 밀집화 (Densification): 단일 뷰 통계에 의존하는 대신, 이 방법은 조화 단계에서 유도된 갈등 인식 계수로 조절된 두 샘플링 뷰의 뷰 공간 그라디언트를 집계합니다. 이는 더 신뢰할 수 있고 갈등이 조정된 신호를 사용하여 가우스 성장을 안내합니다.
• 가지치기 (Pruning): 이 방법은 시간에 따라 가우스별 크로스뷰 갈등을 추적합니다. 가우스가 지속적으로 높은 갈등 점수를 보일 경우 (지속적인 불안정성이나 떠 있는 아티팩트를 나타냄), 불투명도가 주기적으로 감쇠됩니다. 이는 표준 가지치기 과정이 이러한 불안정 프리미티브를 자연스럽게 제거하도록 허용합니다.

3. 주요 기여

1. 갈등 인식 그라디언트 조화 프레임워크: 크로스뷰 그라디언트 갈등을 명시적으로 직교 구성으로 회전시켜 조정하는 새로운 듀얼뷰 훈련 전략. 이는 일시적 방해 요소와 조명 불일치로 인한 비호환 업데이트를 줄입니다.
2. 의미론적 일관성 유도 마스킹: 사전 이진 마스크를 정제하기 위해 픽셀 단위 일관성 점수를 학습하는 적응형 마스킹 메커니즘으로, 그라디언트 형성 전에 신뢰할 수 없는 감독을 효과적으로 억제합니다.
3. 갈등 인식 구조 업데이트: 가우스 성장을 안정화하고 지속적으로 갈등하는 프리미티브를 제거하기 위해 갈등 인식 신호를 활용하는 밀집화 및 가지치기 전략의 도입.
4. 최첨단 성능: 광범위한 실험을 통해 이 방법이 기존 NeRF 및 3DGS 베이스라인에 비해 표준 야외 벤치마크에서 우수한 렌더링 품질과 재구성 충실도를 달성함을 입증했습니다.

4. 실험 결과

저자들은 HarmoGS 를 세 가지 널리 사용되는 야외 벤치마크인 PhotoTourism, NeRF On-the-go, RobustNeRF에서 평가했습니다.

• 정량적 성능: 이 방법은 모든 지표 (PSNR, SSIM, LPIPS) 에서 RobustNeRF, WildGaussian, SpotLessSplats, AsymGS 를 포함한 최첨단 베이스라인을 일관되게 능가했습니다. 예를 들어, NeRF On-the-go 데이터셋에서 HarmoGS 는 고가림 장면에서 24.67 의 PSNR 을 달성하여 이전 최고 성능 (AsymGS) 을 상당한 차이로 능가했습니다.
• 정성적 결과: 시각적 비교에서 HarmoGS 는 떠 있는 아티팩트를 효과적으로 억제하고 복잡한 일시적 가림 및 조명 변화가 있는 장면에서 더 충실한 장면 세부 사항과 깨끗한 렌더링을 생성함을 보여주었습니다.
• Ablation 연구:
  • 듀얼뷰 설정이나 그라디언트 조화 구성 요소를 제거하면 PSNR 과 SSIM 이 눈에 띄게 감소하여 갈등 조정의 필요성을 확인했습니다.
  • 학습된 일관성 점수 ($S_i$) 와 이진 사전 마스크 ($M_{bin}$) 의 조합은 어느 한 구성 요소만 사용할 때보다 더 나은 결과를 산출하여 상호 보완적임을 입증했습니다.
  • 갈등 인식 밀집화 및 가지치기는 더 높은 품질을 유지하면서 더 컴팩트한 가우스 표현 (더 적은 수의 점) 을 초래하여 불안정 프리미티브의 제거를 나타냈습니다.

5. 중요성 및 주장

이 논문은 HarmoGS 가 최적화 불안정성의 근본 원인인 크로스뷰 그라디언트 갈등을 해결함으로써 제약 없는 환경에서의 3D 재구성을 위한 강건한 솔루션을 제공한다고 주장합니다.

• 마스킹을 넘어: 이 작업은 이미지 공간 마스킹이 야외 3DGS 에는 불충분함을 강조합니다. 그라디언트 수준에서 작동함으로써, 이 방법은 마스킹 후에도 지속되는 갈등을 해결하여 더 안정적인 최적화를 이끕니다.
• 듀얼뷰 최적화: 저자들은 두 개의 뷰를 공동으로 고려함으로써 명시적인 갈등 감지 및 조정이 가능하다고 주장하며, 이는 표준 단일 뷰 최적화 파이프라인에는 없는 기능입니다.
• 일반화 가능성: 이 방법은 기존 3DGS 구현 (Mip-Splatting 기반) 과 호환되는 일반 프레임워크로 제시되며, 복잡한 장면별 휴리스틱 없이 일시적 방해 요소 및 조명 변화에 대한 강건성을 크게 향상시킵니다.

저자들은 그들의 접근 방식이 도전적인 실제 시나리오에서 고품질 새로운 뷰 합성을 가능하게 하여, 제약 없는 이미지 컬렉션에 대한 3D 가우스 스플래팅의 적용 가능성을 진전시켰다고 결론지었습니다.