기술 요약: DelowlightSplat

문제 제기

희소 포즈 이미지를 통한 새로운 뷰 합성 및 3D 재구성은 로봇공학과 AR/VR 분야에서 필수적입니다. 최근의 순방향 3D 가우스 스플래팅 (3DGS) 방법들은 희소 뷰에서 직접 3D 가우스를 예측함으로써 장면별 최적화를 상쇄 (amortized) 하는 데 성공했으나, 저조도 조건에서는 크게 실패합니다. 저조도 환경에서는 대비 감소, 센서 노이즈, 색상 편향이 특징 매칭성을 저하시킵니다. 이러한 대응 관계의 붕괴는 비용 볼륨 (cost-volume) 집계 과정을 방해하여 잘못된 기하학적 구조와 과도하게 평활화된 외관을 초래합니다.

"복원 후 재구성 (restore-then-reconstruct)" 파이프라인 (재구성 전 2D 이미지 향상) 과 같은 기존 우회책들은 불충분합니다. 이미지별 향상은 종종 뷰 의존적 색상 변화와 조명 불일치를 유발하며, 다중 뷰 일관성을 명시적으로 최적화하지 못해 불안정한 하류 재구성을 초래합니다. furthermore, 목표 뷰는 깨끗하고 컨텍스트 뷰는 열화된 현실적인 다중 뷰 감독 데이터가 부족하여 이 작업을 위해 모델을 특별히 훈련시키기 어렵습니다.

방법론: DelowlightSplat

저자들은 저조도 인식형 2 뷰 순방향 3DGS 프레임워크인 DelowlightSplat을 제안합니다. 이는 저조도 입력에서 직접 깨끗하고 정상적으로 조명된 3D 장면을 재구성하도록 설계되었습니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 제어 가능한 다중 뷰 저조도 벤치마크

훈련 데이터 부족 문제를 해결하기 위해 저자들은 대규모 포즈 뷰 데이터셋을 기반으로 벤치마크를 구축했습니다. 전체 장면을 열화시키는 대신, **목표 뷰 (ground truth)**는 깨끗하게 유지하면서 **컨텍스트 뷰 (입력 이미지)**만 열화시킵니다. 열화 연산자 $\mathcal{L}$은 컨텍스트 이미지에 네 가지 확률적 변환을 순차적으로 적용합니다:

• 감마 어둡게 만들기 (Gamma Darkening): $I \leftarrow I^\gamma$, 여기서 $\gamma > 1$.
• 노출 스케일링 (Exposure Scaling): $I \leftarrow s \cdot I$, 여기서 $0 < s < 1$.
• RGB 채널 이동 (RGB Channel Shift): R, G, B 채널의 독립적 스케일링.
• 블러 (Blur): 가우스 커널과의 컨볼루션.

이 프로토콜은 재구성에 미치는 저조도 입력의 영향을 분리하면서도 모델이 단순히 저조도 외관을 모방하는 것을 방지합니다.

2. 저조도 어댑터 (Lowlight Adapter)

저조도 입력을 다중 뷰 추론에 적합한 표현 도메인으로 매핑하기 위한 경량 프론트엔드 모듈이 도입되었습니다. 독립적인 2D 향상 모델과 달리, 이 어댑터는 후속 파이프라인을 위한 매칭 가능성 (matchability) 향상을 위해 최적화됩니다.

• 메커니즘: 작은 컨볼루션 잔차 블록 스택을 사용하여 잔차 보정 $\Delta(I_i)$를 예측합니다.
• 출력: 적응된 이미지는 $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$로 계산됩니다.
• 이점: 이 잔차 공식은 경미한 열화 시 모델이 항등 (identity) 에 가깝게 유지되도록 하여 (과도한 향상 방지) 재구성 백본과 함께 엔드 투 엔드로 훈련됩니다.

3. 순방향 가우스 스플래팅 네트워크

적응된 컨텍스트 뷰 $\{\tilde{I}_i\}$는 비용 볼륨 기반 다중 뷰 인코더에 의해 처리됩니다:

• 특징 인코딩: 2D 특징을 추출하고 교차 뷰 상호작용을 수행하여 기하학적으로 일관된 증거를 집계합니다.
• 기하학 구성: 각 픽셀에서 깊이 및 밀도 관련 양을 예측합니다. 이를 3D 로 역투영하여 가우스 중심 ($\mu$) 을 형성합니다. 공분산 ($\Sigma$) 과 불투명도 ($\alpha$) 는 양의 정부호성과 유효 범위를 보장하도록 매개변수화됩니다.
• 외관: 각 가우스는 뷰 의존적 색상을 표현하기 위해 구면 조화 (Spherical Harmonics, SH) 계수 ($h$) 를 운반합니다.
• 훈련 목적: 네트워크는 픽셀별 손실 (예: $\ell_2$ 또는 Charbonnier) 과 지각 손실의 조합을 통해 깨끗한 목표 이미지 ($I^\star_t$) 로 감독됩니다.

주요 기여

1. 제어 가능한 다중 뷰 저조도 벤치마크: 확률적 변환으로 컨텍스트 뷰만 열화시키고 깨끗한 목표 뷰를 유지하는 훈련 및 평가 프레임워크로, 저조도 효과를 체계적으로 제거 (ablation) 할 수 있게 합니다.
2. DelowlightSplat 파이프라인: 잔차 향상을 위한 경량 저조도 어댑터를 통합한 새로운 2 뷰 순방향 3DGS 파이프라인입니다. 이 접근법은 교차 뷰 매칭 가능성을 향상시키고 일관성 없는 2 단계 파이프라인의 문제를 피하면서 새로운 뷰 렌더링을 위한 깨끗한 3D 가우스를 직접 예측합니다.

실험 결과

이 방법은 두 가지 기준선 (baseline) 에 대해 평가되었습니다:

• Lowlight MVSplat: 표준 순방향 재구성기에 저조도 이미지를 직접 입력합니다.
• DarkIR $\to$ MVSplat: 강력한 2D 복원 모델 (DarkIR) 을 사용한 후 재구성을 수행하는 2 단계 파이프라인입니다.

정량적 성능 (저조도 새로운 뷰 합성):
DelowlightSplat 은 두 기준선보다 크게 우월한 성능을 보였습니다:

• PSNR: Lowlight MVSplat(8.49) 과 DarkIR $\to$ MVSplat(17.11) 에서 23.08로 향상되었습니다.
• SSIM: 0.372 와 0.723 에서 0.833으로 향상되었습니다.
• LPIPS: 0.355 와 0.225 에서 0.162로 감소했습니다 (낮을수록 좋음).

정성적 관찰:

• 직접 재구성은 과도하게 평활화된 텍스처와 기하학적 아티팩트 (예: 부유 구조물) 를 초래했습니다.
• 2 단계 기준선은 밝기는 개선했으나 이미지별 복원의 불일치로 인해 뷰 의존적 색상 변화와 잔류 블러를 도입했습니다.
• DelowlightSplat 은 더 날카로운 에지, 안정적인 기하학, 그리고 뷰포인트 간 일관된 색상/명암을 생성했습니다.

중요성 및 주장

이 논문은 DelowlightSplat 이 표준 순방향 3D 재구성과 저조도 조건 사이의 간극을 효과적으로 메운다고 주장합니다. 저조도 적응을 별도의 전처리 단계로 취급하지 않고 재구성 파이프라인에 직접 통합함으로써, 이 방법은 다중 뷰 일관성을 명시적으로 최적화합니다. 결과는 기존 직접 또는 2 단계 방법보다 다양한 저조도 열화 (감마, 노출, 색상 이동, 블러) 하에서 더 높은 재구성 충실도와 지각적 품질을 산출함을 보여줍니다.

저자들은 향후 작업이 더 많은 뷰, 더 긴 시간적 컨텍스트, 그리고 심한 모션 블러와 공간적으로 변하는 노이즈와 같은 실제 센서 아티팩트를 처리하도록 모델을 확장할 수 있다고 언급합니다.