AEGIR: Modeling Area Emitters for Indoor Inverse Rendering using Gaussian Splatting

기술 요약: AEGIR – 가우시안 스플래팅을 이용한 실내 역렌더링용 영역 방출체 모델링

문제 정의
역렌더링(Inverse rendering)은 관측된 이미지를 기하학적 구조, 재질, 조명으로 분해하는 것을 목표로 한다. 그러나 이 문제는 표면의 외관과 조명 사이의 밀접한 결합으로 인해 본질적으로 부적정하게 정의된 문제(ill-posed problem)이다. 최근 신경 복사장(NeRF)과 3D 가우시안 스플래팅(3DGS)의 발전은 새로운 시점 합성(novel view synthesis) 능력을 향상시켰으나, 이를 역렌더링으로 확장하는 것은 여전히 도전적인 과제이다. 기존 방식들은 일반적으로 전역 환경 맵(global environment maps), 이산 점광원(discrete point lights), 또는 암시적 신경 표현(implicit neural representations)을 사용하여 장면 조명을 근사한다. 이러한 접근 방식은 경계가 있는 실내 환경에서 실제 세계의 방출체(예: 램프, 천장 패널)가 갖는 물리적 공간 범위를 무시하기 때문에 한계가 있다. 결과적으로, 이들은 잘못된 빛의 감쇄를 생성하고, 비현실적인 그림자 경계를 만들며, 잔여 조명 효과를 표면 알베도(albedo)에 직접 흡수시켜 재질과 조명의 분리 성능을 저하시킨다.

방법론
저자들은 AEGIR(Area Emitters for Gaussian Inverse Rendering)을 제안한다. 이는 재조명 가능한 가우시안 스플래팅 표현 내에서 국소 영역 방출체를 명시적으로 모델링하는 프레임워크이다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 명시적 국소 영역 방출체 (Explicit Local Area Emitters):
   점광원이나 전역 맵 대신, AEGIR은 조명을 국소화된 3D 프리미티브로 매개변수화한다. 각 방출체는 다음으로 정의된다:

   • 공간적 특성: 중심 위치, 국소 정규 직교 축, 그리고 물리적 규모(비등방성 타원체).
   • 방출 프로파일: RGB 방출 색상과 슈퍼 가우시안 각도 감쇄(Super-Gaussian angular falloff) 분포.
   • 유연성: 비등방성 스케일링과 학습 가능한 슈퍼 가우시안 파라미터($\rho$)를 결합함으로써, 단일 프리미티브가 등방성 점광원부터 날카롭거나 부드러운 감쇄를 가진 방향성이고 길쭉한 조명 기구(예: 형광등)에 이르기까지 다양한 광원을 표현할 수 있게 한다.
   • 초기화: 방출체는 다시 뷰 이미지에서 고휘도 픽셀을 역투영하고, 이를 DBSCAN으로 클러스터링하며, PCA를 사용하여 초기 파라미터를 추정함으로써 초기화된다. 적응형 컨트롤러는 에너지 및 스케일 임계값을 기준으로 최적화 과정 중에 방출체를 동적으로 분할하거나 제거한다.

2. 지연 렌더링 및 빛의 전달 (Deferred Rendering and Light Transport):
   AEGIR은 신뢰할 수 있는 표면 법선(normals)과 기하 구조를 보장하기 위해 **2D 가우시안 스플래팅(2DGS)**과 결합된 지연 렌더링 파이프라인을 활용한다.

   • G-버퍼 (G-Buffer): 2D 가우시안을 래스터화하여 알베도, 거칠기(roughness), 금속성(metallic), 법선을 포함하는 버퍼를 생성한다.
   • 샘플링: 렌더링 방정식은 **다중 중요도 샘플링(MIS)**을 사용하는 몬테카를로 추정치를 사용하여 평가된다. 이는 코사인 가중 헤미스피어 샘플링(확산 전달용)과 명시적 방출체 표면으로부터의 직접 광원 샘플링을 결합한다.
   • 가시성 (Visibility): 부드러운 그림자와 폐쇄(occlusion)는 2D 가우시안 장면을 통한 미분 가능한 레이 트레이싱을 통해 처리되며, 누적된 불투명도와 폐쇄 거리를 고려하는 가시성 항을 계산한다.
   • 간접광 (Indirect Light): 훈련 중에는 단일 바운스 근사(이차 가우시안 히트 사용)를 사용하고, 추론 시에는 더 엄격한 단일 바운스 트레이싱을 사용한다.

3. 결합 최적화 및 훈련 커리큘럼 (Joint Optimization and Training Curriculum):
   재질과 조명 사이의 모호성을 해결하기 위해, 프레임워크는 결합 손실 함수($L_{total} = L_{photo} + L_{prior} + L_{TV} + L_{light}$)를 사용하는 점진적 최적화 전략을 채택한다.

   • 대조 인식 광도 손실 (Contrast-Aware Photometric Loss): 고대조 픽셀에 가중치를 두어 고주파 조명 단서를 우선시한다.
   • 확산 사전 지식 (Diffusion Priors): 사전 훈련된 DiffusionRenderer를 사용하여 재질에 대한 의사 정답(pseudo ground truth)을 제공함으로써, 모델이 조명을 알베도에 입히는 것을 방지한다.
   • 에지 인식 총 변동 (Edge-Aware Total Variation): 평평한 표면에서 조각별로 일정한 재질을 장려하면서 경계는 보존한다.
   • 방출체 정규화 (Emitter Regularization): 과도한 스케일링을 징벌하고 색상 중립성을 강제함으로써 물리적 타당성을 부여한다.
   • 커리큘럼: 프로세스는 기하학적 베이스라인(DN-Splatter)으로 시작하여, 기하, 재질, 방출체의 결합 최적화로 이어지며, 마지막 단계에서는 재질을 변경하지 않고 조명을 정교화하기 위해 방출체만을 최적화하며 마무리된다.

주요 기여

1. 새로운 방출체 공식화: 다양한 실제 광원의 형태와 방출 프로파일을 모델링할 수 있는, 비등방성 3D 타원체와 슈퍼 가우시안 각도 감쇄를 사용하는 명시적 영역 방출체 표현.
2. 결합 최적화 프레임워크: 다시 뷰 이미지를 통해 명시적 광원, 장면 기하, 그리고 물리 기반 렌더링(PBR) 재질(알베도, 거칠기, 금속성)을 동시에 복구하는 시스템으로, 복사 및 기하학적 제약을 통해 더 나은 분리 성능을 달 achieves.
3. 물리적으로 근거한 렌더링 모델: 명시적 영역 방출체로부터 조명을 직접 평가하는 미분 가능한 파이프라인을 제공하여, 물리적으로 일관된 다운스트림 작업을 지원한다.

결과
본 방법은 합성 데이터셋(Hypersim, FIPT-Synthetic)과 실제 실내 스캔 데이터(Replica, ScanNet++)에서 GS-ID, IRGS, IRIS, NeILF++와 같은 최신 기법들과 비교 평가되었다.

• 조명 추정: 지면 진실(ground-truth) 기하 및 재질을 사용한 제어된 재렌더링 실험에서, AEGIR은 가장 높은 PSNR(실내 조명에 대해 31.42 dB)과 가장 낮은 LPIPS를 달성하며 환경 맵이나 점광원에 의존하는 방법들을 크게 압도했다. 또한 매끄러운 실내 셰이딩과 정확한 부드러운 그림자를 성공적으로 복구했다.
• 새로운 시점 합성(NVS) 및 재질 복구: AEGIR은 우수한 또는 경쟁력 있는 NVS 성능(예: Hypersim에서 21.50 PSNR)을 달성하는 동시에 더 높은 알베도 정확도를 유지했다. 조명을 알베도에 입힘으로써 재질 정확도를 희생하는 베이스라인들과 달리, AEGIR은 더 나은 균형을 유지했다.
• 효율성: 최적화 과정은 단일 NVIDIA RTX 4090에서 약 55분이 소요되어, NeILF++보다 약 3배 빠르며 다른 효율적인 베이스라인들과 대등한 수준이다.
• 절제 연구 (Ablation Studies): 확산 사전 지식이나 포커스 맵과 같은 구성 요소를 제거하면 알베도 정확도와 조명 추정치에서 상당한 하락이 발생하여, 안정적인 분리를 위한 전체 파이프라인의 필요성을 확인시켜 주었다.

의의 및 한로
본 논문은 AEGIR이 광원의 공간적 범위를 명시적으로 모델링함으로써 신경 장면 모델링과 물리 기반 렌더링 사이의 간극을 메운다고 주장한다. 이는 기하, 재질, 조명의 더 일관된 분해를 이끌어내어, 제어된 재조명 및 가상 객체 삽입과 같은 현실적인 응용을 가능하게 한다.

저자들은 다음과 같은 현재의 한계점을 겸허히 인정한다:

• 노이즈가 있는 법선(normals)으로 인해 셰이딩 아티팩트가 발생할 수 있다.
• 방출체의 수가 증가함에 따라 그림자 트레이싱의 계산 비용이 증가한다.
• 현재의 재질 모델은 거울 같은 반사 재질이나 투명한 재질을 처리하지 못한다.
• 이러한 기술을 기만적인 미디어를 생성하는 데 악용할 가능성에 대한 광범위한 윤리적 고려 사항이 존재한다.

이러한 한계에도 불구하고, AEGIR은 복잡한 실내 환경에서 조명을 복구하는 신뢰할 수 있는 접근 방식으로 제시되며, 현실적인 장면 편집을 위한 유연한 토대를 제공한다.