기술 요약: 향상된 재질-조명 분해를 위한 동적 역 렌더링 (Dynamic Inverse Rendering)

문제 정의

역 렌더링(Inverse rendering)은 방출되는 표면 복사휘도를 고유한 재질 특성(알베도, 거칠기)과 조명으로 분해하는 것을 목표로 한다. 이 작업은 매우 불량하게 정의된 문제(ill-posed)인데, 왜냐하면 여러 재질과 조명의 조합이 동일한 관측 색상을 만들어낼 수 있기 때문이다. 전통적으로 이러한 모호성은 다양한 조명 조건 하에서 정적 객체를 캡처하거나, 수작업 또는 데이터 기반의 사전 지식(prior)에 의존하여 해결한다. 그러나 이러한 방식들은 정교한 조명 설정, 제한된 3D 데이터에 대한 확장된 학습 절차, 또는 장면에 대한 특정 가정을 요구하는 경우가 많다.

저자들은 정적 다중 뷰 캡처에서 발생하는 모호성(알베도와 조명이 서로 얽히는 현상)을, 객체가 유의미한 강체 운동(rigid motion)을 수행하는 과정을 관찰함으로써 더 효과적으로 해결할 수 있다고 주장한다. 정적 캡처는 다양한 시점을 제공하지만, 조명이 고정되어 있다면 빛과 표면 간의 상호작용의 다양성은 부족할 수 있다. 반면, 사용자가 정적인 카메라 앞에서 객체를 회전시키는 핸드헬드(hand-held) 캡처 설정은 단일 원거리 조명 표현 하에서 다양한 표면-빛 상호작용을 포함하는 단일 RGB 비디오를 제공한다. 이러한 운동 유도 다양성은 복잡한 다중 조명 설정이나 방대한 데이터셋 없이도 재질과 조명을 분리하기 위한 더 강력한 제약 조건을 제공한다.

방법론

본 논문은 일반적인 강체 이동 객체를 위해 객체 추적, 3D 재구성, 그리고 역 렌더링을 통합하는 3단계 파이프라인을 제안한다. 이 접근 방식은 모든 파라미터를 처음부터 공동 최적화하여 국소 최적해(suboptimal local minima)에 빠지는 것을 방지하기 위해 단계별 최적화를 수행한다.

1단계: 점진적 포즈 및 기하 구조 추정

첫 번째 단계는 거친 기하 구조와 초기 객체 포즈를 얻는 데 집중한다.

• 표현(Representation): 저자들은 Neural SDF (NeuS) [53] 표현을 활용하여, 희소한 관측 데이터에서도 표면의 무결성을 유지하기 위한 정규화 특성과 단위 구체 초기화를 이용한다.
• 최적화(Optimization): 포즈가 노이즈에 과적합되는 것을 방지하기 위해 거친 수준에서 기하 구조를 학습하는 점진적 순차 최적화 기법을 사용한다.
• 추적(Tracking):: 프레임별 포즈 MLP를 사용하여 프레임 단위로 객체의 포즈를 추정한다. 알 수 없는 카메라/객체 포즈를 처리하기 위해, 상태-오브-디-아트 매처(예: [10, 31])의 2D 특징점 대응 관계를 사용하여 프레임 간 일관성을 부여하며, 이는 질감이 없거나 경면 반사가 있는 핸드헬드 객체에 필수적이다.
• 가상 카메라(Virtual Camera): 2D 마스크를 사용하여 객체를 각 이미지의 중앙에 배치하는 가상 카메라 시스템을 통해 자유도를 줄임으로써, 노이즈가 많은 실제 시퀀스에 대한 최적화를 용이하게 한다.

2단계: 전역 포즈 및 기하 구조 정밀화

초기 추정치를 얻은 후, 파이프라인은 세밀한 기하 구조를 포착하기 위해 더 정교한 표현으로 전환된다.

• 표현: 이 방법은 3D 가우시안(3D Gaussians) [29]을 SDF(DiscretizedSDF [65])와 결러한 하이브리드 표현을 도입한다. 이는 특히 빛나는 물체에 대해 기하 구조를 안정화하면서 세밀한 디테일을 포착한다.
• 정밀화(Refinement): 포즈별 임베딩을 가진 전역 MLP가 1단계에서 추정된 포즈를 정밀화한다. 가우시안은 객체 포즈에 따라 변환되며, 법선(normal)은 가장 작은 스케일에 해당하는 회전축으로부터 유도된다.
• 최적화: 시스템은 광도 손실(photometric loss), 법선 정규화, 분산 제약 및 디스크 형태의 가우시안을 보장하기 위한 랭크 제약을 포함하는 손실 함수를 사용하여 기하 구조와 모든 객체 포한 포즈를 전역적으로 최적화한다. 효율성을 유지하기 위해 적응형 밀도 제어(FastGS [43]에서 유래)가 사용된다.

3단계: 동적 역 렌더링

마지막 단계에서는 물리 기반 역 렌더링을 수행하기 위해 재질 특성을 3D 가우시안에 추가한다.

• 재질 모델: 양방향 반사 분포 함수(BRDF)는 확산 항(Lambertian)과 경면 항(GGX 미세면 모델)으로 매개변수화된다. 공간적으로 변화하는 알베도와 거칠기는 가우시안 평면의 모서리에 저장되며 교차점에서 보간된다.
• 조명 및 가시성(Illumination & Visibility): 환경은 원거리 광원(환경 맵)으로 모델링된다. 자가 폐쇄(self-occlusion)와 전역 조명을 처리하기 위해, 파이프라인은 효율적인 가우시안 레이 트레이싱(Gaussian ray tracing [38])을 채택한다. 가시성과 근사적인 간접 조명을 결정하기 위해 이차 광선(secondary rays)이 추적된다.
• 최적화: 시스템은 지연 셰이딩(deferred shading) 접근 방식을 사용하여 재질 파라미터, 환경 조명, 기하 구조 및 포즈를 공동으로 최적화한다. 손실 함수에는 환경 및 재질 맵에 대한 매끄러움 제약이 포함된다.
• 재조명(Relighting): 재조명을 위해, 방법론은 BRDF 및 조명 기반 중요도 샘플링(importance sampling)과 분할 합 근사(split-sum approximation [28])를 사용하여 1차 간접 복사휘도를 계산함으로써 고충실도 재조명을 보장한다.

주요 기여

1. 제약으로서의 운동(Motion as a Constraint): 본 논문은 객체의 유의미한 운동 하에서의 관찰이 단순한 원거리 조명 표현을 사용할 때도 정적 캡처보다 재질-조명 분해를 위한 더 강력한 제약을 제공함을 경험적으로 입증한다.
2. 4D 역 렌더링 프레임링: Neural SDF에서 3D 가우시안으로 진행되는 과정을 활용하여, 일반적인 강체 이동 객체를 위한 객체 포즈 추적과 표면 재질 추정을 통합하는 새로운 파이프라인을 제안한다.
3. 합성 데이터셋: 저자들은 ground-truth 재질과 재조명 뷰를 포함하는 일반적인 가전제품의 합성 데이터셋을 도입한다. 이 데이터셋은 정적 다중 뷰, 턴테이블, 핸드헬드 캡처라는 세 가지 캡처 설정에 대해 통제된 평가를 가능하게 한다.

실험 결과

방법론은 합성 데이터와 실제 핸드헬드 객체 시퀀스 모두에서 평가되었다.

• 합성 평가: 정량적 결과(PSNR, SSIM, LPIPS, MAE)는 핸드헬드 설정이 정적 및 턴테이블 설정을 유의미하게 능가함을 보여준다. 특히, 추정된 포즈를 사용한 핸드헬드 설정이 ground-truth 포즈를 사용한 정적 설정을 능가했다는 점은 운동 유도 제약의 강력함을 강조한다. 이러한 개선은 재질-조명 모호성이 가장 높은 확산(diffuse) 객체에서 특히 두드러졌다.
• 실제 성능: 실제 핸드-헬드 비디오에 대한 정성적 결과는, 본 방법이 그림자를 알베도에 구워버리는 경우가 많은 정적 다중 뷰 캡처에 비해 더 깨끗한 알베도 맵과 더 그럴듯한 재조명을 생성함을 보여준다.
• 절제 연구(Ablation Studies): 분석 결과, 이득은 뷰의 수가 아니라 표면-빛 상호작용의 다양성 덕분임을 확인했다. 즉, 적은 수의 핸드헬드 뷰가 많은 수의 정적 뷰보다 우수했다. 또한, 본 방법은 정적 방법들이 성능이 저하되는 복잡한 조명 조건에서도 알베도 품질을 유지한다.
• 벤치마킹: TensoIR 벤치마크(정적 설정)에서 본 방법은 기존 베이스라인들과 경쟁할 만한 수준이다. 동적 설정에서는 ReCap, SVG-IR, IRGS와 같이 적응된 베이스라인들을 능가한다.

의의 및 주장

본 논문은 표면-빛 상호작용의 자연스러운 다양성을 활용하는 것이 역 렌더링의 오랜 난제인 재질-조명 모호성을 해결하기 위한 실행 가능하고 효과적인 전략임을 주장한다. 추가적인 광원을 필요로 하거나 복잡한 학습된 사전 지식을 사용하지 않고도, 제안된 방법은 도전적인 핸드헬드 캡처 환경에서 견고한 분해를 달 수 있다. 저자들은 이 접근 방식이 표준 단안 비디오를 사용하여 핸드헬드 객체의 고품질 재조명 및 증강 현실 애플리케이션을 가능하게 한다고 제af언한다.

저자들이 식별한 향후 연구 방향에는 손의 폐쇄(hand occlusion) 모델링, 복잡한 근거리 조명 상호작용 처리, 그리고 파이프라인을 비강체(non-rigid) 객체로 확장하는 것이 포함된다.