기술 요약: 이미지 기반 조명을 활용한 가상 제작을 위한 재조명 가능한 가우시안 스플래팅

문제 제기

가상 제작 (VP) 은 LED 월을 활용하여 배경 이미지와 인세트 합성을 위한 이미지 기반 조명 (IBL) 을 모두 제공합니다. 이는 인카메라 시각 효과를 가능하게 하지만, 배경과 장면의 조명 사이에 긴밀한 결합을 생성합니다. 이러한 경직성은 후반 작업의 유연성을 제한하며, 원하는 창의적 결과에서 벗어나는 경우 종종 비용이 많이 드는 재촬영이나 복잡한 편집을 필요로 합니다.

전통적인 역렌더링 (IR) 접근법은 환경 맵을 사용하여 3D 기하학과 조명을 공동 추정함으로써 조명을 분리하려 시도합니다. 그러나 이러한 방법들은 VP 컨텍스트에서 다음과 같은 중대한 한계에 직면합니다:

1. 원거리 가정: 표준 환경 맵은 먼 거리의 광원을 가정하지만, VP LED 월은 근거리 광원으로 작용하여 부정확한 조명 효과와 재구성 오류를 초래합니다.
2. 복잡성과 이식성: IR 방법들은 종종 물리 기반 렌더링 (PBR) 프레임워크, 레이 트레이싱 (예: NVIDIA OptiX), 그리고 견고한 표면 법선을 의존하며, 이는 지면-진실 (ground-truth) 깊이 데이터나 보조 기하학을 요구합니다. 이는 계산 비용을 증가시키고 이식성을 감소시킵니다.
3. 해상도 제약: 환경 맵은 조명을 구형 표현으로 압축하여 구조화된 LED 소스로부터의 반사에 필요한 고해상도 세부 정보를 종종 잃어버립니다.

기존의 LED 배경을 위한 2D 재조명 기술은 새로운 3D 뷰나 카메라 궤적을 합성할 수 없어, 카메라 움직임과 샷 구성이 종종 후반 작업에서 설계되는 현대 영화 제작의 요구 사항을 충족하지 못합니다.

방법론

저자들은 VP 환경에서 촬영된 3D 가우시안 스플래팅 (GS) 장면을 위해 특별히 설계된 기하학-암시적 재조명 프레임워크를 제안합니다. 핵심 혁신은 환경 맵, 명시적 레이 트레이싱, 또는 복잡한 재료 특성 추정의 필요성을 우회하여 조명을 모델링하기 위해 알려진 배경 이미지를 직접 샘플링하는 파라미터화입니다.

1. 기하학 없는 재조명 파이프라인

표면 법선과 재료 특성 (알베도, 거칠기 등) 을 복원하는 대신, 이 방법은 장면을 고정된 외관과 가변 조명 구성 요소로 분해합니다.

• 고정된 외관 ($\tilde{c}_i$): 표준 조명 조건 하에서 객체의 색상을 나타냅니다.
• 가변 조명 ($f(\cdot|I^B_k)$): 배경 텍스처 $I^B_k$의 변화로 인해 발생하는 잔여 색상을 모델링합니다.

배경 $k$ 하의 가우시안 프리미티브 $i$에 대한 최종 색상은 다음과 같이 계산됩니다:
$$c_{i,k} = \tilde{c}_i + \tilde{\lambda}_i \Delta c(\cdot | I^B_k)$$
여기서 $\tilde{\lambda}_i$는 학습 가능한 강도/노출 파라미터이며, $\Delta c$는 배경을 샘플링하여 유도된 색상 변화입니다.

2. 이미지 공간 조명 텍스처 샘플링

레이 트레이싱 없이 뷰 의존적 조명을 달성하기 위해, 각 가우시안 프리미티브는 학습 가능한 UV 좌표 ($\mu_i$) 를 할당받습니다. 이러한 좌표는 반사되거나 굴절된 광선이 교차할 것으로 예상되는 LED 월 이미지 공간의 2D 픽셀 위치를 나타냅니다.

• 미프맵 샘플링: 텍스처 앨리어싱과 다양한 거리를 처리하기 위해 배경 이미지는 $N$개의 미프맵 레벨로 다운샘플링됩니다. 학습 가능한 스케일링 파라미터 ($\delta_i$) 가 적절한 미프 레벨 경계를 결정합니다.
• 이중 선형 보간: 최종 색상 잔여 값은 하한 및 상한 미프맵에서 샘플을 선형 보간하여 획득합니다.
• 암시적 반사: 각 가우시안에 대해 UV 좌표를 학습함으로써, 시스템은 LED 월의 2D 이미지 공간을 기반으로 반사와 굴절을 암시적으로 포착하며, 표면 법선이나 LED 월의 3D 포즈를 계산할 필요가 없습니다.

3. 배경 표현 및 합성

GS 는 LED 월 자체를 신뢰할 수 있게 재구성할 수 없으므로, 프레임워크는 배경을 별도의 개체로 취급합니다:

• 마스킹: 훈련 중에는 수동으로 그린 마스크 ($Q_j$) 를 사용하여 배경에 해당하는 가우시안을 제거합니다.
• 백플레이트 메시: 훈련 후, 원래의 고해상도 배경 이미지는 가우시안 장면 뒤에 배치된 간단한 저폴리곤 2D 메시에 투영됩니다.
• 알파 블렌딩: 전경 GS 렌더링은 배경 메시 렌더링과 알파 블렌딩됩니다. 이는 실제 LED 발광체 포착에 내재된 빛 왜곡을 제거하고 재촬영 없이 임의의 배경 교체를 가능하게 합니다.

4. 최적화

시스템은 RGB, DSSIM 및 "정규 손실"($L_{canon}$) 을 결합한 팬옵틱 손실을 사용하여 훈련됩니다. 정규 손실은 고정된 외관 구성 요소 ($\tilde{c}_i$) 가 기준 조명 조건 하에서 객체의 모습을 유지하도록 보장하여 가변 조명을 잔여 항으로 분리합니다.

주요 기여

1. 기하학 없는 재조명 파이프라인: 깊이 사전 지식, 보조 기하학, 광선 수송 시뮬레이션, 또는 사용자 정의 CUDA 코드가 필요 없는 VP 전용 프레임워크입니다. 알려진 배경을 직접 샘플링함으로써 조명을 기하학에서 분리합니다.
2. 새로운 GS 파라미터화: 각 가우시안을 학습 가능한 UV 좌표와 강도 값으로 파라미터화하여 이미지 기반 광원을 픽셀 공간에서 직접 샘플링하는 방법입니다. 이는 환경 맵 없이 사실적인 뷰 의존적 조명을 가능하게 합니다.
3. 새로운 VP 데이터셋: 소형 및 전신 무대를 사용하여 다양한 배경 콘텐츠 및 조명 조건 하에서 촬영된 3D 재구성과 재조명을 위한 첫 번째 공개 다중 카메라 데이터셋의 도입.

실험 결과

저자들은 제안된 방법을 TensoIR(최첨단 IR 베이스라인) 과 두 가지 프록시 베이스라인인 TIR(기하학 없는 파이프라인에 적응된 TensoIR) 및 DFR(지연 렌더링 접근법) 에 대해 평가했습니다.

• 객관적 지표: 제안된 방법은 모든 데이터셋에서 PSNR(RGB, Y, CrCb), SSIM, LPIPS 에서 우수한 성능을 달성했습니다. 예를 들어, 데이터셋 1 에서 이 방법은 TensoIR 의 16.19 에 비해 25.65 의 PSNR 을 달성했습니다.
• 효율성: 이 접근법은 <3GB RAM, <5GB VRAM, 18 개 뷰에 대한 2 시간 미만의 훈련 시간이 필요하여 매우 효율적입니다. 추론 속도는 35 FPS 에 달합니다.
• 애블레이션 연구: 실험을 통해 재조명 과정이 기하학적 품질을 훼손하지 않으며, 이 방법이 다양한 텍스처 훈련 데이터로부터 혜택을 받는 것이 확인되었습니다.
• 주관적 연구: 12 명의 참가자 (VFX 아티스트 포함) 가 포함된 연구는 수동 재조명, 모델의 원시 출력, 보조 출력 변수 (AOV) 가 지원된 모델의 출력을 비교했습니다. 결과는 파이프라인이 전문 수동 재조명과 비교 가능한 고품질 결과를 생성하며, 아티스트들은 AOV 를 통해 저수준 작업 대신 창의적 편집에 집중할 수 있었다고 지적했습니다.

중요성과 주장

이 논문은 가상 제작의 후반 작업 유연성을 위한 실용적인 해결책을 제공한다고 주장합니다. 환경 맵을 위한 360° 카메라와 같은 특수 촬영 장비와 복잡한 역렌더링 파이프라인에 대한 의존성을 제거함으로써, 이 방법은 다음과 같은 것을 가능하게 합니다:

• 촬영 후 수정: 감독과 아티스트는 재촬영 없이 LED 배경 이미지와 관련된 장면 조명을 촬영 후 수정할 수 있습니다.
• 비용 절감: 표준 카메라와 비전문 조명 조건을 사용할 수 있는 능력은 제작 비용과 복잡성을 줄입니다.
• 워크플로우 통합: 이 방법은 깊이, 조명 강도, 조명 없는 렌더링과 같은 유용한 임의 출력 변수 (AOV) 의 렌더링을 지원하여 하류 VFX 워크플로우를 용이하게 합니다.

저자들은 그들의 접근 방식이 조명 소스가 알려져 있고 제어되는 VP 의 제약과 기회에 특히 맞춰져 있으며, 조명이 알려지지 않은 "야외 (in-the-wild)" 재구성 방법과 구별된다고 강조합니다. 이 프레임워크는 현재 무거운 역렌더링 기술에 대한 경량, 이식 가능, 효율적인 대안으로 제시됩니다.