A Hybrid Neural-Microfacet BRDF Model for Real-Time Rendering

기술 요약: 실시간 렌더링을 위한 하이브리드 뉴럴-마이크로패싯(Neural-Microfacet) BRDF 모델

문제 정의
실시간 렌더링 파이프라인은 효율성과 편집 가능성 때문에 오랫동안 마이크로패싯 기반의 양방향 반사 분포 함수(BRDF) 모델(예: GGX)에 의존해 왔습니다. 그러나 이러한 해석적(analytical) 모델들은 특정 회절, 진주광택(iridescence) 또는 복잡한 다층 산란과 같이 복잡한 빛-표면 상호작용에서 발생하는 미묘한 외관 효과를 재현하는 데 한계가 있습니다. 이러한 현상을 위한 특화된 물리 기반 모델들이 존재하지만, 범용성과 성능이 부족합니다. 반대로, 최근의 뉴럴 BRDF 모델들은 측정된 데이터를 높은 충실도로 근사할 수 있지만, 일반적으로 실시간 렌더링에는 계산 비용이 너무 큰 대규모 네트워크를 필요로 하며 예술적 제어를 위한 의미 있는 파라미터가 부족합니다. 핵심 과제는 표현력, 견고성, 중요도 샘플링(importance sampling)이 가능한 빠른 평가, 낮은 메모리 점유율, 그리고 편집 가능성을 동시에 만족하는 표현법을 개발하는 것입니다.

방법론
저자들은 표준적인 해석적 마이크로패싯 공식과 경량 뉴럴 네트워크를 결합한 하이브리드 BRDF 모델을 제안합니다. 이 모델은 다음과 같이 정의됩니다:
$$f_t(\omega_i, \omega_o) = f_c(\omega_i, \omega_o, z) + f_g(\omega_i, \omega_o, z) \times f_a(\omega_i, \omega_o, p)$$
여기서:

• $f_a$는 해석적 성분으로, 램버시안(Lambertian) 항과 GGX 마이크로패싯 스펙큘러 로브(specular lobe)로 구성된 단일 로브 모델입니다. 이는 확산 반사율($k_d$), 굴절률($\eta$), 거칠기($\alpha$)에 의해 파라미터화됩니다.
• $f_c$는 가산적 잔차 보정(additive residual correction) 항입니다.
• $f_g$는 해석적 항의 영향을 조절하는 게이팅(gating) 함수입니다.
• $z$는 각 재질에 특화된 저차원 잠재 코드(latent code)입니다.
• $p$는 해석적 파라미터를 나타냅니다.

보정 및 게이팅 함수는 모두 여러 재질에 걸쳐 공유되는 단일한 얕은 다층 퍼셉트론(MLP)에 의해 예측됩니다. 네트워크는 입사 및 출사 광선 방향($\omega_i, \omega_o$)과 재질의 잠재 코드 $z$를 입력값으로 받습니다.

학습 전략
모델은 공유 네트워크 가중치($w$), 재질별 잠재 코드($z$), 그리고 재질별 해석적 파라미터($p$)를 동시에 최적화하는 공동 학습 전략을 채택합니다. 목적 함수는 두 가지 손실 항을 최소화합니다:

1. 해석적 손실 ($L_a$): 해석적 성분($f_a$)이 스스로 타겟 BRDF를 최대한 정확하게 근사하도록 유도합니다. 이는 해석적 파라미터가 물리적 의미를 유지하도록 하고, 네트워크가 오직 잔차 효과만을 학습하도록 보장합니다.
2. 하이브리드 손실 ($L_t$): 전체 하이브리드 모델을 참조 데이터에 대해 감독합니다.

이러한 이중 손실 접근 방식은 뉴럴 네트워크가 기본 모델의 역할을 중복해서 수행하는 것을 방지하여, 훨씬 더 작은 네트워크 구조(예: 은닉 유닛 16–32개)를 사용할 수 있게 합니다.

주요 기여

1. 하이브리드 아키텍처: 뉴럴 네트워크가 물리 기반 마이크로패싯 모델의 보정 항 역할을 수행하는 새로운 정식화를 통해, 최소한의 계산 오버헤드로 높은 시각적 충실도를 구현합니다.
2. 잠재 코드를 활용한 공유 네트워크: 저차원 잠재 코드와 해석적 파라미터만으로 차별화되는 단일 공유 뉴럴 네트워크를 사용함으로써, 모든 재질마다 고유한 가중치를 저장해야 하는 방식에 비해 메모리 비용을 획기적으로 줄였습니다.
3. 공동 최적화: 해석적 성분이 타겟 데이터에 가깝게 유지되도록 강제하는 학습 절차를 통해 네트워크가 잔차에 집중하도록 합니다. 이는 예술가 편집을 위한 해석적 파라미터의 해석 가능성을 보존합니다.
4. 효율적인 중요도 샘플링: 중요도 샘플링에 어려움을 겪는 완전 뉴럴 BRDF와 달리, 이 모델은 해석적 GGX 성분을 직접 샘플링 프록시로 사용하여 추가적인 뉴럴 추론 없이도 효율적인 다중 중요도 샘플링(MIS)을 가능하게 합니다.
5. 선택적 평가: 이 정식화는 뉴럴 네트워크를 필요한 경우에만 평가하는 전략(예: 첫 번째 레이 바운스 시)을 지원하며, 이후 바운스에서는 해석적 모델로 폴백(fallback)하여 성능을 더욱 최적화할 수 있습니다.

결과
모델은 세 가지 데이터셋(MER와 100개 등방성, RGL 51개 등방성/11개 이방성, UTIA 150개 이방성)에 대해 평가되었습니다.

• 재구성 품질: 하이브리드 모델은 유사한 네트워크 크기를 사용할 때 최신 완전 뉴럴 모델([ZRW∗24])보다 BRDF 공간에서의 대칭 평균 절대 백분율 오차(SMAPE)와 렌더링된 이미지의 평균 절대 오차(MAE)가 더 낮았습니다. 작은 MLP(예: 32×3)를 사용할 때, 하이브리드 모델은 대다수의 경우에서 완전 뉴럴 접근 방식보다 우수한 성능을 보였습니다.
• 성능: 하이브리드 모델의 평가 시간은 동일한 크기의 완전 뉴럴 베이스라인과 유사하지만, 훨씬 더 나은 재구성 품질을 제공합니다. 또한, 뉴럴 성분을 선택적으로 비활성화할 수 있는 해석적 폴백 기능을 통해 순수 GGX 성능에 근접하는 렌더링 시간을 제공합니다.
• 편집 가능성: 해석적 파라미터($k_d, \eta, \alpha$)를 수정하면 외관의 일관되고 그럴듯한 변화가 나타남이 재질 탐색 및 보간 실험을 통해 입증되었습니다.
• 샘플링 효율성: 해석적 성분에 기반한 중요도 샘플링 전략은 표 형식의 참조 모델(tabulated references) 수준의 효율성에 근접하면서도 훨씬 적은 메모리를 요구합니다.

의의
본 논문은 이 하이브리드 접근 방식이 뉴럴 모델의 표현력과 해석적 모델의 효율성/편집성 사이의 간극을 성공적으로 메운다고 주장합니다. 해석적 성분을 강력한 사전 지식(prior)으로 활용함으로써, 이 방법은 실시간 렌더링에 적합한 얕은 네트워크를 사용하여 복잡한 측정 BRDF를 고품질로 재구성합니다. 결과적으로 이 모델은 높은 표현력, 안정적인 동작, 낮은 메모리 점유율, 직관적인 저작 능력을 제공하며, 동시에 효율적인 중요도 샘플링을 유지할 수 있는 실무 워크플로우를 위한 실용적인 솔루션을 제공합니다. 저자들은 본 모델이 단일 로브 재질에는 탁월하지만, 진주광택과 같은 매우 복잡한 다중 로브 효과에는 어려움을 겪을 수 있다고 언급하며, 해석적 사전 지식과 뉴럴 표현력 사이의 트레이드오프는 여전히 해결해야 할 과제로 남아 있음을 시사했습니다.