기술 요약: 실시간 신경망 헤어 디노이징

문제 정의

게임, VR, AR 과 같은 실시간 애플리케이션에서 스트랜드 기반 헤어를 렌더링하는 것은 일반적인 장면 렌더링과 구별되는 고유한 과제를 제시합니다. 래스터화는 일반적인 기하학에 대해 일반적으로 효율적이지만, 헤어는 수만 개의 얇은 프리미티브로 구성되어 있으며, 일반적인 시야 거리에서는 단일 픽셀보다 작은 경우가 많습니다. 이로 인해 극단적인 서브픽셀 복잡성과 심각한 언더샘플링이 발생하여 노이즈가 많고 앨리어싱이 있는 렌더링 결과를 초래합니다.

기존 솔루션은 다음과 같은 중대한 한계에 직면해 있습니다:

• 일반 안티앨리어싱 (TAA, MSAA): 헤어의 고주파수 세부 사항에 어려움을 겪으며, 미세한 스트랜드를 흐리게 하거나 고스트 아티팩트를 도입하지 않고는 노이즈를 억제하는 데 종종 실패합니다.
• 산업용 신경망 슈퍼해상도 (DLSS, FSR): 일반적인 기하학에는 효과적이지만, 엣지 감지 후에도 앨리어싱 아티팩트가 지속되고 조명 및 가시성과 오류가 얽힌 최종 셰이딩된 이미지에서 작동하기 때문에 헤어에는 덜 효과적입니다.
• 이전 헤어 전용 방법: 가시성 버퍼에서의 멀티샘플 안티앨리어싱이나 최종 이미지의 CNN 기반 디노이징과 같은 접근 방식은 종종 높은 런타임 비용 (예: 20ms 이상) 을 초래하거나, 흐림, 에너지 변화에 시달리거나, 물리 기반 셰이딩에 필요한 기하학적 일관성을 유지하지 못합니다.

핵심 문제는 과도한 계산 비용 없이 시간적 안정성과 기하학적 충실도를 보장하면서 셰이딩 전에 심각하게 언더샘플링된 입력으로부터 기하학적 속성 (커버리지, 접선, 위치) 을 재구성하는 경량 실시간 방법이 필요하다는 점입니다.

방법론

저자들은 지연 셰이딩 전에 헤어 G-버퍼 (기하학 버퍼) 를 재구성하는 경량 실시간 파이프라인을 제안합니다. 최종 RGB 이미지를 디노이징하는 방법과 달리, 이 접근 방식은 물리 기반 헤어 셰이딩에 필요한 기하학적 및 방향 정보를 보존하기 위해 G-버퍼 공간에서 작동합니다. 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 신경 공간 재구성

경량 듀얼 브랜치 U-Net($\Psi$) 이 단일 프레임을 처리하여 노이즈가 많고 앨리어싱된 입력으로부터 커버리지(분수 헤어 가시성) 및 접선(방향) 버퍼를 재구성합니다.

• 아키텍처: 네트워크는 스칼라 커버리지와 벡터 값 접선을 위한 별도의 얕은 인코더 브랜치를 사용하여 병목 지점에서 이를 융합합니다.
• 어텐션: 병목 지점의 멀티헤드 셀프 어텐션 모듈은 국소 증거가 약할 수 있는 희소 헤어 구조에 중요한 장거리 상호작용을 포착합니다.
• 계층적 필터링: 보조 멀티스케일 브랜치는 빠른 추론을 보장하기 위해 잔여 재구성 경로를 안정화하는 저주파 필터링 계수를 예측합니다.
• 출력: 네트워크는 재구성된 커버리지, 접선 및 전경 지원 마스크를 출력합니다.

2. 신경 시간적 누적

순환 시간 모듈 ($\Gamma$) 이 스페이셜 예측을 정제하여 깜빡임을 억제하고 운동/디오클루전을 처리합니다.

• 입력: 현재 스페이셜 예측, 이전 프레임에서 재투영된 히스토리, 모션 벡터, 불일치를 감지하기 위해 왜곡된 모션 벡터 차이를 입력받습니다.
• 메커니즘: 컴팩트한 잔여 CNN 으로 구현되어 시간적 일관성을 활용하면서 잘못된 히스토리가 결과를 손상시키는 것을 방지하기 위해 스페이셜 출력에 대한 잔여 보정을 예측합니다.

3. 접선 유도 위치 재구성

신경망은 가림과 누락된 샘플로 인해 정밀한 3D 위치를 직접 예측하는 데 어려움을 겪으므로, 저자들은 위치 버퍼를 완성하기 위해 분석적 접선 유도 재구성 단계를 도입합니다.

• 깊이 인페인팅: 누락된 깊이 값은 최근접 이웃 보간을 통해 채워집니다.
• 양방향 전파:
  • 후방 복구: 위치가 누락된 픽셀의 경우, 알고리즘은 유사한 곡률 중심을 가진 가장 가까운 유효 이웃을 식별하고 재구성된 접선을 따라 그 위치를 전파합니다.
  • 전방 투표: 유효 픽셀은 접선을 따라 이웃 픽셀로 위치를 전방으로 투영합니다. 접선 방향이 전파 방향과 일치할 때만 투표가 승인됩니다.
  • 선택: 픽셀의 최종 위치는 기하학적 일관성을 보장하기 위해 깊이 (가장 앞쪽 가시 표면) 를 기반으로 후보 풀에서 선택됩니다.

4. 지연 셰이딩

완성된 G-버퍼 (커버리지, 접선, 위치, 깊이) 는 표준 물리 기반 지연 헤어 셰이딩에 사용되어 고품질 최종 이미지를 생성합니다.

주요 기여

1. 경량 시공간 프레임워크: 헤어 커버리지 및 접선 버퍼 재구성을 위한 새로운 신경 프레임워크로, 재구성 품질과 시간적 안정성을 모두 향상시켜 기존 헤어 전용 디노이저 및 일반 산업 솔루션보다 우수한 성능을 발휘합니다.
2. 접선 유도 위치 완성: 재구성된 접선을 사용하여 누락된 월드스페이스 위치 완성을 안내하는 하이브리드 분석 - 신경 방법으로, 명시적인 레이 - 헤어 교차 테스트의 높은 비용 없이 안정적인 지연 셰이딩을 가능하게 합니다.
3. G-버퍼 공간 재구성: 셰이딩 전에 작동함으로써 조명 및 가시성과 오류의 얽힘을 피하고, RGB 공간 디노이징에 비해 기하학적 충실도를 보존하며 더 나은 시간적 일관성을 가능하게 합니다.

결과 및 평가

이 방법은 언리얼 엔진 5 를 사용하여 정적 및 동적 조건 하에서 다양한 헤어스타일 (일직선, 웨이브, 아프로, 포니테일) 에 대해 평가되었습니다.

• 정량적 성능: 제안된 방법은 모든 지표 (MSE, PSNR, SSIM, LPIPS, FLIP) 에서 베이스라인 (MSAA, SSAA, TAA, DLSS, FSR 및 학술적 헤어 전용 디노이저) 보다 일관되게 우수한 성능을 보였습니다.
  • 정적 헤어의 경우, DLSS 의 20.08 대비 27.43의 PSNR 과 DLSS 의 0.0583 대비 0.0206의 LPIPS 를 달성했습니다.
  • 동적 헤어의 경우, 28.57의 PSNR 과 0.0155의 LPIPS 를 달성했습니다.
• 런타임 효율성: 전체 파이프라인은 프레임당 약 0.8ms 에서 1.0ms (해상도 및 특정 하드웨어에 따라 다름) 로 실행되며, 이는 FSR(0.5ms) 과 같은 산업 솔루션과 유사하고 이전 학술적 헤어 디노이저 (예: Currius 등 [2022] 의 20.3ms) 보다 훨씬 빠릅니다.
• 화질: 이 방법은 특히 RGB 공간 방법이 흐리게 하거나 셰이딩 정보를 혼합하는 경향이 있는 복잡하고 매우 구부러지거나 엉킨 헤어스타일 (예: 아프로 헤어) 에서 희소 헤어 실루엣과 미세한 스트랜드 세부 사항을 효과적으로 보존합니다.

중요성 및 주장

이 논문은 이 접근 방식이 일반 디노이징 기법과 헤어의 특정 기하학적 특성 사이의 근본적인 불일치를 해결함으로써 실시간 헤어 렌더링에서 중요한 진전을 이루었다고 주장합니다.

• 기하학적 충실도: RGB 이미지 대신 G-버퍼를 재구성함으로써, 이 방법은 포스트프로세스 필터링에서 종종 손실되는 물리 기반 셰이딩, 그림자 및 다중 산란에 필요한 기하학적 일관성을 유지합니다.
• 실시간 실현 가능성: 이 방법은 현대 게임 제작의 엄격한 시간 예산 (밀리초 미만) 내에서 고품질 재구성을 달성하여 현재 게임 엔진에 통합하기에 적합합니다.
• 강건성: 양방향 재구성 전략은 언더샘플링된 헤어에 내재된 희소성과 앨리어싱을 효과적으로 처리하여 디오클루전이 있는 동적 시나리오에서도 안정적인 결과를 제공합니다.

저자들은 일반화가 훈련 데이터에 의존하며 현재 구현은 저수준 엔진 최적화보다 알고리즘적 명확성을 우선시하여 커널 퓨전 및 플랫폼별 가속을 통한 추가 런타임 감소 여지가 있음을 인정합니다. 그러나 정적 기하학에 대해 디노이징된 G-버퍼를 캐싱할 수 있는 이 방법의 능력은 조명만 변경되는 경우에 고유한 장점을 제공하여 실용성을 더욱 향상시킵니다.