기술 요약: 하이퍼네트워크를 이용한 신경 텍스처 압축 (Neural Texture Compression using Hypernetworks)

문제 정의

물리 기반 렌더링(PBR)은 사실적인 재질 상호작용을 시뮬레이션하기 위해 여러 개의 텍스처 맵(예: 디퓨즈, 노멀, 러프니스)에 의존합니다. 이러한 맵은 특히 비디오 게임과 같은 실시간 애플리케이션에서 상당한 저장 공간과 대역폭을 소비합니다. 최근의 신경 텍스처 압축(NTC) 방식들은 다층 퍼셉트론(MLP)과 잠재 텍스처(latent textures)를 사용하여 각 재질별로 압축된 표현을 학습하는 능력을 보여주었으나, 결정적인 병목 현상에 직면해 있습니다: 바로 최적화 시간입니다. 기존 방식들은 개별적인 최적의 잠재 특징과 MLP 가중치를 찾기 위해 모든 개별 재질마다 별도의 계산 집약적인 경사 하강법(gradient-descent) 최적화 과정을 요구합니다. 이러한 재질별 최적화는 속도가 느리며 확장성을 저해합니다.

방법론

본 논문은 개별 재질 최적화를 단일 학습된 **하이퍼네트워크(hypernetwork)**로 대체하는 새로운 접근 방식을 제안합니다. 각 텍스처 세트의 파라미터를 개별적으로 최적화하는 대신, 하이퍼네트워크는 임의의 입력 텍스처 세트를 직접 압축된 표현으로 매핑하는 방법을 학습합니다.

핵심 아키텍처

시스템은 정규화된 텍스처 세트 $T$를 입력으로 받아 두 가지 구성 요소를 출력하는 단일 하이퍼네트워크로 구성됩니다:

1. 잠재 특징 (Latent Features, $l_0, ..., l_N$): 블록 압축된 텍스처 세트(구체적으로 BC1 압축을 활용하는 BCF1 변형 방식)입니다.
2. 디코더 가중치 ($wb$): 소규모 MLP 디코더를 위한 가중치와 편향(bias)입니다.

재구성(reconstruction)은 다음 공식을 통해 수행됩니다:
$$\text{mlp}([l(i,j)_0, ..., l(i,j)_N]; wb) \simeq T_{i,j}$$

네트워크 설계

저자들은 크로스 어텐션(cross-attention) 메커니즘이 포함된 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처를 활용하며, 이는 세 가지 블록으로 구조화되어 있습니다:

• t-Encoder: 합성곱(convolutional)과 어텐션 모듈이 혼합된 형태로, 입력 텍스처 세트를 다운스케일링하고 글로벌 토큰($t$)을 추출합니다. 이 토큰들은 재질의 전역적 특성을 나타냅니다.
• DiT Blocks: 핵심 처리 단위로서, 입력의 $4\times4$ 텍셀 블록으로부터 유도된 이미지 토큰과 잠재 토큰($t$) 사이의 크로스 어텐션을 적용합니다. 이를 통해 네트워크는 국소적인 텍스처 디테일을 전역적인 재질 특성과 상관시킬 수 있습니다.
• BC1 변환 모듈: 최종 단계에서는 토큰을 특정 출력으로 디코딩합니다:
  • 선형 레이어(linear layer)는 잠재 토큰을 MLP 가중치($wb$)로 변환합니다.
  • 특수 모듈은 이미지 토큰을 BC1 잠재 텍스처($l_i$)로 변환합니다. 여기에는 토큰을 리셰이핑(reshaping)하고, 22개 채널(RGB 엔드포인트 및 블렌딩 파라미터 표현)을 생성하기 위해 컨볼루션을 적용하며, 양자화 과정 중 엔드포인트 붕괴를 방지하기 위해 오프셋이 포함된 시그모이드 함수를 적용하는 과정이 포함됩니다.

학습 전략

하이퍼네트워크는 다양한 텍스처 세트(Polyhaven 및 Sketchfab 데이터셋)를 사용하여 $L_1$ 노름(norm)과 DISTS(지각적 손실 지표)를 혼합하여 학습됩니다. 학습 목표는 하이퍼네트워크가 예측한 가중치와 잠재 특징을 사용하는 MLP를 통해 원래의 텍스처 세트와 재구성된 세트 간의 차이를 최소화하는 것입니다. 모델은 경사 하강법 없이도 다양한 재질에 대해 일반화될 수 있도록 학습됩니다.

주요 기여

1. NTC를 위한 하이퍼네트워크: 임의의 재질에 대해 잠재 특징과 디코더 가중치를 모두 출력하는 단일 하이퍼네트워크를 도입함으로써, 재질별 최적화 과정을 제거했습니다.
2. 품질 및 효율성: 이 방식은 현재의 참조 신경 텍스처 압축기(경사 하강법에 의존하는 방식)와 대등한 압축 품질을 달면서도, 압축된 표현을 생성하는 데 필요한 시간을 크게 단축합니다.
3. 다양성 및 재용도 (Versatility and Repurposing): 본 논문은 학습된 하이퍼네트워크를 표준 압축 이상의 작업에 적응시킬 수 있음을 보여줍니다:
   • 공유 MLP (Shared MLPs): 네트워크를 미세 조정하여 모든 텍스처 세트에 대해 하나의 공유된 MLP를 출력하고 잠재 텍스처만 변하게 할 수 있습니다. 이는 워크그룹을 균질화하기 위한 타일 기반 분류 과정을 제거하여 런타임 실행을 단순화합니다.
   • 초해상도 (Super-Resolution): 다운스케일링된 입력($T^l$)과 고해상도 타겟($T^h$)을 사용하여 네트워크를 학습시키면, 하이퍼네트워크는 고주파 디테일을 추론하는 법을 배워, 추론 시 고해상도 정답(ground truth)이 없는 상황에서도 SVBRDF에 대한 초해상도 성능을 발휘합니다.

결과

• 정성적 결과: 디컴프레션된 출력은 고주파 디테일(스크래치나 나뭇결 등)을 보존하며, 학습 데이터 내의 재질, 테스트 세트 내의 재질, 그리고 학습 데이터셋 외부에 있는 재질을 포함한 다양한 시나리오에서 입력과 시각적으로 구분이 불가능할 정도로 우수한 성능을 보입니다. 이는 모델의 강력한 일반화 능력을 입증합니다.
• 정량적/성능 결과: 저자들은 양자화되지 않은 모델 가중치가 디스크 상에서 294MB를 차지한다고 보고했습니다. 이 방식은 $4096 \times 4096$ 텍스처 세트를 실시간으로 디코딩 가능한 신경 표현(BCF1 형식)으로 성공적으로 압축합니다.
• 일반화: 시스템은 훈련 데이터에 존재하지 않는 텍스처 세트에 대해서도 고품질의 결과를 생성하여, 하이퍼네트워크가 특정 에셋에 과적합되는 것이 아니라 일반적인 매핑을 학습한다는 것을 검증했습니다.

의의

본 논문은 이 접근 방식이 신경 텍스처 압축을 실시간 애플리케이션에 적용 가능하게 만드는 중요한 진전임을 주장합니다. 계산 부담을 느린(비효율적인) 재질별 최적화 단계에서 단 한 번의 하이퍼네트워크 학습으로 전환함으로써, 이 방법은 압축된 신경 재질을 빠르게 생성할 수 있게 합니다. 또한, 동일한 아키텍처를 초해상도 및 공유 디코더 시나리오로 재용도화할 수 있는 능력은 재질 표현 및 렌더링의 다양한 과제를 해결하는 데 있어 하이퍼네트워크 방식의 유연성을 강조합니다.