기술 요약: 확산을 이용한 최대 엔트로피 모델의 시각적 질감 학습

문제 정의

시각적 질감(Visual textures)은 풀이나 나무껍질처럼 반복되는 요소를 포함하는 공간적으로 균질한 이미지 영역으로, 도처에 존재하며 재료 인식에 매우 중요하다. 기존의 질감 모델은 일반적으로 질감 앙상블을 정의하기 위해 일련의 국소 통계량(local statistics)에 의존한다. Julesz의 가설과 최대 엔트로피 원리에 따르면, 질감 클래스는 특정 통계량 세트와 일치하는 "가장 무작위한" 확률 밀도로 모델링될 수 있다. 그러나 현재의 접근 방식들은 두 가지 주요 한계점을 가진다:

1. 수동 설계 또는 전이 학습된 통계량: 기존의 통계량은 수동으로 설계되었거나(예: Heiger 및 Bergen, Portilla 및 Simoncelli), 혹은 관련 없는 작업(예: VGG19를 사용하는 Gatys 등)을 위해 사전 학습된 네트워크로부터 추출되었다(예: Gatys 등).
2. 확장성 대 품질의 트레이드오프: Gatys 등의 최첨단 모델은 높은 시각적 품질을 달성하지만 방대한 파라미터 세트(~177k 통계량)에 의존하는 반면, 더 작은 수동 설계 모델들은 시각적 충실도가 떨어진다.

저자들은 질감을 매개변수화할 수 있는 최대 엔트로피 확률 모델을 위한 통계량 세트를 **비지도 학습(unsupervised learning)**하는 최초의 원칙적인 방법과, 동시에 효율적인 샘플링 절차를 도출하는 것을 목표로 한다.

방법론

1. 최대 엔트로피 정식화

저자들은 이미지 $x$에 대한 파라미터 확률 밀도 $p_\lambda(x)$를 $d$개의 통계량 $f(x)$에 대한 제약을 따르는 최대 엔트로피 분포로 정식화한다:
$$p_\lambda(x) = \frac{1}{Z(\lambda)} \exp\left( -\sum_{k=1}^d \lambda_k f_k(x) \right)$$
여기서 $\mu = E[f(x)]$는 타겟 통계량을 나타내며, $\lambda$는 $\mu$에 의해 유일하게 결정되는 라그랑주 승수(Lagrange multipliers)이다. 목표는 데이터로부터 직접 함수 $f$(통계량 추출기)와 $\lambda$로의 매핑을 학습하는 것이다.

2. 확산(Diffusion)을 통한 학습

최대 가능도(maximum likelihood)를 통한 $f$와 $\lambda$의 직접적인 최적화는 분배 함수(partition function) $Z(\lambda)$로 인해 다루기 어렵다. 대신, 저자들은 **생성적 확산 모델(generative diffusion models)**을 활용한다:

• 스코어 매칭(Score Matching): 노이즈가 섞인 이미지 $y$로부터 가우시안 노이즈 $\epsilon$을 예측하도록 학습된 디노이징 네트워크는 스코어 함수 $\nabla_y \log p(y)$를 근사한다.
• 아키텍처: 모델은 두 개의 네트워크 구조(그림 1)를 채택한다:
  • 통계량 네트워크 ($f_\theta$): 노이즈가 섞인 이미지 $y$를 처리하는 UNet 스타일의 인코더이다. 이 모델은 독립적인 파라미터를 가진 쌍둥이 인코더를 사용하며, 출력 통계량 $f_\theta(y)$는 대응하는 채널들의 내적(inner product)으로 계산된다.
  • 가중치 네트워크 ($\lambda_\phi$): 깨끗한 참조 이미지 $x$와 노이즈 레벨 $\sigma$를 입력으로 받아 가중치 $\lambda_\phi(x, \sigma)$를 출력하는 ConvNeXt-T 모델이다.
• 목표: 네트워크들은 예측된 노이즈와 실제 노이즈 사이의 평균 제곱 오차(MSE)를 최소화하도록 공동 학습되며, 이는 $Z(\lambda)$를 명시적으로 계산하지 않고도 최대 엔트로피 밀도의 스코어를 효과적으로 학습한다.
• 데이터셋: 모델은 ImageNet21K에서 추출한 100만 개의 균질한 128x128 패치로 학습되며, 이 패치들은 가향 피라미드 분해(steerable pyramid decomposition)로부터 도출된 "균질성" 기준에 따라 선택되었다.

3. 샘플링 절차

본 논문은 참조 이미지 $x_0$에 조건화된 새로운 질감을 생성하기 위해 두 가지 방법을 비교한다:

1. 통계량 매칭(Statistics Matching): 이미지 $x$를 $\|f(x) - f(x_0)\|^2$를 최소화하도록 반복적으로 업데이트하는 최적화 기반 접근 방식이다. 이는 이전 질감 모델들에서 사용된 표준적인 방법이다.
2. 확산 샘플링(Diffusion Sampling): 학습된 스코어 함수를 사용하여 각 타임스텝에서 가중치 $\lambda(x_0, \sigma_t)$에 조건화된 역방향 확산 과정(DDPM)을 수행하는 생성적 접근 방식이다.

4. 경쟁적 적대적 비교(Competitive Adversarial Comparison)

모델들을 직접 비교하기 위해 저자들은 "MAD 경쟁" 전략을 사용한다. 참조 $x_0$가 주어졌을 때, 한 모델의 통계량에 따르면 $x_0$와 일치하지만 다른 모델의 통계량에 따르면 최대한 달라지도록 하는 이미지 $x$를 합성한다. 이는 각 모델의 구체적인 사각지대와 아티팩트(artifacts)를 드러낸다.

핵심 기여

1. 통계량의 비지도 학습: 수동 설계나 전이 학습에 의존하는 대신, 최대 엔트로피 질감 모델을 매개변수화하기 위해 데이터로부터 통계량을 학습하는 최초의 방법이다.
2. 컴팩트한 고품질 모델: 학습된 모델은 단 512개의 통계량(파라미터)을 사용하면서도, 176,640개의 통계량을 사용하는 최첨단 Gatys 모델과 대등하거나 더 나은 시각적 품질을 생성한다.
3. 샘플링 비교: 통계량 매칭이 제안된 모델에 대해 더 높은 품질의 샘로를 생성하는 반면, 확산 샘플링은 독특한 생성 경로를 제공한다는 것을 보여주는 체계적인 비교를 수행하였다.
4. 표현 공간 분석: 학습된 표현 공간이 질감 간의 매끄러운 보간(interpolation)을 허용함을 입증하였다. Gatys 모델이 보간 중에 패치 단위의 공간적 혼합을 생성하는 것과 달리, 제안된 모델은 양 끝단 사이를 부드럽게 전환하는 특징을 가진 균질한 질감을 생성한다.

결과

• 시각적 품질: 테스트된 질감 클래스(풀, 자갈, 별 등)에 대해, 통계량 매칭을 적용한 제안 모델은 Gatys 모델과 시각적으로 유사하거나 더 우수한 이미지를 생성한다.
• FID 점수: 모델은 테스트된 9개 질감 클래스 중 8개에서 Gatys 모델보다 더 나은 Fréchet Inception Distance(FID) 점수를 달성했다. 저자들은 FID가 ImageNet 카테고리로 학습된 객체 인식 네트워크에 의존하기 때문에 질감 평가에는 이상적이지 않다고 언급했다.
• 적대적 비교:
  • 고주파 제약(high-pass constraints)이 없는 Gatys 모델은 제안된 모델과 달라지도록 강제될 때 고주파 아티팩트를 생성한다.
  • 제안된 모델이 Gats 모델과 달라지도록 강제될 때, 국소적인 방향성 구조(oriented structures)와 관련된 특정 아티팩트를 보인다.
• 보간(Interpolation): 제안된 모델에서 두 질감 표현($\mu$ 또는 $\lambda$) 사이를 보간하면 특징이 부드럽게 전환되는 균질한 질감이 생성된다. 반면, Gatys 모델은 "이중 노출" 또는 패치 단위의 혼합을 생성하여 비볼록(non-convex) 표현 공간을 나타낸다.

의의 및 주장

본 논문은 통계적 질감 이론과 현대 생성 딥러닝 사이의 간극을 메우는 원칙적이고 데이터 기반인 프레임워크를 제공한다고 주장한다.

• 효율성: 컴팩트한 학습 통계량(512개)이 방대한 수동 설계 또는 전이 학습된 통계량(~177k)보다 뛰어날 수 있음을 보여주며, 이는 통계량의 절대적인 양보다 구체적인 선택이 더 중요하다는 것을 시사한다.
• 과학적 유용성: 저자들은 이 모델이 신경과학 및 심리학을 위한 도구로서 가질 잠재력을 강조한다. 고차원의 해석 불가능한 Gatys 모델이나 품질이 낮은 수동 설계 모델과 달리, 이 512차원 모델은 시각적 충실도와 해석 가능성 사이의 균형을 제공하여 연구자들이 잘 정의된 표현 공간 내에서 신경 반응을 특성화할 수 있게 한다.
• 일반성: 이 방법은 적절한 유도 편향(inductive biases)이 네트워크 아키텍처에 적용된다면, 최대 엔로피 모델로 설명될 수 있는 다른 데이터 모달리티(예: 시간적 소리 세그먼트, 비디오 패치, 신경 스파이크 데이터)에도 일반화될 수 있다고 제시된다.