기술 요약: 확산 모델에서의 클래스 분화에 대한 엔트로피 시그니처

문제 정의

확산 모델은 최첨단 생성 프레임워크로서 입지를 굳혔으나, 역시간 디노이징(reverse-time denoising) 과정 중에 발생하는 의미론적 구조의 출현을 지배하는 메커니즘은 여전히 부분적으로만 이해되고 있다. 최근 통계 물리학 분야의 이론적 연구는 "분화(speciation)"를 의미론적 모호함에서 클래스 확정(class commitment)으로의 급격한 전이, 즉 클래스 분리 방향을 따른 대칭성 깨짐(symmetry breaking)으로 정의했다. 그러나 실제 훈련된 모델에서 이러한 전이 구간을 탐지하고 활용할 수 있는 운영 도구는 부족한 실정이다. 기존 이론들은 훈련된 모델에서 샘플링 궤적을 따라 의미론적 확정을 추적할 수 있는 직접적인 추정량을 제공하지 못한다. 또한, 분류기-자유 가이던스(classifier-free guidance)가 널리 사용되고 있지만, 의미론적 정보를 효과적으로 재분배하는 구체적인 시간적 영역(temporal regimes)은 아직 충분히 규명되지 않았다.

방법론

저자들은 노이즈가 섞인 상태($X_t$)가 주어졌을 때 잠재적 의미 변수의 **클래스 조건부 엔트로피(class-conditional entropy)**를 추적하는 것이 이러한 전이 영역의 신뢰할 수 있는 시그니처라고 제안한다. 방법론은 이론적 유도, 점근적 분석, 그리고 경험적 검증을 통해 진행된다:

1. 이론적 정식화:

   • 저자들은 잠재적 의미 변수 $Z$(예: 클래스 레이블)와 노이즈 상태 $X_t$ 사이의 클래스 조건부 엔트로피 $H(Z|X_t)$를 정의한다.
   • 저자들은 엔트로피 생성(entropy production)(시간 미분 $\partial_t H(Z|X_t)$)에 대한 정확한 식을 유도한다. 이 양은 사후 클래스 확률 간의 쌍방향 경쟁과 스코어 필드(score fields, 로그 밀도의 그래디언트)의 분리 사이의 상호 작용에 의존함을 보여준다.
   • 구체적으로, 엔트로피 생성은 다음 두 조건이 동시에 충족될 때만 유의미하게 나타난다: (1) 사후 확률 경쟁이 활성화되어 있고(클래스들이 아직 완전히 분리되지 않음), (2) 스코어 필드가 여전히 뚜렷하게 구분되는 경우.

2. 점근적 분석:

   • 이 메커니즘은 등방성 가우시안 혼합(isotropic Gaussian mixtures) 모델에 대해 먼저 명시적으로 규명된다. 저자들은 사후 확률 경쟁과 스코어 분리를 모두 조절하는 쌍방향 제어 파라미터 $\lambda_{ik}(t)$를 정의한다.
   • 세 가지 영역을 식별한다:
     • $\lambda \gg 1$: 사후 확률 질량이 경쟁하는 클래스들에 대해 지수적으로 억제됨; 엔트로피 생성은 무시할 만한 수준임.
     • $\lambda \ll 1$: 스코어 필드가 붕괴됨; 엔트로피 생성은 소멸함.
     • $\lambda = O(1)$: "분화 윈도우(speciation window)". 사후 확률 경쟁이 비사소하면서도 스코어 분리가 유지되는 구간.
   • 분석은 분산 보존(Variance-Preserving, VP) 및 분산 폭발(Variance-Exploding, VE/EDM) 포워드 커널을 구분한다. VP의 경우, 전이는 분화 시간 $t_s \sim \frac{1}{2}\log d$ 주변의 $O(1)$ 윈도우로 날카로워진다. VE-EDM의 경우, 전이는 물리적 시간 축 상에서 더 넓은 윈도우($O(\sqrt{d})$)에 걸쳐 퍼져 있는 상태를 유지한다.
   • 이 프레임워크는 "순수 밀도 분해(Pure Density Decompositions)"를 사용하는 Achilli et al. (2026)의 방식을 따라 일반적인 클래스 구조로 확장된다. 여기서 분화는 결정론적 자유 엔트로피 격차(deterministic free-entropy gap)가 샘플 의존적 변동성과 비슷해질 때 발생한다.

3. 분할된 엔트로피(Partitioned Entropy):

   • 서로 다른 추상화 수준에서 의미론적 결정을 해결하기 위해, 저자들은 분할된 클래스 조건부 엔트로피를 도입한다. 클래스 공간에 이진 분할을 적용함으로써(예: 특정 클래스를 그 보집합과 분리하거나, 특정 속성에 따라 클래스를 그룹화함), 엔트로피를 전역적 집계가 아닌 특정 의미론적 구분을 위한 프로브(probe)로 활용한다.

4. 훈련된 모델에서의 추정:

   • 훈련된 모델에서는 사후 확률을 폐쇄형(closed form)으로 구할 수 없으므로, 저자들은 포워드 프로세스의 마르코프 구조를 활용하는 반복 절차를 사용한다. 이들은 디노이징 궤적을 따라 조건부 디노이저와 무조건부(또는 참조) 디노이저 사이의 로그 가능도 비율을 누적하여 분할된 엔트로피를 추정한다.
   • 클래스 불균형(특히 클래스가 사실상 무한한 텍스트-이미지 모델의 경우)을 처리하기 위해, 저자들은 이진 분할에 대해 사전 확률을 0.5로 조정하여 젠슨-섀넌 발산(Jensen-Shannon Divergence) 분리도 척량을 효과적으로 사용한다.

주요 기여

1. 분화의 운영적 표지자: 본 논문은 클래스 조건부 엔트로피 생성이 고차원 가우시안 혼합 및 일반 클래스 구조 모두에서 분화를 탐지하는 운영적 표지자 역할을 한다는 것을 이론적으로 입증한다.
2. 실용적 추정: 저자들은 이 신호가 EDM2-XS 및 Stable Diffusion 1.5와 같은 훈련된 확산 모델에서 추정될 수 있음을 보여주며, 이를 통해 특정 의미론적 요소의 출현을 고립시켜 관찰할 수 있게 한다.
3. 가이던스 효과의 정량화: 이 프레임워크를 사용하여 분류기-자유 가이던스가 시간에 따라 어떻게 의미론적 정보를 재분배하는지 정량화하며, 가이던스가 어떻게 분화를 가속하거나 노이즈 영역에 따라 특징 정교화에 영향을 미치는지 밝혀낸다.

실험 결과

저자들은 EDM2-XS(ImageNet-512로 훈련됨)와 Stable Diffusion 1.5(LAION-5B로 훈련됨)를 통해 이론을 검증했다.

• 클래스별 특징 출현: EDM2-XS에서 엔트로피 생성은 중간 단계의 디퓨전 단계에 국한되어 있음이 발견되었다. 서로 다른 클래스는 각자의 분화 윈도우를 갖는 고유한 노이즈 스케일을 나타냈다. 예를 들어, "tiger shark"는 높은 노이즈 레벨(거친, 저차 통계량)에서 피크를 보인 반면, "paintbrush"는 낮은 노이즈 레벨(세밀한 구조)에서 피크를 보였다.
• 가이던스의 영향:
  • FDDINOv2-최적 구간 내에서 가이던스를 적용하면 엔트로피 생성이 높은 노이즈 레벨 쪽으로 이동하고 낮은 레벨에서의 생성은 억제되어, 대부분의 클래스에 대해 전반적인 분화를 가속화했다.
  • FID-최적 구간(엔트로피 생성이 이미 대부분 붕괴된 시점) 내에서 가이던스를 적용하면, 주로 클래스 내부의 분화나 특징 정교화에 영향을 미쳤다.
  • 전체 궤적에 걸쳐 가이den스를 적용하면, 엔트로피 생성이 고노이즈 단계로 뚜렷하게 이동했는데, 이는 급격한 의미론적 전이보다는 점진적인 구조적 디노이징과 일치하는 결과이다.
• 텍스트 조건 모델 (Stable Diffusion 1.5): 프롬프트 변형(예: "A wooden chair" vs "A wooden chair with blue walls")에 대해 분할된 엔트로피를 사용한 결과, 저자들은 저주파 결정(전역 색상)은 높은 노이즈 레벨에서 빠른 엔트로피 감소를 보이는 반면, 고주파 속성(고양이의 존재 여부)은 후기 단계에서도 느린 엔트로피 붕괴를 보임을 입증했다. 이는 거친 특징에 대한 의미론적 확정이 디노이징 과정의 더 이른 단계에서 발생한다는 관찰과 일치한다.

의의 및 주장

본 논문은 확산 모델에 대한 정보 이론적 관점과 통계 물리학적 관점을 연결한다고 주장한다. 클래스 조건부 엔트로피 생성을 대칭성 깨짐의 시그니처로 식별함으로써, 저자들은 생성 모델에 대한 **시간 국소적 제어(time-localized control)**를 위한 원칙적인 근거를 제공한다.

이 연구는 확산 모델의 모든 병리 현상을 해결하려는 것이 아니라 진단 도구를 제공하는 데 목적이 있다. 연구 결과는 가이던스의 효과가 시간 의존적이며, 서로 다른 의미론적 속성이 서로 다른 노이즈 스케일에서 해결된다는 점을 시사한다. 저자들은 자신들의 방법이 (Biroli et al. 및 Achilli et al.의 이론적 예측과 일치하는) 직접적이고 운영 가능한 분화의 시그니처를 제공한다고 강조한다.

저자들이 언급한 한계점:

• 추정은 로컬 가능도 증분의 캘리브레이션에 의존하므로, 체계적인 예측 오류가 엔트로피 프로파일에 편향을 줄 수 있다.
• 텍스트 조건 모델의 경우, 미세한 세부 사항을 생성하는 능력의 한계로 인해 특정 의미론적 속성을 조사하는 정밀도가 제한될 수 있으며, 프롬프트 수정이 의도보다 더 큰 분포 변화를 유발할 수 있다.
• 클래스 보집합의 대리물로 무조건부 모델을 사용하는 근사 방식이 특정 설정에서 편향을 초래할 수 있다.

저자들은 결론적으로 이러한 결과들이 추상적인 이론적 역학과 실제 모델 동작 사이의 간극을 메우는, "가이드된 생성 모델의 시간 국소적 분석을 위한 원칙적인 진단 도구"를 제공한다고 밝히고 있다.