기술 요약: 자기 지도 학습 원리를 통한 확산 모델의 표현 공간 평가

1. 문제 정의

확산 모델(Diffusion models)은 최첨단 생성 시스템으로서 입지를 굳혔을 뿐만 아니라, 최근에는 강력한 자기 지도 학습(Self-supervised learning, SSL) 표현 학습 도구로 주목받고 있다. 그러나 이들의 생성 능력과 표현 학습 특성 사이의 이론적 및 실무적 연결 고리는 여전히 미개척 영역으로 남아 있다. 데이터 증강에 대한 불변성(Invariance)을 명시적으로 최적화하는 전통적인 자기 지도 학습 방식과 달리, 확산 모델은 가우시안 노이즈로 오염된 입력으로부터 깨끗한 신호를 복원하는 디노이징(Denoising) 목적 함수를 통해 학습된다.

이러한 차이는 근본적인 질문을 제기한다: 확산 표현은 SSL에서 추구하는 '좋은' 표현의 기하학적 특성(불변성 및 확장성 등)을 어느 정도까지 암묵적으로 포착하는가? 또한, 이러한 특성들은 다양한 노이즈 수준과 학습 역학(특히 모델이 일반화에서 암기(Memorization)로 전환되는 데이터 제한 환경)에 따라 어떻게 진화하는가? FID(Fréchet Inception Distance)와 같은 기존 평가지표는 초기 암기 현상을 감지하거나 학습 과정 중 레이블 없이 내재적인 신호를 제공하는 데 있어 불충분한 경우가 많다.

2. 방법론

2.1 불변-잔차 분해 (Invariance-Residual Decomposition)

저자들은 확산 특징을 분석하기 위해 SSL 원리에 기반한 프레임워크를 제안한다. 주어진 훈련 이미지 $\mathbf{x}_0$에 대해, 저자들은 표준적인 의미 보존 증강(Semantic-preserving augmentations)과 확산 과정의 고유한 가우시안 노이즈를 모두 포함하는 무작위 섭동(Perturbation) $a$를 고려한다. $\mathbf{h}(a(\mathbf{x}_0))$를 확산 모델의 고정된 레이어에서 추출된 표현이라고 하자.

저자들은 이 표현을 두 가지 성분으로 분해한다:

1. 불변 성분 ($\mathbf{s}$): 섭동에 대한 표현의 조건부 평균인 $\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$이다. 이는 오염에 강한 안정적인 의미적 속성을 포착한다.
2. 잔차 성분 ($\boldsymbol{\xi}$): 평균으로부터의 편차인 $\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$이다. 이는 뷰(View) 특유의, 즉 증강에 민감한 변동성을 포착한다.

이 분해는 전체 공분산 분해 $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$로 이어진다. 여기서 $\boldsymbol{\Sigma}_s$는 불변하는 정체성의 확산을 나타내며, $\boldsymbol{\Sigma}_\xi$는 총 잔차 변동을 나타낸다.

2.2 불변 오염 비율 (Invariant Contamination Ratio, ICR)

표현 공간의 "건강도"를 정량화하기 위해, 저자들은 **불변 오염 비율(ICR)**을 도입한다. 이들은 다음과 같은 일반화된 고유값 문제를 구성한다:
$$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$$
여기서 $\lambda_i$는 $i$번째 피셔 방향(Fisher direction) $\mathbf{v}_i$를 따른 신호 대 잡음비(SNR)를 나타낸다. 높은 $\lambda_i$는 안정적인 불변 구조가 지배하는 방향을 나타내며, 낮은 $\lambda_i$는 잔차 노이즈가 지배하는 방향을 나타낸다.

ICR은 다음과 같이 정의된다:
$$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$$
여기서 $d$는 특징 차원이다.

• 낮은 ICR: 불변 신호가 잔차 변동보다 우세함(높은 SNR)을 나타내며, 이는 견고한 표현을 시사한다.
• 높은 ICR: 잔차 변동(오염)이 표현 공간의 상당 부분을 차지하고 있음을 나타낸다.

결정적으로, ICR은 레이블이 필요 없으며(Label-free), 외부 평가자나 홀드아웃 테스트 세트 없이 훈련 특징만으로 계산할 수 있다.

3. 주요 기여

1. 표현 기반 평가 지표: 저자들은 불변-잔차 분해로부터 유도된 단일 스칼라 지표인 ICR을 도입한다. 이는 증강 및 노이즈 민감한 변동이 안정적인 특징 구조를 얼마나 오염시키는지 측정한다.
2. 의미적 창(Semantic Window) 식별: 저자들은 확산 노이즈 스케줄이 ICR이 최소화되는 중간 단계의 "의미적 창"을 허용함을 보여준다. 이 최소점은 선형 분류 정확도가 가장 높은 노이즈 수준과 일치하며, 이는 다운스트림 태스크를 위한 최적의 노이즈 스케일을 선택하기 위한 간단한 SSL 기반 규칙을 제공한다.
3. 일반화 대 암기 추적: 본 논문은 표현 공간에서의 뚜렷한 학습 단계를 밝혀낸다:
   • 데이터 풍부 환경 (Data-Rich Regime): 훈련이 진행됨에 따라 ICR이 단조 감소하며, 이는 생성 품질(FID)의 향상과 밀접하게 연동된다.
   • 데이터 제한 환경 (Data-Limited Regime): ICR은 U자형 궤적을 보인다. 처음에는 모델이 일반화를 학습하면서 감소하다가, 특정 훈련 샘플을 암기하기 시작하면 다시 증가하여 최솟값에 도달한다. 이는 ICR이 표준적인 생성 지표나 최근접 이웃(Nearest-neighbor) 테스트가 과적합을 감지하기 전에 암기를 감지할 수 있는 민감한 조기 종료 신호임을 보여준다.

4. 실험 결과

프레임워크는 다양한 확산 아키텍처(EDM, SiT)를 사용하여 CIFAR-10, CIFAR-100, ImageNet에 대해 평가되었다.

• 노이즈 레벨 분석: 모든 데이터셋에서 ICR 곡선은 노이즈 레벨에 대해 U자형을 띤다. ICR의 최솟값은 선형 분류 정확도의 정점과 정확히 일치한다. 이는 중간 노이즈 레벨이 미세한 세부 사항 포착과 안정적인 의미 구조 유지 사이의 최적의 균형을 제공함을 확인시켜 준다.
• 데이터 풍부 훈련: 전체 훈련 세트(예: CIFAR-10 이미지 5만 개, ImageNet 이미지 128만 개)를 사용한 실험에서, ICR과 FID는 모두 훈련 반복에 따라 단조 감소했다. 이는 모델이 데이터 매니폴드를 학습함에 따라 내부 표현이 점점 더 불변적이고 "순수"해짐을 시사한다.
• 데이터 제한 훈련: 제한된 데이터(예: CIFAR-10 이미지 4천 개, ImageNet 이미지 1만 개)를 사용한 실험에서, ICR은 U자형 궤적을 따랐다. ICR 곡선의 최솟값은 암기 비율이 상승하기 직전에 발생했다. 최근접 이웃 시각화를 통해, ICR이 최소인 구간에서는 이웃들이 의미론적으로 유의미했던 반면, 과적합 단계(상승하는 ICR)에서는 이웃들이 시각적으로 관련 없는 상태가 됨을 확인했다.
• 특징 확장 역학 (Feature Expansion Dynamics): $\boldsymbol{\Sigma}_s$와 $\boldsymbol{\Sigma}_\xi$의 트레이스(Trace) 분석 결과, 데이터 풍부 환경에서는 불변 구조의 성장이 특징 확산을 주도한다. 데이터 제한 환경에서는 불변 구조가 포화되면, 추가적인 확장은 잔차 변동에 의해 주도되어 ICR의 상승으로 이어진다.

5. 의의 및 주장

본 논문은 확산 모델이 자기 지도 학습 원리를 통해 학습된 표현의 기하학적 구조를 통해 효과적으로 모니터링되고 평가될 수 있다고 주장한다. 주요 의의는 다음과 같은 것에 의존하지 않는 내재적인 훈련 시간 신호를 제공한다는 점에 있다:

• 외부 사전 학습된 네트워크 (DINOv2나 Inception 등).
• 테스트 이미지의 비용이 많이 드는 샘플링 및 생성 과정.
• 정답(Ground-truth) 레이블.

저자들은 ICR이 생성 모델링과 표현 학습 사이의 간극을 메우는 통합 진단 도구 역할을 한다고 주장한다. 이는 특징 추출을 위한 최적의 노이즈 스케일을 식별하고, 데이터가 부족한 시나리오에서 암기의 시작을 감지하는 실용적인 방법을 제공하며, 표준적인 FID가 과적합을 감지하지 못할 수 있는 현재의 평가 방법론의 한계를 해결한다. 이 연구는 일반화에서 암기로의 전환이 근본적으로 표현 공간이 불변 구조에서 잔차 변동으로 변화하는 과정임을 시사한다.