기술 요약: 확산 모델의 일반적이고 효율적인 스티어링 (NA-RFM)

문제 정의

확산 모델(Diffusion models)은 고품질 이미지 합성을 위한 지배적인 방법론으로 자리 잡았습니다. 분류기 없는 가이드(Classifier-Free Guidance, CFG)를 통해 조건(예: 클래스 레이블 또는 텍스트 프롬프트)이 훈련 과정에 내장된 경우 효과적으로 유도할 수 있지만, 많은 응용 분야에서는 훈련 중에 보지 못했거나 사용 불가능한 조건으로 스티어링하는 것을 필요로 합니다. 예를 들어, 새로운 객체 클래스, 미세한 종(species) 구분, 또는 예시로만 정의된 특정 시각적 속성 등이 이에 해당합니다.

이러한 미학습 조건으로 무조건적(unconditional) 모델을 스티어링하려는 기존 방식들은 대개 **경사 기반 가이드(gradient-based guidance)**에 의존합니다. 이러한 방법들은 노이즈 조건부 분류기를 훈련시키거나, 추론 시 매 디노이징 단계마다 그래디언트를 계산하기 위해 기성(off-the-shelf) 분류기를 활용합니다. 이러한 방식은 효과적이긴 하지만, 매 단계마다 그래디언트를 계산하고 추론 과정 중 확산 모델이나 보조 분류기를 역전파(backpropagation)해야 하기 때문에 상당한 계산 오버헤드를 발생시킵니다.

방법론: 노이즈 정렬 RFM 스티어링 (NA-RFM)

저자들은 그래디언트가 필요 없는 사후(post-hoc) 방식인 **노이즈 정렬 RFM 스티어링(NA-RFM)**을 제안합니다. 이 방법은 오프라인 준비 단계와 온라인 그래디언트 프리 샘플링 단계라는 두 가지 별개의 단계로 작동합니다.

1. 핵심 관찰 사항

NA-RFM의 설계는 서로 다른 노이즈 수준에서의 확산 모델 동작에 관한 두 가지 경험적 관찰에 근거합니다:

• 관찰 1 (고노이즈 조대 구조): 높은 노이즈 수준에서 역방향 궤적은 이미 최종 생성 클래스를 예측할 수 있는 조대한(coarse) 정보를 포함하고 있습니다. 이 영역에서의 선형-가우시안(Linear-Gaussian) 또는 PCA 근사는 다룰 수 있는 스티어링 신호를 제공할 수 있습니다.
• 관찰 2 (전이 가능한 활성화 방향): 중간 및 낮은 노이즈 수준에서, 순방향 프로세스 모델의 활성화(activation)는 강력한 판별 신호를 제공합니다. 결정적으로, 이러한 활성화에서 학습된 방향은 중간/후기 역방향 샘플링 타임스텝 창(window) 전반에 걸쳐 정렬된 상태를 유지하므로, 오프라인에서 학습된 단일 방향을 샘플링 중에 재사용할 수 있습니다.

2. 오프라인 단계

대상 개념 $c$(예: 특정 클래스 또는 시각적 속성)에 대해, NA-RFM은 레이블이 있는 예시들을 사용하여 두 가지 가이드 신호를 계산합니다:

• 노이즈 정렬 (PCA 통계량): 저자들은 대상 클래스($\mu_c, V_c$)와 전체 데이터셋($\mu_{all}, V_{all}$)에 대한 주성분 분석(PCA) 통계량을 계산합니다. 이 통계량들은 클래스 조건부 PCA 디노이저 $D_c$와 무조건부 디노이저 $D_{all}$을 정의합니다. 두 디노이저 사이의 차이는 고노이즈 타임스텝을 위한 픽셀 공간 가이드 신호 역할을 합니다.
• RFM 방향 학습: 낮은 노이즈 참조 수준으로 손상된 레이블 이미지의 순방향 프로세스 활성화를 사용하여, 저자들은 **재귀적 특징 기계(Recursive Feature Machine, RFM)**를 훈련합니다. RFM은 선택된 U-Net 블록의 활성화 공간에서 대상과 배경을 구분하는 방향($v_c$)을 학습하며, 이 방향은 대상을 나머지로부터 분리하는 특징을 강조하는 RFM 예측기의 평균 그래디언트 외적 곱(Average Gradient Outer Product, AGOP)으로부터 도출됩니다.

3. 온라인 샘플링 단계

추론 중 NA-RFM은 역전파 없이 생성 과정을 스티어링합니다:

• 고노이즈 윈도우 ($\sigma_t \ge \sigma_{end}$): 샘플러는 노이즈 정렬을 적용합니다. 클래스 조건부 및 무조건부 PCA 디노이저 간의 차이를 계산하고, 이를 추정된 깨끗한 이미지($\hat{x}_0$)에 직접 더합니다.
• 중간/후기 윈도우 ($\sigma_t \in [\sigma_{lo}^R, \sigma_{hi}^R]$): 샘플러는 RFM 활성화 스티어링을 적용합니다. 학습된 방향 $v_c$를 대상 블록의 텐서 형태로 재구성하여 블록의 활성화 텐서에 더합니다. 이 편집은 결과적으로 디노이징된 추정치를 스티어링된 추정치 쪽으로 외삽(extrapolating)함으로써 증폭됩니다.
• 효율성: 온라인 프로세스는 확산 모델에 대한 순방향 패스(forward pass)와 단순한 행렬-벡터 연산만을 필요로 합니다. 확산 모델이나 분류기를 통한 그래디언트 계산은 수행되지 않습니다.

주요 기여

1. 그래디언트 프리 사후 스티어링: NA-RFM은 확산 모델을 재학습하거나 추론 중에 그래디엔트를 계산하지 않고도 미학습 조건에 대한 제어 가능한 생성을 가능하게 하며, 기존의 그래디언트 기반 방식들의 계산 병목 현상을 해결합니다.
2. 하이브리드 가이드 메커니즘: 본 논문은 노이즈 정렬(고노이즈에서의 조대 제어를 위한)과 RFM 활성화 스티어링(중간/저노이즈에서의 미세 제어를 위한)의 새로운 결합을 도입하여, 서로 다른 단계에서의 확산 궤적의 독특한 특성을 활용합니다.
3. 방향 전이의 이론적 및 경험적 검증: 저자들은 낮은 노이즈 수준에서 학습된 판별 활성화 방향이 중간/후기 샘플링 윈도우 전반에 걸쳐 안정적이고 전이 가능하다는 것을 입증하는 이론적 모델(Proposition A.1)과 경험적 증거(Figure 3)를 제공합니다.
4. 샘플 공간 계산: 제한된 샘플로 고차원 활성화 공간을 처리하기 위해, 이 방법은 PCA 및 RFM 방향 추출 모두에 대해 컴팩트한 샘플 공간 계산을 채택하여 거대한 공분산 행렬의 형성을 피합니다.

실험 결과

NA-RFM은 CIFAR-10, ImageNet (256×256), CelebA-HQ (다중 속성), 그리고 미세한 조류 종(out-of-distribution)의 네 가지 벤치마크에서 평가되었습니다.

• 정확도: NA-RFM은 최신 훈련 프리 그래디언트 베이스라인(예: TFG)을 크게 능가합니다. CIFAR-10에서 NA-RFM은 TFG-4의 77.1% 대비 **96.6%**의 대상 정확도를 달로합니다. ImageNet에서는 정확도가 **59.8%**에서 **75.8%**로 향상됩니다. 미세한 조류 종의 경우, 정확도가 **2.2%**에서 **14.1%**로 상승합니다.
• 이미지 품질: 이 방법은 이미지 품질(FID)을 유지하거나 개선합니다. CIFAR-10에서 NA-RFM은 41.4의 FID를 달성하며, 이는 분류기 가이드(41.9)와 대등하며 TFG-4(73.9)보다 훨씬 뛰어납니다.
• 효율성: NA-RFM은 상당한 속도 향상을 제공합니다. CIFAR-10에서 NA-RFM은 TFG-4보다 16배 빠릅니다. ImageNet의 경우, 오프라인 준비 과정이 생성되는 샘플들에 대해 분할(amortized)되므로 1024개 이미지 생성에 걸리는 총 시간이 22.7시간(TFG-4)에서 2.67시간(NA-RFM)으로 단축됩니다.
• 일반화: 이 방법은 트랜스포머 기반 잠재 확산 모델(SiT-XL/2)과 텍스트 프롬프트만으로는 지정하기 어려운 피사계 심도(depth-of-field)와 같은 시각적 속성을 제어하기 위한 조건부 모델(Stable Diffusion 1.5)로 확장됩니다.

의의 및 주장

본 논문은 NA-RFM이 무조건적 확산 모델을 스티어링하기 위한 일반적이고 효율적인 레시피를 제공한다고 주장합니다. 가이드 신호 구축(오프라인)을 샘플링 과정(온라인)으로부터 분리함으로써, 높은 대상 정확도와 이미지 품질을 달성하는 동시에 단계별 그래디언트 계산의 비용을 제거합니다.

저자들은 이 방법이 노이즈 조건부 분류기를 훈련시키거나 약하거나 정렬되지 않은 그래디언트를 제공할 수 있는 기성 분류기에 의존할 필요가 없음을 강조합니다. 대신, NA-RFM은 예시 데이터로부터 직접 대상 특화 스티어링 방향을 구축하여, 희귀 클래스와 미세한 속성을 포함한 광범위한 조건에 대한 강력한 제어를 가능하게 합니다. 이 연구는 조대한 고노이즈 교정과 안정적인 저노이즈 활성화 방향을 결합하는 것이 확장 가능한 제어 가능 생성 모델링을 위한 실행 가능한 전략임을 시사합니다.