기술 요약: CFG-OEC (직교 오차 보정을 통한 분류기 없는 안내)

1. 문제 제기

분류기 없는 안내 (CFG) 는 외부 분류기가 필요 없이 원하는 속성 (예: 텍스트 정렬) 을 가진 샘플을 생성할 수 있게 하여 확산 모델의 조건부 샘플링에서 사실상의 표준이 되었습니다. 그러나 저자들은 CFG 에서 훈련 목적과 샘플링 절차 사이에 근본적인 구조적 불일치가 존재함을 식별했습니다.

훈련 중에는 단일 모델이 확률적 조건 드롭아웃을 통해 조건부 ($\epsilon_\theta(x_t | y)$) 와 무조건부 ($\epsilon_\theta(x_t)$) 예측을 모두 학습합니다. 샘플링 시 CFG 는 이 두 가지 학습된 모드의 선형 결합으로 안내된 예측기를 구성합니다:
$$\epsilon_\theta^{(w)}(x_t | y) = w \epsilon_\theta(x_t | y) + (1-w) \epsilon_\theta(x_t)$$
이 논문은 이러한 안내된 예측기가 직접적인 훈련 목표가 아니라고 주장합니다. 결과적으로 개별 조건부 및 무조건부 예측이 정확하더라도, 샘플링 시 이들의 선형 결합은 구조적 샘플링 오차를 초래합니다. 이 오차는 조건부 및 무조건부 예측 오차 간의 상호작용에서 비롯되며, 표준 훈련 과정에서 명시적으로 제어되거나 패널티를 받지 않는 요소입니다.

2. 방법론

2.1 오차 분해

저자들은 안내된 예측기의 평균 제곱 오차 (MSE) 를 세 가지 구성 요소로 분해하여 샘플링 오차를 분석합니다:

1. 기저 오차 (Base Error): 조건부 및 무조건부 예측 오차의 제곱 노름의 가중 합입니다. 이는 훈련 과정에서 최소화됩니다.
2. 교차 오차 (Cross Error): 조건부 및 무조건부 오차 벡터의 내적 (정렬) 에 의해 결정되는 상호작용 항입니다: $2w(1-w)\langle \Delta_c, \Delta_{uc} \rangle$.

분석 결과, 교차 오차는 샘플링 오차의 비자명한 구조적 구성 요소임이 드러났습니다. 안내 스케일 $w$에 따라 이 항은 총 오차를 증가시킬 수 있습니다 (예: $w \in (0,1)$인 경우) 또는 우연히 감소시킬 수 있습니다 ($w > 1$인 경우). 그러나 어느 경우든 이는 훈련 목표에 의해 제어되지 않습니다.

2.2 직교 오차 보정 (OEC)

이러한 구조적 오차를 완화하기 위해, 논문은 조건부 및 무조건부 오차 벡터 간의 직교성을 강제함으로써 교차 오차 항을 제거하려는 CFG-OEC를 제안합니다.

• 이론적 메커니즘: 이 방법은 무조건부 오차 벡터 $\Delta_{uc}$를 조건부 오차 벡터 $\Delta_c$에 직교하는 부분 공간으로 투영합니다. $\Delta_c$와 정렬된 $\Delta_{uc}$의 성분을 제거함으로써 상호작용 항 $\langle \Delta_c, \Delta_{uc} \rangle$을 0 으로 줄입니다.
• 이론적 보장: 직교 투영은 벡터의 노름을 증가시키지 않으므로, 이 보정은 기저 오차 구성 요소를 증가시키지 않고 총 샘플링 오차를 감소시킵니다.

2.3 실제 구현: 프록시 및 동적 혼합

실제 이미지 생성에서는 정답 노이즈 $\epsilon^*_t$를 사용할 수 없어 오차 벡터를 직접 계산하는 것이 불가능합니다. 저자들은 두 가지 실제 메커니즘을 도입합니다:

1. 예측 기반 프록시: 정답 대신, 인접한 시간 단계 ($t$ 및 $t+1$) 에서의 선형 외삽을 사용하여 노이즈 목표에 대한 프록시를 구성합니다. 구체적으로, $\hat{\epsilon}_t \approx 2\epsilon_\theta(x_t) - \epsilon_\theta(x_{t+1})$입니다. 이러한 프록시는 오차 벡터의 국소적 방향적 추세를 추정하기 위한 대리 역할을 합니다.
2. 동적 혼합: 안정성을 보장하기 위해, 이 방법은 보정을 맹목적으로 적용하지 않습니다. 프록시 기반 오차 벡터 간의 코사인 유사도 ($s$) 를 계산합니다. 정렬이 너무 강하면 (잠재적인 프록시 부정확성 또는 불안정성을 나타냄) 보정이 감쇠됩니다. 최종 무조건부 예측은 $s$로 가중치가 부여된 보정된 벡터와 원래 모델 예측의 동적 혼합입니다.

3. 주요 기여

• 구조적 분석: 이 논문은 CFG 샘플링 오차에 대한 이론적 분해를 제공하여, 훈련 - 샘플링 불일치로 인해 발생하는 통제되지 않는 구조적 한계인 "교차 오차"를 식별합니다.
• CFG-OEC 알고리즘: 오차 벡터를 직교화하여 상호작용 항을 줄이는 새로운 샘플링 시 보정 방법으로, 이론적으로 샘플링 오차 감소를 보장합니다.
• 프록시 구성: 외삽된 모델 예측을 활용하여 정답 노이즈에 접근하지 않고도 고차원 환경에서 직교 보정을 적용할 수 있는 실용적 프레임워크입니다.
• 동적 안정화: 프록시 오차의 정렬에 따라 보정 강도를 적응적으로 제어하여 보정 효과와 안정성 사이의 균형을 맞추는 메커니즘입니다.

4. 실험 결과

저자들은 통제된 이론적 실험과 대규모 이미지 생성 작업을 통해 CFG-OEC 를 검증했습니다.

• 통제된 환경 (2D 가우시안 혼합 모델): 정답에 접근 가능한 2D 가우시안 혼합 모델에서 실험은 이론적 오차 분해를 확인했습니다. 낮은 안내 영역에서 교차 오차는 기저 오차의 약 10~15% 를 차지합니다. 직교 보정은 다양한 안내 스케일에서 총 샘플링 오차를 일관되게 감소시킵니다.
• 이미지 생성 (Stable Diffusion v1.5 및 XL):
  • 지표: FID(이미지 충실도) 및 CLIP 점수 (텍스트 정렬) 를 사용하여 MSCOCO 10k 검증 세트를 평가했습니다.
  • 성능: CFG-OEC 는 여러 샘플러 (DDIM, UniPC, DPM-Solver++) 에서 표준 CFG 및 최근의 CFG++ 베이스라인을 능가합니다.
  • 낮은 안내 영역: 가장 큰 개선은 교차 오차가 가장 해로운 낮은 안내 영역 (예: $w=0.5$) 에서 관찰됩니다.
  • 높은 안내 영역: 이 방법은 높은 스케일 (예: $w=5.0, 7.5$) 에서도 경쟁력을 유지하며 FID 와 CLIP 모두에서 개선을 보이지만, 일부 영역에서는 충실도와 정렬 간의 경미한 트레이드오프가 관찰됩니다.
  • 시각적 품질: 정성적 결과는 CFG-OEC 가 구조적 아티팩트 (예: 여분의 팔다리, 난독화된 텍스트, 정렬되지 않은 객체) 를 줄이고 CFG++ 에 비해 더 일관된 구조를 생성함을 보여줍니다.

5. 중요성 및 주장

이 논문은 CFG-OEC 가 확산 모델의 특정 구조적 오차원에 대한 실용적이고 이론적으로 동기 부여된 해결책을 제공한다고 주장합니다.

• 이론적 통찰: 이는 단순히 안내 스케일이나 기하학적 제약을 조정하는 것에서 조건부 및 무조건부 예측의 선형 결합으로 인해 유발되는 근본적인 오차 구조를 해결하는 것으로 초점을 이동시킵니다.
• 실용적 유용성: 이 방법은 구현이 간단하며, 확산 모델을 재훈련할 필요가 없고 기존 샘플러 및 모델과 호환됩니다.
• 강건성: 동적 혼합 전략은 프록시 추정이 불완전할 때도 보정이 안정적으로 유지되도록 하여 실제 배포에 적합하게 만듭니다.

저자들은 훈련의 개선이 개별 오차의 크기를 줄이지만, CFG-OEC 는 이러한 오차 간의 상호작용을 제어하는 데 필요한 메커니즘을 제공함으로써 더 안정적이고 일관된 조건부 샘플링을 가능하게 한다고 결론 내립니다.