EMoE: Training-Free Expert Disagreement for Uncertainty-Aware Text-to-Image Diffusion

기술 요약: EMoE – 불확실성 인지형 텍스트-이미지 확산 모델을 위한 학습 불필요 전문가 불일치 기법

문제 정의

대규모 텍스트-이미지 확산 모델은 충실도와 속도 면에서 급격한 발전을 이루었음에도 불구하고, 불확실성에 관해서는 여-전히 불투명한 상태로 남아 있다. 이러한 모델들은 훈련 데이터가 공개되지 않았거나 불완전할 때, 특정 프롬프트가 정렬이 잘 되지 않거나 신뢰할 수 없는 결과물을 생성할 가능성이 높다는 것을 나타내는 신뢰할 수 있는 신호를 갖추고 있지 않다. 특히 인식적 불확실성(epistemic uncertainty, 불충분하거나 대표성이 없는 훈련 데이터로 인해 발생하는 불확실성)은 이러한 실패 모드를 식별하는 원칙적인 방법을 제공하지만, 고차원 생성 설정에서 이를 추정하는 것은 매우 까다롭다. 표준적인 앙상블 기반 접근 방식은 계산 비용이 너무 많이 들며, 기존 방법들은 추가적인 훈련이나 보조 네트워크를 필요로 하는 경우가 많아 대규모 사전 훈련된 모델에 적용하기에는 비현실적이다.

방법론: EMoE

저자들은 사전 훈련된 Mixture-of-Experts(MoE) 확산 모델의 잠재 공간(latent space) 내에서 인식적 불확실성을 추정하기 위해 설계된 제로샷(zero-shot), 학습 불필요(training-free) 프레임워크인 **EMoE(Epistemic Mixture of Experts)**를 소개한다.

핵심 메커니즘

EMoE는 단일 모델 내에 여러 전문화된 "전문가(expert)" 구성 요소가 존재하는 희소 MoE 아키텍처의 내재적 구조를 활용한다. EMoE는 표준적인 MoE 레이어처럼 전문가 출력들을 단순히 집계하는 대신, 첫 번째 희소 MoE 레이어(첫 번째 다운샘플링 블록의 초기 교차 주의(cross-attention) 레이어에 위치)에서 전문가별 계산 경로를 분리한다.

1. 경로 분리(Path Separation): 주어진 프롬프트 $y$와 초기 노이즈 $z_T$에 대해, 모델은 입력을 $M$개의 서로 다른 전문가 경로를 통해 독립적으로 처리한다.
2. 노이즈 제어(Noise Control): 결정적으로, EMoE는 모든 전문가 경로에 대해 동일한 초기 노이즈 $z_T$를 사용한다. 이를 통해 출력의 분산을 확률적 샘플링 노이즈(aleatoric uncertainty)가 아닌, 학습된 전문가 표현의 차이(인식적 불일치)로 격리시킨다.
3. 조기 추정(Early Estimation): 이 방법은 단 한 번의 디노이징 단계 직후에 U-Net의 미드 블록(mid-block)으로부터 잠재 표현($m_{post}^T$)을 추출한다.
4. 불확실성 지표(Uncertainty Metric): 인식적 불확실성 $EU(y)$는 이 전문가 조건부 잠재 표현들의 정규화된 트레이스 공분산(trace covariance)으로 계산된다:
   $$EU(y) = \frac{1}{D_{mid}} \sum_{d=1}^{D_{mid}} \text{Var}_{i=1,...,M} (m_{post}^T{}_{i,d})$$
   이는 효과적으로 전문가 경로 간의 평균적인 쌍별 제곱 불일치(average pairwise squared disagreement)를 측정한다.

구현 세부 사항

• 제로샷(Zero-Shot): EMoE는 추가 훈련을 요구하지 않는다. 공용 저장소(예: Hugging Face, Civit AI)에서 조립된 사전 훈련된 MoE 체크포인트를 활용한다.
• 동적 라우팅(Dynamic Routing): 게이팅 모듈을 훈련하여 전문가를 선택하는 대신, 이 방법은 프롬프트 표현을 각 전문가에 대해 미리 정의된 양성 및 음성 기술어(descriptor)와 비교하여 가중치를 추론한다.
• 효율성: 단 한 단계의 추정만으로 불확실성을 계산함으로써, EMoE는 전체 이미지를 생성하기 전에 조기 필터링 또는 중단(abstention)을 가능하게 하여 전체 이미지 생성에 드는 비용을 절감한다.

주요 기여

1. 프레임워크 도입: EMoE는 잠재 공간에서 MoE 표현을 분리함으로써 텍스트-이미지 확산 모델의 인식적 불확실성을 추정하는 제로샷 프레임워크로 제시된다.
2. 품질 지표와의 정렬: 저자들은 EMoE의 불확실성 추정치가 COCO 및 CC3M 데이터셋에 대해 하위 텍스트-이미지 정렬 품질 지표(CLIP score, Aesthetic Score, Image Reward)와 일치함을 입증한다.
3. 다국어 진단: 이 방법은 25개 언어의 프롬프트에 적용되어 체계적이고 언어 의존적인 신뢰도 격차를 밝혀냈다. 이는 저대표 언어 입력(예: 영어 대비 핀란드어)과 더 미세한 어휘 효과(예: "pizza"와 같은 공유 어휘 용어가 불확실성을 감소시키는 현상)를 성공적으로 식별한다.
4. 강건성 검증: 절제 연구(Ablation studies)를 통해 앙상블 크기, 디노이징 단계 선택, 잠재 공간 선택, 모델 아키텍처(SegMoE 및 Runway ML MoE에서 테스트됨)에 대한 방법의 강건성을 확인하였다.

결과

• 분포 내 성능(In-Distribution Performance): 40,000개의 영어 COCO 프롬프트에 대해, EMoE는 불확실성이 낮을수록 CLIP score, Aesthetic score, Image Reward가 높아지는 단조 관계를 생성한다. 이러한 경향은 DECU나 Gating Entropy와 같은 베이스라인에서는 관찰되지 않았다.
• 분포 외 탐지(Out-of-Distribution Detection): 핀란드어 프롬프트(분포 외로 간주)에 적용했을 때, EMoE는 영어 프롬프트에 비해 유의미하게 높은 불확실성을 감지했다. EMOE는 핀란드어와 영어를 구분하는 데 있어 0.739의 AUROC를 달성하며, DECU(0.571)와 Gating Entropy(0.543)를 능가했다.
• 어휘적 민감도: 이 방법은 미세한 효과를 포착했다. 공유 어휘인 "pizza"를 포함한 핀란드어 프롬프트는 무작위 핀란드어 프롬프트(21.54%)에 비해 낮은 불확실성(최하위 사분위에서 46.67%)을 보였으며, 이는 특정 접지(grounding) 능력에 대한 민감도를 시사한다.
• 다국어 상관관계: 25개 언어 전반에 걸쳐, 평균 EMoE 불확실성과 평균 CLIP score 사이의 강력한 음의 상관관계($r = -0.79$)가 발견되었다. 모국어 화자 수가 많은 언어일수록 일반적으로 불확실성이 낮고 생성 품질이 높았다.

의의 및 주장

본 논문은 EMoE를 다음과 같은 용도의 실용적인 진단 도구로 규정한다:

• 프롬프트 리스크 평가: 전체 계산이 수행되기 전에 신뢰할 수 없는 생성을 초래할 가능성이 높은 프롬프트를 식별한다.
• 모델 커버리지 분석: 특히 다양한 언어에 걸친 훈련 데이터 커버리지의 격차를 진단한다.
• 편향 탐지: 언어 표현 및 어휘와 관련된 체계적인 편향을 밝혀낸다.

저자들은 EMoE가 훈련 데이터에 대한 접근, 보조 네트워크, 또는 처음부터 확산 앙상블을 훈련하는 계산 비용 없이 이러한 통찰력을 제공한다는 점을 강조한다. 또한, 사전 훈련된 다양한 전문가 구성 요소를 가진 MoE 모델이 필요하다는 점과, 이 방법이 이미지 공간에서의 aleatoric 및 epistemic 불확실성의 완전한 분해가 아닌 잠재 공간에서의 추정을 제공한다는 한계점을 명시한다. 이 연구는 잠재 공간의 전문가 불일치가 현대적 확산 아키텍처에서 인식적 불확실성을 나타내는 유효하고 효율적인 신호임을 시사한다.