기술 요약: 동적 가이던스(Dynamic Guidance)를 통한 확산 모델의 환각 현상 완화

문제 정의

확산 모델(Diffusion models)은 고해fidelity 이미지 생성 분야에서 지배적이지만, 실제 데이터 분포의 서포트(support) 밖에 존재하는 구조적 불일치(예: 손가락이 더 많거나 신체 부위가 누락되는 등의 잘못된 해부학적 구조)를 포함하는 샘플인 "환각(hallucinations)" 문제를 겪습니다. 저자들은 이러한 환각의 원인을 모드 보간(mode interpolation) 때문이라고 설명합니다.

최근 연구에 따르면, 디노이징 확산 확률 모델(DDPM)에서 학습된 스코어 함수(score function)는 데이터 모드 사이의 저밀도 영역에서 지나치게 매끄러운(smooth) 경향이 있습니다. 진정한 스코어 함수는 샘플러가 더 큰 교정 단계를 밟도록 유도하기 위해 이러한 중간 영역에서 날카로워야(sharp) 하지만, 학습된 매끄러움은 디노이징 과정을 특정 지점에 "가두어(trap)", 서로 호환되지 않는 모드 간의 의미론적으로 유효하지 않은 보간을 초래합니다.

기존의 가이던스 방법들(예: Classifier Guidance, Classifier-Free Guidance)은 일반적으로 샘플링 시작 시 제공되는 **고정된 조건(fixed condition)**을 바탕으로 샘플을 고확률 영역으로 유도합니다. 저자들은 만약 이 고정된 조건이 초기 노이즈나 진화하는 궤적과 일치하지 않을 경우, 가이던스가 샘플을 큰 교정 단계가 필요한 영역으로 밀어 넣어 타겟 모드를 지나치게 넘어서거나(overshooting) 미달하게(undershooting) 만들어 환각을 유발할 수 있다고 주장합니다. 또한, 기존 방식들은 환각을 샘플링 궤적 자체의 근본적인 결함이 아닌, 사후 필터링 문제나 텍스트-이미지 정렬 문제로 취급하는 경우가 많습니다.

방법론: 동적 가이던스 (Dynamic Guidance, DG)

본 논문은 샘플링 과정 중에 스코어 함수를 적응적으로 날카롭게 만듦으로써 환각을 완화하는 방법인 **동적 가이던스(DG)**를 제안합니다. 이는 정적인 조건이나 사후 생성 필터링에 의존하는 대신 작동합니다.

핵심 메커니즘

단일 가이던스 타겟(클래스 $c$)을 처음부터 결정하는 대신, DG는 매 디노이징 타임스텝마다 현재의 노이즈가 섞인 샘플 $x_t$에 대해 가장 확률이 높은 모드 $c^*$를 식별합니다. 그 후 이 동적으로 선택된 모드를 향해 가이던스를 적용합니다.

알고리즘은 다음과 같이 더 날카로운 스코어 함수 $\hat{s}_\theta(x_t)$를 근사합니다:
$$\hat{s}_\theta(x_t) := \sum_{c} \mathbb{1}_{c^*}(c) \nabla_{x_t} \log p_\theta(x_t | c)$$
여기서 $c^* = \arg \max_{c \in C} \log p(c | x_t)$ 입니다.

매 단계마다 가장 확률이 높은 클래스를 재계산함으로써, 가이던스 신호가 로컬 스코어 방향과 일치하도록 유지되어, 환각을 유발하는 보간 단계가 필요한 경로에 궤적이 갇히는 것을 방방지합니다.

구현 변형

1. 이산 조건부 (Classifier Guidance): 이산 레이블(예: ImageNet 클래스, 형상 유형)이 있는 데이터셋의 경우, DG는 클래스 $p(c|x_t)$를 예측하는 분류기를 사용하며, 가장 가능성 높은 클래스 $c^*$를 향한 그래디언트를 적용합니다.
2. 의사 클래스 (Pseudo-Classes, 클러스터링): 이 방법은 사전 정의된 의미론적 클래스를 필요로 하지 않습니다. 저자들은 데이터 분포 내에서 의미론적으로 일관된 이웃을 클러스터링(예: DINOv2 특징 사용)하여 "의사 클래스"를 생성하는 것만으로도 충분하다는 것을 입증했습니다. 이를 통해 해석 가능한 개념으로 매핑하지 않고도 환각이 발생하기 쉬운 방향을 격리할 수 있습니다.
3. 텍스트-투-이미지 (Classifier-Free Guidance): 텍스트 조건부 모델의 경우, DG는 텍스트 프롬프트를 동적으로 조정함으로써 확장됩니다. 시각-언어 모델(VLM)이 중간 단계의 디노이징 예측을 관찰하고, 만약 이미지가 특정 "브랜치(branch)"(모호성을 해결하기 위해 LLM이 생성한 프롬프트)와 일치하면, 프로프트를 해당 특정 브랜치로 업데이트합니다. 이는 결과적으로 해결된 모호성의 방향을 따라 스코어 함수를 날카롭게 만듭니다.

선택적 샤프닝 (Selective Sharpening)

핵심적인 이론적 통찰은 DG가 스코어 함수를 선택적으로 날카롭게 만든다는 점입니다. DG는 선택된 가이던스 모드와 관련된 방향(환각이 발생하는 방향)에 대해서만 그래디언트 크기를 증가시키며, 다른 방향(예: 피부색과 같은 유효한 의미론적 변이)에는 영향을 주지 않습니다. 이를 통해 샘플의 다양성을 보존하면서 유효하지 않은 생성을 억제합니다.

주요 기여

1. 동적 가이던스 알고리즘: 저확률 보간 영역을 피하기 위해 각 타임스텝에서 가이던스 타겟을 적응적으로 선택하는 새로운 샘플링 전략을 제시했습니다.
2. 선택적 스코어 샤프닝: DG가 환각을 유발하는 방향에 대해서만 스코어 함수를 날카롭게 함으로써 다양성을 유지하면서도 환각을 완화함을 입증했습니다.
3. 생성 시점의 최초 완화: 환각을 사후 탐지/거부하거나 사후 학습을 통해 처리하는 것이 아니라, 샘플링 과정 중에 직접 다루는 첫 번째 접근 방식입니다.
4. 의사 클래스 확장: 명시적인 클래스 레이블이 없는 시나리오에서도 데이터 기반 클러스터링을 사용하여 DG를 사용할 수 있는 원칙적인 방법을 제시했습니다.
5. 텍스트-투-이미지 적응: VLM과 LLM을 통한 동적 프롬프트 조정을 사용하여 잠재 확산 모델(Latent Diffusion Models)로 DG를 확장했습니다.

실험 결과

통제된 데이터셋

저자들은 환각이 엄격하게 정의된 합성 데이터셋에서 DG를 평가했습니다:

• 단일 형상 (Single Shapes): 동일한 형상이 1~3개 나타나는 이미지. 환각은 혼합된 형상입니다.
  • 결과: DG는 환각율(HR)을 74.21% 감소시켰으며, 이는 분산 필터링(11.58%) 및 클래시파이어 가이던스(11.05%)를 크게 상회하는 성능입니다.
• 혼합 형상 (Mixed Shapes): 최대 하나의 형상이 각각 나타나는 이미지. 환각은 동일한 형상이 여러 개 나타나는 것입니다.
  • 결과: DG는 **72.97%**의 HR 감소를 달 기록한 반면, 클래시파이어 가이던스는 오히려 환각을 증가시켰습니다(-1.92%).
• Hands-11k: 사람의 손 이미지. 환각은 해부학적 오류입니다.
  • 결과: DG는 **45.12%**의 HR 감소를 달성하여 분산 필터링 및 클래시파이어 가이던스보다 우수한 성능을 보였습니다.

대규모 벤치마크 (ImageNet-1k)

ImageNet에서는 환환각을 정의하기 어렵기 때문에, 저자들은 프록시 지표인 정밀도(Precision, 샘플이 실제 데이터 서포트 내에 있는 비율)와 인셉션 스코어(Inception Score, IS)를 사용했습니다.

• 성능: DG는 다양한 가이던스 스케일에서 클래시파이어 가이던스를 일관되게 능가했습니다.
• 지표: 최적의 설정에서 DG는 베이스라인 대비 정밀도를 8 포인트, 인셉션 스코어를 5 포인트 개선하면서도 다양성(Recall)을 유의미하게 감소시키지 않았습니다.
• 절제 실험 (Ablation): 저자들은 DG를 중간 타임스텝 $[T_1, T_2]$ (설정상 800에서 400 사이)에만 적용했을 때 가장 좋은 결과를 얻었으며, 이는 전체 궤적에 가이던스를 적용하는 것의 경직성을 피할 수 있음을 보여줍니다.

텍스트-투-이미지 생성

Stable Diffusion 2.1에 적용하여 18명의 참가자를 대상으로 사용자 조사를 실시했습니다:

• 환각 감소: DG는 100%의 참가자에게서 인지된 환각율을 감소시켰으며, 평균 14.1% 감소(52.7%에서 45.3%로)를 기록했습니다.
• 선호도: 참가자들은 베이스라인(27.3%)보다 DG 생성 이미지를 더 선호했습니다(38.7%).

의의 및 주장

본 논문은 DG가 확산 모델의 환각 문제를 해결하는 근본적인 패러다임 전환을 나타낸다고 주장합니다. 생성 과정에 직접 개입함으로써, DG는 환각이 발생하는 것을 미연에 방지하여 결함이 있는 샘플을 생성하고 버리는 계산적 낭비를 피합니다.

저자들은 자신들의 접근 방식이 **원칙적(principled)**임을 강조합니다. 즉, 저밀도 영역에서 모드 보간을 방지하기 위해 스코어 함수를 날카롭게 만드는 수학적 필요성에 기초하고 있습니다. 결정적으로, DG는 다양성과 일반화에 기여하는 "유효한" 보간은 건드리지 않으면서도 이를 수행할 수 있음을 입증했습니다. 의사 클래스와 동적 프롬프트 조정을 사용할 수 있다는 능력은 DG가 엄격한 클래스 정의가 불충분한 복잡하고 실제적인 생성 작업에서도 확장 가능한 솔루션임을 시사합니다.

결론적으로, DG는 확산 모델의 신뢰성을 높이는 단계로서, 구조적 불일치를 유발하는 학습된 스코어 함수의 특정 기하학적 특성을 타겟팅함으로써 충실도(fidelity)와 다양성(diversity) 사이의 트레이드오프를 제어할 수 있는 메커니즘을 제공합니다.