Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

기술 요약: CLIP 유도 디노이징 최적화를 통한 확산 모델의 훈련 불필요 편향 제거

문제 정의
Stable Diffusion과 같은 텍스트-이미지(T2I) 확산 모델은 고품질의 이미지를 생성하지만, 종종 심각한 인구통계학적 편향을 나타낸다. 중립적인 프롬프트(예: "a photo of a CEO")를 받았음에도 불구하고, 이러한 모델은 지속적으로 성별 및 인종에 관한 고정관념적 표현을 생성하여 기존의 사회적 편향을 강화하고 특정 집단의 체계적인 과소 대표성을 초래한다. 기존의 해결책들은 결정적인 한계에 직면해 있다: 훈련 기반 접근 방식(재학습 또는 미세 조정)은 계산 비용이 많이 들고 배포되었거나 폐쇄형 소스인 모델에 적용하기 어렵다. 반면, 추론 시점의 방법들은 휴리스틱한 프롬프트 엔터니어링이나 정적인 잠재 공간 조작에 의존하는 경우가 많아 이미지 품질이나 의미적 정렬을 저하시키거나 동적인 적응력이 부족하다.

방법론: 텍스트 임베딩 스티어링 (Text Embedding Steering, TES)
저자들은 모델 파라미터를 수정하지 않고 확산 과정 중에 조건부 텍스트 임베딩을 직접 최적화함으로써 인구통계학적 편향을 완화하는 훈련 불필요 프레임워크인 **텍스트 임베딩 스티어링(TES)**을 제안한다. TES를 이끄는 핵심 관찰은 인구통계학적 속성이 전역적인 이미지 구조가 형성되는 초기 디노이징 단계에서 주로 결정된다는 점이다.

이 방법은 DDIM 샘ming을 사용하는 표준 분류기 없는 가이드(Classifier-Free Guidance, CFG) 파이프라인에 통합된 2단계 최적화 전략을 통해 작동한다:

1. 초기 단계 전역 정렬 (Early-Stage Global Alignment): 세밀한 시각적 세부 사항이 나타나기 전, TES는 전역적인 생성 궤적을 사전 정의된 목표 인구통계학적 분포로 유도하기 위해 텍스트 임베딩에 대한 초기 그래디언트 업데이트를 수행한다.
2. 반복적 디노이징 시간 정제 (Iterative Denoising-Time Refinement): 초기 정렬 이후, TES는 후속 디노이징 단계 전반에 걸쳐 임베딩을 지속적으로 정제한다. 이 정제 과정은 각 타임스텝에서 재구성된 중간 "클린 이미지" 추정치($\hat{x}_0$)로부터 도출된 CLIP 기반 피드백을 활용한다.

최적화 목적 함수
TES는 원래의 텍스트 임베딩($e_0$)에 가산 섭동($\Delta e$)을 최적화하여 $e_t = e_0 + \Delta e$가 되도록 한다. 최적화는 재구성된 이미지가 의미적으로 유의미하면서도 궤적이 유연하게 유지되는 특정 타임스텝 윈도우에 대해 계산된 복합 손실 함수($L_{total}$)를 최소화한다:

• 속성 손실 ($L_{attr}$): 생성된 이미지가 목표 속성 설명(예: "a female person")과는 일치하고, 대조되는 속성(예: "a male person")에는 반하도록 유도하며, 이를 위해 CLIP 코사인 유사도를 사용한다.
• 직업 손실 ($L_{prof}$): 모델이 의도한 대상으로부터 벗어나는 것을 방지하기 위해 원래 프롬프트(예: "CEO")의 의미적 내용을 보존한다.
• 정규화 ($L_{reg}$): 임베딩 섭동에 대한 $L_2$ 페널티를 부여하여 원래 임베딩으로부터의 과도한 이탈을 방지한다.

프레임워크는 타임스텝에 따라 학습률을 동적으로 조정하여, 노이즈가 높은 단계에서는 작은 업데이트를 적용하고 신뢰할 수 있는 의미 정보가 확보됨에 따라 강도를 높인다.

주요 기여

1. 훈련 불필요 프레임워크: TES는 모델 재학습, 미세 조정 또는 보조 모듈 없이 추론 중에 텍s 임베딩을 지속적으로 최적화함으로써 인구통계학적 편향을 완화한다.
2. 2단계 전략: 저자들은 전역 궤적 제어를 위한 초기 단계 개입과 안정성을 유지하고 편향된 결과로 다시 돌아가는 것을 방지하기 위한 반복적 정제의 결정적 중요성을 확인하였다.
3. 동적 문맥 인식 제어: 고정된 방향이나 정적인 매핑에 의존하는 방법과 달리, TES는 중간 클린 이미지 추정치를 기반으로 임베딩을 조정하여 문맥 인식적인 인구통계학적 스티어링을 가능하게 한다.

실험 결과
Stable Diffusion v2.1(및 일반화를 위한 v1.5)을 대상으로 6가지 직업 범주(예: CEO, 간호사, 택시 운전사)와 2가지 인구통계학적 속성(성별 및 인종)에 대해 광범한 실험을 수행하였다.

• 공정성: TES는 기존의 훈련 불필요 베이스라인(예: LightFair, EntiGen) 및 원본 Stable Diffusion보다 성능이 크게 우수하다. 성별 편향 완화의 경우, Bias-O 지표를 0.85(베이스라인)에서 0.26으로, 공정성 격차(Fairness Discrepancy, FD)를 0.54에서 0.13으로 감소시켰다. 인종 편향 완화의 경우, Bias-O는 0.63에서 0.15로 떨어졌다.
• 품질 및 의미론: 공격적인 편향 완화에도 불구하고, TES는 경쟁력 있는 이미지 품질을 유지한다. TES는 가장 우수한 FID 점수(성별 226.13, 인종 228.52)와 높은 CLIP-T 점수를 달 기록하여 강력한 텍스트-이미지 의미적 정렬을 입증했다. 이 방법은 직업의 의미와 시각적 일관성을 유지하면서 인구통계학적 속성을 성공적으로 변경한다.
• 절제 연구 (Ablation Studies): 결과는 초기 단계 정렬과 반복적 정제 모두가 필요함을 확인시켜 준다. 하나의 단계만 사용할 경우 낮은 공정성 제어 또는 불안정한 의미적 정렬 중 하나가 발생한다. 또한, 의도한 주제를 유지하기 위해 직업 보존 손실을 포함하는 것이 필수적임을 보여준다.

의의 및 주장
본 논문은 추론 시점의 텍스트 임베딩 최적화가 공정성을 고려한 생성을 위한 실용적이고 확장 가능한 솔루션임을 입증한다고 주장한다. 편향 완화를 모델 재학습으로부터 분리함으로써, 이 접근 방식은 기존에 배포된 확산 모델에 적용할 수 있는 플러그 앤 플레이 메커니즘을 제공한다. 저자들은 자신들의 방법이 기존 기술에 비해 공정성과 이미지 품질 사이의 우수한 균형을 달anim하며, 생성된 콘텐츠의 신뢰성이나 시각적 충실도를 희생하지 않으면서 사회적 역할에 대한 더 균형 잡히고 현실적인 표현을 생성한다고 단언한다. 이 연구는 동적이고 문맥 인식적인 임베딩 스티어링이 생성형 AI의 체계적인 인구통계학적 편향을 줄이는 실행 가능한 경로임을 강조한다.