EquiSteer: Cross-Attention Steering Towards a Fairer Text-Guided Image Generation

기술 요약: EquiSteer

문제 정의

텍스트-이미지(T2I) 확산 모델은 창의적인 작업에는 강력하지만, 학습 데이터에 존재하는 인구통계학적 편향을 체계적으로 재현하고 증폭한다. "간호사의 사진(a photo of a nurse)" 또는 "CEO의 사진(a photo of a CEO)"과 같은 일반적인 프롬프트에 대해, 모델은 텍스트 프롬프트를 중립적으로 반영하기보다 특정 성별(전자는 여성, 후자는 남성)로 결과물을 편향되게 생성하는 경향이 있다. 기존의 디바이어싱(debiasing) 접근 방식들은 다음과 같은 상당한 한계에 직면해 있다:

• 파인튜닝 기반 방법론: 모델 가중치와 추가 데이터에 대한 접근이 필요하며, 이는 확장성과 교차 아키텍처 전이성을 저해한다.
• 가이던스 기반 방법론: 배치(batch) 단위로 작동하는 경우가 많아 개별 샘플을 디바이어싱하는 데 실패하며, 다중 속성 시나리오에서 어려움을 겪는다.
• 텍스트 임베딩 개입: 프롬프트 구문에 민감하며, 생성된 출력에 대한 공간적 제어 능력이 제한적이다.

또한, 현재의 방법들은 속성-중립적 프롬프트(예: "의사")와 속성-특정적 프롬프트(예: "남성 의사")를 구분하지 못하여, 명시적으로 요청된 속성을 의도치 않게 수정하는 문제를 일으키곤 한다.

방법론: EquiSteer

저자들은 더 공정한 이미지 생성을 위해 크로스 어텐션(cross-attention, CA) 활성화(activation)를 조종하는 학습이 필요 없는 추론 단계의 프레임워크인 EquiSteer를 제안한다. 이 방법은 모델 가중치를 수정하지 않고 샘플당 작동한다. 이는 CASteer 메커니즘을 기반으로 하되, 개념 억제(concept suppression)에서 제어된 디바이어싱(controlled debiasing)으로 용도를 변경한 것이다.

프레임워크는 세 가지 핵심 구성 요소로 이루어진다:

1. 사전 계산된 조종 벡터 (Precomputed Steering Vectors)

각 타겟 속성(예: 성별, 인종, 연령)에 대해, EquiSteast는 CA 활성화 공간 내에서 조종 벡터를 사전 계산한다. 이 벡터들은 대조되는 프롬프트 쌍(예: "a man" vs "a woman")으로부터 유도되며, 특정 인구통계학적 속성과 관련된 활성화 공간의 방향을 포착한다.

2. 프롬프트 인식 게이팅 메커니즘 (Prompt-Aware Gating Mechanism)

속성을 명시적으로 지정하는 프롬프트의 수정을 방지하기 위해, EquiSteer은 게이팅 메커니즘을 도입한다.

• 탐지 (Detection): CA 출력과 속성 조종 벡터 사이의 정렬 상태를 내적 통계량($\langle ca^{out}_{ltk}, s^X_{lt} \rangle$)을 사용하여 측정한다.
• 임계값 설정 (Thresholding): 특정 게이팅 레이어($l_{gate}$)와 타임스텝($t=0$)에서의 최대 토큰 응답을 평가함으로써, 시스템은 속성-특정적 프롬프트와 속성-중립적 프롬프트를 구분한다.
• 작동 (Action): 신호가 보정된 임계값을 초과하면, 해당 프롬프트는 속성-특정적 프롬프트로 간주되어 개입을 건너뛴다(바닐라 생성). 그렇지 않으면 디바이어싱이 적용된다.

3. 직교화를 통한 적응형 조종 (Adaptive Steering with Orthogonalisation)

디바이어싱이 트리거된 중립 프롬프트의 경우, EquiSteer은 깨끗한 속성 주입을 보장하기 위해 두 단계를 수행한다:

• 직교화 (Orthogonalisation): 타겟 속성을 주입하기 전에, CA 출력을 모든 속성 조종 벡터들이 형성하는 부분 공간(subspace)에 직교하도록 투영한다. 이를 통해 혼합된 속성 아티팩트(mixed-attribute artifacts)를 유발할 수 있는 기존의 잠재적이고 상충하는 속성 신호를 제거한다.
• 적응형 크기 (Adaptive Magnitude): 조종 강도($\alpha$)는 고정되지 않고, 속성-특정적 프롬프트에서 관찰되는 전형적인 신호 강도에 맞춰 보정된다. 이는 타겟 속성이 너무 약하거나 압도적이지 않으면서도 충분한 크기로 표현되도록 보장한다.

이 방법은 모든 크로스 어텐션 레이어에서 매 개념마다 이러한 단계들을 순차적으로 적용함으로써 다중-개념 디바이어싱(예: 성별 + 인종 + 연령)을 지원한다.

주요 기여

1. CA 조종 가능성 입증: 본 논문은 크로스 어텐션 활성화가 공정성 제어를 위한 직접적인 추론 단계 조종이 가능한 방식으로 인구통계학적 속성을 인코딩하고 있음을 입증한다.
2. EquiSteer 프레임워크: 프롬프트 인식 게이팅과 속성 공간 직교화를 특징으로 하는 학습이 필요 없는 방법론을 소개한다. 이 설계는 기본 조종 기술의 실패 모드인 '속성-특정적 프롬프트 보존' 및 '혼합된 속성 생성 방지' 문제를 구체적으로 해결한다.
3. 포괄적인 검증: 이 방법은 네 가지 서로 다른 T2I 백본(SD-1.5, SD-2.1, SDXL, SANA)과 다양한 인구통계학적 개념(성별, 인종, 연령, 체형, 안경 착용 여부)에 대해 검증되었다.

실험 결과

저자들은 FairDiffusion, Unified Concept Editing (UCE), Text Embedding Intervention (TEI)을 포함한 최신 베이스라인들과 EquiSteer를 비교 평가하였다.

• 공정성 개선: EquiSteer은 디바이어싱되지 않은 모델 대비 평균 패리티 갭(parity gap)을 최대 87% 줄였으며, 가장 강력한 베이스라인인 TEI 대비 최대 **47%**의 개선 효과를 보였다.
• 속성 보존: 특정 프롬프트의 성능을 저하시키는 다른 방법들과 달리, EquiSteer은 속성-특정적 프롬프트에 대한 높은 충실도를 유지하며(예: 요청 시 "a male nurse"를 정확하게 생성), 거의 완벽한 보존 점수를 달성했다.
• 품질 및 정렬: 이 방법은 바닐라 모델 및 다른 베이스라인들과 경쟁력 있는 수준의 CLIP 점수와 CMMD 지표를 유지하며 이미지 품질과 텍스트-이미지 정렬을 보존한다.
• 일반화: 이 접근 방식은 재보정(re-calibration) 없이도 패러프레이징된 문장, 긴 문맥, 구성적 프롬프트를 포함한 다양한 프롬프트 군에 효과적으로 전이된다.
• 다중-개념 디바이어싱: 프레임워크는 단일 생성 패스 내에서 여러 속성(예: 성별, 인종, 연령, 체형)을 동시에 디바이어싱하는 것을 성공적으로 수행한다.

의의 및 주장

본 논문은 EquiSteer이 더 공정한 텍스트 가이드 이미지 생성을 위한 실용적이고 확장 가능한 경로를 제공한다고 주장한다. 추론 단계에서 완전히 작동하며 재학습을 요구하지 않음으로써, 파인튜닝 기반 접근 방식과 관련된 데이터 및 컴퓨팅 장벽을 극복한다. 저자들은 자신들의 방법이 개별 샘플 제어 능력과 중립/특정 프롬프트 구분 능력을 효과적으로 결합하여, 기존의 조종 기술을 제한했던 "혼합된 속성" 및 "과잉 교정" 문제를 해결한 첫 번째 사례임을 강조한다.

이 연구는 크로스 어텐션 해석 가능성이 공정성 메커니즘으로서 직접 활용될 수 있음을 시사하며, 표준 샘플링 파이프라인에 자연스럽게 통합되는 견고하고 모델 불가지론적인(model-agnostic) 솔루션을 제공한다. 저자들은 이 방법이 범용적이지만, 개념별 보정(조종 벡터 및 임계값)에 의존하며 현재 이미지 레벨에서 작동한다는 점을 언급하였는데, 이는 여러 엔티티가 포함된 매우 복잡한 구성적 프롬프트에서는 도전 과제가 될 수 있다.