Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models

기술 요약: 정렬되었으나 고정관념적인가? 시스템 프롬프트가 LLM 기반 텍고-이미지 모델의 인구통계학적 편향을 형성하는 방식

문제 정의
최근의 텍스트-투-이미지(T2I) 시스템은 텍스트-이미지 정렬과 구성적 추론을 개선하기 위해 사용자의 프롬프트를 해석하고 확장하는 LLM 기반 텍스트 컨디셔닝을 점점 더 많이 활용하고 있습니다. 그러나 본 논문은 이러한 통합이 중요한 부작용을 초래함을 식별합니다. 즉, 사용자의 프롬프트가 중립적이거나 불충분하게 명시된 경우에도 LLM 기반의 컨디셔닝은 암묵적인 인구통계학적 가정을 도입합니다. 저자들은 이러한 시스템이 프롬프트 준수 능력을 향가시키지만, 동시에 인구통계학적 왜곡을 증폭시켜 '공정성-정렬 트레이드오프(fairness–alignment trade-off)'를 생성할 수 있다고 주장합니다. 특히, 사용자의 입력을 해석하도록 LLM을 안내하는 내장된 지침인 **시스템 프롬프트(system prompts)**를 편향 전파의 이전에 탐구되지 않은 경로로서 집중적으로 다룹니다.

방법론
이 현상을 조사하기 위해 저자들은 네 가지 복잡도 수준으로 구성된 1,024개의 프롬프트 벤치마크인 COMPBIAS를 도입합니다:

1. 중립(L1): 직업 관련 프롬프트 (예: "식물학자").
2. 속성(L2): 하나의 명시적인 인구통계학적 속성이 포함된 프롬프트 (예: "아시아인 식물학자").
3. 속성 + 맥락(L3): 행동 맥락이 풍부하게 추가된 프롬프트.
4. 확장(L4): 기본 직업으로부터 LLM이 생성한 긴 설명.

본 연구는 SD3.5, FLUX.1과 같은 비(non)-LLM 베이스라인을 포함하여 SANA1.5, Qwen-Image, FLUX.2 등 8개의 최신 T2I 모델을 평가합니다. 편향은 균등 참조 분포로부터의 편차를 측정하는 정규화된 공정 불일치(Fair Discrepancy, FD) 점수를 사용하여 정량화하며, 충실도는 CLIP 유사도와 GenEval을 통해 평가됩니다.

주요 결과 및 진단 분석

1. LLM 유도 편향: LLM 기반 T2I 시스템은 모든 프롬프트 복잡도 수준에서 비-LLM 베이스라인보다 일관되게 높은 인구통계학적 편향 점수를 보입니다. 또한, 프롬프트가 복잡해질수록 텍스트-이미지 정렬과 인구통계학적 편향이 모두 증가하며, 이는 의미적 충실도와 공정성 사이의 긴장을 드러냅니다.
2. 시스템 프롬프트의 역할: 저자들은 텍스트 임베딩 공간에서의 통제된 분석을 통해, 기본 시스템 프롬프트가 이미지 합성 전 단계에서 중립적인 사용자 입력을 인구통계학적으로 편향된 표현으로 능동적으로 재구성함을 입증했습니다.
   • 임베딩 변화: 시스템 프롬프트를 제거하면 의미적 충실도를 크게 저하시키지 않으면서도 텍스트 임베딩 내의 성별 연관성을 약화시킵니다.
   • 디코딩된 텍스트: 중간 텍스트 표현을 디코딩한 결과, 시스템 프롬프트가 원래의 사용자 프롬프트에는 없는 인구통계학적 기술어(예: 성별 용어)를 도입한다는 것을 발견했습니다.
   • 전파: 디코딩된 텍스트에서 추론된 인구통계학적 속성과 최종 생성된 이미지 사이에는 강한 상관관계(64% 일치)가 있으며, 이는 편향이 언어 측 처리에서 시각적 출력으로 전파됨을 확인시켜 줍니다.

제안된 솔루션: FAIRPRO
시스템 프롬프트가 편향의 주요 원인이라는 발견에 착안하여, 저자들은 학습이 필요 없는 테스트 타임 디바이어싱(debiasing) 프레임워크인 FAIRPRO(FAIRness-aware System PROmpt)를 제안합니다.

• 메커니즘: 시스템 프롬프트를 제거(풍부함을 감소시킴)하거나 사용자 프롬프트를 재작성(효과가 떨어짐)하는 대신, FAIRPRO는 입력별로 특화된 공정성 인식 시스템 지침을 동적으로 생성합니다.
• 프로세스: 사용자 프롬프트 $u$가 주어지면, FAIRPRO는 LLM을 사용하여 잠재적인 고정관념적 완성을 식별하고, 명시적으로 지정된 사용자 제약 조건(예: "남성")은 유지하면서 명시되지 않은 속성(예: 인종, 연령)에 대해서는 다양성을 강제하는 수정된 시스템 프롬프트 $s_{fair}$를 구축합니다.
• 효율성: 이 방법은 단 한 번의 추가적인 LLM 호출만을 요구하므로 계산 오버헤드가 매우 적으며(예: Qwen-Image의 경우 약 1.05배), 기저의 이미지 생성기 아키텍처를 변경하지 않습니다.

결과
8개의 모델과 COMPBIAS 벤치마크를 통한 실험 결과, FAIRPRO는 다음과 같은 성능을 보였습니다:

• 편향 감소: 기본 설정 및 "시스템 프롬프트 없음" 베이스라인과 비교하여 성별, 연령, 인종 및 외형 속성에 대한 인구통계학적 편향 점수를 실질적으로 낮추었습니다.
• 충실도 유지: 시스템 프롬프트를 단순히 제거할 때 발생하는 충실도 손실 없이, 높은 텍스트-이미지 정렬과 프롬프트 제어 가능성을 보존합니다.
• 다양성 향ance: 명시된 사용자 제약을 무시하지 않으면서도, 명시되지 않은 속성에 대한 포즈, 의상, 배경의 시각적 다양성을 높입니다.
• 일반화: 외부 벤치마크(TIBET)와 다양한 모델 제품군에서 견고한 성능을 보여줍니다.
• 절제 연구(Ablation): 입력 적응형 프롬프팅과 구조화된 자기 감사(self-auditing)가 핵심 요소임을 확인했습니다. 정적인 공정성 지침이나 사용자 프롬프트 재작성만으로는 충분하지 않습니다.

의의 및 주장
본 논문은 LLM 기반 텍스트 컨디셔닝이 단순히 프롬프트 이해를 위한 수동적인 인터페이스가 아니라, 인구통계학적 편향을 인코딩하고 전달할 수 있는 능동적인 메커니즘이라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 새로운 편향 벡터 식별: 현대 T2I 시스템에서 편향의 중요한, 그리고 이전에 탐구되지 않은 개입 지점으로 시스템 프롬프트를 강조했습니다.
2. 진단적 통찰: 편향이 이미지 생성 단계가 아닌 프롬프트 해석 단계의 상류(upstream)에서 발생한다는 증거를 제공하여, 완화의 초점을 이미지 생성에서 프롬프트 해석으로 전환했습니다.
3. 실질적 완화: 공정성과 LLM 기반 컨디셔닝의 향상된 능력을 동시에 균형 있게 유지하는 효과적이고 모델 불가지론적(model-agnostic)이며 학습이 필요 없는 솔루션인 FAIRPRO를 도입했습니다.

저자들은 자신들의 접근 방식이 테스트 타임에 편향된 출력 분포를 완화하지만, 기저의 생성 모델 파라미터에 인코딩된 편향 자체를 제거하는 것은 아니라는 점을 인정하며 신중한 입장을 유지합니다. 또한 이산적인 인구통계학적 범주의 사용과 "공정한" 분포를 정의하는 맥락 의존성에 대한 한계점도 언급하였습니다.