Bias at the End of the Score

제시된 논문 **"Bias at the End of the Score (점수의 끝에서의 편향)"**은 텍스트 - 이미지 (T2I) 생성 시스템에서 핵심적인 역할을 하는 **리워드 모델 (Reward Models, RMs)**의 편향성과 공정성 문제를 대규모로 분석한 연구입니다.

이 논문은 리워드 모델이 단순히 이미지 품질을 평가하는 중립적인 도구가 아니라, 인종과 성별에 따른 편향을 내재하고 있으며, 이를 최적화 과정에 사용할 경우 이러한 편향이 증폭되어 심각한 사회적 해악을 초래할 수 있음을 증명합니다.

다음은 논문의 기술적 요약입니다.

---

1. 연구 배경 및 문제 정의 (Problem)

• 리워드 모델 (RMs) 의 역할: 최근 T2I 생성 모델 (Diffusion 모델 등) 은 인간 선호도, 텍스트 - 이미지 정합성, 미적 품질 등을 평가하는 리워드 모델을 통해 학습되거나, 생성된 이미지를 필터링/선별하는 데 광범위하게 활용됩니다.
• 문제점: 기존 연구는 '리워드 해킹 (Reward Hacking)'이나 '모드 붕괴 (Mode Collapse)'와 같은 기술적 문제에 집중했으나, **리워드 모델 자체의 강건성 (Robustness) 과 공정성 (Fairness)**에 대한 연구는 부족했습니다.
• 핵심 질문: 리워드 모델이 인종, 성별 등 인구통계학적 속성에 대해 중립적인 품질 지표로 작동하는가? 만약 편향이 존재한다면, 이를 최적화 신호로 사용할 때 생성된 이미지에 어떤 왜곡이 발생하는가?

2. 연구 방법론 (Methodology)

저자들은 두 가지 주요 실험을 통해 리워드 모델의 편향을 정량적, 정성적으로 분석했습니다.

3.1 실험 설정

• 평가 대상 리워드 모델: PickScore, ImageReward, HPS (Human Preference Score), VQAScore, CLIP, Aesthetic Score 등 5 가지 널리 사용되는 모델.
• 기반 생성 모델: SDXL-Turbo, PixArt-α DMD, SD-Turbo 등.

3.2 Part I: 리워드 유도 최적화 (Reward-Guided Optimization)

• 목표: 리워드 모델을 사용하여 생성된 이미지의 초기 노이즈 벡터 ($\epsilon_0$) 를 최적화할 때 발생하는 인구통계학적 변화를 관찰.
• 방법: ReNO (Reward-based Noise Optimization) 프레임워크를 활용.
  • 과도한 성화 (Hypersexualization) 분석: 특정 인구통계학적 식별자가 포함된 프롬프트 (예: "Black female holding a cellphone") 를 사용하여 최적화 후 NSFW(성적 콘텐츠) 분류율과 피부 노출량 (Skin Exposure) 의 변화를 측정.
  • 인구통계학적 수렴 (Demographic Convergence) 분석: 인구통계학적 정보가 명시되지 않은 프롬프트 (예: "photo of a doctor") 를 사용하여, 초기에 특정 인종/성별을 가진 이미지를 생성하는 노이즈 벡터를 찾은 후 최적화 과정을 거치면 인종/성별이 어떻게 변하는지 관찰 (SeedSelect 전략 활용).

3.3 Part II: 반사실적 이미지 평가 (Counterfactual Evaluation)

• 목표: 최적화 결과의 원인이 되는 리워드 모델의 점수 산정 메커니즘 자체의 편향을 규명.
• 데이터셋: CausalFace, SocialCounterfactuals, PAIRS 등 반사실적 (Counterfactual) 데이터셋 사용. (인종, 성별만 다르고 다른 의미적 요소는 동일한 이미지 쌍).
• 분석 기법:
  • 선형 회귀 분석 (OLS Regression): 점수가 인종 ($\rho$) 과 성별 ($\gamma$) 에 의해 얼마나 예측 가능한지 계수 ($\beta$) 를 분석.
  • 순위 기반 분석 (Ranking-based Analysis): 각 인구통계학적 그룹이 리워드 점수에서 차지하는 평균 순위 비교.
  • 실제 통계와의 상관관계: 직업 관련 프롬프트에 대한 점수 차이가 미국 노동통계국 (BLS) 의 실제 고용 통계 (성별/직업 분포) 와 얼마나 일치하는지 분석.

3. 주요 결과 (Key Results)

3.1 리워드 최적화에 따른 과도한 성화 (Hypersexualization)

• 성별 불균형: 모든 리워드 모델에서 최적화 과정은 NSFW 콘텐츠 발생률과 피부 노출량을 증가시켰으나, 여성 대상 이미지가 남성보다 훨씬 더 큰 영향을 받았습니다.
  • PickScore 모델의 경우, 여성 대상 이미지의 NSFW 비율이 평균 19% 증가한 반면, 남성은 7% 증가 (여성 대비 2.7 배).
  • 여성은 옷이 벗겨지거나 성적 자세를 취하는 등 과도한 성화가 발생했습니다.

3.2 인구통계학적 수렴 (Demographic Convergence)

• 백인화 (Whitening): 최적화 과정에서 비백인 (Black, Latino, Asian) 으로 분류되던 이미지들이 백인 (White) 이미지로 변환되는 경향이 강하게 나타났습니다.
  • ImageReward 와 HPS 모델의 경우, 최적화 후 Black subjects 의 80% 이상이 White 로 재분류되었습니다.
• 남성화 (Masculinization): 여성으로 분류된 이미지가 최적화 후 남성으로 재분류되는 비율도 상당했습니다 (ImageReward 기준 39% 이상).
• 원인: 이는 리워드 모델이 백인 남성 중심의 시각적 특징을 '고품질'로 인식하기 때문입니다.

3.3 리워드 모델의 점수 편향 (Scoring Biases)

• 인구통계학적 선호: 인종이나 성별만 다른 이미지 쌍에서, 리워드 모델은 일관되게 특정 집단을 선호했습니다.
  • HPS 와 ImageReward: 백인 (특히 백인 남성) 이미지를 가장 높게 평가하고, 아시아인 이미지를 가장 낮게 평가했습니다. 이는 프롬프트의 긍정/부정 여부와 무관하게 구조적으로 존재하는 편향입니다.
  • VQAScore: 긍정적 프롬프트에서는 백인을, 부정적 프롬프트에서는 흑인을 더 높게 평가하는 등 프롬프트의 맥락에 따라 편향이 역전되기도 했습니다.
• 실제 사회 편향의 반영: 직업 관련 프롬프트에 대한 점수 차이는 실제 미국 노동통계국의 고용 통계 (성별 분포) 와 높은 상관관계를 보였습니다.
  • 남성이 주류인 직업은 남성 얼굴 점수가 높게, 여성이 주류인 직업은 여성 얼굴 점수가 높게 매겨졌으나, 일부 여성 주류 직업에서도 남성 얼굴이 더 높은 점수를 받는 등 편향이 고정관념을 강화했습니다.

4. 주요 기여 (Key Contributions)

1. 리워드 모델의 편향성 실증: 리워드 모델이 '품질'을 평가하는 중립적 도구가 아니라, 학습 데이터와 인간 선호도에 기반한 인구통계학적 편향을 내재하고 있음을 대규모로 증명했습니다.
2. 최적화 과정에서의 편향 증폭: 리워드 모델을 T2I 모델의 최적화 (Noise Optimization) 에 사용할 경우, 이러한 편향이 과도한 성화와 **인종/성별의 단일화 (수렴)**로 이어져 다양성을 파괴함을 발견했습니다.
3. 실제 사회 구조와의 연관성: 리워드 모델의 점수 패턴이 단순한 이미지 품질이 아니라, 실제 사회의 인종/성별 고정관념 및 고용 통계를 반영하고 있음을 규명했습니다.
4. 안전성 및 품질 평가의 재고: 현재 T2I 파이프라인에서 리워드 모델을 '품질 지표'나 '안전 필터'로 맹신하는 것이 위험할 수 있음을 경고하고, 더 강건한 데이터 수집 및 훈련 절차의 필요성을 제기했습니다.

5. 의의 및 결론 (Significance)

이 연구는 생성형 AI 시스템의 핵심 구성 요소인 리워드 모델이 차별적 필터로 작용할 수 있음을 경고합니다.

• 시스템적 위험: 리워드 모델을 기반으로 한 'Best-of-N' 선택, 파인튜닝, 데이터 선별 과정은 의도치 않게 특정 인종이나 성별을 배제하거나 고정관념을 강화하는 결과를 초래합니다.
• 향후 방향: 단순히 이미지 품질을 높이는 것을 넘어, **공정성 (Fairness)**과 **다양성 (Diversity)**을 보장할 수 있도록 리워드 모델의 훈련 데이터, 평가 지표, 최적화 알고리즘을 재설계해야 함을 강조합니다.

요약하자면, 이 논문은 **"점수 (Score) 의 끝에는 편향 (Bias) 이 있다"**는 것을 보여주며, AI 생성 시스템의 품질 평가와 최적화 메커니즘에 대한 근본적인 재검토를 요구합니다.