기술 요약: 합성 얼굴 생성에서의 감정 기반 인구통계학적 편향

문제 정의

텍스트-이미지(T2I) 및 멀티모달 거대 언어 모델(MLLM)은 고충실도(high-fidelity)의 합성 얼굴 생성을 달성했으나, 이들 시스템의 표현적 품질과 편향성, 특히 인구통계학적 속성과 감정 프롬프트의 교차점에 대한 이해는 여전히 부족하다. 기존 연구는 주로 중립적인 얼굴에 대한 고립된 인구통계학적 편향(예: 성별 또는 인종 단독)이나 서구권에서 훈련된 모델에 초점을 맞추어 왔다. 본 연구는 세 가지 핵심적인 격차를 식별한다:

1. 교차성(Intersectionality): 기존 연구는 여러 정체성(성별, 인종, 연령)이 어떻게 결합하여 독특한 취약성이나 과소 대표성을 만들어내는지 간과하는 경우가 많다.
2. 감정 조건부 편향(Emotion-Conditioned Bias): 얼굴 표정이 문화적 규범 및 고정관관념과 연결되어 있다는 증거에도 불구하고, 대부분의 연구는 감정 프롬프트(예: "행복한" 대 "화난")가 인구통계학적 분포에 어떤 영향을 미치는지 무시한다.
3. 교차 문화적 일관성(Cross-Cultural Consistency): 중국이 지역 특화된 훈련 데이터를 보유한 주요 AI 강국으로 부상했음에도 불구하고, 서구 맥락에서 개발된 모델과 중국에서 개발된 모델 간의 체계적인 비교 연구가 부족하다.

중심 연구 질문은 T2I 모델이 전 세계 인구 통계와 비교하여 인구통계학적으로 불균형한 얼굴을 생성하는지, 이러한 편향이 서구 및 중국 모델 간에 어떻게 다른지, 그리고 감정 프롬프트가 인구통계학적 및 매력도 분포를 어떻게 변화시키는지에 관한 것이다.

방법론

저자들은 8개의 최첨단 확산 기반 T2I 모델에 대한 체계적인 감사를 수행했다. 이 중 4개는 서구 조직(FLUX-Schnell, Proteus V0.3, Stable Diffusion 3.5, SANA 1.5)에서 개발되었고, 나머지 4개는 중국 기관(Hunyuan-DiT, Qwen-Image, Kolors, Wan2.1)에서 개발되었다.

실험 설계:

• 프롬프팅: 모델들에 동일한 영어 템플릿인 *"A photorealistic portrait of a [emotion] person, front-facing."*를 사용했다.
• 감정: 에크만(Ekman)의 기본 감정 체계에 기반한 6가지 정형적 감정(행복, 슬픔, 분노, 놀람, 혐오, 공포)을 중립 기준값과 함께 테스트했다.
• 규모: 모델당 감정당 1,000장의 이미지를 생성하여 총 56,000개의 합성 얼굴을 확보했다.
• 속성 추정: 생성된 얼굴은 다음과 같은 최첨단 자동화 도구를 사용하여 분석되었다:
  • 인구통계학: FairFace 모델을 사용하여 성별, 인종, 연령을 추정했다. 벤치마크 데이터셋(CFD, FACES, APPA-REAL, FGNET)에 대한 검증 결과 높은 정확도를 보였다(성별 97%, 인종 90%, 연령 73%).
  • 매력도: AHEAD 데이터셋으로 훈련된 전용 모델(ResNet 기반)을 사용하여 매력도 수준(낮음, 중간, 높음)을 추정했다.
• 편향 지표: 편향을 정량화하기 위해 정보 이론적 지표를 채택했다:
  • 기본 편향: 모델 출력과 전 세계 인구 통계(UN 데이터 및 국가별 인종 할당 전략에서 유도됨) 사이의 쿨백-라이블러(KL), 젠슨-샤논(JS), 총 변동 거리(TVD) 발산을 계산했다.
  • 교차적 변화: 성별, 인종, 연령의 결합 분포에 대한 KL 및 JS 발산을 측정했다.
  • 감정 조건부 편향: 감정별 출력과 중립 기준값 사이의 발산을 계산하여 감정 프롬프트의 영향을 격리했다.

주요 결과

1. 지속적인 인구통계학적 편향 (RQ1)
8개 모델 모두 출처와 관계없이 전 세계 인구 통계와 유의미한 차이를 보였다.

• 성별: 대부분의 모델에서 뚜렷한 성별 불균형이 나타났다. 4개 모델(FLUX, Proteus, SD3, Qwen)은 남성을 과잉 대표(60–90%)했고, 2개 모델(SANA, Hunyuan)은 여성(>80%)을 과잉 대표했다. Qwen과 Wan2.1만이 균형 잡힌 분포에 근접했으나, 어느 모델도 완전한 평등을 달도하지 못했다.
• 인종: 격차는 더욱 심각했다. 3개 모델(Proteus, SANA, Kolors)은 백인 인구가 전 세계 인구의 약 11%임에도 불구하고 80–90% 이상의 백인 얼굴을 생성했다. 아시아인과 흑인 인구는 일관되게 과소 대표되었다.
• 연령: 젊은 층을 향한 강력한 생성적 사전 확률(generative prior)이 관찰되었다. 20–39세 연령층이 과잉 대표되었으며(6개 모델에서 >80%), 어린이, 청소년, 중년, 특히 노인(60세 이상)은 심각하게 과소 대표되었다.
• 교차성: 결합 분포 분석 결과, "젊은 × 여성 × 흑인"과 같은 특정 조합은 대부분의 모델에서 거의 나타나지 않은 반면, "젊은 × 여성 × 백인"이 지배적이었다.

2. 교차 문화적 균질화 (RQ2)
중국 모델이 현지 인구 통계를 반영할 것이라는 예상과 달리, 연구는 놀라운 균질화를 발견했다.

• 유사성: 서구 및 중국 모델 모두 백인과 젊은 층을 과잉 대표하는 유사한 패턴을 보였다.
• 인종적 이례성: 중국의 인구 구성이 주로 동아시아인임에도 불구하고, 대부분의 중국 모델은 서구 모델과 밀접하게 닮은 다수의 백인 얼굴을 생성했다. Hunyuan은 약 90%의 아시아인 얼굴을 생성했다는 점에서 주목할 만한 예외였다.
• 언어의 영향: 중국 모델을 중국어 프롬프트로 테스트했을 때(부록 E) 분포의 변화는 완만했으며, 백인 과잉 대표 현상이 지속되었다. 이는 편향이 프롬프트 언어 자체가 아니라 공유된 훈련 데이터나 구조적 사전 확률에서 기인함을 시사한다.

3. 감정 조건부 편향 (RQ3)
감정 프롬프트는 인구통계학적 분포를 체계적으로 변화시켜 기존의 편향을 악화시켰다.

• 부정적 감정: 부정적이고 높은 각성도를 가진 감정(분노, 혐오, 공포) 프ر롬프트는 가장 큰 인구통계학적 변화를 유도했다. 이러한 프롬프트는 일관되게 고령, 남성, 백인 얼굴의 확률을 높였고, 젊은 여성 및 아시아인의 대표성을 감소시켰다.
• 긍정적 감정: "행복한" 프롬프트는 중립 기준값으로부터의 편차가 가장 작았으며, 종종 젊고 매력적인 백인 얼굴에 대한 기본 편향을 강화했다.
• 매력도: 부정적 감정은 낮은 매력도 점수의 유의미한 증가와 상관관계가 있었던 반면, 행복은 높은 매력도 점수를 약간 높였는데, 이는 "매력 후광 효과(attractiveness halo effect)"와 일치한다.
• 모델 민감도: 서구 모델은 일반적으로 중국 모델보다 더 큰 KL 발산(감정에 대한 더 큰 민감도)을 보였으나, 변화의 방향은 두 그룹 모두에서 일관되었다.

의의 및 주장

본 논문은 최초의 체계적이고 교차 문화적이며 감정 조건부인 T2I 생성 얼굴 감사를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 정량적 프레임워크: 교차하는 속성 전반에 걸쳐 정보 이론적 지표를 사용하여 표현적 편향을 측정하는 방법론을 제시했다.
2. 균질화의 증거: 서로 다른 문화적 생태계(서구 및 중국)를 가진 모델들이 단일한 서구 중심적 "기본" 표현으로 수렴한다는 발견을 통해, 지역적 훈련 데이터가 반드시 문화적으로 구별된 출력을 보장하지 않는다는 점을 입증했다.
3. 편향 증폭기로서의 감정: 감정적 단서의 추가가 단순히 얼굴 표정을 바꾸는 데 그치지 않고, 인구통계학적 분포를 근본적으로 재편하며 연령주의 및 인종/성별 고정관념(예: 분노를 고령 남성과 연관 짓는 것)을 강화한다는 사실을 밝혀냈다.

저자들은 이러한 편향이 단순한 데이터 구성의 산물이 아니라 생성 모델의 잠재 공간(latent space)에 존재하는 구조적 사전 확률을 반영한다고 주장한다. 결론적으로, 능동적인 감사와 개입이 없다면 이러한 시스템은 배타적인 고정관념을 강화할 위험이 있으며, 특히 "감정이 실린" 이미지를 사용할 때 그러하다. 본 연구는 훈련 데이터의 투명성, 감정과 인구통계학적 기본값을 분리하기 위한 세밀한 사용자 제어, 그리고 대규모 배포 전 정기적인 편향 감사를 요구하는 선제적 규제를 옹호한다.

한계점: 저자들은 본 감사가 특정 모델 세트와 사전 정의된 감정 및 속성에 국별되어 있음을 인정한다. 또한 자동 분류기에 의존하는 방식이 확장성은 높지만 분류 오류를 도입할 수 있음을 언급하며, 본 프레임워크는 진단적 성격이며 완화 전략에 대해서는 규범적이지 않다고 명시했다.