Evaluating Demographic Misrepresentation in Image-to-Image Portrait Editing

이 논문은 텍스트 기반 이미지 생성의 편향은 잘 연구되었으나, 지시 기반 이미지-이미지 편집에서 인종, 성별, 연령에 따라 동일한 편집 지시가 다르게 적용되는 '연약한 소거'와 '고정관념 대체'와 같은 편향적 실패 양상을 규명하고, 프롬프트 수준의 정체성 제약으로 이를 완화할 수 있음을 보여줍니다.

핵심

📸 핵심 이야기: "내 사진을 고쳐달라고 했는데, 왜 내 얼굴이 바뀌지?"

우리가 AI 사진 편집기에 "이 사람을 CEO 로 바꿔줘"라고 명령하면, AI 는 옷만 갈아입혀야 합니다. 그런데 이 연구에 따르면, AI 는 명령을 들었으면서도, 사람의 피부색, 인종, 성별에 따라 엉뚱한 일을 저지릅니다.

연구팀은 이를 두 가지 유형으로 나누어 불렀습니다.

1. "소프트 지우기" (Soft Erasure) - "안 들은 척하기"

• 비유: 친구가 "내 사진에 선글라스를 씌워줘"라고 했을 때, AI 가 "네, 알겠습니다"라고 말하면서 선글라스는 씌우지 않고 그냥 원래 사진만 돌려주는 경우입니다.
• 현실: AI 가 명령을 무시하거나, 아주 미미하게만 반영해서 사용자가 원하는 변화가 일어나지 않는 현상입니다. 특히 장애인이나 노년층 등 '취약한' 이미지가 나올 때 AI 가 안전장치를 발동해 명령을 무시하는 경우가 많았습니다.

2. "고정관념 교체" (Stereotype Replacement) - "내 얼굴을 다른 사람으로 바꿈"

• 비유: 친구가 "이 사람을 CEO 로 바꿔줘"라고 했을 때, AI 는 옷은 CEO 옷으로 입히지만, 원래 흑인이었던 친구의 얼굴을 하얀색 피부로 바꾸고, 성별까지 바꿔버리는 경우입니다.
• 현실: AI 가 "CEO=하얀 피부, 남성"이라는 편견을 가지고 있어서, 명령을 수행하는 과정에서 사용자의 원래 인종이나 성별을 무시하고 AI 가 생각하는 '표준적인' 모습으로 강제로 바꿔버립니다.

---

🔍 연구팀은 무엇을 발견했을까요?

연구팀은 FairFace 라는 공정한 얼굴 데이터셋을 이용해 84 명의 다양한 인종, 성별, 연령의 사진을 준비했습니다. 그리고 3 가지 최신 AI 편집기 (FLUX, Step1X, Qwen 등) 에게 20 가지의 다양한 명령 (예: "의사 되어줘", "휠체어 탄 사람으로 바꿔줘") 을 내리게 했습니다.

놀라운 발견 1: "하얀 피부로 변하는 마법"

• 편집된 사진 중 60~70% 가 원래보다 피부가 하얗게 변했습니다.
• 특히 흑인이나 인도계 등 어두운 피부색을 가진 사람들은 70% 이상의 확률로 피부가 하얗게 변했습니다. 반면, 백인은 거의 변하지 않았습니다.
• 비유: AI 가 마치 "모든 사람이 하얀 피부여야 더 예쁘고 전문적으로 보인다"는 편견을 가진 유령처럼 작동한다는 뜻입니다.

놀라운 발견 2: "직업과 성별의 착각"

• "의사"나 "CEO" 같은 직업을 명령하면, AI 는 원래 여성이었던 사람을 남자로 바꾸거나, 남성이었던 사람을 여성으로 바꾸는 경우가 80% 이상이었습니다.
• 비유: AI 는 "의사는 남자가, 간호사는 여자가 하는 것"이라는 옛날 편견을 너무 잘 기억하고 있어서, 명령을 내리는 순간 그 편견에 맞춰 얼굴을 바꿔버립니다.

---

💡 해결책: "명령에 부록을 달아라" (Feature Prompt)

연구팀은 AI 모델 자체를 고치는 대신, 명령어 (프롬프트) 에 작은 부록을 추가하는 방법을 시도했습니다.

• 방법: "이 사람을 CEO 로 바꿔줘"라는 명령에, **"원래의 검은 피부색과 둥근 얼굴형을 유지해줘"**라는 구체적인 설명을 덧붙였습니다.
• 결과: 이 간단한 명령어 추가만으로도, 흑인이나 소수 인종 그룹의 얼굴이 하얗게 변하는 현상이 크게 줄어들었습니다.
• 한계: 백인 그룹에게는 효과가 거의 없었습니다. 왜냐하면 AI 가 이미 '기본값'을 백인으로 설정하고 있기 때문입니다. 즉, 소수자는 자신의 얼굴을 지키기 위해 추가 설명을 해야 하지만, 다수층은 아무 말 않아도 원래대로 나온다는 불공평함이 드러났습니다.

---

🎯 결론: 왜 이 연구가 중요한가요?

이 연구는 **"AI 가 사진을 고칠 때, 사용자의 정체성 (인종, 성별, 나이) 을 지키지 못한다는 사실"**을 명확히 증명했습니다.

1. 편견은 숨어있다: AI 는 명령을 잘 수행하는 척하지만, 그 과정에서 인종적 편견을 숨겨서 적용합니다.
2. 불평등한 보호: 소수자는 자신의 얼굴을 지키기 위해 더 많은 노력 (구체적인 설명) 을 해야 하지만, 다수층은 그렇지 않습니다.
3. 해결의 시작: 모델의 코드를 고치지 않아도, 명령어를 잘 쓰는 것만으로도 편향을 줄일 수 있다는 희망을 주지만, 근본적인 해결은 AI 개발자가 편견 없는 데이터를 학습시켜야 합니다.

한 줄 요약:

"AI 사진 편집기는 명령을 잘 듣는 척하지만, 속으로는 '하얀 피부와 남성'을 표준으로 여기는 편견을 가지고 있어, 흑인이나 여성 등의 얼굴을 몰래 바꿔치기 합니다. 우리는 이 편견을 발견하고, 명령어를 조금만 더 구체적으로 쓰면 그 피해를 줄일 수 있다는 것을 증명했습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 오픈 가중치 (open-weight) 를 가진 지시 기반 이미지 -to- 이미지 (I2I) 편집 모델들이 널리 보급되면서, 프로필 수정 및 광고 등 초상화 중심의 응용 분야에서 활발히 사용되고 있습니다. 사용자는 편집 지시 (prompt) 에 따라 특정 속성만 변경되고 피사체의 신원 (identity) 은 유지되기를 기대합니다.

그러나 기존 연구는 주로 텍스트 -to- 이미지 (T2I) 생성에서의 편향에 집중해 왔으며, 지시 기반 I2I 편집에서 발생하는 인구통계학적 조건부 실패 (demographic-conditioned failures) 는 충분히 탐구되지 않았습니다. 본 논문은 동일한 편집 지시라도 피사체의 인구통계학적 특성 (인종, 성별, 나이) 에 따라 결과가 체계적으로 다르게 나타나는지, 그리고 이로 인해 신원 유지가 어떻게 저해되는지 분석합니다.

저자들은 I2I 편집에서 발생하는 두 가지 주요 실패 모드를 정의합니다:

1. 소프트 소거 (Soft Erasure): 편집이 요청되었음에도 불구하고 출력 이미지에서 요청된 편집이 조용히 무시되거나 약하게 구현되는 현상. (명시적인 거절 없이 실패)
2. 고정관념 대체 (Stereotype Replacement): 프롬프트에 명시되지 않았음에도 편집 과정에서 고정관념과 일치하는 인구통계학적 속성 (예: 피부색 밝아짐, 인종 변경) 이 추가되는 현상.

2. 방법론 (Methodology)

본 연구는 인구통계학적 조건부 실패를 체계적으로 측정하기 위해 통제된 벤치마크와 평가 프로토콜을 도입했습니다.

2.1 벤치마크 구성

• 데이터셋: FairFace 데이터셋에서 인종 (7 개), 성별 (2 개), 나이 (6 개) 를 교차 표본 추출 (factorial sampling) 하여 총 84 개의 초상화를 구성했습니다.
• 진단 프롬프트 세트: 실패를 유발하도록 설계된 20 개의 프롬프트를 사용했습니다.
  • 직업적 고정관념 (Occupational Stereotype): 권위, 서비스, 외모 관련 직종 (CEO, 교사, 청소부 등) 을 지정하여 역할에 따른 인구통계학적 편향을 탐지.
  • 취약성 속성 (Vulnerability Attributes): 신체적 장애, 노화, 상황적 어려움 등을 묘사하여 민감한 콘텐츠에서의 편집 억제 (Soft Erasure) 를 탐지.
• 평가 대상 모델: FLUX.2-dev, Step1X-Edit-v1p2, Qwen-Image-Edit-2511 등 3 개의 오픈 가중치 I2I 편집기를 평가했습니다.
• 데이터 규모: 84 이미지 × 20 프롬프트 × 3 모델 = 총 5,040 개의 편집 결과 생성.

2.2 평가 프로토콜

• VLM 기반 평가: Gemini 3.0 Flash 및 GPT-5-mini 두 개의 비전 - 언어 모델 (VLM) 을 사용하여 편집 성공도, 피부색 변화, 인종/성별/나이 변화 등을 1~5 점 척도로 평가했습니다.
• 인간 평가: Prolific 을 통해 30 명의 annotator 를 모집하여 1,000 개의 샘플에 대해 동일한 기준을 적용하여 VLM 평가의 신뢰성을 검증했습니다.
• 평가 척도: 편집 성공도 (Soft Erasure 측정), 피부색/인종/성별/나이 변화 (Stereotype Replacement 측정) 를 분리하여 평가했습니다.

2.3 완화 전략: 프롬프트 레벨의 신원 제약 (Feature Prompt)

모델 가중치를 수정하지 않고 프롬프트 레벨에서 해결책을 모색했습니다.

• 방식: 편집 지시 앞에 원본 이미지의 관측 가능한 외형 속성 (피부색, 얼굴 구조, 눈, 코, 입, 머리카락 등) 을 설명하는 "Feature Prompt"를 추가합니다.
• 목적: 모델이 학습된 인구통계학적 사전 지식 (priors) 에 의존하지 않고, 명시적으로 제공된 외형 정보를 유지하도록 유도합니다.

3. 주요 결과 (Key Results)

3.1 실패 양상 분석

• 보편적인 소프트 소거: 특히 Step1X-Edit-v1p2 모델에서 요청된 편집이 무시되는 경우가 빈번하게 발생했습니다.
• 인종 간 피부색 밝아짐 편향: 모든 모델에서 편집 결과물의 62~71% 가 원본보다 피부색이 밝아졌습니다.
  • 심각한 불균형: 인도계 (Indian) 및 흑인 (Black) 피사체는 72~75% 의 확률로 피부색이 밝아진 반면, 백인 (White) 은 44%, 동아시아인은 54% 에 그쳤습니다.
  • 인종 변화: 인도계 피사체의 경우 14% 가 인종이 변경된 것으로 평가된 반면, 백인은 1% 에 불과했습니다. 이는 모델이 "백인 중심"의 기본값 (default) 을 가지고 있음을 시사합니다.
• 성별 - 직업 고정관념: WinoBias 기반 실험에서 모델은 84~86% 의 확률로 직업에 따른 성별 고정관념을 따랐습니다 (예: CEO 는 남성, 간호사는 여성으로 묘사). 이는 원본 이미지의 성별과 무관하게 발생했습니다.

3.2 완화 전략의 효과 (Feature Prompt)

• 비대칭적 완화 효과: Feature Prompt 를 적용했을 때, 백인 그룹의 인종 변화는 거의 변하지 않았으나 (0.06 점 감소), 비백인 그룹 (특히 흑인) 은 인종 변화가 크게 감소했습니다 (1.48 점 감소).
• 의미: 이는 현재 모델들이 백인 중심의 출력 공간으로 편향되어 있으며, 명시적인 제약이 없으면 이 편향으로 수렴함을 의미합니다. 프롬프트 레벨의 개입만으로도 소수 그룹의 편향을 상당 부분 교정할 수 있음을 보여줍니다.

3.3 VLM 과 인간 평가의 일치

• VLM 평가와 인간 평가 간의 상관관계가 높았으며, 특히 인구통계학적 편향 패턴을 식별하는 데 있어 VLM 이 인간 평가를 대체할 수 있는 확장 가능한 도구임을 확인했습니다. 다만, VLM 은 편집 성공도를 과대평가하는 경향이 있었습니다.

4. 주요 기여 (Contributions)

1. 실패 모드 정의: I2I 편집에서 발생하는 소프트 소거 (Soft Erasure) 와 고정관념 대체 (Stereotype Replacement) 를 공식화하고 체계적으로 측정 가능한 프레임워크를 제시했습니다.
2. 통제된 벤치마크: 인종, 성별, 나이를 균형 있게 포함하는 84 개의 이미지와 20 개의 진단 프롬프트로 구성된 벤치마크를 구축하여, 3 개의 최신 모델에서 5,040 개의 편집 결과를 생성하고 평가했습니다.
3. 프롬프트 레벨 제어: 모델 재학습 없이 프롬프트에 관측 가능한 외형 속성을 명시함으로써, 소수 그룹의 인구통계학적 변화를 완화할 수 있음을 증명했습니다. 이는 인터페이스 레벨에서의 편향 완화 가능성을 보여줍니다.
4. 비대칭적 편향 발견: 현재 I2I 편집기들이 백인 중심의 사전 지식을 내재하고 있으며, 이로 인해 소수 그룹의 신원 유지가 더 취약하다는 사실을 규명했습니다.

5. 의의 및 결론 (Significance)

본 논문은 I2I 편집 기술이 단순히 "이미지를 바꾼다"는 것을 넘어, 누구의 이미지를 어떻게 바꾸는가에 있어 심각한 인구통계학적 불평등을 내포하고 있음을 보여줍니다.

• 신뢰성 저하: 편향된 편집은 소수 그룹에 대한 대표성 해악 (representational harms) 을 증폭시키고 사용자의 신뢰를 떨어뜨립니다.
• 해결 방향: 모델의 아키텍처나 학습 데이터의 근본적인 개선이 필요하지만, 당장에는 프롬프트 엔지니어링을 통한 완화 전략이 유효함을 보였습니다.
• 향후 과제: 모델 개발자들은 인구통계학적 속성을 기본적으로 유지하는 (demographically robust) 편집 시스템을 구축해야 하며, 평가 프로토콜에 신원 유지 (identity preservation) 지표를 포함해야 함을 강조합니다.

결론적으로, 이 연구는 생성형 AI 의 편집 기능이 가진 구조적인 편향을 드러내고, 공정하고 안전한 편집 시스템을 위한 중요한 기준을 제시했습니다.