TrueSkin: Towards Fair and Accurate Skin Tone Recognition and Generation

이 논문은 다양한 조명과 촬영 조건에서 수집된 7,299 장의 이미지로 구성된 'TrueSkin' 데이터셋을 제안하여 기존 다중 모달 및 생성 모델의 피부색 인식 및 생성 편향을 해결하고, 이를 통해 모델의 정확성과 공정성을 크게 향상시키는 방법을 제시합니다.

핵심

1. 문제: AI 는 왜 피부색을 못 알아볼까?

지금까지의 AI(대형 멀티모달 모델이나 이미지 생성 AI) 는 피부색을 인식하거나 만들 때 큰 실수를 저지릅니다.

• 인식 실패 (눈이 나쁜 AI): AI 는 햇빛이 강한 사진이나 어두운 사진 속 사람의 피부색을 제대로 못 봅니다. 마치 안경이 흐릿해서 진한 갈색을 검은색으로, 혹은 밝은 갈색을 하얀색으로 착각하는 것과 같습니다. 특히 중간 톤의 피부색을 너무 밝게 인식하는 경향이 있습니다.
• 생성 실패 (편견 있는 화가): AI 가 "하얀 피부의 여성"이라고 명령을 내렸는데, 머리카락이 땋아져 있거나 배경이 눈밭이 아니면, AI 는 여전히 어두운 피부색을 그려냅니다. 이는 AI 가 **"땋은 머리카락 = 어두운 피부", "눈밭 = 하얀 피부"**라는 고정관념 (편견) 을 가지고 있기 때문입니다.

왜 이런 일이 생길까요?
기존에 있던 데이터셋들은 대부분 병원에서 찍은 피부 사진들이었습니다. 마치 의사가 피부병을 진단할 때 쓰는 확대경 사진처럼, 피부만 클로즈업되어 있고 주변 환경이 없습니다. 하지만 실제 인생은 햇빛, 그림자, 옷차림, 배경 등 다양한 요소가 섞여 있습니다. 기존 데이터는 이런 '실제 상황'을 반영하지 못해 AI 가 혼란을 겪는 것입니다.

2. 해결책: TrueSkin(진정한 피부색) 데이터셋

연구팀은 이 문제를 해결하기 위해 TrueSkin이라는 새로운 데이터셋을 만들었습니다.

• 다양한 상황: 햇빛이 강하게 비치는 날, 어두운 방, 다양한 각도에서 찍은 7,299 장의 사진을 모았습니다.
• 6 가지 명확한 분류: 피부색을 너무 세분화하지 않고, 사람들이 직관적으로 이해할 수 있는 **6 가지 (어두움, 갈색, 탄, 중간, 밝음, 창백함)**로 나누었습니다.
• 균형 잡힌 구성: 기존 데이터처럼 특정 피부색만 많지 않도록, 실제 사진과 AI 가 만든 사진을 섞어 모든 피부색이 골고루 분포되도록 만들었습니다.

이 데이터셋은 AI 에게 "실제 세상"을 가르치는 교과서 역할을 합니다.

3. 실험 결과: AI 는 얼마나 변했을까?

연구팀은 이 새로운 '교과서 (TrueSkin)'로 AI 를 다시 훈련시켰습니다.

• 인식 능력 향상: 기존 AI 들은 40~50% 만 맞추던 피부색 인식 정확도가, TrueSkin 으로 훈련된 모델은 74% 이상으로 크게 향상되었습니다. 이는 안경을 제대로 끼고 세상을 보는 것과 같습니다.
• 편견 제거: 이미지 생성 AI(그림을 그리는 AI) 를 TrueSkin 으로 미세 조정 (Fine-tuning) 하니, "하얀 피부"라고 명령했을 때 배경이나 헤어스타일에 상관없이 정확하게 하얀 피부를 그려내는 능력이 생겼습니다. AI 가 가진 고정관념이 사라진 것입니다.

4. 핵심 메시지 (한 줄 요약)

이 논문의 핵심은 **"AI 가 공정하고 정확하게 작동하려면, 다양한 실제 상황을 반영한 '진짜' 데이터가 필요하다"**는 것입니다.

TrueSkin 은 AI 가 피부색이라는 주제를 다룰 때, 단순히 '색깔'만 보는 것이 아니라 사람의 실제 모습과 환경을 이해하도록 돕는 공정한 거울이 되어줍니다. 이를 통해 의료, 보안, 예술 등 AI 가 쓰이는 모든 분야에서 피부색에 따른 차별이 줄어들고 더 정확한 서비스가 가능해질 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존 컴퓨터 비전 및 생성형 AI 모델은 피부 톤 인식 및 생성 작업에서 심각한 편향 (Bias) 과 정확도 부족 문제를 겪고 있습니다.

• 인식 (Recognition) 의 한계: 최신 대규모 멀티모달 모델 (LMMs, 예: LLaMA, LLaVA 등) 은 복잡한 조명 조건이나 자연스러운 환경에서 피부 톤을 정확하게 인식하는 데 어려움을 겪습니다. 특히 중간 톤 (Intermediate tones) 을 더 밝은 톤으로 잘못 분류하는 경향이 있습니다.
• 생성 (Generation) 의 한계: SDXL, FLUX.1 등 주요 이미지 생성 모델은 프롬프트에 명시된 피부 톤을 정확하게 생성하지 못합니다. 헤어스타일이나 배경 환경과 같은 관련 없는 속성 (예: 땋은 머리는 어두운 피부와 연관됨, 눈은 밝은 피부와 연관됨) 의 내재적 편향에 의해 피부 톤이 왜곡됩니다.
• 데이터의 부재: 기존 피부 톤 데이터셋 (Fitzpatrick17k, SCIN 등) 은 주로 의료 목적 (자외선 반응 기반) 으로 수집되어 피부의 실제 색상보다는 의학적 분류에 치중되어 있습니다. 또한, 조명, 각도, 배경이 제한적이고 피부 톤 분포가 불균형하여 일반 컴퓨터 비전 작업에 적합하지 않습니다.

2. 방법론 (Methodology)

A. TrueSkin 데이터셋 구축

이 연구는 위 문제들을 해결하기 위해 TrueSkin이라는 새로운 데이터셋을 제안했습니다.

• 구성: 총 7,299 개의 이미지로 구성되며, 실제 이미지와 생성형 AI (FLUX.1-dev) 를 통해 보강된 합성 이미지를 포함합니다.
• 분류 체계: Fitzpatrick 스케일을 기반으로 하되, 의학적 기준이 아닌 **시각적 지각 (Visual Perception)**에 기반하여 6 가지 클래스 (Dark, Brown, Tan, Medium, Light, Pale) 로 체계적으로 분류되었습니다.
• 다양성 확보:
  • 조명 및 환경: 다양한 조명 조건, 카메라 각도, 배경을 포함하여 '겉보기 피부색 (Apparent skin tone)'과 '실제 피부색 (True skin tone)'의 차이를 학습할 수 있도록 설계되었습니다.
  • 균형 잡힌 분포: 기존 데이터셋의 불균형 문제를 해결하기 위해 생성 모델을 활용해 과소 대표된 카테고리를 보충하여 분포를 균일하게 만들었습니다.
  • 주관성 완화: 다양한 인종 배경을 가진 6 명의 어노테이터가 참여하며, 최소 4 인 이상의 합의를 얻은 샘플만 포함시켜 라벨링의 일관성을 높였습니다.

B. 인식 모델 평가 및 학습

• 벤치마크: LLaMA 3.2, LLaVA, Janus-Pro, Qwen 2.5-VL, Phi 3.5 등 최신 LMM 들을 TrueSkin 으로 평가했습니다.
• 기저 모델 (Baseline) 학습: EfficientNet-B1 아키텍처를 기반으로 TrueSkin 으로 학습된 새로운 인식 모델을 개발했습니다.
• 손실 함수 개선: 피부 톤은 이산적인 클래스가 아니라 연속적인 스펙트럼이므로, 단순 분류 오차보다 **오류의 정도 (Deviation)**를 고려해야 합니다. 이를 위해 예측 레이블과 실제 레이블 간의 거리에 비례하여 가중치를 부여하는 **가중 크로스 엔트로피 손실 (Weighted Cross Entropy Loss)**을 도입했습니다.

C. 생성 모델 파인튜닝

• 편향 완화 실험: SDXL 모델을 TrueSkin 데이터셋으로 LoRA (Low-Rank Adaptation) 기법을 통해 파인튜닝했습니다.
• 프롬프트 제어: 헤어스타일, 배경 등 피부 톤과 무관한 속성이 피부 톤 생성에 미치는 영향을 분석하고, 이를 보정하는지 검증했습니다.

3. 주요 기여 (Key Contributions)

1. TrueSkin 데이터셋 공개: 조명, 각도, 소스 다양성을 갖춘 6 가지 클래스로 체계화된 고품질 피부 톤 데이터셋을 최초로 제공하여, 기존 의료 중심 데이터셋의 한계를 극복했습니다.
2. SOTA 모델의 편향 분석: LMM 과 이미지 생성 모델이 피부 톤 인식 및 생성에서 겪는 체계적인 오류 패턴 (중간 톤의 과소평가, 프롬프트 속성에 의한 편향 등) 을 정량적으로 규명했습니다.
3. 성능 향상 입증: TrueSkin 을 활용한 인식 모델 학습은 기존 LMM 대비 20% 이상의 정확도 향상을 보였으며, 생성 모델의 파인튜닝은 피부 톤의 충실도 (Fidelity) 를 크게 개선하고 편향을 감소시키는 것을 입증했습니다.

4. 실험 결과 (Results)

• 인식 성능:

  • 기존 LMM 들의 평균 정확도는 40~48% 수준에 머물렀으며, 특히 어두운 톤을 밝은 톤으로, 중간 톤을 극단적인 톤으로 잘못 분류하는 경향이 뚜렷했습니다.
  • TrueSkin 으로 학습한 기저 모델 (EfficientNet-B1) 은 74.18% 의 정확도를 달성하여 기존 LMM 대비 20% 이상 향상되었습니다. 또한, 오분류된 경우에도 실제 레이블과 1 단계 이내로 편차하는 비율이 97% 이상에 달했습니다.
  • Fitzpatrick17k 데이터셋에서의 제로샷 (Zero-shot) 평가에서도 기존 방법론보다 우수한 성능을 보였습니다.

• 생성 성능:

  • 파인튜닝 전 SDXL 은 "어두운 피부" 프롬프트 시 갈색 (Brown) 톤을, "밝은 피부" 프롬프트 시 무언가에 의해 영향을 받아 더 어두운 톤을 생성하는 편향을 보였습니다.
  • TrueSkin 으로 800 스텝까지 파인튜닝한 결과, 정확도는 **61.08% 에서 64.75%**로 상승했고, 평균 제곱 오차 (MSE) 는 0.6008 에서 0.4800으로 감소하여 생성된 피부 톤이 프롬프트 의도에 더 부합하게 되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 피부 톤 인식 및 생성 분야에서 **공정성 (Fairness)**과 **정확성 (Accuracy)**을 동시에 달성하기 위한 필수적인 기반을 마련했습니다.

• 공정성 증진: 피부 톤에 따른 모델 편향을 줄여 의료 진단, 보안, 콘텐츠 생성 등 다양한 분야에서 소수 계층에 대한 차별을 완화할 수 있습니다.
• 연구 방향 제시: 단순한 데이터 수집을 넘어, 조명과 환경 요인을 분리하여 '실제 피부색'을 학습하는 방법론과 이를 위한 표준 데이터셋의 중요성을 강조했습니다.
• 향후 과제: 현재 6 가지 클래스의 거친 분류 (Coarse-grained) 한계와 인간 어노테이션의 잔류 주관성을 해결하기 위해 자동화 도구 개발 및 더 세밀한 분류 체계 구축이 필요함을 지적했습니다.

결론적으로, TrueSkin은 기존 모델의 한계를 드러내는 벤치마크이자, 더 공정하고 정확한 AI 모델을 개발하기 위한 핵심 학습 자원으로 평가됩니다.