Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild

이 논문은 10 단계 MST 척도로 라벨링된 대규모 오픈 액세스 데이터셋 STW 와 이를 기반으로 한 딥러닝 기반의 최첨단 피부 톤 분류 모델 SkinToneNet 을 제안하여, 기존 방법론의 한계를 극복하고 공개 데이터셋의 공정성을 신뢰할 수 있게 평가할 수 있는 체계를 마련했습니다.

핵심

1. 문제점: "인공지능의 안경이 흐릿해요"

지금까지 인공지능 (AI) 은 사람의 피부 색을 구분할 때 큰 실수를 많이 했습니다.

• 과거의 방식: 연구자들은 피부 색을 6 단계로만 나눴거나 (의학적 기준), 소수의 데이터만 사용했습니다. 이는 마치 100 가지 색상의 물감을 다룰 때, 오직 검정, 흰색, 회색 3 가지만으로 모든 그림을 그리려는 것과 같습니다.
• 결과: AI 는 피부가 어두운 사람이나 다양한 톤을 가진 사람들을 제대로 인식하지 못해, "공정하지 않은" 결정을 내렸습니다.

2. 해결책 1: 새로운 지도 만들기 (STW 데이터셋)

연구팀은 AI 가 제대로 배울 수 있도록 새롭고 방대한 지도를 만들었습니다.

• STW (Skin Tone in The Wild): 자연스러운 환경에서 찍힌 4 만 2 천 장 이상의 사진과 3,500 명 이상의 사람들이 포함된 데이터셋입니다.
• 10 단계 색칠하기: 기존의 6 단계가 아니라, 10 단계의 '몽크 (Monk) 피부 톤' 척도를 사용했습니다. 이는 마치 색연필 100 자루 중 10 가지를 골라 아주 세밀하게 색을 구분하는 것처럼, 피부의 미세한 차이를 놓치지 않게 해줍니다.
• 신뢰성: 이 데이터는 여러 전문가가 꼼꼼히 검증하여, "이 사람은 4 번 톤, 저 사람은 5 번 톤"이라고 정확히 라벨링했습니다.

3. 해결책 2: 두 가지 학습 방식 비교 (고전 vs 최신)

연구팀은 두 가지 다른 방식으로 AI 를 훈련시켜 비교했습니다.

• 방식 A: 고전적인 컴퓨터 비전 (SkinToneCCV)

  • 비유: 색깔을 재는 자와 계산기를 사용하는 방식입니다. 사진에서 피부 부분을 잘라내어 "이곳의 붉은색 비율은 얼마고, 노란색은 얼마일까?"라고 숫자로 계산합니다.
  • 결과: 자연스러운 환경 (실외, 조명 변화 등) 에서는 완전히 엉뚱한 답을 내놓았습니다. 마치 비 오는 날에 자로 거리를 재려는 것처럼, 환경 변화에 너무 약했습니다.

• 방식 B: 딥러닝 (SkinToneNet)

  • 비유: 수만 장의 그림을 보고 패턴을 익힌 천재 예술가입니다. 단순히 숫자를 계산하는 게 아니라, 얼굴 전체의 모양, 질감, 빛의 반사까지 종합적으로 이해합니다.
  • 결과: 압도적인 성능을 보였습니다. 전문가가 구분한 것과 거의 비슷한 정확도로 피부 색을 맞췄습니다. 특히, 본 적 없는 새로운 데이터에서도 잘 작동했습니다.

4. 중요한 발견: "데이터의 함정" (Identity Leakage)

이 논문에서 가장 중요한 교훈 중 하나는 **"학습 방식"**에 대한 것입니다.

• 함정: 만약 같은 사람의 사진이 '학습용'과 '시험용'에 섞여 있다면, AI 는 피부 색을 구분하는 게 아니라 **"그 사람의 얼굴을 기억"**해서 정답을 맞출 수 있습니다.
• 해결: 연구팀은 같은 사람의 사진이 학습과 시험에 절대 섞이지 않도록 철저히 분리했습니다. 그 결과, 진짜로 피부 색을 구분하는 능력을 가진 AI 만이 살아남았습니다.

5. 현실 점검: 기존 데이터는 편향되어 있었어요

연구팀은 만든 AI 를 이용해 유명한 얼굴 데이터셋 (CelebA, VGGFace2 등) 을 다시 검사했습니다.

• 결과: 우리가 평소 사용하던 데이터들은 피부가 매우 밝은 사람들 (1~4 단계) 위주로 구성되어 있었습니다. 어두운 피부 톤 (6~10 단계) 을 가진 사람들은 거의 없었습니다.
• 의미: 마치 모든 나라의 지도를 그릴 때, 유럽과 북미만 크게 그리고 아프리카나 남미는 아주 작게 그린 것과 같습니다. 이런 편향된 데이터로 만든 AI 는 공정할 수 없습니다.

6. 결론 및 윤리: "도구는 올바르게 써야 합니다"

이 연구는 다음과 같은 결론을 내립니다:

1. 고전적인 방법으로는 안 됩니다: 피부 색을 구분하려면 최신 딥러닝 기술이 필수입니다.
2. 새로운 기준이 필요합니다: 10 단계의 몽크 스케일 같은 정교한 기준이 필요합니다.
3. 윤리적 경고: 이 AI 는 데이터나 모델의 편향을 찾아내는 '감시자' 역할을 하도록 설계되었습니다. 따라서 이를 이용해 사람을 감시하거나, 동의 없이 개인을 분류하는 용도로는 절대 사용해서는 안 됩니다.

요약

이 논문은 **"인공지능이 피부 색을 구분할 때, 단순한 계산기로는 실패하지만, 잘 훈련된 천재 예술가 (딥러닝) 로는 성공할 수 있다"**는 것을 증명했습니다. 또한, 우리가 만든 데이터들이 얼마나 편향되어 있었는지 드러내며, 더 공정하고 다양한 세상을 위한 AI 를 만들기 위한 첫걸음을 내디뎠습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 편향된 데이터와 모델: 딥러닝 모델은 훈련 데이터의 편향을 그대로 학습하여 성별, 인종, 피부색 등에서 불공정한 결정을 내리는 경우가 많습니다.
• 기존 방법론의 한계:
  • 피츠패트릭 스케일 (FST) 의 부적절성: 기존 연구들은 주로 6 단계의 피츠패트릭 피부 타입 (FST) 을 사용했으나, 이는 자외선 반응 (화상 vs 태닝) 을 기준으로 한 의료용 척도이며, 실제 피부색의 연속적인 스펙트럼을 포착하지 못합니다. 특히 어두운 피부색에 대한 표현력이 부족합니다.
  • 데이터 부족 및 비재현성: 기존 데이터셋은 규모가 작거나, 비공개이거나, 질병 관련 데이터에 국한되어 있어 재현성이 떨어집니다. 또한, 많은 연구가 코드나 데이터를 공개하지 않아 '닫힌 과학 (Closed-science)' 경향을 보입니다.
  • 데이터 누출 (Data Leakage) 및 일반화 실패: 기존 연구들은 훈련 세트와 테스트 세트에 동일한 개인이 포함되는 '정체성 누출 (Identity Leakage)' 문제를 간과하여, 모델이 실제 피부색 특징이 아닌 개인의 얼굴 특징을 학습하는 오류를 범했습니다. 이로 인해 'In-the-Wild (ITW, 자연스러운 환경)' 데이터에 대한 일반화 성능이 매우 낮았습니다.
  • 전통적 CV 의 실패: 기존 컴퓨터 비전 (Classic Computer Vision, CCV) 파이프라인은 ITW 환경에서 피부색 분류에 거의 무작위 수준의 성능만 보였습니다.

2. 제안된 방법론 (Methodology)

저자들은 피부색 공평성을 위한 포괄적인 프레임워크를 제안하며, 크게 데이터셋 구축, 전통적 CV 벤치마크, 심층 학습 모델의 세 가지 축으로 구성됩니다.

A. 데이터셋: Skin Tone in The Wild (STW)

• 규모: 3,564 명의 개인에서 수집된 42,313 개의 이미지로 구성된 대규모 오픈 액세스 데이터셋입니다.
• 표준: 10 단계 몽크 피부색 (Monk Skin Tone, MST) 스케일을 사용했습니다. 이는 FST 보다 피부색의 연속성과 다양성을 더 잘 반영합니다.
• 아노테이션 프로토콜:
  • 계층적 프로토콜: 1 명의 전문가가 전체 데이터를 라벨링하고, 2 명의 독립적인 아노테이터가 1,000 명의 하위 집합을 검증했습니다.
  • 품질 관리: 아노테이터 간 일치도 (Inter-annotator agreement) 를 측정하여 88% 의 '오차 1 단계 이내 정확도 (Off-by-one Accuracy, OOAcc)'와 0.939 의 ICC(내부상관계수) 를 달성했습니다.
  • 데이터 소스: LFW, CelebA, Fairface, Casia Face Africa 등 7 개의 공개 데이터셋을 통합하여 다양한 인종과 피부색을 포함하도록 구성했습니다.

B. 실험 설계 및 평가 전략

• 데이터 분할 전략:
  • 이미지 단위 분할 (IMG): 이미지 단위로 분할 (기존 방식).
  • 개인 단위 분할 (IND): 동일한 개인의 모든 이미지를 훈련 또는 테스트 세트 중 하나에만 할당하여 정체성 누출을 방지하는 엄격한 분할 방식.
• 평가 지표: 클래스 불균형을 고려한 **균형 정확도 (bAcc)**와 **가중치 오차 1 단계 이내 정확도 (wOOAcc)**를 사용했습니다.
• 외부 검증: 훈련에 사용되지 않은 외부 데이터셋 (MSTE, CCv2 등) 을 사용하여 모델의 일반화 능력을 검증했습니다.

C. 모델 아키텍처

1. SkinToneCCV (전통적 컴퓨터 비전):
   • Mediapipe 를 이용한 피부 영역 분할, 색상 기술자 (히스토그램, 경계/내부 분류, 색상 일관성 벡터 등) 추출, 그리고 MLP, KNN, SVM, Random Forest 등의 분류기를 사용했습니다.
2. SkinToneNet (심층 학습):
   • 아키텍처: 비전 트랜스포머 (ViT-Small, ViT-Base), DINOv2/v3, DenseNet121 등 다양한 사전 훈련 모델을 미세 조정 (Fine-tuning) 했습니다.
   • 손실 함수: 순서적 (Ordinal) 특성을 반영하기 위해 가중치 순서적 교차 엔트로피 손실 (Weighted Ordinal Cross-Entropy Loss) 을 적용했습니다.
   • 입력: 얼굴 전체 (Background 포함) 를 입력으로 사용하는 것이 피부색 분할만 사용하는 것보다 더 좋은 성능을 보였습니다 (피부색 인식에 얼굴의 질감과 형태 맥락이 도움이 됨).

3. 주요 기여 (Key Contributions)

1. STW 데이터셋 공개: 10 단계 MST 스케일로 라벨링된 최초의 대규모 오픈 액세스 피부색 데이터셋을 제공합니다.
2. SkinToneNet 모델 개발: ITW 환경에서 10 단계 MST 스케일을 분류하는 최첨단 (SOTA) 딥러닝 모델을 제안했습니다.
3. 전통적 CV vs 딥러닝 비교: 전통적 CV 파이프라인이 ITW 환경에서 무작위 수준으로 실패함을 증명하고, 딥러닝이 인간 아노테이터 수준의 정확도를 달성함을 입증했습니다.
4. 공정성 감사 (Fairness Auditing): 제안된 모델을 사용하여 CelebA, VGGFace2, FairFace 등 널리 사용되는 얼굴 인식 데이터셋의 피부색 분포를 분석하고, 어두운 피부색 (MST 6~10) 의 심각한 부족을 발견했습니다.

4. 실험 결과 (Results)

• 데이터 누출의 영향: 이미지 단위 분할 (IMG) 을 사용할 때 모델은 높은 정확도를 보였으나, 개인 단위 분할 (IND) 로 변경하자 성능이 급격히 하락했습니다. 이는 기존 연구들이 정체성 누출로 인해 과적합 (Overfitting) 되었음을 의미합니다.
• 전통적 CV 의 실패: SkinToneCCV 는 모든 데이터셋에서 낮은 정확도 (Random Classifier 수준) 를 보였으며, 특히 어두운 피부색 클래스에 편향되었습니다.
• SkinToneNet 의 성능:
  • STW 테스트: ViT-Small 기반의 SkinToneNet 은 0.449 의 bAcc 와 0.901 의 wOOAcc 를 기록했습니다.
  • 외부 데이터셋 일반화: MSTE 및 CCv2 와 같은 외부 데이터셋에서도 기존 모델 대비 1020% 의 정확도 향상과 3060% 의 OOAcc 향상을 보였습니다.
  • GradCAM 분석: 모델이 피부 영역뿐만 아니라 얼굴의 전체적인 질감과 형태 맥락을 학습하여 피부색을 판단하고 있음을 확인했습니다.
• 데이터셋 감사 결과: 기존 주요 데이터셋 (FACET, FairFace 등) 은 MST 35 단계는 어느 정도 포함하고 있으나, MST 610 단계 (어두운 피부색) 가 극도로 부족하여 공평성 평가에 한계가 있음을 지적했습니다.

5. 의의 및 결론 (Significance)

• 기술적 진전: 피부색 분류 분야에서 전통적 컴퓨터 비전 방법론의 한계를 명확히 규명하고, 딥러닝 기반의 강력한 일반화 모델을 제시했습니다.
• 윤리적 기여: 개발된 도구 (SkinToneNet) 는 데이터셋과 모델의 편향을 감지하고 감사 (Audit) 하기 위한 목적으로만 사용하도록 설계되었습니다. 생체 인식 프로파일링이나 감시 용도로의 사용을 명시적으로 금지했습니다.
• 미래 연구의 기반: 이 연구는 피부색 관련 연구의 표준 벤치마크를 제공하며, 향후 책, 영상 등 다양한 미디어에서의 피부색 대표성 분석 및 공정한 AI 시스템 개발의 기초가 됩니다.

이 논문은 피부색 분류의 기술적 난제 (데이터 부족, 편향, 일반화 실패) 를 해결하기 위해 대규모 데이터셋, 엄격한 평가 프로토콜, 그리고 고성능 모델을 통합한 포괄적인 프레임워크를 제시했다는 점에서 의의가 큽니다.