No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

이 논문은 라벨 및 선택 편향이 분류 모델의 평가와 성능, 편향 완화 기법에 미치는 영향을 실증적으로 분석하고, 통제된 편향을 도입한 새로운 평가 프레임워크를 통해 편향 없는 테스트 환경에서 공정성과 정확도 간의 트레이드오프가 존재하지 않음을 규명했습니다.

핵심

🍎 핵심 비유: "맛있는 사과"와 "상한 사과"

이 논문을 이해하기 위해 과일 가게를 상상해 보세요.

1. 공정한 세계 (Fair World): 모든 사과가 제 맛을 내고, 크기와 색깔이 공정하게 분포된 이상적인 사과밭입니다.
2. 편향된 데이터 (Biased Data): 하지만 우리가 실제로 구할 수 있는 데이터는 상한 사과나 색이 바랜 사과일 수 있습니다.
   • 레이블 편향 (Label Bias): 사과가 맛있는데도, 판매자가 실수로 "상했다"라고 표시를 해버린 경우입니다. (사과 자체는 좋은데, 라벨이 틀림)
   • 선택 편향 (Selection Bias): 가게에 진열된 사과 자체가 특정 종류 (예: 작은 사과) 만 골라진 경우입니다. (사과밭 전체가 아닌, 일부만 가져옴)

🧐 문제: "상한 사과"로 요리사를 평가하다

기존의 AI 연구들은 주로 **상한 사과 (편향된 데이터)**로 요리사 (AI 모델) 를 훈련시키고, 그 요리사의 실력을 **또 다른 상한 사과 (편향된 테스트 데이터)**로 평가했습니다.

• 결과: "이 요리사는 상한 사과를 잘 다듬어 맛있는 요리를 냈다"라고 평가받지만, 사실은 상한 사과를 그대로 내놓은 것일 뿐입니다.
• 오해: 연구자들은 "정확도 (맛)"와 "공정성 (모두에게 똑같은 맛)"은 서로 충돌한다고 믿었습니다. (예: "맛을 내려면 공정을 희생해야 해"라는 생각)
• 이 논문의 발견: 하지만 **진짜 맛있는 사과 (공정한 데이터)**로 평가해 보니, 정확도와 공정성은 동시에 달성 가능했습니다! 오히려 편향된 데이터로 평가했기 때문에 서로 충돌하는 것처럼 보였던 것입니다.

🔬 연구자가 한 실험: "조작된 사과밭" 만들기

이 연구팀은 실제 현실 데이터 (학생 성적, 학습 기록 등) 를 가져와서 인위적으로 편향을 주입하는 실험을 했습니다. 마치 사과밭에 인위적으로 상한 사과를 심거나, 특정 크기만 골라내는 장난을 치는 것과 같습니다.

그리고 이 조작된 데이터로 AI 를 훈련시킨 뒤, **원래의 깨끗한 데이터 (공정한 세계)**로 그 AI 의 실력을 다시 평가했습니다.

💡 주요 발견 3 가지

1. 편향의 종류에 따라 AI 의 반응이 다릅니다

• 레이블 편향 (라벨이 틀린 경우): AI 는 완전히 혼란에 빠집니다. "사과가 맛있는데 '상했다'고 하니까, 나도 상한 걸로 가르쳐야겠다"라고 생각하게 되어 성능이 급격히 나빠집니다.
• 선택 편향 (데이터가 일부만 있는 경우): 흥미롭게도, 데이터가 일부만 빠져나가도 AI 는 그저 그 정도는 견딜 수 있는 경우가 많았습니다. (단, 데이터가 너무 적거나 복잡해지면 문제가 생깁니다.)
• 결론: 편향의 종류를 모르면 AI 를 고칠 수 없습니다. "무슨 병"인지 알아야 "약"을 줄 수 있습니다.

2. 편향 제거 방법 (약) 은 편향 종류에 따라 효과가 다릅니다

기존에는 "이 약 (편향 제거 기법) 은 모든 병에 좋다"라고 생각했지만, 이 연구는 그렇지 않다고 말합니다.

• 레이블 편향에는 A 약이 잘 먹히지만, 선택 편향에는 B 약이 더 효과적입니다.
• 오히려 잘못된 약을 쓰면 (예: 라벨을 무작정 바꾸는 방법), 오히려 더 나쁜 결과를 낳을 수 있습니다. 마치 감기에 항생제를 먹여서 병을 키우는 것과 같습니다.

3. "공정성 vs 정확도"의 딜레마는 착각이었다

기존 연구들은 "공정하게 하려면 정확도가 떨어진다"고 믿었습니다. 하지만 이 연구는 공정한 데이터로 평가했을 때는 둘 다 좋아질 수 있음을 증명했습니다.

• 비유: "상한 사과를 다듬어 맛있게 만든다"는 건 거짓입니다. 진짜 맛있는 사과를 쓰면, 맛도 좋고, 모든 사람에게 공평하게 나누기도 쉽습니다.

🚀 이 연구가 우리에게 주는 교훈

1. 평가 기준을 바꿔야 합니다: AI 를 평가할 때, 편향된 데이터 (상한 사과) 를 쓰지 말고, 가능한 한 **공정한 기준 (진짜 맛있는 사과)**으로 평가해야 합니다. 그래야 AI 가 진짜로 공정한지 알 수 있습니다.
2. 상황에 맞는 해결책을 찾아야 합니다: 편향의 원인이 무엇인지 (라벨 문제인가, 데이터 수집 문제인가) 파악한 뒤에, 그에 맞는 해결책을 선택해야 합니다.
3. 더 나은 미래를 위한 길: 이 연구는 AI 개발자들에게 "편향된 데이터로만 평가하지 마라"라고 경고하며, 더 정확하고 공정한 AI 를 만들기 위한 새로운 길 (공정한 평가 프레임워크) 을 제시합니다.

📝 한 줄 요약

"상한 사과로 요리 실력을 평가하면, 진짜 맛있는 요리를 할 수 있는 요리사도 실패자로 오해받습니다. 편향된 데이터가 아닌, 공정한 기준으로 AI 를 평가하고 훈련해야만 진정한 '공정하고 정확한' AI 를 만들 수 있습니다."

기술 요약

1. 문제 제기 (Problem Statement)

• 기존 평가 방식의 한계: 현재 공정성 (Fairness) 연구에서는 편향된 데이터셋을 훈련과 평가 (테스트) 에 모두 사용하는 경우가 많습니다. 이는 편향된 라벨을 'Ground Truth(진실)'로 간주하게 만들어, 모델이 편향을 학습하는 것을 '정확도 (Accuracy)'로 오인하게 만듭니다.
• 공정성 - 정확도 트레이드오프의 오해: 편향된 데이터를 기준으로 평가할 때, 공정성과 정확도는 서로 상충되는 관계 (Trade-off) 로 나타나는 경우가 많습니다. 그러나 이는 편향된 기준에 맞추기 위한 결과일 뿐, 실제 공정한 세계에서의 모델 성능을 반영하지 못합니다.
• 편향 유형의 미비한 연구: 라벨 편향 (라벨의 오류) 과 선택 편향 (데이터 샘플링의 왜곡) 은 서로 다른 메커니즘으로 작동하지만, 기존 연구들은 이를 구분하지 않거나 그 영향을 충분히 분석하지 못했습니다. 특히 편향의 원인과 유형을 명확히 통제하지 않은 채 기존 데이터셋 (Adult, COMPAS 등) 을 사용할 경우, 편향 완화 방법의 효과를 정확히 판단하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 **공정 세계 프레임워크 (Fair World Framework)**를 기반으로 한 새로운 편향 주입 및 평가 프레임워크를 제안했습니다.

• 기본 가정: 특정 민감 속성 (Sensitive Attribute) 에 대해 편향이 거의 없는 기존 실생활 데이터셋을 '공정한 세계 (Fair World)'의 근사치로 간주합니다.
• 편향 주입 (Bias Injection): 이 '공정한' 데이터셋에 인위적이고 통제된 편향을 주입하여 편향된 훈련 데이터를 생성합니다.
  • 라벨 편향: 소수 그룹 (Unprivileged group) 의 점수에 페널티를 주어 라벨을 왜곡합니다.
  • 선택 편향 (3 가지 하위 유형):
    1. 무작위 선택 (Random Selection): 소수 그룹을 무작위로 제거.
    2. 자기 선택 (Self-selection): 소수 그룹 중 점수가 낮은 개인을 더 높은 확률로 제거 (예: 자격이 낮은 여성이 지원하지 않는 경우).
    3. 악의적 선택 (Malicious selection): 소수 그룹의 긍정적 라벨과 다수 그룹의 부정적 라벨을 제거하여 그룹 간 격차를 극대화.
• 평가 프로세스:
  • 훈련: 편향이 주입된 데이터로 모델을 훈련 (편향 완화 방법 적용 유무에 따라 구분).
  • 평가: 원래의 편향 없는 (공정한) 데이터를 테스트 세트로 사용하여 모델의 성능과 공정성을 평가합니다.
• 사용된 데이터셋: 'Student Performance' (학생 성적), 'OULADstem' (STEM 과목), 'OULADsocial' (사회과학 과목) 등 편향이 낮은 데이터셋을 기반으로 실험을 수행했습니다.
• 편향 완화 방법: 8 가지 사전/사후 처리 기법 (Reweighing, Massaging, FTU, EOP, CEO, ROC 등) 을 비교 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크: 훈련 데이터에는 알려진 편향을, 테스트 데이터에는 편향이 없는 데이터를 사용하여 모델과 완화 방법의 진정한 효과를 측정하는 프레임워크를 제안했습니다.
2. 편향 유형별 영향 분석: 라벨 편향과 선택 편향의 하위 유형들이 모델 성능과 공정성 지표에 미치는 영향을 실증적으로 규명했습니다.
3. 트레이드오프 부재 증명: 편향 없는 테스트 세트를 사용할 경우, 공정성과 정확도 간의 트레이드오프는 존재하지 않으며, 개인적 공정성과 집단적 공정성 사이에도 트레이드오프가 발생하지 않음을 보였습니다.
4. 편향 완화 방법의 맥락 의존성: 편향 완화 방법의 효율성은 데이터에 존재하는 편향의 유형에 크게 의존함을 입증했습니다.

4. 실험 결과 (Key Results)

4.1 편향된 평가 vs 공정한 평가

• 편향된 테스트 세트를 사용할 경우, 공정성 지표 (SPD, EqOd 등) 와 정확도 측정이 왜곡됩니다. 특히 라벨 편향은 Ground Truth 에 의존하는 지표 (정확도, GEI 등) 를 왜곡시키지만, 선택 편향은 모든 지표를 왜곡시킵니다.
• 편향된 데이터로 평가할 때 '공정해 보이는' 모델은 실제로는 공정한 세계와 거리가 멀 수 있습니다.

4.2 편향이 모델 성능에 미치는 영향

• 라벨 편향: 모델의 정확도, 집단 공정성, 개인 공정성 모두에 치명적인 악영향을 미칩니다.
• 선택 편향:
  • 무작위 선택: 데이터 크기가 줄어들지 않는 한, 학습 데이터 내 분포 왜곡이 크지 않다면 모델 성능에 미치는 영향은 미미합니다.
  • 자기 선택 및 악의적 선택: 학습 데이터의 분포가 왜곡되더라도, 특징 (Features) 이 충분히 예측력이 있고 데이터가 충분하다면 모델은 공정한 패턴을 학습할 수 있습니다. 하지만 데이터가 부족하거나 특징이 약할 경우 민감 속성에 대한 의존도가 높아져 공정성이 떨어집니다.

4.3 편향 완화 방법의 성능

• 편향 유형에 따른 적합성:
  • Reweighing: 선택 편향 (특히 무작위 및 악의적 선택) 에 매우 효과적이었으나, 라벨 편향에는 제한적이었습니다.
  • Massaging & ROC-SPD: 라벨 편향에는 효과적이었으나, 선택 편향이 있는 데이터에서는 오히려 편향을 악화시키거나 '역전된 불공정 (Reverse Unfairness)'을 초래했습니다. 이는 편향된 통계적 평형 (SPD) 을 맞추기 위해 잘못된 라벨을 수정했기 때문입니다.
  • FTU (Sensitive Attribute 제거): 라벨과 민감 속성이 독립적인 경우 (공정한 세계 가정 하) 라벨 편향과 선택 편향 모두에서 전반적으로 좋은 성능을 보였습니다.
  • EOP/CEO: 편향된 Ground Truth 에 의존하므로 편향된 데이터에서 훈련 시 편향을 완전히 제거하지 못했습니다.
• 결론: 특정 편향 유형을 완화하기 위해 설계된 방법이라도 다른 유형의 편향이 존재할 경우 오히려 해가 될 수 있습니다.

5. 의의 및 시사점 (Significance)

1. 평가 기준의 재정의: 편향 완화 방법의 성능을 평가할 때는 편향 없는 (공정한) 테스트 데이터를 사용해야 합니다. 편향된 데이터를 기준으로 한 '공정성 - 정확도 트레이드오프'는 잘못된 결론을 이끌 수 있습니다.
2. 맥락 인식형 편향 완화: 연구자들은 특정 상황에 적용할 편향 완화 방법을 선택할 때, 데이터에 존재하는 편향의 **유형 (라벨 vs 선택, 그리고 그 하위 유형)**을 먼저 파악해야 합니다. 하나의 방법이 모든 상황에 만능이 될 수 없습니다.
3. 미래 연구 방향:
   • 편향의 원인과 유형을 명확히 할 수 있는 '이중 레이블 (Dual-label)' 데이터셋의 구축 필요.
   • 다양한 편향 유형이 복합적으로 작용하는 시나리오 연구.
   • 훈련 데이터의 편향에 더 강건한 새로운 편향 완화 메커니즘 개발.

요약하자면, 이 논문은 "편향된 데이터로 훈련된 모델을 편향된 데이터로 평가하는 것은 무의미하다"는 점을 강조하며, 편향의 유형을 통제하고 공정한 기준 (Ground Truth) 으로 평가하는 새로운 패러다임을 제시합니다. 이를 통해 공정성과 정확도 간의 불필요한 트레이드오프를 해소하고, 실제 상황에 맞는 효과적인 편향 완화 전략을 수립할 수 있음을 보여줍니다.