Procedural Fairness in Machine Learning

이 논문은 기계학습 모델의 분배적 공정성 외에 절차적 공정성을 정의하고, 특징 귀속 설명을 활용한 새로운 평가 지표를 제안하며, 이를 통해 공정하지 않은 특징을 식별하고 개선하는 방법을 제시하여 절차적 및 분배적 공정성을 동시에 향상시킵니다.

핵심

🍎 핵심 비유: "과일 장터의 심판"

상상해 보세요. AI 는 거대한 과일 장터에서 사과를 골라내는 심판입니다.

• 분배적 공정성 (기존 연구의 초점): 심판이 남성과 여성에게 똑같은 수의 사과를 줬나요? (결과가 같은가?)
• 절차적 공정성 (이 논문의 초점): 심판이 사과를 고를 때, 어떤 기준으로 골랐나요? 남성은 '색깔'을 보고 골랐는데, 여성은 '무게'를 보고 골랐다면? 결과가 똑같아도 과정이 다르다면 사람들은 불공정하다고 느낄 것입니다.

이 논문은 바로 이 **'심판이 사과를 고르는 과정 (논리)'**이 공정했는지를 측정하고, 불공정하다면 고치는 방법을 제안합니다.

---

🕵️‍♂️ 1. 문제: "결과만 보면 안 돼요!"

기존 연구들은 AI 가 내린 결과만 보고 "남녀 간 합격률 차이가 없으니 공평해!"라고 판단했습니다. 하지만 사람들은 결과보다 과정에 더 민감합니다.

• 예시: 두 학생이 똑같은 점수를 받아도, A 학생은 '성실함'을 보고 합격시켰고, B 학생은 '성별'을 보고 합격시켰다면? 결과는 같아도 과정이 불공정한 것입니다.
• 이전 연구의 한계: 이전에는 "AI 가 성별 데이터를 사용했으니 불공정해"라고 단순히 판단했습니다. 하지만 이 논문은 **"성별 데이터를 썼더라도, AI 가 그 데이터를 어떻게 해석하고 판단했는지가 중요"**하다고 말합니다.

🧪 2. 해결책 1: "AI 의 두뇌를 X-ray 로 찍다" (GPFFAE)

저자들은 AI 가 결정을 내릴 때 어떤 '특징 (Feature)'에 얼마나 신경을 썼는지 보여주는 **X-ray(설명 가능한 AI 기술)**를 개발했습니다. 이를 GPFFAE라고 부릅니다.

• 비유: AI 가 "왜 이 사람을 합격시켰나요?"라고 물으면, AI 는 "이 사람의 '이력서'를 30% 반영했고, '학점'을 70% 반영했어"라고 대답합니다.
• 측정 방법:
  • 남성 그룹의 AI 는 "학점"을 90% 반영하고 "이력서"를 10% 반영했다.
  • 여성 그룹의 AI 는 "학점"을 10% 반영하고 "이력서"를 90% 반영했다.
  • 결론: 두 그룹이 **똑같은 점수 (결과)**를 받았더라도, **판단 기준 (과정)**이 완전히 다르므로 절차적 불공정입니다!

이 도구를 통해 AI 가 남성과 여성에게 동일한 논리로 판단하는지, 아니면 이중 기준을 적용하는지 정량적으로 측정할 수 있게 되었습니다.

🔧 3. 해결책 2: "나쁜 나침반 제거하기" (불공정 특징 찾기)

AI 가 불공정하게 판단하는 이유를 찾아냈다면, 이제 고쳐야 합니다. 저자들은 AI 가 잘못 사용한 **'나쁜 나침반 (불공정 특징)'**을 찾아내는 기술을 개발했습니다.

• 비유: AI 가 "성별"이라는 나쁜 나침반을 들고 길을 잘못 가고 있다면, 그 나침반을 빼버리거나 고쳐야 합니다.
• 방법:
  1. 찾기: AI 가 어떤 특징 (예: 성별, 성별과 관련된 간접 정보) 에 너무 의존하는지 찾아냅니다.
  2. 고치기:
     • 방법 A (재훈련): 나쁜 나침반을 아예 빼고 AI 를 처음부터 다시 훈련시킵니다. (가장 확실하지만 시간이 걸림)
     • 방법 B (수정): AI 를 다시 훈련시키지 않고, AI 의 두뇌에 "그 나쁜 나침반은 무시해!"라는 명령을 추가합니다. (빠르고 원래 AI 의 성격을 유지함)

📈 4. 실험 결과: "공정해졌으니, 성능도 괜찮아요"

이론만 있는 게 아니라, 9 가지 실제 데이터 (채용, 대출, 범죄 예측 등) 로 실험해 보았습니다.

• 결과: 제안한 방법으로 AI 를 고치니, 과정이 공정해졌습니다. 놀랍게도 결과도 더 공정해졌고, AI 의 정확도 (성능) 는 거의 떨어지지 않았습니다. (약 1~2% 정도만 줄어듦)
• 의미: "공정하게 만들면 성능이 나빠진다"는 통념을 깨뜨렸습니다. 과정을 바로잡으면 결과도 자연스럽게 좋아진다는 것을 증명했습니다.

💡 요약: 왜 이 논문이 중요할까요?

1. 새로운 기준: AI 를 평가할 때 "결과만 보면 안 되고, 과정 (논리) 도 봐야 한다"는 새로운 기준을 세웠습니다.
2. 측정 도구: AI 가 어떻게 생각하는지 X-ray 로 찍어 공정성을 숫자로 측정하는 도구를 만들었습니다.
3. 해결책: 불공정한 AI 를 고치는 두 가지 실용적인 방법을 제시했습니다.

한 줄 요약:

"AI 가 똑같은 사과를 줬더라도, 어떤 기준으로 골랐는지 그 과정이 공정해야 진짜 공정한 것입니다. 이 논문은 그 과정을 들여다보고 고치는 방법을 알려줍니다."

기술 요약

논문 제목: 기계학습에서의 절차적 공정성 (Procedural Fairness in Machine Learning)

1. 문제 제기 (Problem Statement)

• 현황: 기계학습 (ML) 의 공정성에 대한 연구는 주로 **분배적 공정성 (Distributive Fairness, 결과의 공정성)**에 집중되어 왔습니다. 이는 모델의 예측 결과 (예: 승인/거부) 가 특정 집단 간에 공평하게 분배되는지에 초점을 맞춥니다.
• 한계: 반면, 의사결정 과정 자체의 공정성인 **절차적 공정성 (Procedural Fairness)**은 상대적으로 간과되어 왔습니다. 철학 및 심리학 분야에서는 절차적 공정성이 결과의 공정성보다 더 강력한 신뢰 지표로 간주되지만, ML 분야에서는 이를 정의하고 측정하는 표준적인 방법론이 부족했습니다.
• 기존 연구의 결함: 기존 연구 (Grgić-Hlača et al., 2018) 는 모델이 사용하는 입력 피처 (특히 민감한 속성) 의 공정성만으로 절차적 공정성을 정의했습니다. 그러나 저자들은 "불공정한 피처를 사용한다고 해서 모델의 의사결정 로직이 반드시 불공정한 것은 아니다"라고 반박하며, **모델의 내부 의사결정 로직 (Decision Logic)**이 공정해야 진정한 절차적 공정성이라고 주장합니다.

2. 방법론 (Methodology)

이 논문은 절차적 공정성을 정의, 측정, 개선하기 위한 체계적인 프레임워크를 제시합니다.

가. 절차적 공정성의 정의 (Definition)

• 개념: 모델의 내부 의사결정 과정이나 로직이 개인의 선천적/후천적 특성 (민감 속성 등) 에 따른 편견이나 차별 없이 이루어지는 것을 의미합니다.
• 형식적 정의:
  • 개별 절차적 공정성: 유사한 데이터 포인트는 유사한 의사결정 로직을 가져야 함.
  • 집단 절차적 공정성: 두 그룹 (예: 남성/여성) 에 속한 유사한 데이터 포인트는 유사한 의사결정 로직을 가져야 함.

나. 측정 지표: GPFFAE (Feature Attribution-based Group Procedural Fairness)

• 핵심 아이디어: 설명 가능한 AI(XAI) 기법 중 하나인 **특성 기여도 설명 (Feature Attribution Explanation, FAE)**을 활용하여 모델의 의사결정 로직을 정량화합니다.
• 작동 원리:
  1. 두 그룹 (민감 속성 $s_1, s_2$) 에서 유사한 데이터 포인트 쌍을 매칭합니다.
  2. SHAP, Gradient*Input, Integrated Gradients 등의 FAE 기법을 사용하여 각 데이터 포인트에 대한 특성 중요도 (Feature Importance) 벡터를 추출합니다.
  3. 두 그룹의 설명 결과 (Feature Attribution) 분포 차이를 **최대 평균 불일치 (Maximum Mean Discrepancy, MMD)**를 통해 측정합니다.
  4. GPFFAE 점수: 두 분포가 유사할수록 (공정할수록) 점수가 높고 (1 에 가까움), 차이가 클수록 (불공정할수록) 점수가 낮아집니다.

다. 불공정 원인 식별 및 개선 방법

• 불공정 특성 (Unfair Features, UFs) 식별: 두 그룹 간 FAE 설명 결과의 분포 차이가 통계적으로 유의미한 (임계값 $\beta$ 미만) 특성을 '불공정 특성'으로 식별합니다.
• 개선 방법 1: 제거 및 재학습 (Retraining)
  • 식별된 불공정 특성을 입력 데이터에서 제거한 후 모델을 처음부터 재학습시킵니다.
  • 장점: 모델 성능 저하가 적고 공정성이 크게 향상됨.
  • 단점: 원본 모델의 의사결정 로직이 변경될 수 있음.
• 개선 방법 2: 모델 수정 (Model Modification)
  • 기존 모델을 재학습하지 않고, 설명 손실 (Explanation Loss) 항을 추가하여 불공정 특성의 중요도를 줄이는 방향으로 파라미터를 미세 조정합니다.
  • 손실 함수: $L' = L + \alpha \times \zeta$ (여기서 $\zeta$는 불공정 특성의 기울기 노름을 최소화하는 항).
  • 장점: 원본 모델의 의사결정 로직을 유지 (Faithful) 하며 공정성을 개선할 수 있음.
  • 단점: 모델 성능 저하가 재학습 방식보다 약간 더 큼.

3. 주요 기여 (Key Contributions)

1. 정의의 정립: 인문학적 관점을 차용하여 ML 모델의 절차적 공정성에 대한 명확한 정의와 개인/집단 수준의 형식적 정의를 제시했습니다.
2. 새로운 측정 지표 개발 (GPFFAE): FAE 기반의 정량적 지표를 제안하여 모델의 의사결정 과정 공정성을 평가할 수 있게 했습니다. 이는 기존에 없던 방법론입니다.
3. 불공정성 진단 및 완화: 모델이 불공정할 때, 어떤 특성이 불공정을 유발하는지 정확히 식별하고, 이를 제거하거나 영향을 줄이는 두 가지 구체적인 완화 전략을 제안했습니다.
4. 실증 분석: 합성 데이터와 8 개의 실제 데이터셋 (Adult, COMPAS, German 등) 을 통해 제안된 방법론의 유효성을 검증했습니다.

4. 실험 결과 (Results)

• 측정 지표의 유효성: GPFFAE 는 인위적으로 생성된 공정/불공정 모델을 정확하게 구분했습니다. 특히, 기존 연구 (Grgić-Hlača et al.) 와 달리, 민감 속성을 포함하더라도 의사결정 로직이 공정한 경우 (예: COMPAS 데이터셋의 일부 모델) 를 '공정'으로 판별하는 등 더 정교한 평가를 가능하게 했습니다.
• 분배적 공정성과의 관계: 절차적 공정성과 분배적 공정성은 종종 일치하지만, 항상 일치하는 것은 아닙니다. 때로는 트레이드오프 관계가 존재합니다.
• 개선 방법의 효과:
  • 제안된 두 가지 방법 (재학습, 모델 수정) 모두 절차적 공정성을 크게 향상시켰으며, 동시에 분배적 공정성도 개선되었습니다.
  • 성능 영향: 재학습 방식은 평균 정확도 약 0.8% 감소, 모델 수정 방식은 약 1.8% 감소로, 공정성 향상 대가로 인한 성능 저하는 미미했습니다.
  • 특성 식별: 민감 속성뿐만 아니라 민감 속성과 강한 상관관계를 가진 프록시 (proxy) 특성까지 정확히 식별하여 제거/수정했습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: ML 공정성 연구의 공백이었던 '절차적 공정성'에 대한 체계적인 정의와 측정 체계를 마련했습니다. 이는 AI 윤리 및 규제 (EU AI Act 등) 와의 정합성을 높이는 데 기여합니다.
• 실용적 가치: 모델의 예측 결과뿐만 아니라 '어떻게' 결정이 내려졌는지에 대한 투명성과 공정성을 보장할 수 있는 도구를 제공합니다.
• 미래 방향: 희소 데이터셋에서의 매칭 문제 해결 (Counterfactual generation), 절차적 공정성을 고려한 학습 알고리즘 개발, 개별 절차적 공정성 연구 등으로 확장 가능성이 큽니다.

요약하자면, 이 논문은 ML 모델의 공정성을 '결과'뿐만 아니라 '과정'에서도 평가해야 함을 강조하며, 설명 가능한 AI 기법을 활용하여 의사결정 로직의 공정성을 정량화하고 개선하는 새로운 패러다임을 제시했습니다.