An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems

이 논문은 신용평가 맥락에서 기존의 전통적 분류 모델보다 예측 정확도와 공정성 간의 균형을 더 잘 달성하는 공정성 인식 머신러닝 모델의 성능을 다양한 데이터셋과 측정 지표를 통해 종합적으로 실험 평가한 연구입니다.

핵심

🏦 1. 배경: 은행의 자동화 시대와 숨겨진 편견

과거에는 은행 직원이 손으로 서류를 하나하나 검토하며 대출을 승인했습니다. 하지만 이제는 **AI(머신러닝)**가 대신합니다. AI 는 훨씬 빠르고 정확하죠.

하지만 여기서 문제가 생깁니다. AI 는 과거 데이터를 학습하는데, 그 데이터 속에 '인종'이나 '성별' 같은 편견이 숨어 있을 수 있습니다.

비유: AI 를 새로운 요리사라고 상상해 보세요. 이 요리사가 과거의 레시피 (데이터) 를 보고 요리를 배웠는데, 과거 레시피에 "여자는 매운 요리를 못 만든다"는 편견이 있었다면, AI 요리사도 여성 고객에게는 매운 요리를 주지 않거나 불합격 처리할 수 있습니다. 이것이 **불공정 (Bias)**입니다.

이 연구는 "AI 가 대출 심사를 할 때 성별에 따라 불공정하게 대우하지 않는지, 그리고 어떻게 고칠 수 있는지"를 다양한 실험을 통해 확인했습니다.

🧪 2. 실험 방법: 5 가지 재료를 이용한 요리 대회

연구진은 5 개의 실제 대출 데이터셋 (다양한 나라와 상황의 고객 정보) 을 준비했습니다. 그리고 이 데이터로 세 가지 방식의 AI 모델을 만들어 비교했습니다.

1. 전처리 (Pre-processing): 데이터를 AI 에 넣기 전에 정제하는 방법.
   • 비유: 요리 재료 (데이터) 를 다듬을 때, 성별 정보가 섞인 라벨을 떼어내거나, 여성과 남성 재료의 양을 똑같이 맞춰서 넣는 것입니다.
2. 학습 중 처리 (In-processing): AI 가 배우는 과정에서 공정성을 규칙으로 추가하는 방법.
   • 비유: 요리사가 요리를 배우는 동안, "성별과 상관없이 맛있게 만들어야 한다"는 엄격한 규칙을 가르치는 것입니다.
3. 후처리 (Post-processing): AI 가 결론을 내린 후, 결과를 수정하는 방법.
   • 비유: 요리사가 요리를 다 만들고 "이건 여성에게 너무 맵네?"라고 생각하면, 마지막에 고추를 덜어내거나 양념을 다시 하는 것입니다.

📊 3. 주요 발견: "공정함 vs 정확함"의 줄다리기

연구진은 8 가지의 다양한 '공정성 측정 도구'를 사용해서 각 모델이 얼마나 공정한지, 그리고 대출 심사를 얼마나 잘 맞췄는지 (정확도) 를 평가했습니다.

🏆 승자: 'AdaFair'라는 모델

• 대부분의 다른 모델들은 "공정하게 하려고 하면 정확도가 떨어지고, 정확하게 하려고 하면 불공정해진다"는 딜레마에 빠졌습니다.
• 하지만 AdaFair라는 모델은 두 마리 토끼를 다 잡았습니다. 정확도도 높으면서 공정성도 매우 훌륭했습니다.
• 비유: 다른 요리사들은 "맛을 내면 매운맛이 사라지고, 매운맛을 살리면 맛이 없어진다"고 고민했지만, AdaFair 는 "매우 맛있으면서도 모든 사람에게 똑같이 맛있는 요리를 만드는" 천재 요리사였습니다.

⚠️ 주의할 점: LFR 모델

• 'LFR'이라는 모델은 공정성 점수는 완벽하게 0(완전 공정) 을 냈지만, **정확도는 50% (동전 던지기 수준)**로 떨어졌습니다.
• 비유: "성별과 상관없이 무조건 50% 확률로 승인해 주는" 모델입니다. 공정하긴 하지만, 실제로 누가 돈을 갚을지 예측하는 능력은 없는 셈이죠.

📝 4. 결론 및 시사점

이 논문의 핵심 메시지는 다음과 같습니다.

1. 편견은 자연스럽습니다: 우리가 사용하는 데이터 (재래시장의 재료) 에는 이미 성별이나 인종에 따른 편견이 숨어 있습니다. AI 는 이를 그대로 학습합니다.
2. 공정성을 위한 기술은 존재합니다: 데이터를 다듬거나, 학습 규칙을 바꾸거나, 결과를 수정하는 기술로 편견을 줄일 수 있습니다.
3. 가장 좋은 방법은 'AdaFair' 스타일: 무작정 공정성만 강조하면 예측 능력이 떨어집니다. 정확함과 공정함 사이의 균형을 잡는 'AdaFair' 같은 접근 방식이 가장 현실적입니다.

🔮 5. 앞으로의 과제

연구진은 "우리는 아직 성별과 인종 등 하나의 요소만 봤을 뿐"이라고 말합니다. 앞으로는 성별, 인종, 나이, 지역 등 여러 요소가 겹친 상황에서도 공정한 AI 를 만드는 연구가 필요하다고 합니다.

한 줄 요약:
"AI 가 대출 심사를 할 때 성별 편견을 없애는 것은 가능하지만, 단순히 편견만 지우면 예측 능력이 떨어집니다. 정확함과 공정함이라는 두 마리 토끼를 모두 잡을 수 있는 'AdaFair' 같은 기술이 미래의 핵심입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 금융 기관과 상업 은행에서 신용 점수 평가 (Credit Scoring) 의 디지털 전환이 가속화되면서 기계 학습 (ML) 기법이 널리 사용되고 있습니다.
• 문제: ML 기반 의사결정 모델은 인종, 성별 (Gender) 등 보호 속성 (Protected Attributes) 에 따라 편향된 결과를 초래할 수 있습니다. 이는 사회적 불평등을 심화시키고 규제 리스크를 초래합니다.
• 연구 필요성: 기존 연구들은 특정 데이터셋이나 소수의 공정성 지표에 국한되어 있어, 신용 점수 평가라는 구체적인 금융 도메인에서 다양한 공정성 인식 (Fairness-aware) 모델과 지표들의 종합적인 성능 비교가 부족했습니다. 또한, 어떤 공정성 기준이 신용 평가에 가장 적합한지에 대한 명확한 가이드가 필요했습니다.

2. 연구 방법론 (Methodology)

가. 데이터셋 (Datasets)

연구는 신용 점수 평가에 널리 사용되는 5 개의 공개 금융 데이터셋을 선정하여 실험을 수행했습니다.

• 데이터셋: Credit Approval (Australian), Credit Card Clients (Taiwan), Credit Scoring (Central Asia), German Credit, PAKDD 2009 Credit Risk Assessment.
• 분석: 베이지안 네트워크 (Bayesian Network) 를 활용하여 데이터셋 내의 보호 속성 (성별 등) 과 클래스 레이블 (신용 등급) 간의 직접적/간접적 연관성을 분석하여 데이터 자체의 편향을 확인했습니다.

나. 평가 지표 (Fairness Measures)

총 8 가지 주요 공정성 지표를 사용하여 모델의 편향 정도를 정량화했습니다. (값이 0 에 가까울수록 공정함)

• 통계적 평등 (Statistical Parity, SP): 그룹 간 긍정적 결과 비율 차이.
• 기회 균등 (Equal Opportunity, EO): 실제 긍정 클래스 내에서의 오분류율 차이.
• 균등 확률 (Equalized Odds, EOd): 모든 클래스 조건에서의 오분류율 차이.
• 예측 일치성 (Predictive Parity, PP): 예측된 긍정 클래스 내에서의 실제 긍정 비율 차이.
• 예측 평등 (Predictive Equality, PE): 실제 부정 클래스 내에서의 오분류율 차이.
• 처리 평등 (Treatment Equality, TE): 오음성 (FN) 과 오양성 (FP) 비율의 균형.
• ABROCA: ROC 곡선 간의 절대적 차이 영역.

다. 비교 대상 모델 (Models)

전통적 모델과 3 가지 접근법 (Pre-processing, In-processing, Post-processing) 에 기반한 6 가지 공정성 인식 모델을 비교했습니다.

1. 전통적 모델: 결정 트리 (DT), 나이브 베이즈 (NB), 다층 퍼셉트론 (MLP), k-최근접 이웃 (kNN).
2. Pre-processing (전처리):
   • LFR (Learning Fair Representations): 보호 속성을 은폐하는 표현 학습.
   • DIR (Disparate Impact Remover): 그룹 간 공정성을 높이기 위해 특징 값 조정.
3. In-processing (학습 중):
   • Agarwal's Method: 제약 조건 하의 비용 민감 분류 문제로 축소.
   • AdaFair: AdaBoost 기반의 누적 공정성 고려 앙상블.
4. Post-processing (후처리):
   • EOP (Equalized Odds Post-processing): 선형 프로그래밍을 통한 예측 레이블 수정.
   • CEP (Calibrated Equalized Odds Post-processing): 보정된 확률 기반 레이블 수정.

라. 실험 설정

• 보호 속성: 모든 데이터셋에서 '성별 (Sex)'을 보호 속성으로 설정.
• 성능 지표: 불균형 데이터 특성을 고려하여 **균형 정확도 (Balanced Accuracy, BA)**와 F1 점수를 주 성능 지표로 사용.
• 데이터 분할: 70% 학습, 30% 테스트 (단일 분할).

3. 주요 결과 (Key Results)

가. 데이터 편향 분석

• 베이지안 네트워크 분석 결과, 모든 선정된 데이터셋에서 보호 속성 (성별) 과 신용 등급 (클래스) 사이에 직접적 또는 간접적인 연결이 발견되었습니다. 이는 원시 데이터 자체가 편향되어 있음을 시사하며, 편향 없는 모델을 학습하기 위해서는 공정성 기법의 적용이 필수적임을 보여줍니다.

나. 모델 성능 비교

1. AdaFair (In-processing) 의 우위:
   • 대부분의 데이터셋에서 AdaFair가 예측 정확도 (Accuracy) 와 균형 정확도 (Balanced Accuracy) 를 유지하면서 공정성 지표에서도 우수한 성능을 보였습니다.
   • 특히 Credit Scoring 데이터셋에서는 99% 이상의 정확도를 유지하면서 공정성도 확보하는 등 가장 균형 잡힌 성능을 입증했습니다.
2. Pre-processing (LFR, DIR) 의 한계:
   • **LFR (Learning Fair Representations)**은 공정성 지표 (SP, EO, EOd 등) 에서 완벽한 점수 (0 에 근접) 를 기록했으나, 정확도가 급격히 하락하는 trade-off 현상이 뚜렷했습니다.
   • DIR은 LFR 보다 정확도와 공정성 사이의 균형을 더 잘 유지했으나, 여전히 전통적 모델 대비 정확도 손실이 발생했습니다.
3. Post-processing (EOP, CEP) 의 특성:
   • 모델의 내부 구조를 변경하지 않고 예측 결과만 수정하므로 모델 무관성 (Model-agnostic) 이 장점이지만, ABROCA 계산이 불가능하거나 공정성 개선 폭이 In-processing 모델보다 제한적인 경우가 많았습니다.
4. 전통적 모델 vs 공정성 인식 모델:
   • 전통적 모델은 높은 정확도를 보일 수 있으나, 공정성 지표 (편향) 는 상대적으로 높았습니다.
   • 공정성 인식 모델은 정확도가 약간 감소할 수 있으나, 공정성과 정확도 간의 **최적의 균형 (Trade-off)**을 달성했습니다.

4. 주요 기여 (Key Contributions)

1. 포괄적 평가: 신용 점수 문제에서 적용 가능한 다양한 공정성 인식 ML 모델 (전/중/후처리) 과 8 가지 공정성 지표를 5 개의 다양한 금융 데이터셋에서 종합적으로 평가했습니다.
2. 데이터 편향 분석: 베이지안 네트워크를 활용하여 신용 평가 데이터셋 내의 선천적 편향을 체계적으로 분석하고 시각화했습니다.
3. 실용적 통찰: AdaFair 와 같은 In-processing 기법이 신용 평가 도메인에서 정확도와 공정성 간의 균형을 이루는 데 가장 효과적임을 실증적으로 증명했습니다.
4. 지표별 성능 비교: 어떤 공정성 지표가 어떤 모델에서 어떻게 작동하는지 상세한 테이블과 ROC 곡선 (ABROCA) 분석을 통해 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 의의: 금융 기관이 자동화된 신용 평가 시스템을 도입할 때, 단순히 정확도만 높이는 것이 아니라 법적/사회적 요구사항인 '공정성'을 동시에 충족시킬 수 있는 구체적인 모델 (AdaFair 등) 과 전략을 제시했습니다.
• 한계 및 향후 과제:
  • 현재 연구는 단일 보호 속성 (성별) 에만 초점을 맞췄으며, 성별과 인종 등 **여러 보호 속성이 교차하는 상황 (Intersectionality)**은 다루지 못했습니다.
  • 기존 공개 데이터셋에 의존했으므로, 더 복잡하고 도메인 특화된 편향을 가진 실제 금융 데이터에 대한 검증이 필요합니다.
  • 향후 연구에서는 공정성과 설명 가능성 (Explainability) 을 동시에 갖춘 알고리즘 개발 및 합성 데이터 생성 모델 연구가 필요하다고 제언했습니다.

요약하자면, 이 논문은 기계 학습 기반 신용 평가에서 편향을 해결하기 위해 다양한 공정성 기법을 실험적으로 검증했으며, 특히 AdaFair 알고리즘이 높은 예측 성능과 공정성을 동시에 달성하는 가장 유망한 접근법임을 입증했습니다.