Calibrated Credit Intelligence: Shift-Robust and Fair Risk Scoring with Bayesian Uncertainty and Gradient Boosting

이 논문은 베이지안 신경망, 공정성 제약이 적용된 그래디언트 부스팅, 그리고 시프트 인식 융합 전략을 결합하여 데이터 분포 변화와 공정성 요구사항 하에서도 신뢰할 수 있는 신용 위험 점수를 산출하는 '보정된 신용 지능 (CCI)' 프레임워크를 제안하고, 이를 통해 기존 모델 대비 우수한 판별력, 보정 정확도, 안정성 및 공정성을 입증합니다.

핵심

🏦 핵심 비유: "현명한 은행 심사관"

은행에서 대출을 심사할 때, 우리는 두 가지 큰 고민을 합니다.

1. "이 사람이 돈을 못 갚을 확률이 정확히 얼마일까?" (정확도)
2. "갑자기 상황이 변하면 (예: 경제 위기) 이 점수가 믿을 만한가?" (안정성)
3. "특정 지역이나 성별을 차별하지는 않았는가?" (공정성)

기존의 AI 모델들은 1 번 (정확도) 은 잘하지만, 2 번과 3 번에서 종종 실수를 합니다. 마치 **"시험 점수는 100 점인데, 시험지가 바뀌면 0 점만 하는 학생"**이나 **"특정 반 아이들만 잘 보이게 점수를 주는 선생님"**처럼 말이죠.

이 논문은 **CCI(보정된 신용 지능)**라는 새로운 시스템을 만들어 이 모든 문제를 한 번에 해결했습니다.

---

🛠️ CCI 시스템의 3 가지 비밀 무기

이 시스템은 세 명의 전문가가 팀을 이루어 작동합니다.

1. 불확실성을 아는 '신중한 AI' (베이지안 신경망)

• 비유: 이 AI 는 "내가 100% 확신한다"라고 말하지 않습니다. 대신 **"이 사람은 80% 확률로 갚을 것 같지만, 내가 모르는 변수가 있어서 20% 는 헷갈려"**라고 말합니다.
• 역할: 경제 상황이 급변하거나 데이터가 낯설 때, "나는 지금 너무 확신할 수 없어"라고 경고합니다. 이렇게 하면 위험한 결정을 내리기 전에 "수동 검토"를 요청할 수 있어 실수를 막습니다.

2. 공정성을 지키는 '엄격한 심사관' (공정성 제약 그라디언트 부스팅)

• 비유: 이 AI 는 "누가 더 잘 갚을지"를 예측하는 데만 집중하지 않습니다. "남자/여자, 혹은 A 지역/B 지역 사람 사이에 불공정한 차이가 생기지 않도록" 스스로를 통제합니다.
• 역할: 특정 그룹을 불이익 주지 않도록 점수를 조정하면서도, 여전히 대출 위험을 잘 찾아냅니다.

3. 상황을 보고 합치는 '지혜로운 중재자' (퓨전 및 보정)

• 비유: 위 두 AI 의 의견을 합칠 때, **"지금 경제가 안정적일까, 아니면 혼란스러울까?"**를 먼저 봅니다.
  • 경제가 안정적이면 '공정성 심사관'의 의견을 더 듣습니다.
  • 경제가 불안정하면 '신중한 AI'의 경고를 더 중요하게 여깁니다.
• 마지막 보정: 최종 점수를 내기 전에, "이 점수가 실제 현실과 얼마나 일치하는지" 다시 한번 맞춰줍니다 (예: "점수 70 점짜리 100 명 중 실제로 70 명이 갚았다"는 식).

---

📊 실제 성과: "더 똑똑하고, 더 공정하며, 더 튼튼한"

이 시스템을 '홈크레딧 (Home Credit)'이라는 실제 대출 데이터로 시험해 보니 놀라운 결과가 나왔습니다.

• 정확도: 기존 최고의 모델들보다 대출 불이행 (부도) 을 더 잘 찾아냈습니다.
• 안정성: 시간이 지나고 경제 상황이 변해도 (데이터가 변해도) 성능이 떨어지는 폭이 가장 작았습니다. 마치 **"날씨가 변해도 흔들리지 않는 튼튼한 다리"**처럼요.
• 공정성: 특정 그룹을 차별하는 정도가 기존 모델보다 훨씬 줄었습니다.
• 신뢰도: "이 사람이 70% 확률로 갚는다"고 했을 때, 실제로 70% 가 갚는 등 점수의 신뢰도가 매우 높았습니다.

---

💡 한 줄 요약

"이 논문은 AI 가 대출 심사를 할 때, '무조건 확신하지 않고', '공정하게 대우하며', '상황이 변해도 흔들리지 않는' 새로운 시스템을 만들어냈습니다."

이처럼 CCI 는 은행이 더 안전하고, 공정하며, 신뢰할 수 있는 대출 결정을 내릴 수 있도록 도와주는 현명한 디지털 심사관입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

신용 리스크 스코어링은 대출 결정의 핵심 프로세스이며, 잘못된 예측은 직접적인 금융 손실, 규제 문제, 그리고 불공정한 결과를 초래할 수 있습니다. 기존 머신러닝 모델은 부도 예측 정확도는 높일 수 있으나, 다음과 같은 실전 배포 환경에서의 한계를 가지고 있습니다.

• 분포 변화 (Distribution Shift): 경제 상황, 정책 변화, 포트폴리오 이동 등으로 인해 시간에 따라 데이터 분포가 변할 때, 모델의 확률 추정치가 신뢰할 수 없게 되거나 과신 (overconfidence) 되는 문제가 발생합니다.
• 불확실성 부재: 대부분의 모델은 예측에 대한 불확실성을 제공하지 않아, 위험한 상황에서 안전장치 (예: 수동 검토) 를 적용하기 어렵습니다.
• 공정성 (Fairness) 결여: 명시적인 제약이 없으면 훈련 데이터에서 소외된 그룹에 대해 불공정한 결과를 초래할 수 있습니다.
• 보정 (Calibration) 부족: 높은 순위 판별력 (Ranking) 을 가지더라도 실제 부도 확률과 일치하지 않는 점수를 출력하여 운영 임계값 설정을 어렵게 만듭니다.

2. 제안 방법론: Calibrated Credit Intelligence (CCI)

이 논문은 분포 변화 하에서 정확성, 신뢰성, 공정성을 동시에 달성하기 위한 CCI (Calibrated Credit Intelligence) 프레임워크를 제안합니다. 이 프레임워크는 다음과 같은 4 단계 파이프라인으로 구성됩니다.

A. 데이터 전처리 및 시간 일관성 분할

• Home Credit 데이터셋 활용: 대출 신청 건별 기본 정보와 여러 소스 (과거 신청, 신용국, 개인 정보 등) 의 특징 테이블을 통합합니다.
• 시간 기반 분할 (Time-consistent Split): 무작위 분할 대신 시간 순서 (Week_NUM) 에 따라 훈련 (과거), 검증 (중간), 테스트 (미래) 데이터를 분리하여 실제 배포 환경의 분포 변화를 시뮬레이션합니다.
• 결측치 처리: 결측 여부 자체를 특징으로 포함시키고, 훈련 데이터 기반의 중앙값 (Median) 임putation 및 빈도 인코딩을 적용합니다.

B. 하이브리드 모델 아키텍처

CCI 는 두 가지 모델의 장점을 결합합니다.

1. 베이지안 신경망 (BNN) 스코어러:
   • 가중치 분포를 학습하여 인지적 불확실성 (Epistemic Uncertainty) 을 추정합니다.
   • 변분 추론 (Variational Inference) 을 통해 ELBO (Evidence Lower Bound) 를 최소화하며, 여러 샘플링된 가중치를 통해 예측 평균과 분산 (불확실성 지표) 을 계산합니다.
   • 고불확실성 사례를 식별하여 수동 검토로 이어지는 등 위험 감수 정책 (Risk-sensitive decisioning) 에 활용됩니다.
2. 공정성 제약이 적용된 경사 부스팅 (Fairness-Constrained GBDT):
   • 구조화된 표형 데이터 (Tabular data) 에서 뛰어난 성능을 내는 Gradient Boosting Decision Tree 를 사용합니다.
   • 목적 함수에 공정성 페널티를 추가하여 특정 민감 그룹 간의 불이익 (Demographic Parity, Equal Opportunity gap) 이 허용 범위 ($\Delta_{max}$) 를 초과하지 않도록 제약을 가합니다.

C. 분포 변화 인식 융합 및 보정 (Shift-Aware Fusion & Calibration)

• 융합 전략: BNN 의 불확실성 신호와 GBDT 의 예측력을 결합합니다. 검증 기간의 분포 변화 (Drift) 정도에 따라 각 모델의 가중치 ($\beta$) 를 동적으로 조정하여, 변화가 심할 때 불확실한 모델의 의존도를 줄입니다.
• 사후 보정 (Post-hoc Calibration): 융합된 점수에 온도 스케일링 (Temperature Scaling) 을 적용하여 검증 데이터의 부정확 로그 가능도 (NLL) 를 최소화합니다. 이를 통해 출력 확률이 실제 부도 빈도와 일치하도록 보정합니다.

D. 공정성 감사 및 설명 가능성

• 검증 및 테스트 기간 동안 인구통계학적 평행성 (Demographic Parity) 과 동등한 기회 (Equal Opportunity) 격차를 계산하여 공정성을 감사합니다.
• 트리 기반 모델의 SHAP 값을 활용하여 개별 예측의 이유를 설명 가능한 형태로 제공합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 판별력, 보정, 공정성, 시간적 안정성을 동시에 목표로 하는 CCI 프레임워크를 최초로 통합 제안했습니다.
2. 불확실성 인식 리스크 추정: 베이지안 신경망을 통해 모델이 '모르는' 경우를 식별할 수 있는 불확실성 신호를 제공하여 안전한 의사결정을 지원합니다.
3. 제약 조건 하의 공정성: GBDT 에 공정성 제약을 명시적으로 도입하여 그룹 간 격차를 줄이면서도 예측 성능을 유지하는 방법을 제시했습니다.
4. 실제 배포 지향 평가: 정적 분할이 아닌 시간 일관성 분할과 분포 변화 하에서의 안정성 평가를 통해 실제 금융 환경에서의 모델 신뢰성을 검증했습니다.

4. 실험 결과 (Results)

Home Credit Credit Risk Model Stability 벤치마크를 사용하여 LightGBM, XGBoost, CatBoost, TabNet, 단일 BNN 등 강력한 베이스라인과 비교했습니다.

• 성능 지표:
  • AUC-ROC: 0.912 (최고)
  • AUC-PR: 0.438 (최고)
  • Recall@1%FPR: 0.509 (운영적 성능 향상)
  • 보정 오차: Brier Score 0.087, ECE 0.015 로 모든 모델 중 가장 낮음 (확률 신뢰도 우수).
• 분포 변화 하의 안정성:
  • 초기 기간에서 후기 기간으로 갈 때 AUC-PR 감소폭이 0.017로 가장 작았습니다 (LightGBM 은 0.034 감소). 이는 분포 변화에 대한 강건성을 입증합니다.
• 공정성:
  • 인구통계학적 평행성 격차 ($\Delta DP$): 0.046
  • 동등한 기회 격차 ($\Delta EO$): 0.037
  • 제약을 가하지 않은 부스팅 모델에 비해 그룹 간 불공정성이 크게 감소했습니다.

5. 의의 및 결론 (Significance)

이 연구는 신용 리스크 관리 분야에서 정확성 (Accuracy), 신뢰성 (Reliability/Calibration), 공정성 (Fairness), 그리고 시간적 안정성 (Stability) 이라는 상충될 수 있는 목표들을 하나의 파이프라인으로 통합하여 해결한 사례입니다.

• 실무적 가치: 금융 기관이 모델이 언제 틀릴지 (불확실성) 알 수 있게 하고, 시간이 지나도 성능이 급격히 떨어지지 않으며 (분포 변화 강건성), 규제 요구사항을 충족하는 공정성을 동시에 확보할 수 있는 실용적인 솔루션을 제공합니다.
• 미래 방향: 온라인 재보정 (Online Recalibration) 및 인간 - AI 협업 의사결정 (High-uncertainty cases 를 수동 검토로 라우팅) 으로 확장할 수 있는 기반을 마련했습니다.

결론적으로, CCI 는 단순한 예측 모델이 아닌, 변화하는 경제 환경과 윤리적 요구사항을 모두 고려한 차세대 신용 리스크 스코어링 표준으로의 가능성을 제시합니다.