Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

사람이 신용카드를 신청하거나 소액 대출을 받을 때마다, 배경에서는 숨겨진 계산이 이루어집니다. 은행과 대출 기관은 그 사람을 믿고 돈을 빌려줄지 결정해야 하며, 이 결정은 그 사람이 돈을 갚지 못할 가능성을 예측하는 데 달려 있습니다. 이것은 단순한 추측이 아닙니다. 누가 경제에 접근할 수 있는지, 그리고 어떤 비용을 치르게 될지를 결정하는 중대한 금융적 판단입니다. 이러한 결정을 내리기 위해 기관들은 한 개인의 이력—소득, 과거의 청구서 납부 내역, 그리고 과거의 부채 관리 방식—을 스캔하는 컴퓨터 모델에 의존합니다. 이 모델들은 정확해야 하지만, 동시에 공정하고 투명해야 합니다. 미국의 법률은 대출이 거절될 경우, 대출 기관이 정확히 왜 그러한 결정을 내렸는지 설명해야 한다고 규정하고 있습니다. 즉, 컴퓨터는 단순히 "안 된다"라고 말해서는 안 되며, 연체나 높은 잔액과 같이 결정에 영향을 미친 구체적인 이유를 지목해야 합니다. 만약 모델이 아무도 이해할 수 없는 '블랙박스'라면, 이는 차입자에게 법적 리스크와 불공정한 결과를 초래할 수 있습니다.

수년 동안 연구자들은 이러한 채무 불이행을 예측하기 위해 더 나은 모델을 구축하려고 노력해 왔으며, 종종 복잡한 인공지능을 사용해 왔습니다. 그러나 새로운 연구는 이러한 기존의 시도 중 상당수가 불안정한 기반 위에 세워졌음을 시사합니다. 연구진은 이러한 모델을 테스트하는 일반적인 관행들이 종종 방법론적 오류를 유발하여, 컴퓨터가 실제보다 더 똑똑해 보이게 만든다는 사실을 발견했습니다. 또한, 데이터 문제를 해결하기 위해 사용되는 일부 인기 있는 기술들이 사실은 불필요하다는 것도 발견했습니다. 연구팀은 이 시스템들을 테스트하는 더 엄격하고 정직한 방식을 설정함으로써, 어떤 모델이 진정으로 잘 작동하는지, 그리고 혼란 없이 어떻게 그 결정을 설명할 수 있는지를 식-별해 냈습니다. 이들의 연구는 금융 기관이 신용을 결정하는 도구를 평가할 때 따라야 할 새롭고 신뢰할 수 있는 표준을 제공합니다.

이 연구는 대만의 한 신용카드 회사로부터 얻은 3만 명의 고객을 포함한 방대한 실제 데이터를 중심으로 진행되었습니다. 이 고객 중 약 22%가 결국 청구 금액을 지불하지 못했으며, 이는 '채무 불이행' 사례가 '정상' 사례보다 적은 상황을 만들었습니다. 이러한 불균형은 금융 분야에서 흔히 발생하며, 이로 인해 많은 연구자가 '합성 오버샘플링(synthetic oversampling)'이라는 기술을 사용해 왔습니다. 이 방법은 숫자의 균형을 맞추기 위해 가짜 데이터 포인트를 생성하여 컴퓨터가 더 잘 학습하도록 돕는 것을 목표로 합니다. 그러나 본 연구의 연구진은 이 추가 단계가 실제로 필요한지를 테스트했습니다. 그들은 데이터를 엄격하게 분리하여, 컴퓨터가 학습하는 동안 테스트 정답을 절대 볼 수 없도록 하는 엄격한 테스트 프로토콜을 구축했습니다. 또한 결과가 단지 운이 좋아서 나타난 현상이 아니라 안정적임을 확인하기 위해, 서로 다른 무작위 시작점을 사용하여 테스트를 10번 반복 실시했습니다.

연구진이 여섯 가지 유형의 컴퓨터 모델을 비교했을 때, 결과는 명확했습니다. 가장 강력한 도구는 '그래디언트 부스팅 앙상블(gradient boosting ensembles)'이라 알려진 모델군이었습니다. 이들은 하나의 매우 정확한 예측을 만들기 위해 많은 단순한 결정 트리들을 결합하는 시스템입니다. 이 모델들의 세 가지 특정 버전인 XGBoost, LightGBM, CatBoost는 거의 동일한 성능을 보였으며, 로지스틱 회귀와 같은 오래되고 단순한 방법이나 최신 딥러닝 방식보다 월등히 뛰어난 상위 계층을 형성했습니다. 상위 모델들은 채무 불이행 위험을 약 79%의 확률로 정확하게 분류했는데, 이 수치는 다른 모델들과 통계적으로 구별할 수 없을 만큼 비슷했지만 기존의 대안들보다는 분명히 높았습니다. 연구는 이 상위 세 모델 간의 차이가 매우 작아서 어느 하나를 절대적인 승자로 선언할 수 없으며, 이들은 모두 이 유형의 문제에 있어 훌륭한 선택지라는 점을 밝혀냈습니다.

아마도 가장 놀라운 발견은 합성 데이터와 관련된 것이었을 것입니다. 연구진은 가짜로 만든 균형 잡힌 데이터 포인트를 추가하는 것이 모델을 개선하는지 테스트했습니다. 그 결과, 그것이 도움이 되지 않는다는 것을 발견했습니다. 연구진이 별도의 검증 세트를 기반으로 '결정 임계값(decision threshold)'—컴퓨터가 '예' 또는 '아니오'를 결정하는 특정 지점—을 조정하자, 합성 데이터의 필요성이 사라졌습니다. 실제로 이와 같이 중간 정도의 불균형을 가진 금융 데이터의 경우, 결정 지점을 미세하게 조정하는 것만으로도 불균형을 처리하기에 충분했습니다. 가짜 데이터 포인트를 만드는 것은 불필요할 뿐만 아니라, 모델을 혼란스럽게 만드는 노이즈를 도입할 잠재적 위험이 있었습니다. 이는 금융 기관이 복잡한 합성 데이터 생성 단계를 건너뛰고, 대신 결정 규칙을 신중하게 보정하는 데 집중할 수 있음을 시사합니다.

단순히 누가 채무 불이행을 할지 예측하는 것을 넘어, 이 연구는 모델이 법적 준수를 위해 자신의 결정을 얼마나 잘 설명할 수 있는지도 살펴보았습니다. 연구진은 설명을 생성하기 위해 게임 이론에 기반한 방법과 국소 근사(local approximations)에 기반한 두 가지 방법을 사용했습니다. 연구진은 이 두 방법이 가장 중요한 요인들에 대해서는 대체로 일치하지만, 모든 개별 사례에 대해 일치하는 것은 아니라는 점을 발견했습니다. 약 62%의 사례에서는 설명이 상당히 일치했지만, 일부 개인의 경우 두 방법이 거절의 이유를 서로 다르게 지목했습니다. 이러한 불일치는 중대한 리스크입니다. 만약 은행이 고객에게 거절 이유를 설명하기 위해 단 하나의 방법만을 사용하고 그 방법이 불안정하다면, 은행은 법적 도전에 직면할 수 있습니다. 연구는 기관들이 서로 다른 설명 도구 간의 일치 여부를 확인해야 하며, 컴퓨터의 논리가 불분명한 경우에는 인간 전문가가 사례를 검토해야 한다고 결론지었습니다.

연구진은 또한 독일의 더 작고 오래된 데이터셋을 통해 자신들의 발견이 데이터가 적은 상황에서도 유효한지 테스트했습니다. 그들은 데이터가 적을수록 복잡한 모델이 단순한 모델보다 우위에 있다는 점을 통계적으로 증러내기가 더 어려워진다는 것을 발견했으며, 이는 이러한 고급 도구들의 위력이 학습할 데이터가 충분히 확보되었을 때 발휘된다는 점을 시사합니다. 마지막으로, 연구팀은 성별이나 교육 수준 등 다양한 집단 간의 공정성을 점검했습니다. 그들은 모델이 이 그룹들을 다루는 방식에서 미미한 차이만을 발견했으나, 매우 작은 규모의 집단의 경우 데이터가 너무 희소하여 확정적인 결론을 내리기 어렵다고 언급했습니다. 이 연구는 모델이 전반적으로 잘 작동하지만, 특정 역사적 데이터에 기반하여 훈련되었으므로 재평가 없이 다른 인구 집단이나 경제 위기에 맹목적으로 적용해서는 안 된다는 점을 강조합니다.

이 연구는 신용 점수 모델을 테스트하는 더 깨끗하고 새로운 방식을 확립합니다. 이는 가장 효과적인 도구들이 이미 존재하며, 이를 위해 인위적인 데이터 기술이 필요하지 않다는 것을 입증합니다. 더 중요한 것은, 정확도만으로는 충분하지 않으며 결정 뒤에 숨겨진 설명이 일관되고 신뢰할 수 있어야 한다는 점입니다. 연구에서 제시된 엄격하고 데이터 누출(leakage)이 없는 프로토콜을 따름으로써, 금융 기관은 더 정확할 뿐만 아니라 더 신뢰할 수 있고 법적으로 견고한 시스템을 구축할 수 있습니다. 이 연구에 사용된 코드와 데이터는 이제 누구나 사용할 수 있도록 공개되어, 이 새로운 표준이 더 넓은 커뮤니티에서 채택되고 검증될 수 있도록 하고 있습니다.