📊 statistics

Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

본 연구는 신용 부도 예측 작업에서 XGBoost의 내장된 `scale_pos_weight` 파라미터가 전통적인 SMOTE 리샘플링 기법보다 재현율(recall) 측면에서 유의미하게 우수한 성능을 보임을 입증하며, 이는 클래스 불균형을 처리하기 위한 최적의 전략이 보편적인 리샘플링 방법이 아닌 사용되는 특정 분류기에 따라 달라짐을 강조한다.

원저자: Atharv Tiwari

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Atharv Tiwari

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 100명의 사람들 속에 숨어 있는 단 한 명의 도둑을 찾으려는 형사라고 상상해 보세요. 92명은 결백하고, 오직 8명만이 유죄입니다. 만약 당신이 그냥 "모두가 결백하다"라고 추측한다면, 당신은 92%의 확률로 맞게 될 것입니다! 하지만 도둑은 단 한 명도 잡지 못하겠죠. 컴퓨터 과학의 세계에서는 이를 "클래스 불균형(class imbalance)" 문제라고 부릅니다. 이는 컴퓨터 모델이 학습하는 데이터에서 한 가지 결과(예: 대출금이 상환됨)가 다른 결과(예: 대출금이 연체됨)보다 훨씬 더 자주 발생하는 경우에 발생합니다. 컴퓨터는 수많은 "좋은" 사례를 보기 때문에, 모든 사람에게 "좋음"이라고 예측하며 게을러지고, 결국 희귀한 "나쁜" 사례들을 찾아내는 데 실패하게 됩니다.

오랫동안 이 문제를 해결하기 위한 표준 기법은 SMOTE라고 불리는 기술이었습니다. SMOTE를 희귀한 사례를 위한 '복사기'라고 생각해보세요. 만약 당신에게 도둑의 사진이 8장뿐이라면, SMOTE는 실제 도둑들의 세부 사항을 서로 섞고 조합하여 새로운 가상의 도둑 사진을 만들어냄으로써, 컴퓨터가 패턴을 학습할 수 있도록 충분한 연습 기회를 제공하고자 합니다. 하지만 다른 방법도 있습니다. XGBoost와 같은 특정 강력한 모델들은 내부에 실수에 대한 "볼륨 조절 노브(volume knob)"를 가지고 있습니다. 가짜 데이터를 만드는 대신, 당신은 컴퓨터에게 이렇게 말할 수 있습니다. "이봐, 만약 네가 도둑을 놓친다면 그건 엄청난 실수야! 만약 무고한 사람을 놓친다면 그건 작은 실수고 말이야." 이는 모델이 원본 데이터에 전혀 손을 대지 않고도 희귀한 사례에 각별히 주의를 기울이도록 강제합니다.

여기서 큰 질문이 생깁니다. 가짜 연습 데이터를 만드는 것이 좋을까요(SMOTE), 아니면 실수의 볼륨을 높이는 것이 좋을까요(내장된 노브)? 인도 펀자브 공과대학교의 아타르브 티와리(Atharv Tiwari)가 진행한 새로운 연구는 이 두 가지 접근 방식이 실제 신용 점수 산정의 세계에서 실제로 누가 더 많은 도둑을 잡는지 확인하기 위해 정면 승부를 벌였습니다.

위대한 신용카드 대결

이 연구에서 연구자는 30만 건 이상의 실제 대출 신청 데이터셋을 사용하여 거대한 실험을 설계했습니다. 이 군중 속에서 92%의 사람들은 대출금을 상환했고, 오직 8%만이 연체했습니다. 이는 모델이 92%의 평범한 사례에 한눈팔지 않고 8%를 찾아낼 수 있는지 테스트하기 위한 완벽한 설정이었습니다.

연구자는 단 하나의 모델만 선택하지 않았습니다. 그들은 세 가지 서로 다른 "형사"를 테스트했습니다:

로지스틱 회귀(Logistic Regression): 엄격한 규칙을 따르는 구식의 믿음직한 형사.
랜덤 포레스트(Random Forest): 각자 다른 방식으로 단서를 보고 답을 결정하는 형사 팀.
XGBoost: 실수로부터 하나씩 배우며 매 라운드마다 점점 더 날카로워지는 초스마트 형사.

각 형사에게는 세 가지 다른 훈련 전략이 주어졌습니다:

"아무것도 하지 않기" 전략: 그냥 가공되지 않은 데이터를 던져주고 어떻게 되는지 지켜보는 것입니다.
"볼륨 조절 노브" 전략: 모델의 내장 설정을 사용하여 연체자를 놓치는 것에 대해 무거운 벌칙을 부여합니다 (가짜 데이터 사용 안 함).
"복사기" 전략: SMOTE를 사용하여 균형 잡힌 훈련 데이터를 만들기 위해 가짜 연체자를 생성합니다.

충격적인 결과

결과는 마치 미스터리 영화의 반전 같았습니다. "아무것도 하지 않기" 전략은 모든 모델에서 처참하게 실패하여, 연체자를 거의 잡지 못했습니다(재현율 2.2% 미만). 이는 예상된 결과였습니다. 하지만 "볼륨 조절 노브"와 "복사기" 사이의 전투는 매우 흥미로웠습니다.

연구자가 XGBoost를 사용했을 때, 내장된 "볼륨 조절 노브" 전략이 경쟁자들을 압도했습니다. 이 전략은 실제 연체자의 **64.8%**를 잡아냈습니다. 수십 년 동안 표준 해결책이었던 "복사기" 전략(SMOTE)은 오직 **43.3%**만을 잡아냈습니다. 이는 21.5 퍼센트 포인트라는 엄청난 격차입니다. 연구자는 엄격한 통계 검정(McNemar's test)을 실시하여 이것이 우연이 아님을 확인했습니다. 그 차이가 너무 커서 통계적으로 확실했습니다 ( $p < 10^{-6}$ ).

하지만 모델을 랜덤 포레스트로 바꾸자 이야기는 완전히 달라졌습니다. 이 모델의 경우, "볼륨 조절 노브"는 거의 효과가 없었지만(연체자 7.8% 포착), "복사기"(SMOTE)는 훨씬 더 나은 성과를 보이며 **41.2%**를 잡아냈습니다.

이는 불균형한 데이터를 해결하는 데 있어 단 하나의 "마법의 탄환"은 존재하지 않는다는 것을 시사합니다. 어떤 유형의 컴퓨터 모델에는 효과적인 것이 다른 모델에는 실패할 수 있습니다. 이 연구는 강력한 XGBoost 모델의 경우, 단순히 모델이 희귀한 실수에 더 신경 쓰도록 말하는 것이 합성된 가짜 데이터를 먹이는 것보다 훨씬 우월하다는 것을 보여줍니다.

왜 복사기가 실패하고 노브가 승리했는가

그렇다면 왜 가짜 데이터를 만드는 것이 XGBoost 모델에 해가 되었을까요? 연구자는 192개의 서로 다른 특징(소득, 연령, 신용 기록 등)을 가진 복잡한 데이터셋에서, 두 명의 실제 인물을 섞어 가상의 인물을 만드는 것은 현실에 존재하지 않는 "괴물"을 만들어낼 수 있다고 설명합니다. 이는 마치 고양이와 개의 사진을 섞어서 새로운 동물을 만들려는 것과 같습니다. 그 결과물은 이상해 보일 수 있고 컴퓨터를 혼란스럽게 할 수 있습니다. 모델은 실제 패턴이 아닌 노이즈로부터 학습하게 됩니다.

내장된 "볼륨 조절 노브"는 이 함정을 완전히 피합니다. 데이터에 손을 대거나 가짜 사례를 만들지 않습니다. 그저 배후의 수학적 계산을 변경하여 "희귀한 사례를 놓치지 마라!"라고 말할 뿐입니다. 이는 훈련 과정을 깨끗하게 유지하고 XGBoost가 최상의 성능을 낼 수 있도록 했습니다.

"누구" 뒤에 숨겨진 "왜"

이 승리한 모델이 단순히 무작위 추측을 하는 블랙박스가 아님을 확인하기 위해, 연구자는 SHAP(SHapley Additive exPlanations)이라는 도구를 사용했습니다. SHAP를 형사가 결정을 내릴 때 사용한 정확한 단서들을 보여주는 돋보기라고 생각해보세요.

분석 결과, 모델은 논리적으로 작동하고 있었습니다. 가장 중요한 단서는 외부 기관 점수(다른 은행들의 신용 점수)였습니다. 이는 매우 타당합니다. 만약 누군가가 다른 대출 기관들로부터 돈을 잘 갚아온 기록이 있다면, 당신에게도 잘 갚을 가능성이 높기 때문입니다. 모델은 또한 대출 금액 대비 상환 금액의 비율과 대출자의 연령을 살펴보았습니다. 결정적으로, 모델의 추론 과정은 투명하고 방어 가능했습니다. 이는 결정을 설명해야 하는 은행들에게 매우 중요한 요소입니다.

핵심 요약

연구는 불균형을 해결하기 위해 수천 개의 가짜 데이터 포인트를 생성하기 전에, 모델이 이미 가지고 있는 더 단순한 내장 도구들을 먼저 시도해 보라고 결론짓습니다. XGBoost의 경우, 내장된 가중치 설정은 단순히 사용하기 쉬울 뿐만 아니라 훨씬 더 효과적이었습니다. 전통적인 방식보다 연체자를 거의 22% 더 많이 잡아냈기 때문입니다.

하지만 연구자는 이것이 보편적인 규칙은 아니라고 경고합니다. 랜덤 포레스트가 "복사기" 방식에서 더 나은 성과를 보였기 때문에, 하나의 기법이 모든 모델에 작동한다고 가정해서는 안 됩니다. 최선의 접근 방식은 당신이 사용하는 "형사"가 누구냐에 따라 전적으로 달라집니다. 결함자를 잡는 것이 필수적이면서도 결정을 설명하는 것이 의무인 규제된 금융 환경에서, 이 연구는 더 명확하고 효율적인 길을 제시합니다. 먼저 단순한 노브를 시도하되, 항상 그것이 당신의 특정 모델에 맞는지 확인하십시오.

기술 요약: SHAP 기반 설명 가능성 분석을 결합한 신용 부도 예측의 클래스 불균형 기법에 관한 절제 연구(Ablation Study)

문제 정의
Home Credit Default Risk 데이터셋과 같은 신용 부도 예측 데이터셋은 심각한 클래스 불균형(약 92%의 비부도 고객 대 8%의 부도 고객)을 나타낸다. 이러한 시나리오에서는 표준 정확도 지표가 오해의 소지가 있다. 모든 신청자에게 "부도 없음"을 예측하는 모델은 높은 정확도를 달나지만 효용성은 제로이기 때문이다. 2002년 이후 업계의 표준 대응 방식은 SMOTE(Synthetic Minority Over-sampling Technique)였으며, 이는 소수 클래스의 합성 예시를 생성하여 훈련 세트의 균형을 맞춘다. 그러나 그래디언트 부스팅 모델, 특히 XGBoost가 합성 데이터를 도입하거나 잠재적인 데이터 누수(data leakage)를 발생시키지 않고도 손실 함수 조정(scale_pos_weight 파라미터 활용)을 통해 이러한 불균형을 자체적으로 처리할 수 있는지 여부는 여전히 검증되지 않은 상태로 남아 있다. 더욱이, 기존 문헌들은 금융 분야의 규제 준수에 필수적인 모델 설명 가능성과 클래스 불균형 처리를 통합하는 데 종종 실패한다.

방법론
본 연구는 307,511건의 대출 신청 건수와 122개의 원본 특성(피처 엔지니어링 및 전처리를 통해 192개로 확장)을 대상으로 로지스틱 회귀(Logistic Regression), 랜덤 포레스트(Random Forest), XGBoost의 세 가지 분류기에 대한 통제된 절제 연구를 수행한다.

실험 설계: 세 가지 분류기와 세 가지 불균형 전략을 결합한 9가지 구성을 테스트하였다:
1. 베이스라인 (A): 재균형을 적용하지 않음; 기본 하이퍼파라미터 사용.
2. 네이티브 재가중치 (B): 내장된 클래스 가중치 적용 (class_weight='balanced'를 RF/LogReg에 적용; XGBoost에는 scale_weight_pos 적용).
3. SMOTE + 임계값 튜닝 (C): 훈련 세트에 SMOTE를 적용하여 클래스 균등을 달성한 후, F1 점수를 극대화하기 위해 정밀도-재현율 곡선 상에서 임계값을 최적화함.
평가: 성능은 재현율(Recall), 정밀도(Precision), F1-score, ROC-AUC를 사용하여 측정되었다. 통계적 유의성은 쌍별 비교에 대한 McNemar의 정확 검정(McNemar's exact test)을 통해 결정되었다. 안정성은 5-겹 층화 교차 검증(five-fold stratified cross-validation)을 통해 검증되었다.
설명 가능성: 최적의 성능을 보인 구성은 SHAP(SHapley Additive exPlanations)을 사용하여 예측을 개별 특성 기여도로 분해함으로써, 모델의 논리가 규제 투명성 요구 사항과 일치하는지 분석하였다.

주요 결과
연구는 모델 아키텍처와 불균형 처리 간의 상호작용에 관한 뚜렷한 결과들을 도출하였다:

네이티브 가중치를 적용한 XGBoost의 우수성: scale_pos_weight를 활용한 XGBoost(전략 B)는 **64.8%**의 재현율을 달성하여, **43.3%**를 기록한 SMOTE 방식(전략 C)을 크게 앞질렀다. 이 21.5 퍼센티지 포인트의 격차는 통계적으로 유의미했다 ( $p < 10^{-6}$ ).
모델 의존적 효능: 결과는 모든 모델에 동일하게 나타나지 않았다. 네이티브 가중치가 XGBoost와 로지스틱 회귀에서는 탁월한 성능을 보인 반면, 랜덤 포레스트에서는 성능이 저조했다(재현율 7.8%). 반대로, 랜덤 포레스트는 SMOTE와 함께 사용할 때 가장 좋은 성능(재현율 41.2%)을 보였다. 이는 불균형 처리가 "만능 해결책"이 아니며, 분류기 패밀리에 따라 크게 달라짐을 보여준다.
안정성: 5-겹 교차 검증은 XGBoost 네이티브 가중치 방식의 안정성을 확인해주었다(평균 재현율 64.1% ( $\pm 0.7\%$ ), ROC-AUC 0.755 ( $\pm 0.003$ )).
특성 중요도: SHAP 분석 결과, EXT_SOURCE_AVG(집계된 외부 기관 점수)가 리스크 평가의 지배적인 동인임이 밝혀졌다. 모델의 추론은 단조적이고 방어 가능했다: 낮은 기관 점수는 부도 확률을 높였다. 주목할 점은 성별(CODE_GENDER_M)이 모델에 의해 자율적으로 식별된 세 번째로 중요한 특성으로 등장했다는 것이다.

의의 및 주장
본 논문은 신용 리스크 모델링 분야에 대해 세 가지 주요 기여를 주장한다:

SMOTE 기본 설정에 대한 도전: 본 연구는 고차원 신용 데이터에 대해 XGBoost의 경우 네이티브 손실 함수 조정(scale_pos_weight)이 SMOTE보다 우수하다는 경험적 증거를 제공한다. 저자들은 SMOTE가 여러 축에 걸쳐 차이가 나는 소수 사례들 사이를 보간함으로써 고차원 공간에서 노이즈를 유발할 수 있는 반면, 네이티브 가중치는 데이터 변형을 전혀 일으키지 않는다고 주장한다.
불균형 전략의 맥락화: 본 연구는 불균형 처리 기법의 효능이 기저 알고리즘에 따라 달라진다는 점을 강조한다. 특정 모델 패밀리(예: 랜덤 포레스트를 위한 SMOTE)에서 검증된 전략이 다른 모델 패밀리(예: XGBoost)로 반드시 전이되는 것은 아니며, 이는 실무자들이 전략을 보편적으로 가정하기보다 모델별로 검증할 것을 촉구한다.
설명 가능성의 통합: 고성능 불균형 처리와 SHAP 분석을 결적으로 결합함으로써, 본 연구는 불균형 연구가 규제 배포(예: RBI 초안 지침)에 필요한 해석 가능성 계층이 부족한 "Gap 3" 문제를 해결한다. 제안된 스택(XGBoost + scale_pos_weight + SHAP)은 합성 데이터 파이프라인이 필요 없고, 데이터 누수 위험을 줄이며, 투명한 의사결정 논리를 제공하는 배포 가능한 솔루션을 제시한다.

한계점
저자들은 연구 결과가 단일 공개 데이터셋에 기반하고 있어, 특성이 다른 독자적인 은행 데이터로 일반화될 수 있음을 인정한다. 또한, 본 연구는 비즈니스 특유의 오분류 비용, 인구통계학적 그룹 간의 공정성 분석, 또는 포컬 로스(focal loss)와 같은 고급 손실 함수를 포함하지 않았다. SMOTE를 위한 임계값 캘리브레이션이 교차 검증 내에서 중첩(nested)되어 수행되지 않았으므로, 해당 전략에 대해 다소 낙관적인 성능 추정치가 나왔을 가능성이 있다.