기술 요약: 신용 평가를 위한 비용 민감형 준지도 학습 기반의 하드 및 소프트 라벨 할당

1. 문제 정의

신용 리스크 스코어카드는 전통적으로 승인된 신청자들의 데이터만을 사용하여 학습됩니다. 이는 승인된 신청자들에게는 높은 성능을 보이지만, 더 넓은 범위의 신청자 풀에 대해서는 성능이 저하되는 **표본 선택 편향(sample selection bias)**을 야기합니다. 또한, 표준적인 분류 접근 방식은 신용 평가에서의 **비대칭적 비용(asymmetric costs)**을 간과하는 경우가 많습니다. 즉, 미스분류(misclassification) 시 발생하는 비용, 예를 들어 부도자를 승인했을 때의 비용(False Negative)은 우량 고객을 거절했을 때의 비용(False Positive)보다 훨씬 높습니다.

기존의 거절 추론(reject inference) 방법론들은 이러한 문제들을 동시에 해결하지 못하는 경우가 많습니다. 많은 방법론이 균형 잡힌 클래스 분포를 가정하거나, 미스분류 오류의 비용이 동일하다고 간주하여 최적의 경제적 결과를 도출하지 못합니다. 또한, 준지도 학습(semi-supervised learning)이 거절된 신청자를 라벨이 누락된 인스턴스로 취급함에도 불구하고, 특정 거절 메커니ism(예: MAR) 하에서 일관성(consistency)에 대한 공식적인 이론적 보증을 제공하는 프레임워크는 드뭅니다.

2. 방법론: RI-CSCEM

본 논문은 준지도 로지스틱 회귀와 비용 민감형 학습을 통합한 단일 프레임워크인 RI-CSCEM(Reject Inference - Cost-Sensitive Classification Expectation-Maximisation)을 제안합니다. 이 방법은 라벨이 있는(승인된) 신청자 집합 $D_l$과 라벨이 없는(거절된) 신청자 집합 $D_u$로 구성된 데이터셋 $D = D_l \cup D_u$에서 작동합니다.

2.1 핵심 알고리즘

알고리즘은 두 단계가 교대로 진행되는 분류 EM(Classification EM, CEM) 절차를 따릅니다.

• E-단계 (라벨 할당):
  거절된 신청자에게 단일한 하드 라벨(hard label)을 할당하는 대신, 이 방법은 소프트 책임(soft responsibility) 메커니즘을 사용합니다. 각 미라벨링된 신청자 $j$에 대해, 다음과 같은 비용 가중 차이 기준이 계산됩니다:
  $$\text{Diff}(j) = C_{FN} \log(1 + e^{-z_j}) - C_{FP} \log(1 + e^{z_j})$$
  여기서 $z_j = \beta^\top x_j$이며, $C_{FN}$과 $C_{FP}$는 각각 미스분류(False Negative)와 오분류(False Positive)에 대한 비용입니다.

이 기준은 온도 파라미터 $\tau$에 의해 보정된 시그모이드 함수를 사용하여 소프트 부도 확률 $q_j \in (0, 1)$로 매핑됩니다. 결정적으로, 이 할당은 **균형 제약 조건(balance constraint)**에 의해 제한됩니다. 즉, 거절된 집합 내의 기대 부도 비율은 승인된 집합($D_l$)에서 관찰된 경험적 부도율 $r$과 동일해야 합니다. 이는 모든 거절자가 단일 클래스로 할당되는 퇴보적 해(degenerate solutions)를 방지합니다.

하드 라벨 변형(hard-label variant) 또한 특수한 경우로 정의됩니다. 이 경우, 비용 가중 손실(cost-weighted loss)이 가장 낮은 $\lfloor r \cdot m \rfloor$명의 거절자에게는 1(부도)이라는 하드 라벨을 부여하고, 나머지는 0을 부여합니다.

• M-단계 (파라미터 추정):
  모델은 확장된 데이터셋에 대해 비용 민감형 $\ell_1$-페널티 로지스틱 회귀를 재적합(refit)합니다. 목적 함수 $L(\beta, q)$는 다음을 결합합니다:
  1. 라벨 데이터($D_l$)에 대한 가중 로지스틱 손실(weighted logistic loss).
  2. 미라벨링 데이터($D_u$)에 대한 가중 소프트 할당 손실, 이는 하이퍼파라미터 $\lambda \in [0, 1]$에 의해 스케일링됩니다.
  3. 특징 선택(feature selection)과 희소성(sparsity)을 위한 $\ell_1$ 페널티 ($\mu \|\beta\|_1$).

미라벨링 데이터의 기여도는 $\lambda$에 의해 스케일링되어, 순수 지도 학습($\lambda=0$)과 완전 준지도 학습($\lambda=1$) 사이의 보간을 가능하게 합니다.

2.2 이론적 보증

본 논문은 두 가지 주요 이론적 결과를 제공합니다.

1. 단조 감소(Monotone Descent): 하드 라벨 변형의 경우, 교대로 진행되는 E-단계와 M-단계는 목적 함수가 단조 비증가함을 보장하여 수렴을 보장합니다.
2. MAR 하에서의 일관성: 거절 결정이 관측된 공변량에는 의존하지만 관측되지 않은 부도 결과에는 의존하지 않는다는 무작위 결측(Missing at Random, MAR) 가정 하에서, RI-CSCEM 추정량은 일관성을 갖습니다. 저자들은 MAR 하에서 승인 데이터만을 사용한 추정량이 이미 편향되지 않았음을 증명하며, 따라서 거절 추론 절차가 추정치를 점진적으로 개선하는 것이 아니라, 거절 추론이 가치를 더하는 시점(특히 MAR이 성립하지 않을 때)을 측정하는 진단 도구로서 기능함을 입증합니다.

3. 주요 기여

1. 통합 프레임워크: RI-CSCEM은 준지도 학습과 비용 민감형 학습을 단일 페널티 가능도(penalised likelihood) 프레임워크 내에서 통합하여, 표본 선택 편향과 클래스 불균형 문제를 동시에 해결합니다.
2. 소프트 vs 하드 할당: 본 논문은 거절된 신청자를 비용 가중 기준에 따라 클래스 간에 분산시키는 소프트 책임 할당 방식을 도입합니다. 실험 결과, 이 방식이 하드 의사 라벨링(pseudo-labelling)이 파괴하는 변별력을 보존함을 보여줍니다.
3. 이론적 엄밀성: 본 연구는 하드 변형에 대한 단조 감소성과 MAR 하에서의 일관성을 확립하여, 거절 추론의 필요성을 평가할 수 있는 통제된 환경을 제공합니다.
4. 엄격한 벤치마킹: 본 연구는 전통적인 거절 추론, 리샘플링 전략, 준지도 학습 베이스라인을 포함한 12개의 경쟁 모델과 비교하기 위해 30회의 층화 추출(stratified draws)을 포함한 견고한 실험 설계를 채택했습니다 (Friedman 및 Nemenyi 테스트 활용).

4. 실험 결과

방법론은 Lending Club 데이터(약 127만 명의 승인 신청자와 206만 명의 거절 신청자)를 통해 평가되었습니다.

• 성능: 30회의 층화 추출 결과, RI-CSCEM은 평균 총 미스분류 비용 1120.3을 달 기록했습니다.
• 비교: 이 성능은 가장 우수한 승인 데이터 기반 베이스라인들인 비용 민감형 로지스틱 회귀(1070.4) 및 SMOTE-balanced 로지스틱 회귀(1104.7)와 통계적으로 구별할 수 없는 수준이었습니다.
• 절제 연구(Ablation Study):
  • 비용 민감형 가중치: 기본 CEM 모델에서 비용 민감형 가중치 적용 모델(CEM+CS)으로 전환했을 때, 비용이 유의미하게 감소(1401.5에서 1215.6으로)하였으며, 모델이 "모두 비부도"라는 자명한 해로 빠지는 것을 방지했습니다.
  • 소프트 책임: 하드 라벨을 소프트 책임으로 대체했을 때(전체 RI-CSCEM), 비용이 더욱 감소(1120.3)하였고 변별력이 회복되어 AUC가 0.589에서 0.614로 상승했습니다.
  • 하드 vs 소프트: 하드 라벨 변형(RI-CSCEM-hard)은 CEM+CS와 유사한 성능(1214.3 vs 1215.6)을 보였으며, 이는 소프트 할당이 AUC 향상의 주요 동인임을 확인시켜 줍니다.
• 통계적 유의성: Friedman 테스트 결과, 모든 모델 간의 성능이 동일하다는 귀무가설이 기각되었습니다 ($p < 10^{-3}$). Nemenyi 사후 검정은 RI-CSCEM이 상위권의 승인 데이터 기반 베이스라인들과 동일한 통계적 유의 그룹에 속함을 확인했습니다.

5. 의의 및 주장

본 논문은 RI-CSCEM이 신용 평가 문헌에 대한 **진단적 기준선(diagnostic baseline)**을 제공한다고 주장합니다. 주요 의의는 MAR(Missing at Random) 거절 메커니즘 하에서, 거절 추론이 잘 튜닝된 비용 민감형 승인 데이터 전용 모델에 비해 큰 가치를 더하지 않는다는 점을 입증한 데 있습니다. 저자들은 MAR 하에서 승인 데이터 전용 추정량이 이미 편향되지 않았음을 주장하며, 제안된 프레임워크가 거절 메커니즘이 무시 가능한(ignorable) 경우 미라벨링 데이터를 처리하는 견고하고 이론적으로 근거 있는 메커니즘을 제공함을 확인해 줍니다.

저자들은 실제 거절 추론의 진정한 이점은 거절이 관측되지 않은 요인에 의존하는 MNAR(Missing Not at Random) 시나리오에서 나타날 것이라고 결론짓습니다. 현재의 연구는 MAR 하에서의 일관성을 입증하고, 거절 추론이 적용될 때 성능을 개선하는 구체적인 요소(비용 민감도 및 소프트 할당)를 분리함으로써, 향후 MNAR로의 확장을 위한 엄격한 토대를 마련하였습니다. 저자들은 RI-CSCEM이 모든 영역에서 베이스라인을 보편적으로 능가한다고 주장하는 것이 아니라, 거절 메커니즘이 무시 가능한 MAR 상황에서 가장 강력한 베이스라인들과 대등한 성능을 보이면서도, 미라벨링 데이터를 다루기 위한 이론적으로 탄탄한 메커니즘을 제공한다는 점을 강조하고 있습니다.