A Counterfactual Diagnostic Framework for Explaining KS Deterioration in Credit Risk Model Validation

이 논문은 신용리스크 모델 검증에서 KS 통계량 저하의 원인을 체계적으로 규명하기 위해 표본 변동성, 포트폴리오 구성 변화, 공변량 이동, 그리고 모델 드리프트로 인한 잔차 악화 등을 단계별로 귀속시키는 반사실적 진단 프레임워크를 제안합니다.

핵심

🍽️ 비유: 식당의 '맛'이 떨어졌을 때

은행의 신용평가 모델은 식당의 메뉴판과 같습니다. 이 메뉴판은 "누가 돈을 잘 갚을 사람 (좋은 손님), 누가 갚지 못할 사람 (나쁜 손님)"을 구분해 줍니다.

어느 날, 메뉴판의 **구분 능력 (KS 통계량)**이 갑자기 떨어졌습니다. 은행은 당황해서 "왜 맛이 없어졌지?"라고 물어봅니다. 보통은 "아, 모델이 망가졌나? 다시 만들어야겠다!"라고 바로 결론 내리지만, 이 논문은 **"잠깐! 그전부터 다른 이유일 수도 있지 않나?"**라고 질문하며 4 단계에 걸친 수사 과정을 제안합니다.

---

🔍 4 단계 수사 과정 (진단 프레임워크)

1 단계: "진짜 맛이 나빠진 걸까, 아니면 그냥 운이 나빴을 뿐일까?" (통계적 확인)

• 상황: 오늘 메뉴판의 맛이 어제보다 5% 나 떨어졌습니다.
• 질문: "이게 진짜 문제일까, 아니면 오늘 손님이 적어서 우연히 나빠진 걸까?"
• 해결책: 수백 번의 시뮬레이션 (부트스트랩) 을 돌려봅니다. 만약 "오늘이 나빴지만 내일도 비슷할 수 있다"는 확신이 없다면, **"아직은 안심해도 된다"**고 판단합니다. 하지만 통계적으로 확실하게 나빠졌다면 다음 단계로 넘어갑니다.

2 단계: "손님들이 바뀌었나?" (비즈니스 구성 변화)

• 상황: 메뉴판은 그대로인데, 갑자기 새로운 종류의 손님들이 몰려오거나, 예전에 많던 단골손님들이 사라졌습니다.
  • 예시: 예전에는 '회사원'만 왔는데, 갑자기 '자영업자'가 대거 유입되었습니다. 자영업자는 원래 채무 불이행 위험이 높아서, 메뉴판이 아무리 잘 만들어져도 전체 점수가 낮아질 수밖에 없습니다.
• 해결책: 메뉴판 자체를 탓하기 전에, **"손님 구성이 바뀌었으니 점수가 낮아지는 건 당연한 일"**이라고 설명합니다.
  • 새로 온 손님만 따로 평가하거나, 사라진 손님은 제외하고 다시 계산해 봅니다.
  • 만약 이걸로 설명이 된다면, 모델을 고칠 필요가 없습니다. 그냥 "손님이 변했구나"라고 받아들이면 됩니다.

3 단계: "손님들의 '특징'이 변했나?" (공변량 이동)

• 상황: 손님의 종류 (직업 등) 는 똑같은데, 손님들의 세부적인 특징이 변했습니다.
  • 예시: 같은 '회사원'이라도, 예전에는 월급 500 만 원짜리들이 주류였는데, 지금은 월급 200 만 원짜리들이 대거 유입되었습니다. 모델은 "월급 500 만 원 이상은 안전하다"고 배웠는데, 갑자기 월급 200 만 원짜리들이 많아지면 모델이 혼란을 겪어 점수가 떨어집니다.
• 해결책: "모델이 망가진 게 아니라, 모델이 배운 환경 (데이터) 과 지금 환경이 달라서 그런 거야"라고 분석합니다.
  • 과거 데이터를 지금의 손님 특징에 맞춰 '가중치'를 조정해 봅니다.
  • 조정했을 때 점수가 회복된다면, 모델은 여전히 훌륭합니다. 다만 지금 환경에 맞춰 기준을 살짝만 조정하면 됩니다.

4 단계: "드디어 모델이 망가졌다!" (잔여 모델 열화)

• 상황: 손님이 바뀌지도 않았고, 특징도 비슷했는데도 점수가 여전히 바닥입니다.
• 결론: "이제 정말 메뉴판 (모델) 이 고장 났구나!"
• 해결책: 이제야 비로소 모델을 다시 만들거나 (재개발), 수정해야 합니다. 앞선 3 단계를 모두 거쳤는데도 문제가 남았다면, 그건 모델의 고유한 능력 (분별력) 이 사라졌다는 확실한 증거이기 때문입니다.

---

💡 이 논문의 핵심 가치

이 논문이 제안하는 방식은 "무조건 고쳐라"가 아니라 "왜 고쳐야 하는지, 혹은 왜 고칠 필요가 없는지"를 단계별로 증명하는 것입니다.

1. 혼란 방지: "손님이 바뀌어서 점수가 떨어졌는데, 모델이 망가졌다고 오해해서 불필요하게 모델을 고치는 실수"를 막아줍니다.
2. 규제 준수: 은행 감독청 (SR 11-7) 은 "무슨 일이 있었는지 명확하게 설명하라"고 요구합니다. 이 4 단계 과정은 마치 수사 보고서처럼 명확한 근거를 제시해 줍니다.
3. 투명성: "어디서 문제가 시작되었는지"를 숫자로 딱딱 끊어서 보여줍니다.

📝 한 줄 요약

"신용평가 모델의 점수가 떨어졌을 때, '모델이 고장 났다'고 바로 결론 내리지 말고, 1) 우연인지, 2) 손님이 변했는지, 3) 환경이 변했는지 순서대로 따져본 뒤, 정말로 모델이 고장 났을 때만 고쳐라!"

이처럼 이 프레임워크는 은행이 불필요한 비용을 아끼고, 규제 당국에게 논리 정연한 설명을 할 수 있게 도와주는 현명한 진단 도구입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 신용리스크 모델링에서 콜모고로프 - 스미르노프 (KS) 통계량은 모델의 판별력을 평가하는 핵심 지표로 널리 사용됩니다. 규제 요구사항 (예: SR 11-7) 에 따라 KS 값의 유의한 감소는 모델 재개발이나 조정을 요구하는 거버넌스 검토를 촉발합니다.
• 현황의 한계: 현재 KS 저하의 원인을 규명하는 과정은 주로 개별 검증자의 판단에 의존하는 임시방편 (ad hoc) 방식입니다. 이는 다음과 같은 위험을 내포합니다.
  • 과잉 대응: 실제 모델 성능 저하가 아닌 포트폴리오 구성 변화 (Composition Change) 나 표본 변동성 (Sampling Variability) 으로 인한 노이즈를 모델 실패로 오인하여 불필요한 조치를 취할 수 있습니다.
  • 대응 부재: 실제 모델의 내재적 성능 저하 (Intrinsic Deterioration) 를 다른 요인과 혼동하여 놓칠 수 있습니다.
• 핵심 과제: 관찰된 KS 저하가 '표본 변동', '비즈니스 구성 변화', '공변량 이동 (Covariate Shift)', '모델 고유의 성능 저하' 중 어디에 기인하는지를 체계적이고 표준화된 프레임워크로 구분하여 설명할 수 있는 방법론의 부재.

2. 방법론 (Methodology)

본 논문은 KS 저하의 원인을 단계별로 귀속시키는 4 단계 순차적 진단 프레임워크를 제안합니다. 각 단계는 정량적 게이트웨이 조건 (Gateway Condition) 을 통해 다음 단계로 진행할지 여부를 결정합니다.

Step 1: 관찰된 KS 저하의 통계적 확인 (Statistical Confirmation)

• 목적: 관찰된 KS 감소가 실제 저하인지 단순 표본 변동 (Sampling Variability) 인지 구분.
• 기법: 층화 부트스트랩 (Stratified Bootstrap) 재표본추출을 사용하여 KS 변화율 (%$\Delta$KS) 의 95% 신뢰구간을 생성합니다.
• 판단 기준:
  • 신뢰구간이 0 을 포함하면 통계적 유의성 없음.
  • 신뢰구간이 0 을 포함하지 않으나 규제 임계치 ($\tau$) 를 완전히 하회하지 않으면 '통계적 저하'는 있으나 '중대 위반'은 아님.
  • 신뢰구간 전체가 임계치 아래에 위치할 때만 '중대 위반 (Material Breach)'으로 간주하여 원인 분석 진행.

Step 2: 정책 주도 regime 변화 및 포트폴리오 구성 효과 분리 (Policy-Driven Regime Changes)

• 목적: 비즈니스 구성 변화 (신규/퇴출 상품, 채널 비율 변화 등) 로 인한 KS 저하를 분리.
• 기법: KS 저하를 4 가지 구성 요소로 분해합니다.
  1. Current-only Universe Effect: 현재 기간에만 존재하는 신규 세그먼트의 영향.
  2. Reference-only Universe Effect: 기준 기간에만 존재했던 퇴출 세그먼트의 영향.
  3. Mix Effect within Common Support: 공통 세그먼트 내에서의 제품/채널 비율 변화 효과.
  4. Residual Aligned Performance Gap: 위 요인들을 모두 제거한 후 남은 잔여 저하.
• 조치: 공통 지지 영역 (Common Support) 내에서 기준 기간 데이터를 현재 기간의 제품 구성 비율에 맞추어 가중치 (Weighting) 를 부여하여 '구성 조정 KS'를 계산합니다. 만약 잔여 저하가 임계치를 벗어나지 않으면, 저하 원인은 비즈니스 구성 변화로 결론 내리고 분석을 종료합니다.

Step 3: 공변량 이동 (Covariate Shift) 에 의한 변화 탐지

• 목적: 비즈니스 구성이 일치된 후에도 남은 저하가 입력 변수의 분포 변화 (Covariate Shift) 때문인지 확인.
• 기법:
  • 도메인 분류기 (Domain Classifier) 를 훈련하여 현재 기간과 기준 기간의 데이터 분포가 구분 가능한지 확인 (AUROC 사용).
  • 중요도 가중치 (Importance Weighting): 기준 기간 데이터를 현재 기간의 공변량 분포에 맞추어 재가중치 (Reweighting) 합니다.
  • 가중치 적용 후 기준 기간의 KS 를 재계산합니다.
• 판단: 재가중치된 KS 가 현재 KS 와 유사해지면, 저하 원인은 모델 자체의 문제가 아닌 '데이터 분포의 변화'로 판단합니다. 그렇지 않으면 다음 단계로 진행합니다.

Step 4: 잔여 모델 관련 저하 (Residual Model-related Deterioration)

• 목적: 비즈니스 구성 변화와 공변량 이동 모두로 설명되지 않는 잔여 저하를 확인.
• 해석: 이는 모델의 내재적 성능 저하 (Concept Drift) 로 간주됩니다.
  • 입력 변수와 타겟 간의 관계 변화.
  • 모델의 점수 순서화 능력 약화.
  • 모델 명세 (Specification) 의 부적절성 (비선형성, 상호작용 미포착 등).
• 조치: 모델 재조정 (Recalibration), 특성 검토, 또는 전면 재개발 (Redevelopment) 등의 거버넌스 조치 필요.

3. 주요 기여 (Key Contributions)

1. 공식적인 KS 분해 프레임워크: KS 저하를 통계적 변동, 포트폴리오 구성, 공변량 이동, 모델 고유의 저하로 체계적으로 분해하는 이론적 틀을 제시했습니다.
2. SR 11-7 규제 요구사항과의 정렬: 단계별 게이트웨이 구조를 통해 규제 기관이 요구하는 '구조적이고 감사 가능한 (Auditable)' 원인 분석 프로세스를 제공합니다.
3. 반사실적 (Counterfactual) 접근법: "만약 기준 기간 데이터가 현재 기간의 구성과 분포를 가졌다면 KS 는 어떻게 되었을까?"라는 반사실적 시나리오를 통해 모델 성능을 정량적으로 평가합니다.
4. 일관된 거버넌스 의사결정: 임의적 판단을 배제하고, 각 단계에서 정량적 기준에 따라 조치 수준을 결정함으로써 일관되고 투명한 모델 리스크 관리를 가능하게 합니다.

4. 실험 결과 (Simulation Results)

제안된 프레임워크의 유효성을 검증하기 위해 통제된 시뮬레이션 실험을 수행했습니다.

• Step 1 검증: 다양한 시나리오 (통계적 유의성 없음, 유의하지만 위반 아님, 위반 미확인, 중대 위반) 에서 부트스트랩 신뢰구간이 올바른 분류를 수행함을 확인했습니다.
• Step 2 검증:
  • 순수 믹스 이동 (Pure Mix Shift): 세그먼트 비율 변화만 있을 때, 가중치 조정 후 잔여 저하가 거의 없어 Step 2 에서 분석이 중단됨을 확인.
  • 우주 변화 (Universe Change): 신규/퇴출 상품 영향만 있을 때, 이를 분리하면 잔여 저하가 사라짐을 확인.
  • 순수 잔여 격차 (Pure Residual Gap): 세그먼트 비율은 동일하지만 내부 판별력이 떨어지는 경우, Step 2 를 통과하여 Step 3 으로 넘어가는 것을 확인.
• Step 3 검증:
  • 순수 공변량 이동: 고위험 군의 비율만 증가한 경우, 도메인 분류기 (AUROC 0.772) 를 통해 분포 차이를 감지하고 중요도 가중치 적용 후 KS 가 회복됨을 확인.
  • 실제 모델 저하: 분포는 동일하지만 모델 성능이 떨어진 경우, 가중치 적용 후에도 KS 가 개선되지 않아 Step 4 로 진행됨을 확인.

5. 의의 및 결론 (Significance and Conclusion)

• 실무적 의의: 신용리스크 모델 검증 팀이 KS 저하 발생 시 즉각적이고 표준화된 대응 프로토콜을 적용할 수 있게 하여, 불필요한 모델 재개발 비용을 절감하고 규제 대응의 투명성을 높입니다.
• 규제적 의의: SR 11-7 등 규제 가이드라인이 요구하는 '구조화된 감사 가능성'을 충족시키는 구체적인 방법론을 제공합니다.
• 향후 연구 방향: KS 증가 시나리오 확장, 도메인 분류기 선택에 대한 체계적 비교 연구, 다른 리스크 도메인 (예: 사기 탐지, 시장 리스크) 에의 적용 가능성 검토 등이 제안되었습니다.

결론적으로, 이 논문은 신용리스크 모델 검증에서 발생하는 성능 저하 문제를 단순한 '경보'가 아닌, 데이터의 구조적 변화와 모델의 본질적 결함을 구분하는 과학적 진단 도구로 전환시키는 중요한 방법론적 기여를 했습니다.