Transfer Learning for Loan Recovery Prediction under Distribution Shifts with Heterogeneous Feature Spaces

이 논문은 데이터 부족과 이질적인 특징 공간, 분포 변화를 겪는 대출 회수율 예측 문제를 해결하기 위해 이질적 특징을 가진 소스 및 타겟 도메인 간 전이 학습을 수행하는 새로운 혼합 밀도 트랜스포머 모델 (FT-MDN-Transformer) 을 제안하고, 이를 통해 제한된 타겟 데이터 환경에서 기존 모델보다 우수한 예측 성능과 신뢰성 있는 확률적 분포 추정을 달성함을 입증합니다.

핵심

🏦 핵심 이야기: "비싼 레시피를 가진 요리사 vs. 재료가 부족한 식당"

은행은 대출을 줄 때, "이 사람이 돈을 못 갚으면 (부도), 우리가 그 돈을 얼마나 돌려받을 수 있을까?"를 계산해야 합니다. 이를 **회수율 (Recovery Rate)**이라고 합니다.

하지만 현실은 다음과 같습니다.

1. 데이터 부족: 대부분의 은행은 부도 사례가 드물기 때문에, "돈을 얼마나 돌려받았는지"에 대한 데이터가 매우 적습니다. (요리사가 실패한 요리를 한 번도 해본 적이 없는 셈입니다.)
2. 데이터 차이: 다른 은행 (Source) 은 데이터가 많지만, 우리 은행 (Target) 과는 사용하는 **정보의 종류 (특징)**가 다릅니다. 예를 들어, A 은행은 "담보의 종류"를 기록하지만, B 은행은 "기업의 사회적 평판"을 기록합니다. 정보가 겹치는 부분이 적습니다.

이 논문은 **"데이터가 적은 은행이, 데이터가 풍부한 다른 은행의 지식을 어떻게 가져와서 (전이 학습), 서로 다른 정보 체계 속에서도 정확하게 예측할 수 있을까?"**를 연구했습니다.

---

🧩 해결책: "FT-MDN-Transformer"라는 똑똑한 요리사

저자들은 FT-MDN-Transformer라는 새로운 AI 모델을 만들었습니다. 이 모델의 특징을 세 가지 비유로 설명하면 다음과 같습니다.

1. 레시피의 재료를 유연하게 다룸 (이질적인 특징 공간)

• 상황: A 은행은 "담보"라는 재료를 쓰지만, B 은행은 그 재료가 없습니다. 대신 B 은행은 "지역"이라는 새로운 재료를 씁니다.
• 기존 모델의 문제: 대부분의 AI 는 A 은행의 레시피를 그대로 B 은행에 적용하려다, "담보"라는 재료가 없어서 당황하거나 오류를 냅니다.
• 이 모델의 해결: 이 모델은 "마스크 (가림막)" 기능을 씁니다. B 은행에 없는 '담보' 재료는 가려두고, 있는 '지역' 재료만 집중해서 요리합니다. 마치 요리사가 손에 없는 재료는 무시하고, 손에 있는 재료로 최고의 요리를 만들어내는 것과 같습니다.

2. 단순히 "평균"이 아닌 "모든 가능성"을 예측 (확률 분포 예측)

• 상황: 보통 AI 는 "회수율은 60% 일 것이다"라고 딱 잘라 말합니다. 하지만 현실은 복잡합니다. 어떤 대출은 0% 로 전액 손실일 수도 있고, 어떤 것은 100% 다 돌려받을 수도 있습니다.
• 이 모델의 해결: 이 모델은 **"한 번에 여러 가지 시나리오"**를 보여줍니다. "60% 일 확률이 50%, 0% 일 확률이 30%, 100% 일 확률이 20%"처럼 확률 분포를 예측합니다.
• 비유: 날씨 예보에서 "내일 비 올 확률 50%"라고 하는 게 아니라, "비 올 수도 있고, 안 올 수도 있고, 소나기가 올 수도 있다"는 다양한 가능성을 모두 보여주는 것과 같습니다. 이렇게 해야 은행은 최악의 상황 (꼬리 위험) 에 대비할 수 있습니다.

3. 데이터가 적을 때 가장 빛을 발함 (전이 학습의 효과)

• 실험 결과:
  • 데이터가 아주 적을 때: 이 모델은 다른 은행의 지식을 가져와서 (전이 학습) 훨씬 정확하게 예측했습니다.
  • 데이터가 많을 때: 우리 은행만의 데이터만으로도 충분히 잘할 수 있어서, 다른 은행의 도움이 크게 필요하지 않았습니다.
  • 중요한 발견: 만약 두 은행의 **대출 회수 패턴 자체 (예: 담보가 있는 대출이 많은지, 없는 대출이 많은지)**가 완전히 다르다면, 아무리 지식을 가져와도 효과가 떨어집니다. (비유하자면, 한국 요리 레시피를 가지고 프랑스 요리를 완벽하게 흉내 내기는 어렵다는 뜻입니다.)

---

💡 이 연구가 우리에게 주는 교훈

1. 데이터가 부족해도 괜찮다: 작은 은행이나 특수한 대출 상품이라도, 다른 관련 은행의 데이터를 잘 활용하면 예측을 개선할 수 있습니다.
2. 정보의 종류가 달라도 된다: 서로 다른 정보를 기록하는 은행들끼리도, 이 모델처럼 유연한 AI 를 쓰면 서로의 지식을 공유할 수 있습니다.
3. 단순한 숫자보다 '모양'이 중요하다: "평균 회수율"만 보는 것보다, "어떤 경우에 얼마나 손해를 볼지"에 대한 전체적인 그림 (분포) 을 보는 것이 위험 관리에 훨씬 유용합니다.

🚀 결론

이 논문은 **"데이터가 부족한 금융 기관들이, 서로 다른 환경에서도 서로의 경험을 공유하며 더 똑똑하게 위험을 관리할 수 있는 새로운 방법"**을 제시했습니다. 마치 요리사가 가진 재료가 달라도, 핵심적인 조리 기술을 공유하고 유연하게 대처함으로써 어떤 상황에서도 맛있는 요리를 해낼 수 있게 해주는 것과 같습니다.

기술 요약

이 논문은 **이질적인 특성 공간 (Heterogeneous Feature Spaces)**과 분포 변화 (Distribution Shifts) 하에서 대출 회수율 (Recovery Rate, RR) 예측을 위한 전이 학습 (Transfer Learning, TL) 방법론을 제안하고 평가한 연구입니다. 저자들은 데이터 부족과 도메인 간 차이로 인해 발생하는 신용 위험 모델링의 한계를 극복하기 위해 새로운 아키텍처인 FT-MDN-Transformer를 개발했습니다.

주요 내용을 한국어로 상세히 요약하면 다음과 같습니다.

---

1. 연구 배경 및 문제 정의 (Problem)

• 회수율 (RR) 예측의 중요성: 회수율은 신용 위험 관리, 자본 적정성 평가, 규제 자본 결정에 핵심적인 요소입니다.
• 데이터 부족 (Data Scarcity): 많은 포트폴리오에서 디폴트 (부도) 사건이 드물기 때문에 회수 데이터가 부족하여 모델을 훈련하고 검증하기 어렵습니다.
• 이질적인 특성 공간 (Heterogeneous Feature Spaces): 소스 (Source, 풍부한 데이터) 와 타겟 (Target, 부족한 데이터) 포트폴리오 간에 기록되는 정보 (담보 세부사항, 계약 조건 등) 가 다릅니다. 기존 전이 학습 방법들은 대부분 도메인 간 특성 (Feature) 스키마가 동일하다고 가정하여, 실제 금융 데이터의 불일치를 처리하지 못합니다.
• 분포 변화 (Distribution Shifts): 소스와 타겟 데이터 간에는 공변량 (Covariate), 조건부 (Conditional), 라벨 (Label) 의 분포 차이가 존재하며, 이는 모델 성능을 급격히 저하시킬 수 있습니다.

2. 제안된 방법론: FT-MDN-Transformer

저자들은 이 세 가지 도전과제 (데이터 부족, 이질적 특성, 분포 변화) 를 동시에 해결하기 위해 FT-MDN-Transformer를 제안했습니다.

• 아키텍처 개요:

  • Tabular Transformer 기반: 표 형식 데이터를 처리하기 위해 설계된 Transformer 구조를 사용합니다.
  • 특성 기반 토큰화 (Feature-wise Tokenization): 각 특성 (Feature) 을 개별 토큰으로 매핑합니다. 이는 소스와 타겟 간에 특성이 겹치지 않거나 일부만 존재할 때 유연하게 대응할 수 있게 합니다.
  • 마스크 메커니즘 (Masking): 타겟 도메인에 존재하지 않는 소스 특성은 'PAD' 토큰으로 대체하고 어텐션 (Attention) 에서 마스킹하여 모델이 존재하지 않는 특성에 의존하지 않도록 합니다. 반대로 타겟에만 있는 새로운 특성은 임베딩을 초기화하여 훈련합니다.
  • 혼합 밀도 네트워크 헤드 (Mixture Density Network, MDN): 단순한 점 추정 (Point Estimate) 이 아닌, 조건부 회수율 분포 전체를 예측합니다. 이는 회수율 분포의 다중 모드 (Bimodality, 예: 담보 유무에 따른 회수율 차이) 와 이분산성을 포착하는 데 필수적입니다.

• 전이 학습 전략 (Two-stage Transfer):

  1. Pre-training: 풍부한 소스 데이터 (예: GCD 대출 데이터) 로 모델을 사전 훈련합니다.
  2. Fine-tuning: 제한된 타겟 데이터 (예: UP5 채권 데이터) 로 모델을 미세 조정합니다. 이 과정에서 공유된 특성은 재사용하고, 고유한 특성은 동적으로 확장/축소합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 모델링 접근법: 이질적인 특성 공간에서 전이 학습이 가능한 최초의 Tabular Transformer 기반 RR 예측 모델 (FT-MDN-Transformer) 을 제안했습니다.
2. 실증적 연구 (Real-world Study): 글로벌 신용 데이터 (GCD, 대출) 를 소스로, 새로운 채권 데이터 (UP5) 를 타겟으로 사용하여 실제 포트폴리오 간 전이 성능을 검증했습니다. 두 데이터셋 간 특성 겹침은 37 개에 불과할 정도로 매우 낮았습니다.
3. 통제된 시뮬레이션 프레임워크: 공변량, 조건부, 라벨 변화 등을 정밀하게 제어할 수 있는 몬테카를로 시뮬레이션 환경을 구축하여, 전이 학습의 성능 한계와 작동 원리를 체계적으로 분석했습니다.

4. 실험 결과 (Results)

A. 실증 데이터 결과 (GCD → UP5)

• 성능 향상: 타겟 데이터가 매우 적을 때 (예: 100~500 개), 전이 학습을 적용한 모델이 타겟 데이터만 사용하여 훈련한 모델보다 R²와 MAE 측면에서 월등히 좋은 성능을 보였습니다.
• 이질적 특성 처리: 소스 전용 특성이 타겟에 없거나, 타겟 전용 특성이 새로 추가되더라도 모델이 안정적으로 작동했습니다. 특히, 공유된 특성 (Shared features) 만으로 사전 훈련한 후 타겟 전체 특성으로 미세 조정하는 방식이 가장 효과적이었습니다.
• 분포 예측의 가치: 점 추정 모델은 회수율의 다중 모드 구조를 평균화하여 왜곡하지만, 제안된 모델은 실제 관측된 회수율 분포 (Bimodal shape) 를 정확하게 재현하여 포트폴리오 리스크 관리에 더 유용한 정보를 제공했습니다.

B. 시뮬레이션 결과 (Controlled Shifts)

• 공변량 및 조건부 변화 (Covariate & Conditional Shift): 모델은 이러한 변화에 대해 매우 강건 (Robust) 했습니다. 전이 학습의 성능 이득이 유지되었습니다.
• 라벨 변화 (Label Shift): 회수율 분포 자체 (예: 담보 비율 변화로 인한 평균 회수율 변화) 가 크게 변할 때는 전이 학습의 이득이 감소하거나 성능이 저하되었습니다. 이는 전이 학습의 주요 한계점으로 확인되었습니다.
• 샘플 효율성 (Sample Efficiency): 타겟 데이터가 극도로 부족할 때 (n < 300) 전이 학습의 효과가 가장 두드러졌습니다. 데이터가 증가함에 따라 타겟 전용 모델의 성능이 전이 학습 모델을 따라잡는 경향이 있었습니다.
• 기타 모델 비교: XGBoost 와 같은 전통적 모델은 특성 공간이 불일치할 때 (특히 타겟 ⊂ 소스 상황) 성능이 급격히 떨어지는 반면, 제안된 Transformer 기반 모델은 모든 오버랩 상황에서 안정적인 성능을 유지했습니다.

5. 의의 및 시사점 (Significance)

• 실무적 적용 가능성: 신용 위험 관리자들은 소규모 포트폴리오나 새로운 상품 (예: 특정 지역의 SME 대출, 신규 채권) 에 대해 데이터가 부족할 때, 관련 있는 대규모 포트폴리오 데이터를 전이 학습하여 모델을 구축할 수 있습니다.
• 분포 인식 (Distribution-aware) 모델링: 단순한 평균 회수율 예측을 넘어, 리스크 관리와 규제 자본 산정에 필수적인 **꼬리 위험 (Tail Risk)**과 다중 모드 분포를 예측할 수 있는 도구를 제공합니다.
• 모델 선택 가이드:
  • 특성 공간이 이질적이고 데이터가 부족할 때는 FT-MDN-Transformer와 같은 아키텍처가 필수적입니다.
  • 그러나 라벨 분포 (회수율 분포) 가 소스와 타겟 간에 크게 다르다면, 전이 학습의 효과를 기대하기 어렵고 추가적인 보정이나 재훈련이 필요합니다.
• 방법론적 기여: 금융 분야에서 이질적인 데이터와 분포 변화를 동시에 다루는 전이 학습을 위한 표준적인 시뮬레이션 프레임워크와 평가 기준을 제시했습니다.

결론

본 논문은 FT-MDN-Transformer를 통해 데이터가 부족하고 특성 공간이 다른 환경에서도 회수율 예측의 정확도와 신뢰성을 높일 수 있음을 입증했습니다. 특히 이질적 특성 처리 능력과 분포 기반 예측이 핵심 강점이며, **라벨 변화 (Label Shift)**가 전이 학습의 주요 병목 현상임을 명확히 규명했습니다. 이는 금융 기관이 복잡한 신용 포트폴리오를 관리하고 규제 요구사항을 충족하는 데 중요한 통찰을 제공합니다.