A Unified Framework for Modeling Heterogeneous Financial Data via Dual-Granularity Prompting

1. 문제 정의 (Problem Definition)

산업 현장의 신용 점수 모델링은 여전히 수동으로 조정된 통계적 학습 방법 (주로 XGBoost) 에 크게 의존하고 있습니다. 그러나 심층 학습 (Deep Learning) 아키텍처가 산업용 신용 평가에서 전통적 모델을 일관되게 능가하지 못하는 주요 원인은 다음과 같습니다.

• 이질적인 금융 데이터의 복잡성: 신용 보고서, 거래 내역, 제품 사용 행동 등 다양한 소스에서 생성된 데이터는 노이즈가 많고, 고차원적이며, 희소하고, 이산적인 특성을 가집니다.
• 동적인 신용도 변화: 사용자의 신용도는 정적이지 않고 시간에 따라 진화합니다. 기존 모델들은 특정 시점 (Point-in-time) 의 예측에 치중하여, 다양한 미래 시간 범위 (Time Horizons) 에 걸친 신용도의 동적 변화를 포착하는 데 한계가 있습니다.
• 특징 공학의 비효율성: 기존 XGBoost 기반 접근법은 방대한 도메인 지식과 수동 특징 공학 (Feature Engineering) 을 요구하며, 시계열 데이터의 장기적 의존성을 효과적으로 모델링하지 못합니다.

2. 제안 방법론: FinLangNet (Methodology)

저자들은 신용 점수 평가를 다중 스케일 순차 학습 (Multi-scale Sequential Learning) 문제로 재정의하고, FinLangNet이라는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 이질적인 금융 데이터를 처리하기 위해 두 가지 상호 보완적인 모듈로 구성됩니다.

가. 비순차 모듈 (Non-Sequential Module)

• 목적: 사용자 프로필 (성별, 연령, 소득 등) 과 같은 정적 속성에서 복잡한 상호작용을 추출하여 기준 위험 수준을 정의합니다.
• 아키텍처: DeepFM을 사용합니다.
  • FM (Factorization Machine): 저차원 (2 차) 특징 상호작용을 포착합니다.
  • DNN (Deep Neural Network): 고차원 비선형 상관관계를 모델링합니다.
  • 두 부분을 결합하여 정적 특징의 상호작용 임베딩 ($O_m$) 을 생성합니다.

나. 순차 모듈 (Sequential Module, SRG)

• 목적: 이질적이고 희소한 금융 시계열 데이터 (조회 기록, 대출 로그 등) 의 시간적 의존성을 포착합니다.
• 핵심 혁신: 듀얼 프롬프트 메커니즘 (Dual-Prompt Mechanism)
  • 특징 수준 프롬프트 (Feature-level Prompt, $e_{\phi_c}$): 각 채널 (데이터 소스) 마다 학습 가능한 토큰을 추가하여, 해당 특징 차원에 특화된 미세한 시간적 패턴을 포착합니다.
  • 사용자 수준 프롬프트 (User-level Prompt, $P_s$): 모든 채널의 표현을 가중치 어텐션으로 집계한 후, 전역적인 학습 가능한 벡터를 추가하여 사용자의 전체적인 위험 프로파일을 통합합니다.
• 처리 과정: 연속적인 금융 신호를 이산적인 토큰으로 변환 (Discretization) 한 후, Transformer 인코더를 통해 처리하여 종합적인 순차 표현 ($O_{ns}$) 을 생성합니다.

다. 다중 스케일 예측 및 최적화

• 목표: 여러 미래 시간 구간 (예: 30 일, 60 일, 90 일 후) 에 대한 부도 확률 분포를 동시에 예측합니다.
• 손실 함수: **동적 가중치 하이브리드 손실 (Dynamically Weighted Hybrid Loss)**을 사용합니다.
  • 소수 클래스 (부도 사례) 에 대한 페널티를 가중치한 로그 손실 (WLL) 과 예측 불확실성 (기울기 노름) 에 기반한 동적 하드 예제 마이닝 (Dynamic Hard Example Mining) 을 결합하여 모델이 어려운 샘플에 집중하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 문제 재정의: 신용 평가를 단순 분류 문제에서 동적 다중 스케일 예측 문제로 전환하여, 다양한 시간 범위에 걸친 진화하는 신용도 패턴을 포착할 수 있는 미래 행동 분포를 생성합니다.
2. 하이브리드 아키텍처 제안: DeepFM 기반의 정적 모듈과 듀얼 프롬프트 메커니즘을 갖춘 순차 모듈 (SRG) 을 결합한 FinLangNet 을 제안했습니다. 이는 이질적인 금융 데이터에서 포괄적인 표현 학습을 가능하게 합니다.
3. 성능 입증: 공개된 UEA 시계열 분류 벤치마크에서 기존 최첨단 (SOTA) 방법들을 압도적으로 능가하여 범용 순차 모델링 프레임워크로서의 우수성을 입증했습니다.
4. 실제 산업 적용: 실제 금융 플랫폼에 배포되어 XGBoost 기반 시스템 대비 KS 통계 6.3%p 향상 및 부채 비율 9.9% 감소를 달성했습니다.

4. 실험 결과 (Results)

가. 산업 신용 위험 평가 (실제 데이터)

• 데이터: 700 만 명 이상의 사용자를 대상으로 한 대규모 사내 데이터셋 (6 가지 미래 시간 구간 예측).
• 비교 대상: XGBoost, Transformer, Mamba, TimesNet, 그리고 DeepSeek-V3.2 및 GPT-4.1 같은 LLM 제로샷 (Zero-shot) 모델.
• 성과:
  • FinLangNet 은 모든 베이스라인을 능가하여 평균 KS 6.3%p 향상과 AUC 개선을 기록했습니다.
  • 특히 장기 예측 (60 일 이상) 에서 XGBoost 의 성능 저하를 극복하고 우수한 성능을 보였습니다.
  • 온라인 A/B 테스트: 승인 임계값 60% 기준, 부도율을 9.1% 에서 8.2% 로 낮추어 9.9% 의 상대적 개선을 달성했습니다.

나. 공개 벤치마크 (UEA Time Series)

• 의료 진단, 동작 인식 등 5 가지 다변량 시계열 분류 작업에서 FinLangNet 의 SRG 모듈이 TStamp, SVP-T 등 기존 Transformer 기반 모델들을 능가하거나 경쟁력 있는 성능을 보였습니다. 이는 금융 데이터 특유의 이질성을 처리하는 메커니즘이 일반적인 시계열 작업에도 효과적임을 시사합니다.

다. 분석 (Ablation Study)

• 듀얼 프롬프트: 특징 수준과 사용자 수준 프롬프트를 모두 사용할 때 가장 높은 성능 (KS 34.08%) 을 보였습니다.
• 순차 모듈의 중요성: 순차 모듈을 제거할 경우 KS 가 20% 이상 급감하여, 정적 특징보다 시간적 행동 동역학이 신용 위험 예측의 주된 요소임을 확인했습니다.
• 데이터 길이: 입력 시퀀스 길이를 25% 로 줄여도 성능이 거의 변하지 않아, 짧은 거래 이력 사용자 (콜드 스타트 문제) 에 대해서도 강건함을 입증했습니다.

5. 의의 및 시사점 (Significance)

• 산업적 실용성: 복잡한 특징 공학 없이 원시 시계열 데이터를 직접 처리하면서도, 블랙박스 모델의 규제 문제를 해결하기 위해 XGBoost 와의 융합 (Hybrid) 전략을 통해 설명 가능성과 성능을 동시에 확보했습니다.
• 경제적 영향: 실제 배포를 통해 부채 비율을 9.9% 감소시키고, 포트폴리오 부도율을 12.3% 줄이는 등 막대한 경제적 가치를 창출했습니다.
• 학문적 기여: 금융 데이터의 이질성과 동적 특성을 해결하기 위한 '듀얼 프롬프트' 메커니즘은 시계열 모델링 분야에서 새로운 패러다임을 제시하며, 학술적 혁신과 산업적 적용 사이의 간극을 성공적으로 메웠습니다.

결론적으로, FinLangNet 은 기존 통계적 모델의 한계를 극복하고, 심층 학습을 통해 금융 데이터의 복잡한 시간적 패턴을 효과적으로 포착하여 산업 현장에 실질적인 성과를 낸 획기적인 프레임워크입니다.