기술 요약: V4FinBench

문제 정의

기업 파산 예측은 심각한 클래스 불균형과 다중 시간 범위 예측의 필요성이 특징인 고위험 금융 작업입니다. 투자자, 채권자, 규제 기관에게 실용적 중요성이 있음에도 불구하고, 이 문제를 연구하기 위한 공개 자원은 여전히 부족합니다. 널리 사용되는 무료 벤치마크 (예: UCI 폴란드, 대만, 미국 주식 시장 데이터셋) 는 일반적으로 6,000 에서 80,000 개의 기업 - 연도 관측치를 포함하는데, 이는 현대적 기반 모델의 의미 있는 파인튜닝에 충분하지 않습니다. 더 크고 풍부한 자원이 존재하지만 구독 유료 장벽 뒤에 있어 재현성과 상당한 데이터 적응이 필요한 방법의 평가가 제한됩니다. furthermore, 기존 공개 데이터셋은 종종 다중 시간 범위 레이블이나 일관된 재무 곤란 정의가 부족하여, 시간 범위 의존적 행동을 평가하거나 현실적인 금융 조건 하에서 방법을 비교하기 어렵게 만듭니다.

방법론 및 벤치마크 구축

이러한 격차를 해소하기 위해 저자들은 체코 공화국, 헝가리, 폴란드, 슬로바키아로 구성된 비셰그라드 그룹 (V4) 경제권의 2006 년부터 2021 년까지의 1,106,879 개 기업 - 연도 관측치로 구성된 공개 벤치마크인 V4FinBench를 소개합니다.

데이터 및 특징

• 출처: 데이터는 203,900 개의 고유 기업을 포괄하는 EMIS 서비스에서 추출되었습니다.
• 특징: 각 관측치는 기업 메타데이터, 재무 비율, 성장 지표, 규모 지표, 섹터 상대 지표 등을 포함한 131 개의 특징으로 설명됩니다.
• 재무 곤란 정의: 이전 연구들이 공식적인 법적 파산 신청에 의존한 것과 달리, V4FinBench 는 복합 재무 곤란 기준을 사용합니다. 기업은 최종 보고 연도에 다음 세 가지 조건을 동시에 충족할 때만 재무 곤란으로 레이블링됩니다:
  1. ** solvent(채무 상환 능력):** 총자산 대비 순자산이 음수 ($< 0$).
  2. 수익성: 총자산 대비 EBITDA 가 음수 ($< 0$).
  3. 유동성: 유동비율이 0.6 미만 ($< 0.6$).
• 다중 시간 범위 작업: 벤치마크는 $h \in \{0, 1, \dots, 5\}$년에 해당하는 6 개의 이진 예측 작업을 정의합니다. 각 시간 범위에 대해, 재무 곤란 기업의 데이터 중 마지막 $h$년은 제거되고, 결과적으로 생성된 관측치는 양수로 레이블링됩니다.
• 불균형: 결과적으로 생성된 작업은 심각한 클래스 불균형을 보이며, 양수 비율은 0.19% 에서 0.36% 사이입니다.

평가 프로토콜

저자들은 고정되고 재현 가능한 평가 프로토콜을 정의합니다:

• 폴딩: 데이터 누출을 방지하기 위해 국가 내에서 기업 단위 그룹핑을 적용한 5 폴드 층화 교차 검증.
• 전처리: 결측값은 훈련 세트 중앙값으로 대체되며, 특징은 훈련 세트 통계를 사용하여 표준화됩니다.
• 지표: 불균형을 고려하여 F1 점수와 ROC-AUC가 주요 지표입니다. 결정 임계값은 정밀도 - 재현율 곡선에서 F1 을 최대화하도록 검증 폴드에서 보정됩니다.

평가된 방법

본 논문은 세 가지 방법 군을 평가합니다:

1. 전통적 표형 베이스라인: 로지스틱 회귀 (LR), 다층 퍼셉트론 (MLP), 랜덤 포레스트, XGBoost, CatBoost, LightGBM.
2. 표형 기반 모델 (TabPFN): 불균형 인식 컨텍스트 구성으로 파인튜닝된 사전 학습된 인-컨텍스트 학습기. 저자들은 10,000 개 샘플 컨텍스트를 구성하기 위한 세 가지 전략을 비교합니다:
   • 리샘플링 없음: 균일 샘플링 (소수 클래스가 약하게 표현됨).
   • 무작위 언더샘플링: 다수 클래스를 0.3 비율로 무작위 하위 샘플링.
   • 프로토타입 언더샘플링: K-평균 클러스터링을 통해 다수 대표자를 선택하여 비곤란 인구 구조를 보존.
3. 대형 언어 모델 (LLM): 인스트럭션 스타일 대화 형식으로 직렬화된 재무 기록에 대해 QLoRA를 통해 파인튜닝된 Llama-3-8B.

주요 결과

1. TabPFN 대 전통적 베이스라인

• 컨텍스트 구성의 중요성: 프로토타입 언더샘플링이 TabPFN 에 대해 가장 좋은 결과를 보여주어, 무작위 언더샘플링과 리샘플링 없음보다 우월했습니다. 이는 단순히 소수 클래스 노출을 늘리는 것 이상으로 다수 클래스의 구조적 다양성을 보존하는 것이 중요함을 시사합니다.
• 성능: 프로토타입 언더샘플링을 사용하면 TabPFN 은 모든 시간 범위에서 ROC-AUC 기준으로 경사 부스팅 트리(가장 강력한 전통적 베이스라인) 와 일치하거나 능가했습니다. F1 점수에서는 즉각적인 시간 범위 ($h=0$) 에서 경사 부스팅과 일치했으며, $h=2$부터는 이를 능가했습니다.

2. LLM 성능 (Llama-3-8B)

• 비교: QLoRA 파인튜닝된 Llama-3-8B 는 모든 시간 범위에서 ROC-AUC 기준으로 경사 부스팅 트리 (특히 XGBoost) 보다 뒤처졌으며, 일반적으로 F1 점수에서도 더 약했습니다.
• 시간 범위 의존성: LLM 은 즉각적인 시간 범위에서 가장 잘 수행되었지만, $h=0$을 넘어서면 순위 결정 능력이 급격히 하락하여 더 긴 시간 범위에서는 우연 수준에 머물렀습니다. 예측 시간 범위가 증가함에 따라 LLM 과 XGBoost 간의 격차는 크게 벌어졌습니다.

3. 교차 데이터셋 전이

• 외부 검증: 저자들은 V4FinBench 파인튜닝 TabPFN 체크포인트를 미국 파산 데이터셋(다른 경제권, 기간, 특징 집합) 에서 평가했습니다.
• 결과: 파인튜닝된 모델은 바니 (사전 학습) TabPFN 보다 ROC-AUC (0.818 $\to$ 0.842) 와 F1 점수 (0.372 $\to$ 0.409) 모두에서 개선되었습니다. 이는 적응이 V4 특이적 패턴에 단순히 과적합한 것이 아니라 전이 가능한 재무 곤란 구조를 포착했음을 시사합니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

1. V4FinBench 데이터셋: 기반 모델 파인튜닝을 지원하도록 특별히 설계된 대규모 공개 기업 재무 곤란 벤치마크입니다. 4 개 국가, 6 개의 예측 시간 범위, 복합 재무 곤란 기준에 걸친 110 만 건의 관측치를 포괄하여 크고 무료로 접근 가능한 금융 데이터셋의 부족 문제를 해결합니다.
2. 재현 가능한 평가 프로토콜: 현실적인 클래스 불균형 및 다중 시간 범위 예측 조건 하에서 전통적 표형 방법, 표형 기반 모델, LLM 기반 접근법을 비교하기 위한 표준화된 프레임워크.
3. 실증적 통찰:
   • 불균형 인식 컨텍스트 구성(특히 프로토타입 언더샘플링) 이 심하게 불균형한 금융 데이터에 표형 기반 모델을 적응시키고 강력한 경사 부스팅 베이스라인과 경쟁하거나 능가할 수 있게 하는 데 필수적임을 입증합니다.
   • 이 구조화된 예측 설정에서 직렬화된 기록 LLM 파인튜닝은 특히 더 긴 예측 시간 범위에 대해 강력한 표형 베이스라인과 아직 경쟁력이 있음을 보여줍니다.
   • V4FinBench 와 같은 벤치마크가 재사용 가능한 금융 구조를 포착하는 외부 분포로의 전이 적응을 지원할 수 있다는 예비 증거를 제공합니다.

저자들은 V4FinBench 가 직접적인 자동 의사결정이 아닌 벤치마킹 및 연구를 목적으로 한다고 강조합니다. 지리적 범위 (중앙 유럽) 의 제한과 공식적인 법적 파산 신청 대신 복합 재무 곤란 레이블을 사용한 점에 대한 한계를 지적하며, 추가 검증 및 공정성 분석 없이 배포할 경우 신중을 기할 것을 촉구합니다.