기술 요약: 대규모 언어 모델(LLM)이 신용 리스크 모델의 사후 설명 도구로 기능할 수 있는가?

1. 문제 정의

XGBoost 및 신경망과 같은 복잡한 머신러닝(ML) 모델의 급격한 도입은 예측 정확도를 향상시켰으나, 불투명성을 초래하여 규제 준수(예: ECOA, FCRA) 및 리스크 관리에 어려움을 주고 있습니다. SHAP 및 LIME과 같은 사후 설명 가능한 AI(XAI) 방법론은 수치적인 특성 기여도(feature attributions)를 제공하지만, 인간 의사 결정자와 규제 보고에 필요한 의미론적 명확성과 서사적 구조는 부족한 경우가 많습니다.

본 연구는 대규모 언어 모델(LLM)이 이러한 간극을 메우는 **사후 설명 인터페이스(post-hoc explainability interfaces)**로서 역할을 할 수 있는지 조사합니다. 구체적으로 다음 두 가지 연구 질문을 다룹니다:

• RQ1 (번역기로서의 LLM): 만약 모델에 근거한 특성 중요도 순위가 입력값으로 명시적으로 제공될 때, LLM이 해당 순위를 충실하게 보존하고 재현할 수 있는가?
• RQ2 (자율적 설명가로서의 LLM): LLM이 참조 순위(reference rankings)를 제공받지 않고 오직 인스턴스 데이터와 프롬프트 전략에만 의존하여, 모델에 근거한 설명(예: SHAP 또는 로지스틱 계수)과 일치하는 특성 중요도 순위를 자율적으로 추론할 수 있는가?

2. 방법론

데이터 및 베이스라인 모델

• 데이터셋: 2007~2011년 사이의 LendingClub 소비자 대출 데이터셋(39,239명의 대출 신청자, 24개의 독립 변수 포함)을 사용하였습니다. 타겟 변수는 대출 채무 불이행 여부(연체 발생 vs 완납)를 나타내는 이진 지표입니다.
• 베이스라인 모델: 근거가 되는 참조 기여도를 생성하기 위해 두 가지 신용 리스크 모델을 학습시켰습니다:
  1. 로지스틱 회귀(Logistic Regression): 본질적으로 해석 가능한 계수 기반의 선형 기여도를 제공합니다.
  2. XGBoost: 비선형성을 포착하는 최첨단 트리 기반 앙상블 모델로, 기여도는 SHAP(SHapley Additive exPlanations)을 통해 도출되었습니다.
• 평가 지표: 예측 성능은 PR-AUC, Macro-averaged F1-score, 그리고 Kolmogorov–Kolmogorov–Smirnov (KS) 통계량을 사용하여 평가되었습니다. XGBoost가 로지스틱 회귀보다 유의미하게 높은 성능을 보였습니다 (PR-AUC: 0.38 vs 0.27; KS: 40.4 vs 28.79).

LLM 실험 설계

세 가지 상용 LLM(GPT-4-turbo, Claude-Sonnet-4.5, Gemini-2.5-Flash)을 평가하였습니다. 재현성을 보장하기 위해 온도를 0으로 고정한 인컨텍스트 러닝(In-Context Learning, ICL)을 활용하였습니다.

• RQ1 (번역기 설정):

  • 입력: 인스턴스 특성, 예측 확률, 그리고 참조 특성 순위 리스트(베이스라인 모델에서 도출됨).
  • 작업: LLM은 제공된 참조 순서를 엄격히 준수하여 특성 순위 리스트를 출력해야 합니다.
  • 제약 조건: 엄격한 JSON 출력 형식 준수; 외부 지식이나 추론 금지.
  • 지표: Top-K 특성 중복도(Overlap) 및 Kendall's $\tau$ 계수.

• RQ2 (자율적 설명가 설정):

  • 입력: 인스턴스 특성, 예측 확률, 그리고 작업 지침. 참조 순위는 제공되지 않음.
  • 전략: Zero-shot(지침만 제공)과 Few-shot(지침 + 고위험/저위험 사례의 참조 순위가 포함된 두 개의 데모 예시 제공)을 비교하였습니다.
  • 조건:
    1. Top-4: LLM이 가장 중요한 상위 4개 특성만을 반환 (불리한 조치 통지(adverse action notices) 시뮬레이션).
    2. Full-Ranking: LLM이 전체 24개 특성에 대한 전체 순위를 반환.
  • 지표: 근거가 되는 참조 순위 대비 Top-K 중복도 및 Kendall's $\tau$.

3. 주요 결과

RQ1: 번역기로서의 LLM

• 높은 구조적 충실도: 참조 순위가 명시적으로 제공되었을 때, LLM은 완벽에 가까운 충실도를 보여주었습니다.
• 지표: 모든 스키마 유효 출력에 대해, 모든 컷오프($K=5, 10, 15, 20$)에서 두 베이스라인 모델 모두에 대해 Overlap@K는 1.000, Kendall's $\tau$는 1.000을 기록했습니다.
• 강건성: 총 3,000회의 실행 중, 특성 이름이 치환된 사례(Claude-Sonnet-4.5가 "Past 2 Years"를 "Past 2 Months"로 치환)가 단 한 건 관찰되었습니다. 중복된 특성이나 잘못된 형식의 JSON은 발견되지 않았습니다.
• 결론: LLM은 엄격한 제약 조건 하에서 제공된 기여 구조를 재포맷하고 재현하는 데 매우 신뢰할 수 있습니다.

RQ2: 자율적 설명가로서의 LLM

• 제한적인 정렬: 참조 순위 없이, LLM은 모델에 근거한 설명과 부분적인 정렬만을 보여주었습니다.
• Top-4 조건:
  • Zero-shot: 평균 Overlap@4가 매우 낮았습니다 (로지스틱 회귀의 경우 0.064–0.199, XGBoost의 경우 0.102–0.233).
  • Few-shot: 성능이 개선되었으나 단독 사용에는 불충분했습니다. 로지스틱 회귀의 경우 GPT-4-turbo가 0.515까지 개선되었으나, XGBoost의 경우 개선 폭이 미미했습니다 (최대 0.383).
  • 관찰: Few-shot 프롬프팅은 복잡한 비선형 상호작용(XGBoost)보다 선형 구조(로지스틱 회귀)를 더 잘 복구하는 데 도움을 주었습니다.
• Full-Ranking 조건:
  • 스키마 유효성: Gemini-2.5-Flash는 긴 프롬프트 하에서 완전한 24개 특성 리스트를 생성하는 데 자주 실패하여 출력이 잘리는 현상이 발생했습니다.
  • 정렬: 유효한 출력에 대해서도 (GPT-4-turbo, Claude-Sonnet), Few-shot 프롬프팅을 통해 Overlap@K가 개선되었으나 (예: 로지스틱 회귀의 O@5가 약 0.39에서 ~0.61로 상승), 완벽함에는 도달하지 못했습니다.
  • 순위 일관성: Kendall's $\tau$ 값은 대체로 낮게 유지되었습니다 (대부분 < 0.4). 이는 LLM이 일부 관련 특성은 식별할 수 있을지라도, 전체 기여 구조의 상대적 순서를 올바르게 보존하는 데는 실패함을 의미합니다.

4. 주요 기여 및 주장

주요 발견 사항

본 연구는 LLM을 **서사적 인터페이스(narrative interfaces)**로 사용하는 것과 **자율적 설명가(autonomous explainers)**로 사용하는 것 사이의 명확한 구분을 확립했습니다:

1. 번려기로서의 신뢰성: LLM은 참조 순위가 입력으로 제공될 때 모델에 근거한 순위를 신뢰성 있게 재현할 수 있습니다. 즉, 근본적인 논리를 변경하지 않고 정량적 기여도를 인간이 읽을 수 있는 형식으로 변환하는 "서사적 인터페이스"로서 효과적으로 기능합니다.
2. 자율적 설명가로서의 불신뢰성: LLM은 입력 데이터와 프롬프트만으로는 복잡한 신용 리스크 모델(특히 XGBoost와 같은 비선형 모델)과 일치하는 특성 중요도 순위를 신뢰성 있게 추론할 수 없습니다. 그들의 출력은 특정 적합 모델 구조보다는 일반적인 도메인 사전 지식과 언어 패턴에 의해 주도됩니다.

신용 리스크 거버넌스를 위한 의의

• 공식 XAI의 대체재가 아님: 본 논문은 LLM이 신용 리스크 거버넌스에서 공식적인 기여도 산출 방식(SHAP 또는 계수 분해 등)을 대체해서는 안 된다고 주장합니다. 자율적인 LLM 설명은 승인된 모델의 실제 결정 로직을 반영하지 않는 그럴듯한 요인을 선택할 수 있으며, 이는 모델 리스크를 유발할 수 있습니다.
• 거버넌스 중심의 배포: 권장되는 사용 사례는 하이브리드 워크플로우입니다. 즉, 공식적인 XAI 방법론이 감사 가능한 기여도 순위를 생성하고, LLM은 이를 이해관계자를 위한 일관성 있고 도메인 지식이 반영된 서사로 번역하는 인터페이스 역할을 수행하는 것입니다.
• 한계점: 본 연구는 단일 데이터셋 사용, 순위 정렬에 집중한 점, 섭동 스트레스 테스트(예: 순위 셔플링)의 부재 등의 한계를 인정합니다.

결론

본 논문은 LLM이 신용 리스크 설명의 접근성을 높이는 데는 유망하지만, 현재로서는 독립적인 설명 책임을 갖는 정보원으로 기능하기에는 충실도가 부족하다고 결론짓습니다. LLM의 역할은 자율적으로 추론하는 것이 아니라, 미리 계산되고 감사 가능한 기여도를 포맷팅하고 서술하는 것으로 제한되어야 합니다.