기술 요약: 대규모 언어 모델을 통한 반사실적 분석 (Counterfactual Analysis)

문제 정의

반사실적 분석(Counterfactual analysis)은 의사결정을 지원하기 위해 가상의 시나리오 하에서의 결과를 예측하는 것을 목표로 하며, 이는 대체 이자율에 따른 투자 수익률(ROI)을 관찰할 수 없는 온라인 대출 분야에서 특히 까ло한 과제입니다. 매칭(matching), 무작위 대조 실험(RCT), 생존 분석과 같은 전통적인 방법들이 존재하지만, 이들은 종로 종종 특정 구조적 가정에 의존하거나 서브샘플링을 필요로 합니다. 또한, 표준 머신러닝(ML) 모델은 관측된 데이터에 대한 예측 정확도 최est화에는 최적화되어 있으나, 관찰되지 않은 이자율 변화에 따라 차입자의 행동이 변할 때 유효한 반사실적 결과를 생성하는 데 필요한 인과적 메커니즘을 포착하는 데는 실패할 수 있습니다. 본 논문은 대규모 언어 모델(LLM), 특히 GPT-3.5가 그 방대한 사전 학습 지식과 추론 능력을 활용하여 효과적인 반사실적 대출 결과 구축 도구로서 역할을 할 수 있는지 조사합니다.

방법론

본 연구는 LendingClub의 무담보 개인 대출 데이터셋 894,013건(2013~2020년)을 활용합니다. 방법론은 크게 두 가지 단계인 예측 성능 검증과 반사실적 구축으로 나뉩니다.

1. 예측 성능 검증

반사실적 생성을 위한 LLM의 적합성을 확립하기 위해, 저자는 먼저 관측된 이자율 하에서의 실제 대출 결과(상태 및 ROI)를 예측하는 LLM의 능력을 평가했습니다.

• 베이스라인: LLM의 성능을 고급 ML 알고리즘, 즉 대출 상태 분류를 위한 XGBoost와 ROI 예측을 위한 그래디언트 부스팅 회귀(gradient-boosted regression)와 비교했습니다.
• 프롬프트 엔지니어링: 더 나은 성능을 이끌어내기 위해 다양한 프롬프트 전략을 체계적으로 평가했습니다:
  • 역할 수행(Role-Playing): LLM의 페르소나를 '차입자'(사회적 바람직성 편향을 보임)에서 '신용 리스크 전문가'로 전환했습니다.
  • 정보 집합(Information Sets): 대출 세부 사항, 차입자 프로필, 플랫폼 수준의 통계, 그리고 결정적으로 ML 알고리즘의 예측치를 프롬프트에 포함했습니다.
  • 추론 기법: "생각의 사슬(Chain-of-Thought, CoT)" 및 "생각의 나무(Tree-of-Thought, ToT)" 프롬프팅을 구현했습니다. ToTo 방식은 4명의 전문가 패널이 예측과 추론 과정을 반복적으로 정교화하는 과정을 시뮬레이션했습니다.
• 포괄 검증(Encompassing Test): LLM이 단순히 ML 예측을 그대로 복제하는 것인지 아니면 부가적인 가치를 제공하는지 판단하기 위해, 저자는 포괄 검증 테스트(Chong and Hendry, 1986)를 사용했습니다. 이 회귀 분석은 LLM의 예측이 ML 모델이 포착하지 못한 정보를 포함하고 있는지 테스트했습니다.

2. 반사실적 구축

반사실적 과업을 위해, 저자는 대안적인 이자율 하에서의 가상 ROI 결과를 생성했습니다(Gopal et al., 2024 제안 방식).

• 프롬프트 설계: LLM이 4명의 신용 리스크 전문가 패널 역할을 하도록 프롬프트를 구성했습니다. 프롬프트에는 대출 상세 정보, 차입자 프로필, 플랫폼 통계, (원래 이자율 하에서의) 실제 관측된 결과(앵커 역할), 그리고 혼합 곡률 모델(mixture cure model, 기존 ML 접근법)의 반사실적 예측치가 포함되었습니다.
• 추론 과정: LLM이 ToT 토론에 참여하도록 지시되었습니다. LLM은 사전 학습된 지식과 특정 대출 맥락을 바탕으로 ML 예측을 비판하고 정교화하며, 최종적으로 JSON 형식으로 합의된 상태와 기간을 출력합니다.
• 검증: 반사실적 결과는 관찰되지 않으므로, 타당성은 논리적 일관성을 통해 평가되었습니다. 저자는 LLM의 예측이 다음과 같은 직관적인 경제 규칙을 준수하는지 확인했습니다: (1) 상각(charged off)된 대출은 이자율이 상승하더라도 상각 상태를 유지해야 하며, (2) 완납(fully paid)된 대출은 이자율이 하락하더라도 완납 상태를 유지해야 합니다.

주요 결과

예측 성능

• 베이스라인 vs. 엔지니어링된 프롬프트: 단순한 "차입자" 역할 프롬프트는 낮은 결과(R-squared 1.97%, F1 score 4.7%)를 보였습니다. 그러나 프롬프트 엔지니어링은 성능을 크게 향상시켰습니다.
• 최적의 구성: ML 예측과 플랫폼 통계를 포함한 4명의 전문가를 활용한 "Tree-of-Thought" 프롬프트는 ROI 예측에서 **2.84%**의 R-squared를 달성했습니다. 이는 그래디언트 부스팅 회귀가 달성한 **3.48%**에 근접한 수치입니다.
• 부가적 가치: 포괄 검증 결과, ML 예측과 결합했을 때 LLM 예측의 계수가 통계적으로 유의미한 양수(1% 수준에서 5.19%)로 나타났습니다. 이는 LLM이 단순히 ML 출력을 반복하는 것이 아니라, ML 알고리즘이 포착하지 못한 의미 있는 정보를 식별하고 있음을 나타냅니다.
• 편향 수정: 연구에서는 원시 LLM 예측이 편향(사전 학습 코퍼스의 편향으로 추정)을 겪는다는 점을 주목하였으며, R-squared를 계산하기 전 선형 회귀 조정을 통해 이를 수정했습니다.

반사실적 구축

• ML과의 괴리: LLM의 반사실적 예측은 상태 및 기간 측면에서 혼합 곡률 모델과 46.2%의 경우에서 차이를 보였습니다. LLM은 차입자의 신용 이용률과 역사적 평균을 근거로 ML 예측을 수정하며 정당한 이유를 제시하는 경우가 많았습니다.
• 논리적 일관성: LLM은 강력한 인과적 논리 준수 능력을 보여주었습니다. **99.6%**의 예측이 이자율 하락 시 완납 대출이 완납 상태를 유지한다는 규칙을 따랐고, **85.3%**가 이자율 상승 시 상각 대출이 상각 상태를 유지한다는 규칙을 따랐습니다.
• 결과 차이: 대안 이자율 하에서, LLM은 상각률을 **9.65%**로 예측했는데, 이는 혼합 곡률 모델의 예측치인 **6.22%**보다 역사적 LendingClub 이자율인 12.34%에 더 가까웠습니다. 이는 LLM이 ML 모델의 잠재적인 낙관 편향을 교정할 수 있음을 시사합니다.

의의 및 주장

본 논문은 LLM이 특히 온라인 대출과 같이 정보가 풍부하고 복잡한 영역에서 반사실적 분석을 위한 새롭고 유능한 접근 방식임을 주장합니다. 저자는 두 가지 주요 기여를 강조합니다:

1. 핵심 레버로서의 프롬프트 엔지니어링: 본 연구는 프롬프트 엔지니어링(특히 역할 수행, CoT, ToT)이 모델 미세 조정(fine-tuning)만큼이나 중요하다는 것을 입증합니다. 이러한 기법들은 LLM으로부터 논리적 추론과 인과적 이해를 효과적으로 이끌어내어, 전문화된 ML 알고리즘의 성능에 근접하게 만듭니다.
2. 인간-기계 협업: 결과는 LLM이 사회적 바람직성 편향(차입자로 행동할 때)이나 기계의 예측을 비판적으로 평가하고 정교화하는 능력(전문가로 행동할 때)과 같은 인간과 유사한 인지적 행동을 보인다는 점을 시사합니다. 이는 LLM이 복잡한 과업에서 인간의 추론을 대행할 수 있다는 인간-기계 협업 문헌을 뒷받침합니다.

저자는 LL much LLM이 아직 순수 정확도 면에서 최고의 예측 모델을 능가하지 못할 수도 있지만, 논리적으로 일관되고 인과적으로 추론된 반사실적 결과를 생성하는 능력이 의사결정 맥락에서 적절한 도구가 될 수 있다고 겸허히 결론짓습니다. 또한, LLM이 예비 현장 실험을 위한 인간의 반응을 시뮬레이션하는 데 사용되어 실험 설계를 위한 비용 효율적인 방법을 제공할 수 있다고 제안합니다. 본 논문은 LLM이 모든 반사실적 문제를 해결하는 보편적인 솔루션이라고 주장하는 것이 아니라, 특정 맥락에서 전통적인 계량 경제학 및 생존 분석 방법의 유망하고 유연한 대안으로 자리매김하고 있음을 명시합니다.