Regime-aware financial volatility forecasting via in-context learning

이 논문은 파라미터 미세조정 없이 사전 훈련된 대규모 언어 모델 (LLM) 을 활용하여 시장 레짐에 따라 컨텍스트를 학습하고 조정함으로써 비정상적인 시장 조건 하에서 기존 방법보다 우수한 금융 변동성 예측 성능을 달성하는 레짐 인식 인-컨텍스트 학습 프레임워크를 제안합니다.

핵심

🌪️ 핵심 비유: "날씨 예보관 vs. 경험 많은 선장"

1. 문제 상황: 왜 기존 예보관은 실패할까?
기존의 금융 예측 모델 (GARCH 나 HAR 같은 것들) 은 마치 오직 과거의 통계 데이터만 믿는 날씨 예보관과 같습니다.

• "지난 10 년간 비가 온 날은 30% 였으니, 내일도 비 올 확률은 30% 일 거야"라고 말합니다.
• 문제는 **갑작스러운 태풍 (급격한 시장 변동)**이 왔을 때입니다. 과거 데이터만으로는 태풍의 위력을 예측하기 어렵습니다. 그래서 시장이 혼란스러울 때 (공황 상황) 이 모델들은 엉뚱한 예보를 하거나 큰 실수를 저지릅니다.

2. 새로운 해결책: "상황을 아는 AI 선장"
이 논문은 거대 언어 모델 (LLM) 을 경험이 풍부한 선장으로 활용합니다. 하지만 이 선장은 단순히 책 (데이터) 을 외우는 게 아니라, 실시간으로 상황을 파악하는 능력을 가집니다.

• 기존 방식 (One-shot Learning): 선장에게 "내일 날씨가 어때?"라고 물으면, 과거의 일반적인 기억만 떠올려 답합니다. ("보통은 맑을 거야") -> 태풍 때는 틀립니다.
• 이 논문의 방식 (Regime-Aware In-Context Learning): 선장에게 "지금 바다 상태가 폭풍우 같으니, 과거에 폭풍우가 났을 때 어떻게 대처했는지 사례 5 개만 보여줘. 그리고 그걸 참고해서 내일 예측해 줘"라고 요청합니다.
  • 이때 AI 는 과거의 '폭풍우 기록'만 골라내어 참고 자료로 삼고, 그걸 바탕으로 "내일도 파도가 높을 거야"라고 정확히 예측합니다.

🛠️ 이 기술이 어떻게 작동할까? (3 단계 프로세스)

이 논문이 제안한 방법은 크게 세 단계로 이루어집니다.

1 단계: "초보 예보"와 "정답 확인" (오라클 가이드)

• 먼저 AI 에게 과거 데이터를 보여주고 "내일 변동성이 얼마나 될까?"라고 물어봅니다. AI 가 처음에 추측한 답을 냅니다.
• 그다음, **정답 (실제 발생한 변동성)**을 AI 에게 보여줍니다. "아, 내가 틀렸구나. 실제는 이랬어. 왜 틀렸지?"라고 AI 가 스스로 실수를 분석하고 수정하는 과정을 몇 번 반복합니다.
• 이 과정을 통해 AI 는 "아, 이런 상황에서는 이렇게 반응해야 하는구나"라는 수정된 경험을 얻게 됩니다.

2 단계: "상황별 사례책" 만들기 (Demonstration Pool)

• 이렇게 수정된 경험들을 모아서 하나의 **'사례책'**을 만듭니다.
• 중요한 점은 이 사례책을 상황별로 분류한다는 것입니다.
  • 📚 평온한 바다 편: 시장이 안정적일 때의 사례들.
  • 🌪️ 폭풍우 편: 시장이 혼란스러울 때의 사례들.
• 이 '사례책'은 AI 가 시험을 볼 때 (실제 예측할 때) 참고할 자료로 사용됩니다.

3 단계: "상황에 맞는 사례"를 골라 예측하기

• 이제 실제 예측 시간이 됩니다. AI 는 "지금 시장이 어떤 상태일까?"를 먼저 판단합니다. (예: 최근 3 일간의 파도 크기를 보고 '폭풍우'라고 판단).
• 판단한 상태에 맞춰 '사례책'에서 해당 상황의 예시들만 골라냅니다.
  • 폭풍우라고 판단했으면, '폭풍우 편'의 사례들만 보여줍니다.
  • 평온하다고 판단했으면, '평온한 바다 편'의 사례들만 보여줍니다.
• AI 는 골라낸 사례들을 보고 "아, 이런 상황에서는 보통 이렇게 변했구나"라고 추론하여 최종 예측을 내놓습니다.

🏆 결과는 어땠을까?

실험 결과, 이 새로운 방식은 기존의 전통적인 수학 모델보다 훨씬 뛰어났습니다.

• 특히 중요한 점: 시장이 아주 불안정하고 변동성이 큰 폭풍우 시기에 기존 모델들이 크게 틀렸던 반면, 이 AI 는 폭풍우 편 사례책을 참고했기 때문에 훨씬 정확한 예측을 했습니다.
• S&P500 같은 주요 지수에서 기존 최고의 모델보다 오류를 약 27% 줄이는 성과를 냈습니다.

💡 한 줄 요약

"이 기술은 AI 에게 '무조건 과거 데이터를 외우게' 하는 게 아니라, '지금 시장이 어떤 상황인지 파악해서, 그 상황에 맞는 과거의 성공/실패 사례만 골라 참고하게' 만들어서, 폭풍우 같은 위기 상황에서도 정확한 예측을 하도록 돕는 방법입니다."

즉, **상황을 아는 지능 (Regime-Awareness)**을 통해, AI 가 금융 시장의 변덕스러운 성격을 더 잘 이해하고 따라갈 수 있게 한 획기적인 연구입니다.

기술 요약

1. 문제 정의 (Problem Definition)

금융 시장 변동성 (Volatility) 예측은 리스크 관리, 파생상품 가격 책정, 포트폴리오 할당 등에 필수적이지만, 시장의 비정상성 (non-stationarity) 과 급격한 체제 전환 (regime shifts) 으로 인해 매우 어려운 과제입니다.

• 기존 접근법의 한계: 전통적인 계량경제 모델 (GARCH, HAR 등) 은 안정적인 시장에서는 잘 작동하지만, 높은 변동성이나 급격한 구조적 변화가 발생하는 시장 스트레스 기간에는 성능이 급격히 저하됩니다.
• LLM 의 잠재력과 한계: 최근 대규모 언어 모델 (LLM) 은 컨텍스트 학습 (In-Context Learning, ICL) 을 통해 파라미터 미세 조정 (fine-tuning) 없이 시계열 예측이 가능해졌습니다. 그러나 단순한 프롬프팅 (naive prompting) 기반의 LLM 은 저변동성 기간에는 합리적인 예측을 하더라도, 고변동성 기간에는 예측이 크게 왜곡되는 경향이 있습니다.
• 핵심 질문: LLM 이 금융 변동성 예측에서 비정상적인 시장 환경에 적응할 수 있는 효과적인 컨텍스트 학습자가 될 수 있는가? 특히, 시장 체제 (Regime) 를 인식하여 예측을 조정할 수 있는가?

2. 방법론 (Methodology)

저자들은 **오라클 가이드 정제 (Oracle-guided Refinement)**를 통해 구축된 체제 인식 (Regime-aware) 데모 풀을 활용한 새로운 ICL 프레임워크를 제안합니다. 전체 프로세스는 다음과 같습니다.

2.1 초기 프롬프트 기반 예측 및 오라클 정제 루프

1. 초기 예측: 최근 $w$일간의 로그 수익률과 실현 변동성을 구조화된 텍스트 프롬프트로 변환하여 LLM 에 입력하고 초기 예측값 $\hat{\nu}^{(0)}_{t+1}$을 생성합니다.
2. 오라클 피드백 (훈련 데이터만 사용): 초기 예측값과 실제 정답 (Ground Truth) 간의 오차를 계산하고, 이를 바탕으로 LLM 에게 정제 (Refinement) 를 수행하도록 합니다.
   • 피드백 $f^{(j)}_t$에는 정답, 현재 예측값, 오차, 그리고 최근 평균 변동성으로 조정하라는 휴리스틱 지시가 포함됩니다.
   • LLM 은 이 피드백을 통해 예측을 반복적으로 수정 ($\hat{\nu}^{(j+1)}_{t+1}$) 합니다.
3. 데모 튜플 생성: 정제된 최종 예측값과 입력 시퀀스를 결합하여 데모 튜플 $T_t = (p_{conc}(x_t), \hat{\nu}^{(\ast)}_{t+1}, R_t)$을 생성합니다. 여기서 $R_t$는 다음 날의 실현 변동성에 기반한 변동성 체제 레이블 (High/Low) 입니다.

2.2 체제 인식 데모 풀 (Regime-aware Demonstration Pool)

• 훈련 데이터에서 생성된 데모 튜플들을 변동성 레이블 ($R_t$) 에 따라 **고변동성 풀 ($D_{high}$)**과 **저변동성 풀 ($D_{low}$)**로 분리하여 저장합니다.
• 이 풀은 추론 (Inference) 시 고정되며, 오라클 정보 (정답) 는 훈련 단계에서만 사용되고 추론 시에는 사용되지 않습니다.

2.3 조건부 샘플링을 통한 컨텍스트 학습 (Forecasting via ICL)

예측 시에는 입력 시퀀스 $x_t$에 대한 변동성 체제 추정치를 먼저 구한 후, 이에 조건부로 데모를 샘플링하여 LLM 에게 제공합니다.

1. 임의 선택 (Baseline): 전체 풀에서 무작위로 $K$개의 데모를 선택.
2. 고정 사전 확률 선택 (Proposal I): 학습 데이터의 레이블 분포 비율 ($\alpha$) 을 고정하여 저/고 변동성 풀에서 일정 비율로 데모를 혼합 선택.
3. 추정 레이블 기반 조건부 선택 (Proposal II, 제안된 핵심 방법):
   • 테스트 시점 $t$까지의 최근 $m$일간의 실현 변동성 평균 ($s_t$) 을 계산하여 현재 시장이 'High'인지 'Low'인지 추정 ($\hat{R}_t$) 합니다.
   • 추정된 체제 $\hat{R}_t$에 맞춰 해당 체제의 풀 (예: 고변동성으로 추정되면 $D_{high}$) 에서 데모를 우선적으로 샘플링합니다.
   • 이렇게 선택된 데모와 입력 시퀀스를 결합하여 LLM 이 최종 예측을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 오라클 가이드 정제 프레임워크: 파라미터 미세 조정 없이 고정된 사전 훈련 LLM 을 활용하여, 훈련 데이터에서 레이블이 지정된 고품질의 데모 (Demonstration) 를 생성하는 반복적 정제 절차를 개발했습니다.
2. 체제 인식 조건부 샘플링 전략: 입력 데이터의 추정된 시장 체제 (High/Low volatility) 에 따라 데모 풀에서 조건부로 샘플링하는 두 가지 전략을 제안했습니다. 이를 통해 LLM 이 컨텍스트 추론만으로 시장 환경 변화에 적응하도록 했습니다.
3. 실증적 성과 입증: 다양한 금융 데이터셋 (S&P500, NASDAQ, EUR/USD) 에서 기존 계량경제 모델 및 단순 ICL 방법보다 우수한 성능을 보였으며, 특히 고변동성 기간에서 예측 오차를 크게 감소시켰습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: S&P500, NASDAQ, EUR/USD 일일 데이터.
• 비교 대상: Rolling Mean, HAR, GARCH(1,1), GJR-GARCH, 단순 One-shot LLM.
• 성능 지표: RMSE, MAE (전체 및 체제별: 저변동성/고변동성).
• 주요 결과:
  • 전체 성능: 제안된 방법 (Proposal II) 은 S&P500 데이터에서 기존 최상위 클래식 모델 (GJR-GARCH) 대비 전체 예측 오차 (MAE) 를 약 27% 감소시켰습니다.
  • 고변동성 적응성: 고변동성 기간 (High-volatility regime) 에서 기존 모델들이 큰 오차를 보인 반면, 제안된 방법은 데모의 체제 일치성을 통해 예측 정확도를 획기적으로 향상시켰습니다.
  • 트레이드오프 해소: 기존 GARCH 모델은 고변동성 적응을 위해 평균 오차가 증가하는 트레이드오프가 있었으나, 제안된 방법은 고변동성 적응과 평균 정확도 사이에서 더 나은 운영점 (Operating Point) 을 달성했습니다.
  • 단순 ICL 의 한계: 데모 없이 단순히 프롬프트만 입력하는 One-shot 학습은 고변동성 기간에 예측이 크게 실패했으나, 정제된 데모 풀과 조건부 샘플링을 도입함으로써 이 문제가 해결되었습니다.

5. 의의 및 결론 (Significance)

• 파라미터 조정 없는 적응형 예측: 이 연구는 LLM 이 추가적인 학습 (Fine-tuning) 없이도, 오직 프롬프트 엔지니어링과 컨텍스트 샘플링 전략을 통해 비정상적인 금융 시장 환경에 적응할 수 있음을 증명했습니다.
• 시장 체제 인식의 중요성: 금융 시계열 예측에서 '하나의 모델이 모든 상황에 적합하다'는 가정이 깨질 수 있음을 지적하고, 변동성 체제 (Regime) 를 명시적으로 인식하고 대응하는 메커니즘이 예측 성능 향상의 핵심임을 보여줍니다.
• 미래 방향: 검색 기반 데모 선택 (Retrieval-based selection) 등을 통해 컨텍스트 추출을 더욱 정교화할 수 있는 가능성을 제시하며, LLM 을 활용한 금융 예측의 새로운 패러다임을 제시합니다.

요약하자면, 이 논문은 LLM 의 컨텍스트 학습 능력을 활용하되, 시장 변동성 체제를 명시적으로 고려하여 데모 예시를 선별하는 전략을 통해 기존 모델들이 겪는 고변동성 예측 실패 문제를 해결한 획기적인 접근법입니다.