Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

기술 요약: 교차 시장 주식 분석을 위한 검색 증강 대규모 언어 모델 기반 시계열 예측

문제 정의
본 논문은 노이즈가 많고 부분적으로 비정상성(nonstationary)을 띠는 금융 시장에서 주식 수익률을 예측하는 과제를 다룬다. Lag-Llama와 같은 시계열 파운데이션 모델은 재사용 가능하고 확률적인 예측 백본을 통해 제로샷 일반화(zero-shot generalization) 능력을 갖추고 있지만, 유사한 과거 윈도우를 명시적으로 검색하는 것이 서로 다른 시장 체제, 자산 및 예측 지평(horizon) 전반에서 일관되게 예측 오차를 줄일 수 있는지는 여전히 불분명하다. 기존 문헌은 주로 특정 작업에 특화된 모델이나 단일 시장 사례 연구에 집중해 왔으며, 이는 교차 시장 주식 설정에서 검색 증강 메커니즘이 사전 학습된 파운데이션 모델을 위한 외부 메모리 보정(external-memory correction)으로서 어떻게 기능하는지에 대한 이해의 공백을 남긴다.

방법론
본 연구는 백본을 재학습시키지 않고 고정된 Lag-Llama 확률적 예측기에 검색 레이어를 추가하는 통제된 프레임워크인 **Cross-Market Retrieval-Augmented Lag-Llama (CM-RAF-Lag-Llama)**를 소개한다.

• 데이터 및 패널: 평가는 신흥 시장과 선진 시장에서 추출한 세 가지 균형 잡힌 7개 자산 패널(IDX7(인도네시아), US7(미국), JP7(일본))을 활용한다. 데이터는 Yahoo Finance(2019–2025)의 일일 종가로 구성되며, 전방 채우기(forward-filling), 5일 이동 평균, 백분율 수익률 변환을 통해 전처리되었다.
• 하이브리드 워크플로우:
  1. 기초 예측(Base Forecast): Lag-Llama가 컨텍스트 윈도우를 기반으로 확률적 예측을 생성한다.
  2. 검색(Retrieval): 역사적 훈련 윈도우는 통계적 기술자(평균, 표준 편차, 극값, 분위수, 최근 윈도우 요약)를 사용하여 임베딩되며 FAISS를 통해 인덱싱된다.
  3. 유사도 검색(Similarity Search): 현재의 컨텍스트가 유클리드 거리를 사용하여 메모리 뱅크에 대해 쿼리되어 가장 가까운 이웃의 역사적 연속(continuation)을 검색한다.
  4. 융합(Fusion): 검색된 연속 신호는 가중 평균 $\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$을 사용하여 기초 예측과 융합된다.
• 실험 설계:
  • 교차 시장 그리드: 48가지 구성(3개 패널 × 4개 컨텍스트 길이 [32, 64, 128, 256] × 4개 예측 지평 [30, 60, 90, 120일])에 대한 풀 그리드 평가를 수행한다.
  • 검색 변형(Retrieval Variants): "Lag-Llama-only"와 "RAF-raw"(고정 융합) 및 "RAF-sel."(검증 단계에서 선택된 융합, 검증 윈도우를 기반으로 최적의 검색 키와 융합 스케일을 선택)을 비교한다.
  • 주식 특징 확장(Stock-Feature Extension): OHLCV 유도 타겟(로그 가격, 로그 거래량, 범위-변동성, 20일 실현 변동성)을 평가하여 더 풍부한 주식 표현이 검색 효능을 개선하는지 테스트하는 이차 실험을 수행한다.
  • 메커니즘 수준의 절제 연구(Ablation): 지평 및 컨텍스트 길이에 대한 민감도를 격리하기 위해 단일 시계열(BBCA.JK)에 대한 상세한 제로샷 및 스케줄러 기반(학습률 0.0005) 평가를 실시한다.
• 지표: 성능은 점 예측 정밀도를 위한 평균 제곱 오차(MSE)와 확률적 품질을 위한 연속 순위 확률 점수(CRPS)를 사용하여 측정된다.

주요 결과

• 교차 시장 검증: 수익률 실험에서, 적어도 하나의 검색 변형이 모든 48개 구성에서 MSE를 감소시켰다. Lag-Llama-only 대비 집계된 MSE 감소율은 28.85% (IDX7), 27.27% (US7), **33.60% (JP7)**였다. 검증 선택형 검색 변형은 48개 구성 중 41개에서 raw retrieval보다 일관되게 우수한 성능을 보였다.
• 주식 특징 확장: OHLCV 유도 타겟의 경우, 검증 선택형 RAF는 Lag-Llama-only 대비 72개 구성 중 68개에서 MSE를 감소시켰다. 이는 모든 비교 시스템(Random Forest, KNN, PatchTST와 같은 외부 베이스라인 포함) 중 22개 구성에서 가장 낮은 MSE를 달성했으며, 특히 US7 변동성 및 거래량 타겟(18개 비로그 가격 설정 중 17개)에서 압도적인 성능을 보였다.
• 메커니즘 수준의 통찰:
  • 지평 민감도: 검색은 중장기 지평(60–120일)에서 가장 효과적이었다. 제로샷 설정에서 30일 예측은 종종 오차가 증가했는데, 이는 로컬 역학(local dynamics)이 지배적일 때 검색이 노이즈를 도입함을 시사한다.
  • 컨텍스트 길이: 중간 정도의 컨텍스트 길이(32 및 64)가 최상의 결과를 냈다. 컨텍스트 길이 256은 특히 CRPS에서 성능을 저하시켰으며, 이는 너무 긴 윈도우가 이질적인 시장 체제로 인해 쿼리 표현을 희석시킨다는 것을 의미한다.
  • 적응(Adaptation): 스케줄러 기반 설정은 성능을 안정화하여, 제로샷(16개 중 12개)보다 스케줄러 기반(16개 중 14개)에서 MSE를 더 많이 감소시켰으나, 검색이 잘 정렬되었을 때는 제로샷이 약간 더 높은 평균 감소율을 보였다.
  • MSE vs. CRPS: 검색은 확률적 보정(CRPS)보다 점 예측 정확도(MSE)를 더 일관되게 개선하였으며, 이는 해당 메커니즘이 전체 불확실성 분포를 재형성하기보다는 주로 예측 평균을 보정함을 나타낸다.

의의 및 주장
본 논문은 검색 증강이 주식 시장에서 파운데이션 모델 예측을 위한 효과적인 외부 메모리 보정 역할을 한다는 통제된 증거를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 보정 레이어로서의 검색 검증: 전체 재학습이나 구조적 변경 없이도 명시적인 역사적 검색이 고정된 사전 학습된 Lag-Llama 백본의 오차를 줄일 수 있음을 입증하였다.
2. 교차 시장 일반화 가능성: 이러한 오차 감소가 단일 시장의 결과물이 아니라 신흥 시장(IDX)과 선진 시장(US, JP)의 주식 패널 전반에 걸쳐 지속됨을 확립하였다.
3. 구성 의존적 유용성: 검색이 항상 유익한 것은 아니며, 그 가치는 예측 지평(60일 이상에서 더 유용)과 컨텍스 길(32–64 스텝에서 최적)에 따라 달라짐을 명확히 하였다.
4. 타겟별 효능: 하이브리드 시스템이 단순 가격 수준보다는 재사용 가능한 변동성 또는 거래량 구조(예: 실현 변동성)를 가진 타겟을 예측할 때 특히 경쟁력이 있음을 보여주었다.

저자들은 이 연구를 대규모 모델을 재학습시키는 것보다 계산 자원이 제한적이거나 해석 가능한 추론 시점의 보정을 선호하는 시나리오에 적합한, 투명하고 가벼운 대안으로 포지셔닝한다. 또한, 개선된 예측 오차가 미모델링된 거래 비용과 시장 충격으로 인해 수익성 있는 매매 전략을 보장하지는 않는다는 점을 명시하며, 본 연구의 유용성을 주로 시나리오 분석 및 리스크 계획을 위한 의사결정 지원 도구로 규정한다.