기술 요약: 추정 없는 어텐션 (Attention Without Estimation)

문제 정의

실현 변동성(Realized Volatility, RV) 예측은 금융 계량 경제학의 근본적인 과제로, 파생상품 가격 결정, 리스크 관리 및 규제 자본 산출에 있어 매우 중요합니다. 역사적으로 이 분야는 자산별 파라미터 추정이 필요한 파라미터 모델, 특히 이종 자기회귀(Heterogeneous Autoregressive, HAR-RV) 프레임워크와 GARCH 계열 모델에 의해 지배되어 왔습니다. 최근에는 이질적인 코퍼스에서 사전 학습되어 제로샷(zero-shot) 방식으로 배포되는 대규모 트랜스포머 아키텍처인 시계열 파운데이션 모델(Time Series Foundation Models, TSFMs)이 잠재적인 패러다임 전환으로 부상했습니다. 그러나 이러한 제로샷 파운데이션 모델과 고전적이고 점프 강건한(jump-robust) 계량 경제 벤치마크 간의 엄격하고 재현 가능한 비교 연구는 부족한 실정입니다. 본 논문은 독점적인 체크포인트에 접근할 수 없는 오프라인 환경에서, TSFM을 최첨단 계량 경제 모델과 수학적으로 엄격하게 비교하기 위한 프레임워크를 개발함으로써 이 격차를 해소합니다.

방법론

1. 계량 경제 벤치마크 및 이론적 확장

저자들은 표준적인 HAR-RV 및 GARCH(1,1)을 넘어선 포괄적인 계량 경제 벤치마크 세트를 구축합니다:

• HAR-RV: 일간, 주간, 월간 RV 평균에 대한 선형 회귀입니다. 본 논문은 근사 장기 기억 회귀 변수 의존성(near-long-memory regressor dependence) 하에서 OLS 추정량의 일치성과 점근적 정규성을 증명합니다 (정리 1).
• HARQ (Quarticity-Adjusted): 실현 쿼티시티(realized quarticity)를 도입하여 노이즈가 심한 일간 시차(lag)의 가중치를 낮춤으로써 RV의 측정 오차 문제를 해결합니다.
• HAR-CJ (Jump-Robust): 바이파워 변동(bipower variation)을 사용하여 RV를 연속 성분과 점프 성분으로 분해하여 별도로 모델링합니다.
• GARCH(1,1) & EWMA: 표준적인 파라미터 조건부 분산 모델입니다.
• 이론적 보증: 본 논문은 로그-RV 예측값의 지수화에 대한 로그-정규 편향 보정(log-normal bias correction)을 도출하고(명제 1), 추정량의 점근적 특성을 확립합니다.

2. TSFM 패러다임 및 대리 모델(Surrogate Model)

독점적인 TSFM 체크포인트(예: Chronos, TimesFM)를 저자의 오프라인 환경에서 다운로드할 수 없으므로, 저자들은 특정 독점 모델과 동일하다고 주장하지 않으면서도 TSFM 패러다임을 충실히 구현하는 TSFM-대리 모델을 구축합니다.

• 아키텍처: 인스턴스 정규화(instance normalization)와 가우시안 확률 헤드(Gaussian probabilistic head)를 갖춘 패치 기반 트랜스포머(PatchTST 준수)입니다.
• 학습: 15개의 합성 자산 패널을 통해 처음부터 사전 학습되었습니다.
• 추론: 5개의 홀드아웃(held-out) 자산에 대해 엄격하게 제로샷(가중치 동결, 그래디언트 업데이트 없음)으로 평가되었습니다.
• 복잡도 분석: 본 논문은 레이어당 계산 복잡도를 도출하여, 트랜스포생의 순전파(forward pass)는 $O(P^2d)$이지만, 매일 수행되는 계량 경제적 재추정의 $O(n)$ 비용을 피함으로써 다중 자산 환경에서의 분할 상환(amortization) 이점을 제공함을 보여줍니다 (명제 6).

3. 통계적 학습 이론

저자들은 제로샷 전이가 정당화되는 시점을 규명하기 위해 공식적인 경계(bounds)를 제공합니다:

• 라데마허 복잡도(Rademacher Complexity): 패치-트랜스포머 함수 클래스에 대한 노름 기반 일반화 경계입니다 (정리 2).
• PAC-Bayesian 전이 경계: 인샘플 적합도, 모델 복잡도, 분포 불일치를 명시적으로 분리하여 학습 자산에서 홀드아웃 자산으로의 제로샷 전이 리스크에 대한 경계를 설정합니다 (정리 3). 이는 파운데이션 모델이 복잡도 페널티를 극복하기 위해 대규모 사전 학습 패널이 필요하다는 직관을 공식화합니다.

4. 평가 프레임워크

강력한 통계적 평가 장치가 사용됩니다:

• 손실 함수: RMSE, MAE, 그리고 QLIKE(Patton [31]에 따라 노이즈가 있는 변동성 프록시에 강건함이 증명됨)를 사용합니다.
• 확률적 스코어링: 가우시안 예측 분포를 위한 연속 순위 확률 점수(CRPS)를 사용합니다.
• 가설 검정: 쌍별 정확도를 위한 Diebold–Mariano 테스트와 공동 모델 비교를 위한 정적 부트스트랩(stationary-bootstrap) 모델 신뢰 집합(MCS)을 사용합니다.
• 데이터: 점프가 포함된 Heston 확률 변동 모델에서 생성된 20개 자산의 현실적인 합성 패널을 사용하여, 인트라데이 경로로부터 실현 쿼티시티와 바이파워 변동을 직접 계산할 수 있도록 합니다.

주요 결과

1. 성능 계층 구조

• TSFM vs. GARCH/EWMA: TSFM-대리 모델은 모든 손실 함수(RMSE, QLIKE)와 테스트 절차(Diebold–Mariano, MCS)에서 GARCH(1,1) 및 EWMA보다 통계적으로 유의미하게 우수한 성능을 보였습니다.
• TSFS vs. HAR Family: TSFM-대리 모델은 쌍별 Diebold–Mariano 테스트에서 HAR 제품군(HAR-RV, HARQ, HAR-CJ) 전체에 의해 유의미하게 열세에 놓였습니다. HARQ와 HAR-CJ가 가장 낮은 에러율을 기록하며, 이는 합성 데이터 생성 과정에서 점프 및 측정 오차 강건성의 가치를 확인시켜 줍니다.
• 모델 신뢰 집합 (MCS): 결정적으로, 쌍별 테스트에서는 TSFM이 HAR 변체들보다 열세로 나타났지만, **공동 모델 신뢰 집합(90% 신뢰 수준)**에는 TSFM-대리 모델이 전체 HAR 제품군과 함께 포함되었습니다. 이는 여러 비교를 고려할 때, TSFM이 가장 우수한 성능을 보이는 계량 경제 모델들과 통계적으로 구별되지 않음을 나타냅니다.

2. 컨텍스트 길이 및 아키텍데처

• 컨텍스트 절제 연구(Context Ablation): 트랜스포머의 컨텍스트 윈도우가 증가함에 따라($L=16$에서 $L=64$까지) 제로샷 정확도가 단조 증가합니다. $L=64$ 변체는 $L=32$ 베이스라인보다 우수한 성능을 보였으며, 이는 모델이 HAR의 다개월 시차 의존성을 모방하듯 더 긴 룩백 호라이즌(lookback horizon)의 이점을 아직 완전히 포착하지 못했음을 시사합니다.
• 교정(Calibration): TSFM-대리 모델의 예측 분포(CRPS를 통한)는 일반적인 HAR-RV와 경쟁 가능하거나 약간 더 나은 교정 성능을 보이며, 학습된 불확실성 정량화의 강점을 입증합니다.

3. 계산 효율성

• TSFM-대리 모델의 단일 샘플 순전파는 현재 사용된 샘플 크기($n \approx 1,250$)에서 OLS 기반 HAR 재적합보다 실제 실행 시간(wall-clock time) 측면에서 느리지만, 본 논문은 실질적인 이점이 **분할 상환(amortization)**에 있다고 주장합니다. 즉, 하나의 동결된 네트워크가 별도의 자산별 재추정 없이 모든 자산에 적용되므로, 개별 계량 경제 파이프라인을 유지 관리하는 운영 복잡성을 제거합니다.

의의 및 주장

본 논문은 단순한 "승자 독식" 식의 결론이 아니라, 미묘하고 수학적으로 근거가 있는 비교를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 패러다임 논쟁의 정교화: 결과는 장기 기억 자기회귀 구조(HAR 제품군)가 정적이고 단일 체제(single-regime)인 데이터에서 여전히 극복하기 매우 어렵다는 것을 시사합니다. TSFM의 가장 강력한 주장은 HAR를 완전히 "이기는" 것이 아니라, 제로당 재추정 없이 구현되는 아키텍처적 이점을 제공하면서 최고 성능 모델과 통계적으로 구별 불가능한 수준에 도달한다는 것입니다.
2. 규모에 대한 이론적 정당화: 정리 3(PAC-Bayes bound)을 통해, 저자들은 TSFM이 현재 HAR에 비해 열세인 이유가 부분적으로 작은 사전 학습 패널($N=15$) 때문임을 공식화합니다. 바운드 내의 복잡도 페널티는 $1/\sqrt{n}$에 따라 스케일링되며, 이는 파운데이션 모델으로부터 진정한 향상을 얻으려면 복잡도 항을 무시할 수 있을 만큼 훨씬 더 많은 규모의 이질적인 데이터가 필요함을 의미합니다.
3. 방법론적 엄밀성: 저자들은 독점적인 체크포인트를 필요로 하지 않고도, 커스텀 학습된 대리 모델이 패러다임(패치-어텐션, 제로샷 전이)을 유효하게 테스트할 수 있음을 증명함으로써 오프라인 환경에서 파운데이션 모델을 평가하는 재현 가능한 프로토콜을 확립합니다.
4. 손실 함수의 민감도: 본 연구는 모델 순위와 모델 신뢰 집합 멤버십이 손실 불변(loss-invariant)이 아님을 보여줍니다. TSFM은 제곱 오차 손실(변동성 급증에 대한 민감도 때문) 하에서는 MCS에서 제외되었으나, QLIKE 하에서는 포함되었습니다. 이는 변동성 예측에서 QLIKE와 같은 강건한 손실 함수의 필요성을 강조합니다.

결론적으로, 본 논문은 파운데이션 모델이 높은 표현력을 가지고 있음에도 불구하고(명제 5를 통해 HAR 구조를 포함함을 증명), 변동성 예측에서 고전적 계량 경제학보다 실질적인 우위를 점하는 것은 규모(대규모의 이질적 사전 학습 패널)와 배포 조건(체제 변화, 교차 자산 이질성)에 달려 있으며, 본 연구의 합성 단일 체제 데이터에서는 그러한 조건이 충분히 반영되지 않았음을 시사합니다.