기술적 요약: 사후 드리프트를 가진 과매개변수화 모델

문제 제기

본 논문은 과매개변수화 선형 모델(관측치 수 $n$을 초과하는 매개변수 수 $p$를 가진 모델) 의 아웃-오브-샘플 예측 정확도에 미치는 사후 드리프트(개념 드리프트로도 알려짐) 의 영향을 조사한다. 최근 문헌, 특히 Kelly 등 (2024) 은 모델 복잡도 (매개변수 대 관측치 비율) 를 높이는 것이 주식 프리미엄 예측에 유익할 수 있다고 제안했으나, 이러한 발견들은 종종 훈련 및 테스트 단계 간 데이터 생성 과정 (DGP) 이 불변이라는 가정에 의존한다.

저자들은 금융 시장에서는 이러한 불변성이 체제 변화로 인해 거의 성립하지 않는다고 주장한다. 구체적으로, 그들은 두 가지 유형의 분포 변화를 구분한다:

1. 공변량 드리프트 (Covariate shift): 예측 변수의 분포 ($P_X$) 변화.
2. 사후 드리프트 (Posterior drift): 예측 변수와 목표 변수 간의 조건부 관계 ($P_{y|X}$) 변화, 즉 회귀 계수 (로딩) 가 시간에 따라 변함.

핵심 문제는 시장 타이밍 전략의 맥락에서 사후 드리프트가 복잡하고 과매개변수화된 모델의 성능을 어떻게 저하시키는지 정량화하는 것이다.

방법론

본 논문은 고차원 점근 이론, 몬테카를로 시뮬레이션, 그리고 역사적 금융 데이터에 대한 실증 분석을 결합하여 사용한다.

이론적 프레임워크

저자들은 Hastie 등 (2022) 의 "오지정된 등방성 (misspecified isotropic)" 결과를 비-i.i.d 데이터와 사후 드리프트가 있는 설정으로 확장한다.

• 데이터 생성 과정 (DGP): 모델은 $y_i = x_i'\beta + w_i'\theta + e_i$라는 선형 관계를 가정하며, 여기서 $x_i$는 관측된 특징이고 $w_i$는 관측되지 않은 특징이다. 에이전트가 $x_i$만 관측하므로 모델은 "오지정된 (misspecified)" 상태이다.
• 드리프트 메커니즘: 저자들은 훈련 (인-샘플) 기간과 테스트 (아웃-오브-샘플) 기간 사이의 실제 매개변수 변화를 명시적으로 모델링한다. $(\beta_{is}, \theta_{is})$를 훈련 기간의 매개변수, $(\beta_{oos}, \theta_{oos})$를 테스트 기간의 매개변수라고 하자.
• 점근 체제: 분석은 $n, p, q \to \infty$이며 $p/n \to c_\phi$이고 $(p+q)/n \to c$가 되는 비례 체제에서 수행된다.
• 추정자: 연구는 정규화 매개변수 $z$를 가진 릿지 추정자와 $z \to 0$일 때의 극한 (릿지리스) 에 초점을 맞춘다.

실증 프로토콜

• 데이터: 저자들은 Goyal 등 (2024) 에서 파생된 Kelly 등 (2024) 과 동일한 데이터 세트를 사용하며, 이는 14 개의 거시경제 지표와 지연된 수익률로 구성된다.
• 특징 확장: 과매개변수화 설정을 만들기 위해 **랜덤 푸리에 특징 (RFFs)**을 사용하여 14 개의 예측 변수를 $p=600$개의 특징으로 확장하며, 그 결과 $n=12$개월의 롤링 데이터로 복잡도 비율 $c=50$이 된다.
• 검증: 그들은 RFFs 의 비선형성을 제어하는 일련의 대역폭 매개변수 ($\gamma$) 에 대해 다양한 15 년 하위 기간에 걸쳐 전략을 테스트한다.
• 변화점 탐지: 사후 드리프트의 존재를 실증적으로 검증하기 위해, 추정된 베타의 시계열에 Londschien 등 (2023) 의 다변량 비모수 변화점 탐지 알고리즘을 적용한다.

주요 기여

1. 사후 드리프트에 대한 이론적 확장

본 논문은 사후 드리프트 하에서 시장 타이밍 전략의 기대 수익과 분산에 대한 분석적 표현식을 유도한다.

• 기대 수익: 극한 아웃-오브-샘플 기대 수익은 인-샘플 및 아웃-오브-샘플 로딩 벡터의 스칼라 곱에 비례함이 보인다: $E[r] \propto \langle \beta_{is}, \beta_{oos} \rangle$.
• 성능 저하: 저자들은 인-샘플 및 아웃-오브-샘플 로딩이 정렬되지 않은 경우 (구체적으로 $\langle \beta_{oos} - \beta_{is}, \beta_{is} \rangle < 0$인 경우) 전략의 기대 수익이 악화됨을 증명한다. 최악의 경우 (직교하는 로딩) 기대 수익은 0 으로 떨어진다.
• 위험 조정 수익: 샤프 비율은 신호 대 잡음비에 매우 민감한 것으로 나타난다. 약한 신호가 있는 체제 (금융 데이터의 전형) 에서 사후 드리프트는 특히 낮은 정규화 (높은 복잡도) 모델의 샤프 비율에서 상당한 붕괴를 초래한다.

2. 시뮬레이션 검증

몬테카를로 시뮬레이션을 통해 저자들은 전략 수익의 1 차 및 2 차 모멘트에 대해 유도된 이론적 한계가 실제로 성립함을 검증한다. 그들은 다음을 보여준다:

• 기대 수익은 스칼라 곱 $\langle \beta_{is}, \beta_{oos} \rangle$에 대해 선형이다.
• 더 높은 정규화 (더 큰 $z$) 는 변동성을 줄이지만 기대 수익도 줄여 트레이드오프를 만든다.
• "더블 디센트 (double descent)"현상 (복잡도가 보간 임계값을 넘어 증가함에 따라 성능이 향상됨) 은 드리프트가 존재할 때도 여전히 유효하지만, 피크 성능은 드리프트가 없는 시나리오보다 현저히 낮다.

3. 불안정성에 대한 실증적 증거

실증 분석은 과매개변수화 모델의 성능이 시간 기간과 대역폭 매개변수 모두에 매우 민감함을 드러낸다:

• 기간 민감성: 2005–2019 기간에 월간 7.24% 수익을 낸 전략은 동일한 대역폭 설정 하에서 1975–1989 기간에는 0.52% 로 붕괴되었다.
• 대역폭 민감성: 최적 대역폭은 정적이지 않으며 다른 경제 체제에 따라 변한다.
• 변화점: 변화점 탐지 알고리즘은 베타 시계열에서 (예: 1982 년, 1963 년, 2002 년) 중요한 구조적 단절을 식별하여 DGP 가 안정적이지 않음을 확인한다.

결과

• 성능 손실: 이론적 결과는 금융 성과의 손실이 훈련 및 테스트 로딩 간의 정렬 불일치와 직접적으로 연결됨을 나타낸다. 신호가 약할 때 (낮은 $R^2$), 사후 드리프트의 영향은 심각하여 종종 복잡한 모델을 단순한 벤치마크보다 나쁘게 만든다.
• 위험 조정 수익: 복잡한 모델은 특정 유리한 하위 기간에서 높은 원시 수익을 창출할 수 있지만, 변동성을 고려할 때 위험 조정 수익 (샤프 비율) 은 종종 비합리적으로 낮거나 음수이다. 논문은 월간 수익 0.03 이 연율화 변동성 100% 를 초과함을 의미하며 이는 금지될 정도로 높다고 지적한다.
• 정규화 트레이드오프: 정규화 매개변수 (대역폭) 를 증가시키면 전략 수익의 불확실성과 분산을 줄이지만 동시에 평균 수익을 0 으로 끌어내려 위험 조정 관점에서 복잡성을 덜 매력적으로 만든다.
• 반사실적 분석: 저자들이 사후 드리프트가 없다고 가정 (즉, 로딩이 일정하게 유지됨) 하여 "반사실적" 수익을 생성할 때 전략은 훨씬 더 잘 수행된다. 이 격차는 체제 변화의 구체적인 비용을 정량화한다.

중요성과 주장

본 논문은 예측 모델의 정교함이 가치를 가져올 수 있지만, 과매개변수화 모델이 무조건 유익한 것은 아님을 결론짓는다. 저자들은 다음과 같이 주장한다:

1. 체제 변화에 대한 민감성: 주식 프리미엄 예측에서 복잡한 선형 모델의 효능은 변화하는 경제 환경에 의해 심각하게 위협받는다. 이전 문헌 (예: Kelly 등, 2024) 에서 보고된 "복잡도의 미덕"은 특정 안정 하위 기간의 산물이거나 사후 드리프트의 영향을 과소평가한 것일 수 있다.
2. 실무자를 위한 주의: 과매개변수화 모델에 의존하는 분석가는 백테스트에서 성능의 안정성과 민감성에 특히 주의를 기울여야 한다. 결과는 15 년의 보유 기간이 특정 체제와 선택된 대역폭에 따라 매우 이질적인 수익을 생성할 수 있음을 시사한다.
3. 권고: 이 발견들은 주식 시장 예측에 대규모 선형 모델을 동원할 때 주의할 것을 권장한다. 저자들은 특히 신호가 약하고 체제 변화가 빈번한 금융 시장에서 복잡성의 이점이 사후 드리프트의 위험에 의해 종종 상쇄된다고 제안한다.

요약하자면, 본 논문은 금융에서 과매개변수화의 역할에 대한 모호함에 대한 이론적 및 실증적 설명을 제공하며, 복잡한 모델의 불안정성을 근본적인 데이터 생성 과정의 비정상성으로 귀인한다.