End-to-End Large Portfolio Optimization for Variance Minimization with Neural Networks through Covariance Cleaning

이 논문은 회전 불변 신경망을 통해 역사적 수익률과 공분산 행렬의 고유값을 동시에 학습하여, 기존 최첨단 방법보다 낮은 실현 변동성과 더 높은 샤프 비율을 달성하는 종단간 포트폴리오 최적화 모델을 제안합니다.

핵심

🎒 핵심 아이디어: "혼란스러운 시장 소음을 정리하는 AI 비서"

주식 투자를 할 때 가장 큰 문제는 **"과거의 데이터를 믿을 수 있을까?"**입니다.
수천 개의 주식 데이터를 모으면, 진짜 중요한 신호 (어떤 주식이 함께 움직이는지) 와 그냥 우연히 겹친 소음 (랜덤한 변동) 이 섞여버립니다. 마치 시끄러운 파티에서 친구의 목소리를 듣는 것과 비슷하죠.

기존의 방법들은 이 소음을 제거하기 위해 정해진 공식 (통계학) 을 사용했지만, 이 논문은 **"AI 가 직접 소음을 듣고 중요한 신호만 남기게 훈련하자"**고 제안합니다.

🏗️ 이 모델의 3 단계 작동 원리 (비유로 설명)

이 AI 모델은 세 가지 역할을 하는 부서로 나뉘어 있습니다.

1. 시간 조절기 (Lag-Transformation): "과거의 기억을 적절히 필터링하다"

• 상황: 우리는 어제 일어난 일과 10 년 전 일의 중요도가 같을 수 없습니다.
• AI 의 역할: 이 모델은 과거의 주식 데이터를 볼 때, 어떤 시기의 데이터에 더 무게를 둘지 스스로 배웁니다.
  • 최근 데이터는 선명하게 보지만, 너무 오래된 데이터는 흐릿하게 보거나 아예 무시합니다.
  • 비유: 마치 사진에 필터를 씌우는 것처럼, 최근의 날씨는 선명하게 찍고 오래된 날씨는 흐릿하게 처리해서 "진짜 날씨 패턴"만 남깁니다.

2. 소음 제거기 (Eigenvalue Cleaning): "혼란스러운 파티를 정리하다"

• 상황: 수천 개의 주식 데이터는 마치 1,000 명이 떠드는 파티 같습니다. 여기서 진짜 중요한 대화 (주식 간의 진짜 관계) 를 찾기 어렵습니다.
• AI 의 역할: 이 모델은 수학적으로 '소음'으로 보이는 부분들을 잘라내고, 진짜 중요한 '핵심'만 남깁니다.
  • 기존 통계학은 소음을 제거할 때 정해진 규칙을 따르지만, 이 AI 는 데이터의 모양을 보고 "어디가 소음이고 어디가 진짜 신호인지" 스스로 판단합니다.
  • 비유: 파티에서 떠드는 소음은 줄이고, 진짜 중요한 대화만 남기는 '소음 제거 이어폰' 같은 역할을 합니다.

3. 위험 조절기 (Volatility Scaling): "위험한 사람과 안전한 사람을 구분하다"

• 상황: 어떤 주식은 아주 조용하고, 어떤 주식은 매우 격하게 움직입니다.
• AI 의 역할: 각 주식의 '움직임 크기 (변동성)'를 분석해서, 너무 위험한 주식은 비중을 줄이고 안정적인 주식은 적절히 배분합니다.
  • 비유: 등산할 때, 위험한 길은 피하고 안전한 길을 선택하는 가이드 역할을 합니다.

---

🚀 이 모델이 특별한 이유 (기존 방식과의 차이)

1. 한 번 학습하면 끝 (재학습 불필요):

   • 보통 AI 는 주식 수를 늘리면 다시 학습해야 합니다. 하지만 이 모델은 100 개 주식으로 학습한 뒤, 1,000 개 주식에도 그대로 적용할 수 있습니다.
   • 비유: "작은 마을의 교통 규칙을 배운 운전자가, 큰 도시에서도 바로 운전할 수 있다"는 뜻입니다. 이는 모델이 매우 똑똑하고 일반화 능력이 뛰어남을 의미합니다.

2. 검은 상자 (Black Box) 가 아님:

   • 많은 AI 는 "왜 이 주식을 샀는지" 설명해주지 않습니다. 하지만 이 모델은 어떤 데이터를 어떻게 처리했는지 (과거 데이터 필터링, 소음 제거 등) 를 수학적으로 설명할 수 있어 투명합니다.

3. 실전 테스트의 승리:

   • 2000 년부터 2024 년까지의 실제 미국 주식 시장 데이터로 테스트했습니다.
   • 결과: 다른 최고의 방법들보다 손실 (변동성) 은 더 적고, 수익률은 더 높았습니다. 특히 시장이 폭락할 때 (코로나 팬데믹 등) 다른 모델보다 덜 떨어지는 강인함을 보였습니다.

4. 거래 비용까지 고려:

   • 단순히 이론상 수익만 좋은 게 아니라, **거래 수수료, 세금, 가격 차이 (슬리피지)**까지 모두 계산한 현실적인 시뮬레이션에서도 여전히 1 위를 차지했습니다.

---

💡 결론: 왜 이것이 중요한가?

이 연구는 "복잡한 수학 공식에 의존하던 포트폴리오 최적화를, 데이터가 가르쳐주는 지능적인 AI 로 바꾼" 획기적인 시도입니다.

• 기존 방식: "이 공식이 맞을 거야"라고 믿고 계산.
• 새로운 방식: "데이터가 말해주는 패턴을 AI 가 찾아서, 가장 안전한 길을 스스로 설계."

결론적으로, 이 AI 모델은 투자자가 수천 개의 주식이라는 거대한 바다에서 가장 안전한 항로를 찾아주는 똑똑한 나침반 역할을 합니다. 그리고 이 나침반은 시장이 어떻게 변하든, 주식의 수가 늘어나도 흔들리지 않는다는 것이 증명되었습니다.

기술 요약

이 논문은 신경망 (Neural Networks) 을 활용한 종단간 (End-to-End) 대규모 포트폴리오 최적화를 제안하며, 특히 **공분산 행렬 정제 (Covariance Cleaning)**를 통해 **전역 최소 분산 포트폴리오 (Global Minimum-Variance, GMV)**를 구축하는 방법을 다룹니다. Christian Bongiorno 등 (2026) 이 발표한 이 연구는 기존 머신러닝 기반 포트폴리오 최적화의 한계를 극복하고, 실제 시장 환경에서 높은 일반화 능력을 입증했습니다.

다음은 논문의 핵심 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem Statement)

• 표본 오차와 차원의 저주: 포트폴리오 최적화에서 공분산 행렬을 추정할 때, 자산 수 ($n$) 가 관측치 수 ($\Delta t_{in}$) 에 비해 커지면 (즉, 비례상수 $q = n/\Delta t_{in}$가 클 때), 표본 공분산 행렬은 조건이 나빠지고 (ill-conditioned) 추정 오차가 급격히 증가합니다. 이는 포트폴리오의 실제 위험 (실현 분산) 을 이론적 최소값보다 훨씬 크게 만듭니다.
• 비정상성 (Non-stationarity): 금융 시계열은 시간에 따라 구조가 변하므로, 과거 데이터를 단순히 늘려서 표본 오차를 줄이는 것은 오히려 편향 (bias) 을 증가시킵니다.
• 기존 방법의 한계:
  • 선형/비선형 축소 (Shrinkage): Ledoit-Wolf 나 QIS(Quadratic-Inverse Shrinkage) 와 같은 기존 방법은 이론적 최적 (Oracle Estimator) 에 근접하려 하지만, 실제 포트폴리오 최적화 목적 함수 (실현 분산) 와는 다른 Frobenius 거리 기반의 손실 함수를 사용합니다.
  • 머신러닝 접근법: 기존 연구들은 주로 소규모 자산군에 국한되거나, 미래 정보 누출 (look-ahead bias) 이 발생하기 쉬운 데이터셋을 사용하며, 자산 수에 따라 모델을 재학습해야 하는 비효율성이 있었습니다.

2. 방법론 (Methodology)

저자들은 GMV 포트폴리오의 분석적 해를 모방하는 회전 불변 (Rotation-Invariant) 신경망 아키텍처를 설계했습니다. 이 모델은 자산 수 ($n$) 에 독립적 (dimension-agnostic) 으로 작동하도록 설계되었습니다.

A. 전체 아키텍처 (End-to-End Pipeline)

모델은 3 개의 학습 가능한 모듈로 구성되며, 전체 파이프라인은 실현된 포트폴리오 분산을 최소화하도록 종단간 (End-to-End) 으로 학습됩니다.

1. 레이그 변환 모듈 (Lag-Transformation Module):

   • 과거 수익률에 가중치를 부여하고 이상치를 제어하기 위해 학습 가능한 시계열 변환을 적용합니다.
   • Soft Clipping: $tanh$ 함수를 사용하여 과거 수익률을 부드럽게 제한 (clip) 합니다.
   • 학습 결과: 최근 데이터는 선형에 가깝게, 먼 과거 데이터는 이진 (binary) 신호로 변환되는 쌍곡선 가중치 (Hyperbolic Weighted Moving Average) 패턴을 학습했습니다. 이는 최근 데이터는 Spearman 상관관계에, 먼 과거는 Phi 계수에 가깝게 작용하도록 만듭니다.

2. 고유값 정제 모듈 (Eigenvalue Cleaning Module - 핵심):

   • 문제: 공분산 행렬의 고유값 스펙트럼에서 노이즈 (Bulk) 를 제거하고 신호를 강화해야 합니다.
   • 해결: **양방향 LSTM (BiLSTM)**을 사용하여 고유값 시퀀스를 처리합니다.
   • 이론적 배경: 랜덤 행렬 이론 (RMT) 의 'Coulomb Gas' 모델에서 영감을 얻었습니다. 고유값을 서로 밀어내는 전하로 간주하여, 인접한 고유값 간의 상호작용을 모델링합니다.
   • 특징: 이 모듈은 고유벡터는 그대로 유지하면서 고유값만 변환합니다. 학습 결과, Bulk 영역의 고유값은 입력 데이터에 거의 무관하게 일정한 값으로 수렴 (Asset-agnostic shrinkage) 하도록 학습되었으며, 이는 Average Oracle (AO) 방법과 유사한 효과를 냅니다.

3. 한계 변동성 모듈 (Marginal Volatility Module):

   • 각 자산의 표본 표준편차를 입력받아 역변동성 (Inverse Volatility) 을 예측하는 MLP(다층 퍼셉트론) 입니다.
   • 저변동성 자산의 변동성을 약간 낮추고, 고변동성 자산의 변동성을 높이는 방향으로 학습되었습니다.

4. 최종 포트폴리오 구성:

   • 정제된 고유값과 역변동성을 결합하여 **역공분산 행렬 ($\Sigma^{-1}$)**을 추정합니다.
   • 이를 GMV 공식 $w \propto \Sigma^{-1}\mathbf{1}$에 대입하여 포트폴리오 가중치를 도출합니다.

B. 학습 전략

• 손실 함수: 미래의 단기 실현 분산 (Realized OOS Variance) 을 직접 최소화합니다. (Frobenius 거리 대신 실제 포트폴리오 성과에 최적화됨)
• 일반화: 훈련 시 자산 수 ($n$) 를 50~350 개 사이에서 무작위 샘플링하여 학습시켰으며, 이를 통해 1,000 개 이상의 자산으로 구성된 테스트 세트에서도 재학습 없이 작동하도록 했습니다.

3. 주요 기여 (Key Contributions)

1. 차원 무관성 (Dimension Agnosticism): 수백 개의 자산으로 훈련된 단일 모델이 1,000 개의 미국 주식으로 구성된 포트폴리오에도 재학습 없이 적용 가능합니다. 이는 대규모 포트폴리오 관리의 실용성을 크게 높였습니다.
2. 해석 가능한 블랙박스 (Interpretable Black-box): 각 모듈의 역할 (시차 가중치, 고유값 필터링, 변동성 스케일링) 이 명확히 정의되어 있어, 모델이 어떻게 작동하는지 이론적으로 해석할 수 있습니다.
3. 실제 거래 환경 반영: 단순한 백테스트를 넘어, **Interactive Brokers (IBKR)**의 실제 거래 조건 (수수료, 슬리피지, 레버리지 이자, 매수/매도 오더 실행 등) 을 시뮬레이션한 고충실도 (High-fidelity) 테스트를 수행했습니다.
4. 제약 조건 하의 성능 유지: 모델은 무제약 (Long-Short) 상태로 훈련되었으나, 학습된 공분산 행렬을 Long-Only (매수만) 제약 조건이 있는 최적화기에 입력했을 때도 경쟁사 대비 우월한 성능을 유지했습니다.

4. 실험 결과 (Results)

데이터: 2000 년 1 월부터 2024 년 12 월까지의 미국 주식 (NYSE/NASDAQ) 데이터.
비교 대상: MLE(표본 공분산), Linear Shrinkage (LS), Non-Linear Shrinkage (QIS), Average Oracle (AO), DCC 등 최첨단 추정기.

• 실현 분산 및 위험: 제안된 NN 모델은 모든 기간에서 가장 낮은 실현 분산과 **최대 낙폭 (Max Drawdown)**을 기록했습니다.
• 수익률 대비 위험 (Sharpe Ratio):
  • 무제약 (Long-Short): NN 은 Sharpe 비율 1.01 로 1 위 (QIS 는 0.94).
  • Long-Only (실제 거래 시뮬레이션): NN 은 Sharpe 비율 1.058로 1 위를 차지했습니다. (AO 는 0.942, DCC 는 0.930)
• 꼬리 위험 (Tail Risk): VaR(Value-at-Risk) 과 CVaR(Conditional Value-at-Risk) 측면에서도 NN 이 가장 우수한 위험 관리 능력을 보였습니다.
• 자산 수 확장성: 자산 수 ($n$) 가 21 개에서 1,000 개로 증가함에 따라 NN 의 성과는 단조적으로 향상되었습니다. 이는 기존 방법론들이 겪는 차원의 저주를 성공적으로 해결했음을 의미합니다.
• 거래 비용: NN 은 다른 모델보다 회전율 (Turnover) 이 높았으나 (약 57%), 높은 수익률과 낮은 변동성으로 인해 거래 비용을 상쇄하고도 순수익이 가장 높았습니다.

5. 의의 및 결론 (Significance)

이 논문은 머신러닝을 금융 포트폴리오 최적화에 적용할 때 발생할 수 있는 **과적합 (Overfitting)**과 실제 적용성 (Practicality) 문제를 해결한 획기적인 연구입니다.

• 이론과 실전의 연결: 통계적 이론 (RMT, RIE) 과 심층 신경망의 힘을 결합하여, 단순히 노이즈를 제거하는 것을 넘어 미래의 비정상적인 시장 환경에 적응할 수 있는 동적 정규화 기법을 제시했습니다.
• 산업적 적용 가능성: 재학습 없이 다양한 자산 규모에 적용 가능한 모델 설계는 헤지펀드 및 자산운용사에게 비용 효율적이고 확장 가능한 솔루션을 제공합니다.
• 향후 과제: 현재 모델은 고유벡터의 시간적 변화를 명시적으로 모델링하지는 못하지만, 향후 시장 상태 변수를 조건으로 하는 동적 공분산 예측이나 제약 조건이 포함된 최적화 레이어 통합 등을 통해 더 발전될 수 있음을 시사합니다.

결론적으로, 이 연구는 종단간 학습을 통한 공분산 정제가 대규모 포트폴리오 관리에서 기존 통계적 방법론을 압도할 수 있음을 실증적으로 증명했습니다.