Quasi-average predictions and regression to the trend: an application the M6 financial forecasting competition

이 논문은 효율적 시장 가설 하에서 개별 가치 예측보다 기대값 예측이 더 효과적이며, M6 금융 예측 대회 사례를 통해 분산이 낮은 평균 예측과 추세 회귀 기법이 기준 지수보다 일관된 우위를 보일 수 있음을 시사합니다.

핵심

이 논문은 **"예측하기 힘든 주식 시장에서, 어떻게 하면 남들보다 조금 더 잘할 수 있을까?"**라는 질문에 대한 답을 찾는 이야기입니다.

저자는 2023 년에 열린 세계적인 예측 대회인 **'M6 금융 예측 대회'**에 참가하여, 복잡한 수학적 모델 대신 **'평균'과 '회귀 (Regression)'**라는 간단한 원리를 이용해 상위 5 위라는 놀라운 성적을 냈습니다.

이 복잡한 논문을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 배경: "주식 시장은 왜 예측하기 어려울까?"?

주식 시장은 **'효율적 시장 가설'**이라는 규칙이 지배합니다. 이는 **"모든 사람들은 이미 모든 정보를 알고 있기 때문에, 누구나 쉽게 돈을 벌 수 없다"**는 뜻입니다.

• 비유: 주식 시장은 마치 완벽하게 공정한 주사위 게임과 같습니다. 누구나 공정한 정보를 가지고 있기 때문에, 누군가 계속 이기기는 매우 어렵습니다. 실제로 미국에서 전문 펀드 매니저들 중 10 년, 20 년 동안 지수 (시장 평균) 를 이긴 사람은 10% 도 안 됩니다.

2. 핵심 전략 1: "예측은 '정확한 값'보다 '평균'에 가깝게 하라"

대부분의 사람들은 "내일 A 주식이 10% 오를 것이다"라고 정확한 값을 예측하려고 애씁니다. 하지만 저자는 이렇게 말합니다.

"주식 시장은 너무 변동성이 크니까, 정확한 값을 맞추려다 실패하기보다, '대체로 평균적인 흐름'을 예측하는 게 더 안전하다."

• 비유: 폭풍우가 몰아치는 바다에서 배를 항해할 때, "내일 배가 12.345 미터 위로 올라갈 것이다"라고 정확히 예측하는 건 불가능합니다. 대신 "대체로 파도가 이 정도 높을 거야"라고 평균적인 높이를 예측하는 것이 더 현실적이고 실수할 확률이 적습니다.
• 방법: 저자는 100 개 주식과 ETF(상장지수펀드) 를 두 그룹 (주식 vs ETF) 으로 나누고, 각각의 평균적인 성향을 계산했습니다. 그리고 각 자산의 과거 평균과 그룹의 평균을 섞어서 예측했습니다.
• 결과: 이 단순한 '평균 예측법'이 복잡한 AI 모델들보다 더 좋은 점수를 받았습니다.

3. 핵심 전략 2: "요즘 너무 잘나가는 놈은 피하라 (평균으로의 회귀)"

투자 전략에서 저자는 **"최근에 너무 잘나가는 종목은 피하고, 오랫동안 꾸준히 좋은 성적을 낸 종목을 고르라"**는 원칙을 세웠습니다.

• 비유: 마라톤 대회에서 처음 100m 를 가장 빠르게 달린 사람이 반드시 우승하는 것은 아닙니다. 오히려 초반에 너무 빨리 달린 사람은 지쳐서 나중에 떨어지기 쉽습니다. 반대로 오랫동안 꾸준한 페이스를 유지해 온 사람이 결승선에서 더 잘할 확률이 높습니다.
• 원리: 이를 통계학에서는 **'평균으로의 회귀 (Regression to the mean)'**라고 합니다. 어떤 것이 극단적으로 잘되거나 나쁘면, 다음에는 다시 평균적인 수준으로 돌아오려는 성질이 있습니다.
• 전략:
  1. 장기적으로 좋은 종목만 고릅니다.
  2. 단기적으로 너무 급격히 오른 종목은 "아마 곧 떨어지겠지?"라고 생각해서 제외합니다.
  3. **ETF(시장 전체)**를 **공매도 (Short)**하여, 시장이 떨어질 때 발생하는 손실을 방어하고 변동성을 줄였습니다. (비유: 시장이 폭풍우일 때, 내 배는 튕겨서 넘어지지 않도록 무게추를 달아둔 것과 같습니다.)

4. 결과: "복잡함보다 단순함이 이겼다"

이 간단한 전략 (평균 예측 + 최근 과열 종목 배제 + 변동성 방어) 은 다음과 같은 성과를 냈습니다.

• 예측 부문: 163 개 팀 중 8 위 (최고 점수와 거의 차이 없음).
• 투자 수익률 부문: 163 개 팀 중 36 위.
• 종합 순위: 5 위.

대부분의 팀 (약 70% 이상) 은 시장 평균 (지수) 보다 못했습니다. 하지만 저자는 복잡한 정보나 고가의 데이터 없이, 오직 100 개 종목의 과거 데이터와 '평균'이라는 단순한 원리만으로 승리를 거뒀습니다.

5. 결론: 우리에게 주는 교훈

이 논문의 핵심 메시지는 다음과 같습니다.

"불확실성이 큰 세상 (주식 시장) 에서는, 모든 것을 정확히 예측하려 애쓰기보다 '평균적인 흐름'을 이해하고, 극단적인 변동에 휘둘리지 않는 것이 더 현명하다."

• 창의적인 비유:
  • 복잡한 예측: 폭풍우 속에서 나침반을 들고 미세한 바람의 방향까지 재며 항해하려는 시도. (실패하기 쉬움)
  • 이 논문의 방법: "대체로 북쪽으로 가야 해"라고 알고, 파도에 흔들리지 않도록 배를 튼튼하게 만들어 항해하는 것. (성공 확률 높음)

저자는 "주식 시장을 이기려면 더 똑똑한 머리가 필요한 게 아니라, 변동성에 휘둘리지 않는 단순한 지혜가 필요하다"고 말합니다.

기술 요약

논문 기술 요약: M6 금융 예측 경쟁에 적용된 준-평균 (Quasi-average) 예측 및 추세 회귀 전략

1. 문제 제기 (Problem)

• 효율적 시장 가설 (EMH) 의 도전: 효율적 시장 가설은 모든 공개 정보가 자산 가격에 즉시 반영되어 있으므로, 공개 데이터를 기반으로 일관되게 시장 평균 이상의 수익을 얻는 것이 불가능하다고 봅니다. 실제로 미국 능동형 펀드의 대부분은 벤치마크 지수 (S&P 500 등) 를 장기적으로 능가하지 못하며, 이는 '평균으로의 회귀 (Regression to the mean)' 현상과 일치합니다.
• M6 금융 예측 경쟁의 난제: M6 경쟁은 50 개의 S&P 500 주식과 50 개의 국제 ETF 를 대상으로 자산 수익률의 순위 (Relative Performance) 와 포트폴리오 구성 (Investment Position) 을 예측하는 것을 목표로 합니다. 높은 변동성과 불확실성 속에서 정밀한 예측을 시도하는 것은 과적합 (Overfitting) 을 유발하여 벤치마크보다 낮은 성과를 내기 쉽습니다.
• 핵심 질문: 고변동성 환경에서 정밀한 값 예측 대신 '기대값 (Expected Values)'이나 '평균'에 가까운 예측이 더 효과적인가?

2. 방법론 (Methodology)

저자는 정밀한 예측보다는 낮은 분산 (Low Dispersion) 을 가진 예측 방법과 추세 회귀 (Regression to the Trend) 전략을 결합하여 접근했습니다. 사용된 데이터는 M6 경쟁 내 100 개 자산의 역사적 가격 데이터로 제한되었습니다.

A. 예측 성능 (Forecasting Performance) - Ranked Probability Score (RPS) 최적화

• 이론적 배경: 평균값은 일련의 확률 변수에 대한 평균 제곱 오차 (MSE) 를 최소화하는 성질을 가집니다. 고변동성 환경에서는 평균에서 크게 벗어난 예측이 정보 가치가 없으면 오히려 성능을 저하시킵니다.
• 전략:
  1. 자산 클래스 평균: 주식 (Stocks) 과 ETF 를 구분하여 각 클래스별 평균 성과 분포를 계산합니다. (ETF 는 변동성이 낮아 1 위와 5 위 순위가 주식보다 덜 나타나는 경향 활용).
  2. 시간적 평균 (Temporal Average): 각 자산의 과거 성과에 대한 가중 이동 평균을 적용합니다 (최근 5, 10, 400 기간을 각각 0.2, 0.2, 0.6 의 가중치로 결합).
  3. 혼합 접근법: 자산 클래스 평균과 시간적 평균을 결합하여 최종 확률 분포를 추정합니다. 이는 예측의 변동성을 최소화하면서도 기대값에 근접하게 만듭니다.

B. 투자 결정 (Investment Decisions) - 포트폴리오 구성

• 목표: 위험 조정 수익률 (Information Ratio, IR) 극대화.
• 전략 1: 추세 회귀 (Regression to the Trend, RtT)
  • 논리: 단기적으로 지나치게 좋은 성과를 낸 자산은 추후 평균으로 회귀할 가능성이 높음 (과열).
  • 실행: 120 일 장기 성과가 상위 50% 이상인 주식 중, 40 일 단기 성과가 상위 85% 이내인 주식만 선별 (단기 과열 자산 제외).
• 전략 2: 보상 전략 (Compensated Strategy)
  • 논리: 포트폴리오의 변동성을 낮추기 위해 공매도 (Short) 를 활용.
  • 실행: 선별된 주식 (Long) 에 포트폴리오의 2/3 를 배분하고, ETF 를 공매도 (Short) 하여 1/3 을 배분. 이는 수익률은 벤치마크와 비슷하게 유지하되 변동성을 줄여 IR 을 높이는 효과를 노림.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 예측 성능 (RPS)

• 벤치마크 비교: 무작위 예측 (RPS 0.16) 보다 우수한 성과를 보였습니다.
• 성과: 제안된 혼합 평균 접근법은 M6 경쟁 163 개 팀 중 전체 8 위 (RPS 0.1573, 최우수 팀 0.1565 와 근접) 를 기록했습니다.
• 통찰: 고변동성 환경에서 정밀한 예측 시도보다 '기대 평균'에 가까운 예측이 평균적으로 더 효과적임을 입증했습니다.

B. 투자 성과 (Information Ratio)

• 성과:
  • '추세 회귀' 전략은 전체 36 위 (IR 1.301) 를 기록했습니다.
  • '보상 전략 (ETF 공매도 포함)'으로 전환 후 전체 5 위를 기록했습니다.
  • 벤치마크의 IR (0.4535) 을 크게 상회했습니다.
• 결론: 단기 과열된 자산을 배제하고, ETF 공매도를 통해 변동성을 통제하는 전략이 위험 조정 수익률을 극대화했습니다.

C. 종합 평가

• M6 경쟁 전체 163 개 팀 중 종합 점수 5 위를 달성했습니다.
• 능동형 펀드의 대다수가 벤치마크에 미치지 못하는 현실과 유사하게, 대부분의 경쟁팀도 벤치마크를 능가하지 못했으나, 단순하고 낮은 분산을 가진 전략이 우위를 점했습니다.

4. 의의 및 시사점 (Significance)

• 예측의 본질 재정의: 효율적 시장 가설 하의 고불확실성 환경에서는 '실제 값'을 맞추기보다 '기대값 (평균)'을 예측하는 것이 더 효과적임을 실증했습니다.
• 과적합 방지: 복잡한 모델이나 고빈도 데이터 대신, 자산 클래스별 평균과 단순 이동 평균을 활용함으로써 과적합을 피하고 일반화 성능을 높였습니다.
• 투자 전략의 교훈:
  1. 평균으로의 회귀 활용: 단기적인 과열 (Overachievers) 은 장기적으로 조정될 가능성이 높으므로 이를 배제하는 것이 유리합니다.
  2. 변동성 관리: 수익률 자체를 높이기보다 변동성을 줄이는 것 (ETF 공매도 등) 이 위험 조정 수익률 (IR) 향상에 더 결정적입니다.
• 한계 및 향후 과제: 현재 접근법은 경쟁 내 100 개 자산 데이터에만 의존했습니다. 더 정교한 베이지안 접근법이나 자산 하위 군집 (Clustering) 분석, 외부 금융 지표의 통합을 통해 예측 성능을 미세하게 개선할 여지가 있으나, 상위 팀 간의 점수 차이가 미미하여 개선의 여지는 제한적일 수 있습니다.

요약하자면, 이 논문은 복잡한 금융 예측 모델 대신 '준-평균 (Quasi-average)' 예측과 '추세 회귀' 원리를 적용하여, 고변동성 시장에서도 벤치마크를 능가하는 안정적인 성과를 달성할 수 있음을 보여주었습니다. 이는 금융 시장의 효율성 가설 하에서 능동적 투자 전략의 한계를 극복하기 위한 실용적이고 통계적으로 타당한 접근법을 제시합니다.