💻 computer science

An Inter-variable Relationship-Aware Mixture-of-Experts Model for Stock Closing-Price Prediction

본 논문은 거래 변수들 사이의 동적인 의존성을 명시적으로 모델링하고, 다양한 글로벌 주식 시장에서 우수한 예측 정확도와 제로샷 일반화 성능을 달리는 것을 위해 종목별 셔플링 학습 전략을 적용한 희소 라우팅(sparse routing)을 채택한 변수 간 관계 인지 혼합 전문가 트랜스포머인 IR-MoE를 제안한다.

원저자: Zhenjiang Chen, Bin Liu, Pei-Gen Ye, Yang Lv, Jun Zheng

게시일 2026-09-23

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhenjiang Chen, Bin Liu, Pei-Gen Ye, Yang Lv, Jun Zheng

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

주식의 미래 가격을 예측하는 것은 금융 분야에서 가장 지속적인 과제 중 하나입니다. 시장은 글로벌 뉴스나 정부 정책부터 수백만 투자자들의 집단적 심리에 이르기까지 모든 것에 의해 영향을 받는 혼란스러운 곳입니다. 이 때문에 주가는 단순하고 직선적인 방식으로 움직이지 않으며, 소음이 많고 변덕스러우며 끊임없이 변화합니다. 수십 년 동안 전문가들은 이 혼돈 속에서 패턴을 찾으려고 노력해 왔으며, 종종 다섯 가지 표준 일일 수치, 즉 장 개시 가격(시가), 최고가, 최저가, 종가, 그리고 총 거래량을 살펴보았습니다. 어려움은 단순히 이러한 수치들을 시간에 따라 추적하는 데 있는 것이 아니라, 이 수치들이 서로 어떻게 대화하는지를 이해하는 데 있습니다. 가격 상승이 높은 거래량과 함께 나타나는 것은 적은 거래량과 함께 나타나는 상승과는 다른 이야기를 전달하지만, 많은 컴퓨터 모델은 이 다섯 가지 숫자를 서로 관련 없는 별개의 데이터 스트림으로 취급합니다.

연구자들이 직면한 핵심 질문은 단일 컴퓨터 프로그램이 새로운 미지의 주식에 적용하기 위해 처음부터 다시 학습할 필요 없이, 주식 시장의 복잡하고 변화하는 규칙을 충분히 잘 학습할 수 있는지 여부입니다. 전통적인 방식은 여기서 어려움을 겪는데, 가격과 거래량 사이의 미묘한 관계를 포착하는 데 실패하거나, 특정 기업에 너무 특화되어 다른 기업에는 적응하지 못하게 됩니다. 이러한 한계는 다양한 국가와 시장 조건에서 작동하는 보편적인 투자 분석 도구를 구축하는 것을 어렵게 만듭니다.

최근 베이징 이공대학교의 연구진은 이 문제를 해결하기 위해 새로운 접근 방식을 제 제안했습니다. 그들은 IR-MoE, 즉 '상호 변수 관계 인식 혼합 전문가(Inter-variable Relationship-Aware Mixture-of-Experts)'라고 불리는 시스템을 개발했습니다. 그 이름은 이 시스템이 수행하는 작업을 정확히 설명합니다. 이 시스템은 서로 다른 거래 변수들이 서로 어떻게 관계를 맺는지 인식하도록 설계되었으며, 예측을 위해 '혼합 전문가(mixture of experts)'를 사용합니다. 컴퓨터가 모든 주식에 대해 하나의 경직된 규칙을 배우도록 강요하는 대신, 이 시스템은 모델의 서로 다른 부분이 서로 다른 시장 상황에 특화될 수 있도록 합니다. 이는 모든 주식이 고유하지만, 가격과 거래량이 상호작용하는 방식은 종종 학습 가능하고 전이될 수 있는 인식 가능한 패턴을 따른다는 아이디어에 기반하고 있습니다.

연구진은 먼저 중국 A주 시장, 미국, 홍콩, 일본의 네 가지 뚜렷한 금융 시장으로부터 방대한 양의 역사적 데이터를 수집했습니다. 그들은 이 지역들의 수백 개의 대표적인 주식을 선정하였으며, 이는 광범위한 산업과 시장 행동을 포괄합니다. 각 주식마다 별도의 모델을 훈련시키는 대신, 그들은 모든 데이터를 하나의 통합된 시스템에 입력했습니다. 이 '연합 훈련(union training)' 전략을 통해 모델은 거래량이 급증하면 가격 방향이 변화하는 신호가 된다는 점과 같이, 해당 주식이 상하이 기반인지 뉴욕 기반인지와 상관없이 공유되는 시장 역학을 학습할 수 있었습니다.

그들 시스템의 핵심은 두 부분으로 구성된 아키텍처입니다. 첫 번째 부분은 다섯 가지 일일 수치 간의 관계를 이해하는 데 집중합니다. 연구진은 시가, 고가, 저가, 종가, 거래량 각각을 별개의 정보 단위인 '토큰'으로 취급하였고, 현대 언어 모델에서 영감을 받은 메커니즘을 사용하여 이들이 상호작용하도록 했습니다. 이를 통해 시스템은 예를 들어 종가가 그날의 거래량에 의해 큰 영향을 받는다는 점을 명시적으로 학습할 수 있었습니다. 이러한 상호작용을 시각화함으로써, 연구진은 모델이 가격 움직임을 이해하려고 할 때 거래량에 지속적으로 주의를 기울인다는 것을 발견했습니다. 이 주의는 무작위가 아니었습니다. 모델은 시장이 격동적일 때 거래량이 더 중요한 단서가 된다는 점을 학습했음을 시사하듯, 변동성이 높은 기간 동안 더욱 강력하게 나타났습니다.

시스템의 두 번째 부분은 '혼합 전문가'입니다. 안정적인 상승 추세, 갑작스러운 폭락, 또는 조용한 횡보 이동과 같은 특정 유형의 시장 행동에 정통한 전문가 팀을 상상해 보십시오. 시스템이 새로운 주식에 대한 데이터를 받으면, 모든 전문가에게 의견을 묻지 않습니다. 대신, 라우팅 메커니즘이 현재의 시장 상황을 살펴보고 가장 관련성이 높은 몇 명의 전문가만을 선택하여 예측을 수행합니다. 이를 통해 시스템은 상황에 즉각적으로 적응할 수 있습니다. 시장이 변덕스럽게 움직이면 고변동성 패턴에 대해 훈련된 전문가들을 호출할 수 있고, 시장이 차분하면 안정적인 추세에 대해 훈련된 전문가들에게 의존할 수 있습니다. 이러한 유연성은 모델이 전 세계 주식 시장의 다양하고 변화하는 특성을 다룰 수 있게 해주는 핵심입니다.

연구 결과는 모델이 한 번도 본 적 없는 주식의 가격을 추가 학습 없이 예측하도록 하는 엄격한 테스트를 포함하여 네 가지 시장 전체에서 테스트되었습니다. 이러한 '제로샷(zero-shot)' 테스트에서, 이 새로운 시스템은 데이터를 작은 조각으로 나누는 복잡한 모델들과 시계열 예측을 위해 설계된 다른 고급 인공지능 시스템들을 포함한 기존의 여러 방법보다 우수한 성능을 보였습니다. 중국 A주 시장에서 모델은 약 1.10%의 예측 오차율을 달랐으며, 미국 시장에서는 약 1.32%의 오차율에 도달했습니다. 이 수치들은 연구 내의 가장 성능이 좋은 대안들보다 일관되게 더 나았습니다.

아마도 가장 중요한 점은, 모델이 국경을 넘어 지식을 전이할 수 있음을 증명했다는 것입니다. 중국 주식 데이터로 훈련된 시스템을 미국, 홍콩, 일본의 미지의 주식에 직접 적용했을 때, 높은 정확도를 유지했습니다. 이는 가격과 거래량 사이의 근본적인 관계가 한 번 학습되면 어디에나 적용될 수 있을 만큼 보편적이라는 것을 시사합니다. 연구진은 또한 시스템이 다양하지만 관리 가능한 수의 주식으로 훈련되었을 때 가장 잘 작동한다는 것을 발견했습니다. 데이터를 더 많이 추가하는 것이 처음에는 도움이 되었지만, 특정 지점을 넘어서자 그 이점이 줄어들었는데, 이는 핵심이 단순히 더 많은 숫자를 시스템에 먹이는 것이 아니라 다양한 시장 행동을 포괄하는 데 있음을 나타냅니다.

연구진은 시스템이 올바르게 작동하는지 확인하기 위해 '전문가'들이 어떻게 사용되는지도 조사했습니다. 그들은 특정 균형 메커니즘이 없다면 시스템이 몇몇 전문가에게 너무 과하게 의존하여 다른 전문가들을 유휴 상태로 남겨두는 경향이 있다는 것을 발견했습니다. 시스템이 작업을 더 고르게 분산하도록 강제하는 규칙을 추가함으로써, 그들은 모델의 특화된 부분들이 모두 활성화되고 학습되도록 보장했습니다. 이러한 훈련 과정에서의 세심한 주의는 시스템의 안정성과 성능에 결정적이었습니다.

이 연구는 거래 변수가 어떻게 상호작용하는지를 명시적으로 모델링하고, 유연한 전문 예측가 팀을 사용함으로써, 주식 예측을 위한 더 강력하고 적응 가능한 도구를 구축하는 것이 가능하다는 결론을 내립니다. 연구진은 그들의 접근 방식이 경직된 단일 목적 모델에서 벗어나 시장의 복잡하고 변화하는 언어를 이해할 수 있는 시스템으로 나아가는 유망한 경로를 제공한다고 제안합니다. 이 연구는 주식 시장의 미스터리를 풀었다고 주장하는 것이 아니라, 일일 거래 데이터 사이의 관계에 대한 더 깊은 이해가 더 정확하고 일반화 가능한 예측으로 이어질 수 있음을 보여줍니다. 이 작업은 뉴스 보고서나 인트라데이(장중) 거래 상세 정보와 같은 더 많은 유형의 데이터를 통합하여 금융 세계를 항해하는 능력을 더욱 정교하게 다듬을 수 있는 미래 연구의 문을 열어줍니다.

기술 요약: 주가 종가 예측을 위한 변수 간 관계 인지 혼합 전문가 모델 (IR-MoE)

문제 정의
정확한 주가 종가 예측은 금융 시장의 노이즈가 많고, 비정상적(non-stationary)이며, 이질적인 특성으로 인해 어려움을 겪습니다. 기존의 접근 방식들은 다음과 같은 두 가지 주요 한계점을 가집니다:

암시적 변수 융합 (Implicit Variable Fusion): 대부분의 방법론(딥러닝 및 분해 기반 하이브리드 모델 포함)은 시가(Open), 고가(High), 저가(Low), 종가(Close), 거래량(Volume) 변수를 은닉 상태(hidden states)나 분해된 성분 내의 암시적인 특징으로 취급합니다. 이들은 변수 간의 동적이고 샘플 적응적인 의존성을 명시적으로 모델링하지 못합니다. 예를 들어, 가격 범위와 거래량 강도 사이의 결합 구성이 중요한 시장 상태 정보를 포함하고 있다는 증거가 있음에도 불구하고 이를 놓치고 있습니다.
제한된 일반화 능력 (Limited Generalization): 많은 모델이 특정 주식이나 고정된 자산 세트에 맞춰 학습되어, 새로운 자산에 적용할 때 재학습이나 미세 조정(fine-tuning)이 필요합니다. 이러한 "주식 특정적(stock-specific)" 패러다임은 배포 비용을 증가시키며, 이질적인 주식과 시장 국면(regime) 전반에 걸친 공유된 시장 역학을 포착하는 데 실패합니다. 또한, 표준 시계열 파운데이션 모델들은 가격-거래량 확인(confirmation)이나 다이버전스(divergence)와 같은 금융적 관계를 명시적으로 포착하지 못하는 범용적인 토큰화 방식을 사용하는 경우가 많습니다.

방법론: IR-MoE
저자들은 OHLCV 의존성을 명시적으로 모델링하고 주식 및 시장 간의 제로샷 일반화(zero-shot generalization)를 가능하게 하도록 설계된 트랜스포머 기반 프레임워크인 IR-MoE(Inter-variable Relationship-Aware Mixture-of-Experts)를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어집니다:

데이터 전처리 및 역전 임베딩 (Inverted Embedding):
- 정규화 (Normalization): 규모 차이(예: 가격 대비 거래량)를 처리하고 안정성을 높이기 위해 각 변수에 대해 룩백 윈도우(look-back window) 내의 인스턴스 수준 Z-점수 정규화를 적용합니다.
- 역전 임베딩 (Inverted Embedding): 시점(time step)을 토큰으로 취급하는 표준 시계열 트랜스포머와 달리, IR-MoE는 각 완전한 OHLCV 변수 시퀀스를 하나의 독립적인 토큰으로 취급합니다. 이 "역전된" 전략을 통해 모델은 단순히 시간적 패턴을 학습하는 것을 넘어 변수 간의 관계를 학습할 수 있습니다.
변수 간 관계 인지 (IR) 모듈:
- 이 모듈은 **변수 차원(variable dimension)**을 따라 작동하는 다중 헤드 셀프 어텐션(MHSA)을 사용하는 트랜스포머 인코더를 채택합니다.
- 변수를 토큰으로 취급함으로써, 어텐션 메커니즘은 각 특정 샘플에 대한 동적 의존성 맵(예: 거래량이 종가 표현에 미치는 영향)을 학습합니다.
- 이 모듈은 관계 인지 표현을 정교화하기 위해 GELU 활성화 함수와 Pre-Layer Normalization 아키텍처를 사용합니다.
희소 혼합 전문가 (Sparse MoE) 예측 모듈:
- 시장의 이질성(예: 추세 추종형 vs 평균 회귀형 국면)을 해결하기 위해 희소 MoE 레이어를 사용합니다.
- 게이팅 메커니즘 (Gating Mechanism): 노이지 Top-K 게이팅 네트워크는 관계 인지 표현을 전문화된 전문가 네트워크(선형 투영)의 부분 집합으로 라우팅합니다. 이를 통해 서로 다른 전문가들이 서로 다른 국소적 OHLCV-대-가격 매핑을 근사할 수 있게 합니다.
- 부하 분산 (Load Balancing): 전문가 붕괴를 방지하고 전문가 풀의 균형 잡힌 활용을 보장하기 위해 제곱 변동 계수( $CV^2$ )에 기반한 보조 손실(auxiliary loss)을 도입합니다.
- 출력: 전문가 출력의 가중 합산은 역정규화(inverse-normalized) 과정을 거쳐 최종 종가 예측값을 생성합니다.
학습 전략:
- 유니온 데이터셋 구축 (Union Dataset Construction): 모델은 공유된 시장 역학을 학습하기 위해 네 개 시장(중국 A주, 미국, 홍콩, 일본)의 여러 주식을 포함하는 대규모 "유니온" 데이터셋에서 학습됩니다.
- 주식 단위 셔플 순차 학습 (Stock-wise Shuffled Sequential Training): 서로 다른 변동성과 유동성 프로필을 가진 주식 간의 그래디언트 간섭을 줄이기 위해, 각 미니 배치(mini-batch)가 단 하나의 주식에서 나온 샘플만 포함하도록 하며, 에포크(epoch)를 거듭하며 주식의 순서를 섞는 전략을 사용합니다.

핵심 기여

명시적 OHLCV 의존성 모델링: 본 논문은 OHLCV 변수를 별개의 토큰으로 취급하여, 트랜스포머가 암시적인 특징 융합에 의존하는 대신 구조화되고 샘플별로 특화된 변수 간 의존성(예: 거래량-가격 상호작용)을 학습할 수 있게 하는 프레임워크를 도입했습니다.
이질성을 위한 희소 전문가 라우팅: 희소 MoE 메커니즘을 통합함으로써, 모델은 주식별 재학습 없이도 다양한 시장 국면과 주식 특성에 적응하며 제로샷 일반화를 촉진합니다.
유니온 학습 패러다임: 본 연구는 주식 단위 셔플링 전략을 사용한 다중 주식 유니온 데이터셋 학습의 효용성을 입증하였으며, 이는 단일 주식 학습이나 표준 글로벌 셔플링에 비해 교차 주식 전이 가능성과 강건성을 향상시킨다는 것을 보여주었습니다.

실험 결과
모델은 2016년부터 2025년까지의 데이터를 사용하여 네 개 시장(중국 A주, 미국, 홍콩, 일본)에 대해 평가되었습니다.

예측 정확도: IR-MoE는 분해 기반 하이브리드(ETICA-LSTM, MWDINet), 메타 휴리스틱 최적화 모델(LSTM-ARO, GJO-GRU-LSTM), 시계열 파운데이션 모델(TimesFM, MOMENT)을 포함한 베이스라인들을 일관되게 능가했습니다. 모든 시장에서 가장 낮은 MAPE와 가장 높은 $R^2$ 를 달 기록했습니다.
제로샷 일반화: 홀드아웃(hold-out) 실험에서, 재학습 없이 적용된 IR-MoE는 재학습된 주식 특정 베이스라인 및 제로샷 파운데이션 모델보다 우수한 성능을 보였습니다. 결정적으로, A주 데이터로 학습된 모델은 미국, 홍콩, 일본 시장의 미학습 주식에 대해서도 강력한 교차 시장 전이 능력을 보여주었으며, 해당 시장의 데이터를 학습이나 미세 조정에 사용하지 않고도 성공적으로 예측했습니다.
해석 가능성: 어텐션 분석 결과, IR 모듈은 특히 변동성이 큰 기간 동안 가격 변수(종가)에서 거래량으로 높은 어텐션 가중치를 일관되게 할당함을 보여주었습니다. 이러한 패턴은 A주와 미국 시장 모두에서 관찰되었으나, 시장 미세 구조에 따라 그 강도는 다르게 나타났습니다.
절제 연구 (Ablation Studies):
- 학습 세트 규모: 학습 주식 수가 5개에서 20개로 증가함에 따라 성능이 향 향상되었으나, 이후에는 이득이 점차 감소하여 공유된 국면을 학습하는 포화 지점이 존재함을 시사했습니다.
- 전문가 수: 적절한 수의 전문가(30개)가 유연성과 라우팅 안정성 사이의 최적의 균형을 제공했습니다. 과도한 전문가는 오히려 성능 저하를 초대로했습니다.
- 학습 전략: 제안된 주식 단위 셔플링 전략은 글로벌 셔플링에 비해 MAPE를 유의미하게 감소시켰으며, 이는 배치 내 분포적 이질성을 줄이는 것의 이점을 확인시켜 주었습니다.

의의 및 주장
본 논문은 IR-MoE가 다변량 주가 예측을 위한 확장 가능하고 해석 가능한 솔루션을 제공한다고 주장합니다. 이 연구의 의의는 암시적 특징 융합에서 명시적 변수 간 관계 모델링으로, 그리고 주식 특정적 적합(fitting)에서 제로샷 교차 주식 일반화로 패러다임을 전환했다는 데 있습니다.

저자들은 IR-MoE가 OHLCV 데이터의 금융적 구조를 명시적으로 모델링하고 적응형 전문가 라우팅을 활용함으로써, 표준 딥러닝이나 파운데이션 모델이 놓치기 쉬운 시장 데이터 내의 약하고 조건적인 통계적 규칙성을 포착할 수 있다고 단언합니다. 본 연구는 IR-MoE를 시장 움직임을 결정론적으로 예측하는 도구가 아니라(효율적 시장 가설을 인정하며), 개선된 예측 정확도와 전이 가능성을 위해 구조적 의존성과 국면별 패턴을 식별하고 활용하는 도구로 포지셔닝합니다. 이 연구는 향-후 금융 예측이 다양한 자산 전반의 공유된 시장 역학을 학습하는 동시에 로컬 시장 조건에 적응할 수 있는 유연성을 유지하는 것을 우선시해야 함을 시사합니다.

유사한 논문