기술 요약: GS-Fuse

문제 정의

거시경제 지표 발표, 정책 결정과 같은 주요 금융 사건의 자산 가격에 미치는 영향을 정확하게 예측하는 것은 투자자와 정책 입안자에게 중요합니다. 대규모 언어 모델 (LLM) 과 시계열 기반 모델의 최근 발전으로 단일 모달 예측은 개선되었으나, 사건 기반 금융 예측을 위한 기존 다중 모달 접근법은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 사건 불변 융합: 현재 방법들은 텍스트와 가격 데이터를 공유 계층을 사용하여 대칭적으로 융합하며, 모달리티 간의 안정적인 균형을 가정합니다. 이는 일부 사건은 감정에 의해 주도되고 다른 사건들은 기존 기술적 패턴을 따르는 등 금융 시장의 이질적인 특성에 적응하지 못하게 합니다.
2. 인과성 인식 융합 부재: 기존 모델들은 사건 텍스트가 과거 가격 외에 어떤 시점에 점진적인 예측 가치를 제공하는지 명시적으로 판단할 메커니즘이 부족합니다. 종종 모달리티를 대칭적으로 융합하여 노이즈가 많거나 정보가 없는 텍스트를 과도하게 사용할 위험이 있습니다.
3. 거친粒度 정렬: 표준 정렬 메커니즘은 인스턴스 수준 (전체 사건 임베딩 대 전체 시계열 임베딩) 에서 작동합니다. 이는 FOMC 성명서의 전향적 가이드라인과 같이 금융 발표물의 특정 구절만이 시장 반응을 주도한다는 사실을 무시하여, 관련 없는 콘텐츠로 인한 신호의 희석을 초래합니다.

방법론

저자들은 그랑저 감독 (Granger-supervised), 인과성 인식 게이트 융합 메커니즘 및 다중粒度 정렬을 통해 이러한 한계를 해결하도록 설계된 다중 모달 프레임워크인 GS-Fuse를 제안합니다. 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다:

1. 인코더

• 텍스트 인코더: 사전 훈련된 LLM(예: LLaMA, Phi-3) 을 사용하여 사건 스크립트 ($E_i$) 를 토큰 수준 표현으로 인코딩한 후, 공유 임베딩 공간에 투사합니다.
• 시계열 인코더: 사전 훈련된 시계열 기반 모델 (예: MOMENT, Kronos) 을 사용하여 사건 전 시장 구간 ($X_i$) 을 단계별 표현으로 인코딩합니다.
• 동결 전략: 백본 LLM 과 TS 기반 모델은 동결된 상태로 유지되며, 투사 헤드와 하위 모듈만 훈련됩니다.

2. 다중粒度 교차 모달 정렬

모달리티 간 격차를 해소하기 위해 GS-Fuse 는 두 수준에서 정렬을 강제합니다:

• 인스턴스 수준 전역 정렬: 양방향 교차 어텐션을 사용하여 토큰과 단계 표현을 교차 배치한 후, InfoNCE 대비 손실을 적용하여 전역 사건 및 시계열 임베딩을 정렬합니다.
• 토큰/단계 세밀粒度 정렬: 개별 텍스트 토큰을 특정 시계열 단계와 정렬합니다. 중요도 스코어가 상위 K 개의'앵커'토큰을 식별하고, 대비 손실은 이러한 중요한 토큰이 해당 시간적 패턴과 정렬되도록 유도하면서 다른 인스턴스의 관련 없는 단계는 밀어냅니다.

3. 그랑저 감독 인과 게이트

이것이 핵심 혁신입니다. 모델은 사건 텍스트를 점진적 예측 유용성에 따라 포함할지 여부를 결정하는 게이트 메커니즘을 사용합니다:

• 그랑저 유용성 신호: 훈련 중 모델은 시계열 데이터만 사용하는'제한된'예측기 ($\hat{Y}_{ts}$) 와 텍스트 및 시계열을 모두 사용하는'무제한'예측기 ($\hat{Y}_{full}$) 를 비교합니다.
• 감독: 손실 차이 ($\Delta_i = \ell(Y_i, \hat{Y}_{ts}) - \ell(Y_i, \hat{Y}_{full})$) 는 그랑저 인과성의 대리 지표로 작용합니다. 텍스트를 포함하여 예측 오차가 감소하면 텍스트가 유용한 것으로 간주됩니다.
• 게이트 훈련: 게이트 네트워크는 각 인스턴스에 대한 스칼라 개방도 점수 ($\alpha_i$) 를 예측합니다. 이 점수는 그랑저 유용성에서 도출된 부드러운'책임'목표 ($r_i$) 와 일치하도록 증류 손실을 통해 감독됩니다. 게이트는 텍스트가 측정 가능한 가치를 제공할 때만 열리고 ($\alpha_i \approx 1$), 그렇지 않으면 닫힙니다.

4. 디코더

경량 Transformer 디코더는 게이트로 가중된 융합 표현을 받아 예측 기간 $H$ 동안의 미래 시장 궤적을 생성합니다.

훈련 계획

모델은 안정성을 위해 세 단계로 훈련됩니다:

1. TS 전용 사전 훈련: 강력한 기준선을 확립하기 위해 시계열 분기를 훈련합니다.
2. 텍스트 전용 워밍업: 사건 표현이 예측 관련성을 갖도록 텍스트 분기를 훈련합니다.
3. 다중 모달 미세 조정: 예측 손실, 정렬 손실, 게이트 감독의 결합된 목적 함수로 융합 및 정렬 모듈을 공동 훈련합니다.

주요 기여

1. 그랑저 감독 게이트 융합: 과거 가격 이상의 점진적 예측 가치를 제공할 때만 사건 텍스트를 선택적으로 신뢰하도록 학습하는 새로운 모듈로, 사건에서 가격으로의 인과 방향을 효과적으로 모델링합니다.
2. 다중粒度 정렬: 인스턴스 수준과 세밀粒度 토큰/단계 수준 모두에서 작동하는 공동 정렬 방식으로, 모델이 시장 반응을 주도하는 특정 텍스트 단서를 국소화할 수 있게 합니다.
3. 플러그 앤 플레이 프레임워크: 임의의 LLM 과 시계열 기반 모델을 감싸는 모델 중립 어댑터로, 다양한 백본 및 시장 설정에서 유연하게 작동합니다.

실험 결과

저자들은 CAMEF(거시경제 지표) 와 FNSPID(금융 뉴스) 를 통합한 큐레이션 데이터셋을 사용하여 S&P500, NASDAQ, INDU, USGG1M, USGG5YR 등 다섯 가지 자산에 대해 GS-Fuse 를 평가했으며, 예측 기간은 5 분 단위 단계로 $H \in \{35, 70, 140\}$ 세 가지로 설정되었습니다.

• 성능: GS-Fuse 는 ARIMA, DLinear, iTransformer, FEDformer 와 같은 최첨단 단일 모달 기준선과 GPT4MTS, TimeCMA, TEST 와 같은 다중 모달 기준선을 일관되게 능가했습니다. 모든 자산과 예측 기간에서 가장 낮은 MSE 와 MAE 를 달성했습니다.
• 절대 실험: 그랑저 게이트 또는 다중粒度 정렬을 제거하면 성능이 크게 저하되어 두 구성 요소가 모두 필수적이며 상호 보완적임을 확인했습니다.
• 백본 일반성: 이 프레임워크는 다양한 LLM(LLaMA 대 Phi) 과 TS 기반 (MOMENT 대 Kronos) 조합에서 견고성을 입증했으나, 특정 조합은 성능에서 미미한 변이를 보였습니다.
• 인과 분석: 평균 게이트 개방도는 주식 지수의 경우 약 51% 였으나 국채 수익률의 경우 더 높은 60.68% 였습니다. 이는 모델이 자산 클래스와 사건 내러티브의 특정 유용성에 따라 텍스트에 대한 의존도를 동적으로 조정함을 나타냅니다.

중요성 및 주장

이 논문은 GS-Fuse 가 기존 다중 모달 예측의 근본적인 결함, 즉 텍스트와 가격 데이터가 항상 대칭적으로 융합되어야 한다는 가정을 해결한다고 주장합니다. 그랑저 감독 게이트를 도입함으로써 모델은 정보 없는 내러티브의 노이즈를 피하면서 사건 텍스트에 대한 가격의 조건부 의존성을 명시적으로 학습합니다. 다중粒度 정렬은 또한 모델이 시장 움직임을 주도하는 사건 스크립트의 특정 부분에 집중하도록 보장합니다.

저자들은 GS-Fuse 를 단순한 성능 향상이 아닌, 금융 분야에서 인과성 인식 및 적응형 다중 모달 융합을 향한 방법론적 전환으로 위치시킵니다. 이 프레임워크는 다양한 기반 모델로 인스턴스화할 수 있는 유연한 플러그 앤 플레이 솔루션으로 제시되며, 정보의 예측 가치가 이질적이고 비정상적인 사건 기반 금융 예측을 위한 강력한 접근법을 제공합니다.