💰 quantitative finance

Emergent Latent-State Computation under Stochastic Volatility

이 논문은 확률적 변동성 데이터로 학습된 시퀀스 모델이 잠재적 변동성 상태를 인코딩하고 수익률을 예측하기 위해 해석 가능한 2단계 내부 메커니즘을 발달시킨다는 점을 입증하며, 노이즈가 많은 훈련 상황에서의 성능 저하가 표현의 실패보다는 판독(readout)의 불일치에서 기인한다는 것을 밝힌다.

원저자: Xiaoyu Huang, Lulu Wang

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaoyu Huang, Lulu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AI의 비밀스러운 삶: 보이지 않는 것을 듣는 법

당신이 날씨를 예측하려고 노력하고 있다고 상상해 보세요. 구름을 볼 수 있고, 바람을 느끼고, 비의 양을 측정할 수는 있지만, 실제로 폭풍을 일으키는 머리 위 수 마일 상공에서 소용돌이치는 보이지 않는 기압 체계는 볼 수 없습니다. 인공지능의 세계에서 과학자들은 컴퓨터 두뇌(뉴럴 네트워크라고 불리는)가 어떻게 세상을 이해하는지 파악하려고 노력하고 있습니다. 보통 그들은 수학 문제를 풀거나 문장을 완성하는 것처럼 답이 명확한 단순하고 명료한 퍼즐로 이 두뇌들을 테스트합니다. 하지만 현실 세계는 무질서합니다. 종종 가장 중요한 정보는 숨겨져 있거나, 노이즈가 섞여 있거나, 예측 불가능한 방식으로 변합니다. 바로 여기서 '기계론적 해석 가능성(mechanistic interpretability)'이라는 분야가 등장합니다. 이것은 마치 AI를 위한 탐정이 되는 것과 같습니다. 단순히 "AI가 무엇을 예측했는가?"라고 묻는 대신, "AI가 그것을 어떻게 알아냈는가?" 그리고 "그것의 두뇌 내부에서 어떤 비밀스러운 단서를 찾아냈는가?"라고 묻는 것입니다. 이 논문은 AI가 금융 데이터를 다루는 까다로운 버전의 탐정 업무를 다룹니다. 여기서 진정한 '변동성'(시장이 얼마나 거칠게 움직이는지)은 화면 위의 노이즈 섞인 숫자들을 관찰함으로써만 추측할 수 있는, 숨겨진 채 변화하는 유령과 같습니다.

논문: AI에게 보이지 않는 유령을 보는 법 가르치기

이 연구에서 연구원들인 황샤오위(Xiaoyu Huang)와 루루왕(Lulu Wang)은 작은 AI 모델들이 어떻게 숨겨진 유령을 '볼' 수 있는지 확인하기 위해 디지털 놀이터를 구축했습니다. 그들은 6개의 서로 다른 자산이 있는 주식 시장 시뮬레이션을 만들었습니다. 그들의 세계에서 실제 '변동성'(가격이 요동치는 정도)은 집 안을 돌아다니는 유령처럼 시간이 지남에 따라 변하는 숨겨진 상태입니다. AI는 오직 '수익률'(가격 변화)만을 볼 수 있는데, 이는 마치 바닥의 삐걱거리는 소리만을 듣고 유령이 어디에 있는지 추측해야 하는 것처럼 노이즈가 많고 흐릿합니다. 목표는 간단했습니다. AI가 다음 가격 변동을 예측하기 위해, 먼저 숨겨진 유령이 어디에 있는지 알아낼 수 있는가 하는 것이었습니다.

연구진은 두 가지 유형의 AI 두뇌를 훈련시켰습니다. 하나는 각 주식을 개별적으로 살펴보는 단순한 모델(MLP)이고, 다른 하나는 주식들이 서로 어떻게 소통하는지 살펴볼 수 있는 더 복잡한 모델(Transformer)입니다. 그들은 두 유형의 AI 모두 영리한 2단계 기술을 학습했다는 것을 발견했습니다. 첫째, AI의 '숨겨진 두뇌'(중간 레이어)는 보이지 않는 유령의 위치에 대한 정신적 지도를 성공적으로 구축했습니다. 둘째, AI의 '출력 입'(최종 레이어)은 그 지도를 사용하여 다음 가격 변동을 예측했습니다. 이는 마치 AI가 먼저 유령을 추적하는 법을 배우고, 그 추적을 이용해 폭풍을 예측하는 것과 같습니다.

하지만 여기서 정말 흥-미로운 점이 발생합니다. 연구진은 트랜스포머(Transformer)가 이 기술을 어떻게 학습하는지가 유령이 얼마나 빨리 움직이느냐에 따라 달라진다는 것을 발견했습니다.

느린 유령 (긴 주기): 변동성이 매우 느리게(마치 느리고 나른한 파도처럼) 변할 때, 트랜스포머는 매우 단순한 지름길을 찾아냈습니다. 그것은 수학적 '필터'(선형 투영과 정규화 단계)를 사용하여 원시 데이터를 특정 형태로 변환했고, 그러면 짠—유령의 위치가 갑자기 명확해졌습니다. 마치 AI가 흐릿한 이미지를 즉각적으로 초점을 맞추는 마법 렌즈를 찾아낸 것과 같았습니다.
빠른 유령 (짧은 주기): 변동성이 빠르게 변할 때, AI는 더 많은 도움이 필요했습니다. AI는 퍼즐을 맞추기 위해 자신의 '어텐션(attention)' 메커니즘(주식 간의 상호작용을 살피는 것)과 내부의 '사고' 레이어를 사용해야 했습니다.
'유령' 대 '번역가': 연구는 또한 재미있는 결함도 발견했습니다. 때때로 AI의 숨겨진 두뇌는 유령이 정확히 어디에 있는지 알고 있었지만, 그 지식을 숫자로 번역하는 AI의 부분(출력 헤드)이 다소 서툴렀습니다. 이는 마치 범인의 정체를 알고 있는 뛰어난 형사가 보고서를 쓸 때 버벅거리는 것과 같았습니다. 연구진이 이 서툰 보고자를 더 나은 보고자로 교체했을 때 AI의 예측은 훨씬 좋아졌으며, 이는 AI가 이미 비밀을 알고 있었음을 증명했습니다. 단지 그것을 말하는 더 나은 방법이 필요했을 뿐이었습니다.

이 논문은 이러한 금융 시뮬레이션이 AI 과학자들에게 환상적인 새로운 놀이터가 될 수 있음을 시사합니다. 답이 페이지 위에 바로 적혀 있는 단순한 퍼즐과 달리, 이 모델들은 AI가 현실 세계에서 인간이 하는 것처럼 노이즈 섞인 단서로부터 숨겨진 진실을 추측하는 '암묵적 필터링(implicit filtering)'을 수행하도록 강제합니다. AI가 이러한 숨겨진 상태를 추출하는 법을 배울 수 있고, 우리가 코드 내의 정확히 '어디서' 그리고 '어떻게' 그런 일이 일어나는지 짚어낼 수 있다는 것을 보여줌으로써, 저자들은 우리가 디지털 두뇌의 비밀스러운 삶을 진정으로 이해하는 데 더 가까워지고 있음을 시사합니다.

기술 요약: 확률적 변동성 하에서의 창발적 잠재 상태 계산 (Emergent Latent-State Computation under Stochastic Volatility)

문제 정의

기계론적 해석 가능성(Mechanistic interpretability) 연구는 주로 결정론적인 합성 태스크나 언어 모델에 집중되어 왔으며, 이들은 타겟 계산이 완전히 관측 가능한 환경을 전제로 합니다. 그러나 노이즈가 많은 부분 관측 환경에서 신경망 시퀀스 모델이 **잠재적 확률 역학(latent stochastic dynamics)**을 내부적으로 어떻게 표현하는지에 대한 이해에는 상당한 공백이 존재합니다.

본 논문은 이 공백을 해결하기 위해 확률적 변동성(Stochastic Volatility, SV) 모델을 통제된 벤치마크로 사용합니다. SV 모델에서 자산 수익률은 관측되지 않은 잠재 로그 변동성 상태( $h_t$ )를 관측하는 노이즈 섞인 데이터입니다. 과거 수익률의 결정론적 함수인 ARCH/GARCH 모델과 달리, SV 모델은 모델이 노이즈 섞인 데이터로부터 숨겨진 상태를 추론하기 위해 암시적 필터링(implicit filtering)을 수행할 것을 요구합니다. 본 연구의 과제는 미래의 제곱 수익률( $r^2_{t+1}$ )만을 예측하도록 훈련된 작은 신경망이 실제 잠재 변동성 상태( $h_{t+1}$ )의 내부 표현을 복구하는지, 그리고 이러한 표현이 네트워크 아키텍처 전반에 걸쳐 어떻게 창발하는지 결정하는 것입니다.

방법론

실험 설정

데이터 생성: 저자들은 $N=6$ 인 다변량 확률적 변동성(Multivariate Stochastic Volatility, MSV) 프로세스를 활용합니다. 수익률( $r_t$ )은 교차 자산 스필오버(cross-asset spillovers)를 포함하는 선형 상태 공간 모델을 따르는 잠재 로그 변동성 상태( $h_t$ )의 노이즈 섞인 관측치로 생성됩니다.
태스크: 모델은 $T=21$ 의 과거 수익률 이력을 바탕으로 다음 단계의 제곱 수익률( $y = r^2_{T+1}$ )을 예측하도록 훈련됩니다. 연구자에게는 정답인 잠재 상태 $h_{T+1}$ 이 알려져 있으나, 모델에게는 숨겨져 있습니다.
아키텍처:
- Transformer: 하나의 레이어와 하나의 어텐션 헤드를 가진 컴팩트한 인코더입니다. 자산은 토큰으로 취급되며, 수익 이력은 피처(feature)가 됩니다. 이 아키텍처는 선형 임베딩, $\ell_2$ 정규화, 위치 임베딩(positional embeddings), 셀프 어텐션, 그리고 GELU 활성화 함수를 포함하는 피드포워드 네트워크(FFN)를 포함합니다.
- MLP 베이스라인: 각 자산의 이력을 독립적으로 처리하는 3개 층의 MLP로, 어텐션 기반의 교차 자산 상호작용 효과를 격리합니다.
훈련 목적 함수: 두 가지 손실 함수를 비교합니다:
1. MSE: 제곱 수익률에 대한 평균 제곱 오차 (조건부 분산의 노이즈 섞인 대리 지표).
2. NLL: 가우시안 음의 로그 가능도(Gaussian Negative Log-Likelihood)로, 이는 이론적으로 조건부 분산 추정과 일치합니다.

분석 기법

선형 프로빙(Linear Probing): 중간 은닉 표현( $z_i$ )에 릿지 회귀(Ridge regression) 프로브를 적합시켜 잠재 상태 $h_{i, T+1}$ 의 선형 해독 가능성(linear decodability)을 측정합니다.
단계별 분석(Stage-wise Analysis): 모든 아키텍처 단계(임베딩, 정규화, 어텐션, FFN, 출력)에서 잠재 정보가 나타나는 지점을 추적하여 해독 가능성( $R^2$ )을 기록합니다.
인과적 개입(Causal Interventions):
- 출력 헤드 교체: 학습된 출력 헤드를 프로브와 정렬된 리드아웃(readout)으로 교체하여, 예측 성능 저하가 표현의 실패 때문인지 아니면 리드아웃의 불일치 때문인지 테스트합니다.
- 활성화 절제(Activation Ablation): 특정 구성 요소(예: $\ell_2$ 정규화 이후 단계)를 섭동(perturbing)시켜 다운스트림의 해독 가능성과 예측 오차에 미치는 영향을 측정합니다.

주요 결과

1. 견고한 2단계 잠재 상태 분해

Transformer와 MLP 모두에서, 그리고 손실 함수나 활성화 함수에 관계없이, 모델은 일관된 2단계 계산 과정을 보여줍니다:

잠재 추론(Latent Inference): 은닉 표현은 다음 잠재 변동성 상태( $h_{T+1}$ )에 대한 상당한 정보를 인코딩합니다. 선형 프로브는 아키텍처 전반에 걸쳐 높은 $R^2$ (종종 >0.85)를 달성합니다.
예측 매핑(Forecast Mapping): 출력 헤드는 이 표현을 제곱 수익률 예측값으로 매핑합니다.

관찰 사항: MSE 훈련 하에서, 학습된 출력 헤드는 은닉 상태가 고도로 해독 가능함에도 불구하고, 프로브와 비교했을 때 잠재 상태와의 정렬( $R^2$ )이 현저히 낮게 나타나는 경우가 많습니다. 이는 MSE 하에서의 예측 오차가 잠재 상태를 인코딩하는 데 실패해서가 아니라, **리드아웃 불일치(readout misalignment)**에서 비롯됨을 시사합니다.

2. Transformer에서의 단계별 창발

잠재 상태 해독 가능성이 나타나는 지점은 **변동성 주기( $\omega$ )**에 따라 결정적으로 달라집니다:

장기 주기 레짐 ( $\omega \ge 365$ ): 선형 임베딩의 $\ell_2$ 정규화 직후에 해독 가능성이 즉시 나타납니다. 표현은 어텐션이나 FFN 처리를 거치기 전부터 이미 상당 부분 해독 가능한 상태가 됩니다.
중기 주기 레짐 ( $\omega \in \{30, 90\}$ ): 어텐션 이후 FFN에 의한 추가적인 정교화 과정이 필요합니다.
단기 주기 제어 ( $\omega = 21$ ): **위치 임베딩(positional embeddings)**이 추가될 때까지 해독 가능성은 거의 0에 가깝다가, 이후 약 1.0으로 급증합니다. 이는 이 특정 레짐에서 모델이 동적 필터링보다는 주기성 암기(periodicity memorization)에 의존함을 시사합니다.
비교: MLP는 Transformer에서 보이는 날카로운 단계별 전환 없이, 레이어를 따라 더 덜 모듈화되고 확산된 형태의 해독 가능성 창발을 보입니다.

3. 장기 주기 레짐에서의 명시적 잠재 필터

장기 주기 레짐에서 Transformer의 계산은 다음과 같은 명시적 필터로 단순화됩니다:
$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$
이는 대부분의 잠재 상태 정보가 학습된 선형 투영 및 $\ell_2$ 정규화에 의해 추출됨을 나타냅니다. 인과적 절제를 통해, $\ell_2$ -norm 이후의 표현이 다운스트림 예측에 있어 잠재 신호가 인과적으로 유의미해지는 가장 이른 단계임을 확인했습니다. 이 단계를 섭동시키면 해독 가능성의 가장 큰 붕괴가 발생합니다.

의의 및 주장

본 논문은 확률적 변동성 모델이 노이즈 섞인 잠재 역학과 부분 관측 가능성 하에서의 기계론적 해석 가능성을 위한 유용한 벤치마크를 제공한다고 주장합니다.

간극 메우기: 결정론적인 토이 태스크와 달리, SV 모델은 암시적 상태 추론을 요구하면서도 정답(ground truth)이 가용하여 평가가 가능합니다. 이를 통해 모델이 잠재적 확률 구조를 어떻게 표현, 변형, 사용하는지를 통제된 환경에서 연구할 수 있습니다.
기계론적 통찰: 본 연구는 작고 컴팩트한 Transformer조차 고전적인 계량 경제학 파이프라인(추론 후 예측)을 모방하는 명시적 필터링을 수행하도록 학습될 수 있음을 보여줍니다.
금융 모델의 해석 가능성: 이러한 결과는 금융 시계열 예측 태스크가 기계론적 해석 가능성, 시계열 모델링, 그리고 상태 공간 추론 사이를 잇는 가교 역할을 할 수 있음을 시사하며, 신경망이 불가역적인 불확실성을 어떻게 다루는지 연구할 수 있는 환경을 제공합니다.

저자들은 자신의 결과가 알려진 잠재 상태를 가진 합성 데이터와 작은 아키텍처를 기반으로 하고 있음을 언급하며 주장에 신중함을 유지합니다. 이들은 이러한 메커니즘이 대규모 실제 금융 모델로 직접 확장된다거나, 모든 SV 계산에 대한 완전한 회로 수준의 설명을 제공한다고 주장하는 것이 아니라, 통제된 환경에서 발견된 구체적이고 해석 가능한 창발적 메커니즘을 식별하는 데 목적이 있음을 밝히고 있습니다.