🤖 machine learning

Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations

본 논문은 금융 시장의 낮은 신호 대 잡음비로 인해 발생하는 "금융 엔트로피 함정(Financial Entropy Trap)"을 완화하고 특징 표현을 제약하기 위해 매개변수화된 양자 회로를 통합한 새로운 강화 학습 알고리즘인 FPQC-SAC를 소개하며, 이를 통해 최신 베이스라인 모델들과 비교하여 포트폴리오 관리의 안정성과 수익률을 유의미하게 향상시킨다.

원저자: Zeyu Liu, Xuanzhi Feng, Sing Kwong Lai, Yuanchen Gao, Xiaoyi Pang, Hualei Zhang, Jingcai Guo, Jie Zhang, Song Guo

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeyu Liu, Xuanzhi Feng, Sing Kwong Lai, Yuanchen Gao, Xiaoyi Pang, Hualei Zhang, Jingcai Guo, Jie Zhang, Song Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: 금융계의 "노이즈 섞인 라디오"

매우 작고 중요한 속삭임(신호)을 들으려 하는데, 바로 옆에서 거대한고 혼란스러운 록 콘서트(노이즈)가 열리고 있다고 상상해 보세요. 이것이 바로 컴퓨터가 주식 시장에서 거래할 때 겪는 상황입니다.

여기서 "속삭임"은 매수 또는 매도를 결정하는 실제 트렌드(추세)를 의미합니다. "록 콘서트"는 매일 발생하는 혼란, 즉 무의미한 가격 급등락, 투자자의 패닉, 그리고 아무런 의미 없는 미세한 변동들을 말합니다.

이 논문은 기존의 AI 트레이딩 봇(특히 SAC라고 불리는 모델)이 이 문제에 매우 취약하다고 주장합니다. AI가 다양한 전략을 탐색하며 "창의적"이 되려고 노력하는 과정(이를 최대 엔트로피 특성이라고 합니다) 때문에, 결국 속삭임 대신 록 콘서트 소리에 집중하게 됩니다. AI는 노이즈 때문에 혼란에 빠지고, 자신이 얼마나 돈을 벌 수 있을지에 대해 잘못된 예측을 하게 되며, 이 잘못된 예측이 악순환을 일으키며 점점 더 심각해집니다. 저자들은 이를 **"금융 엔트로피 함정(Financial Entropy Trap)"**이라고 부릅니다.

기존의 해결책들: 왜 실패했는가?

연구진은 사람들이 이 문제를 해결하기 위해 보통 어떤 방법을 쓰는지 살펴보았습니다:

"음소거 버튼" (입력 필터링): AI가 소리를 듣기 전에 노이즈를 제거하려는 시도입니다. 문제는, 때때로 "속삭임" 자체가 노이즈처럼 들릴 수도 있다는 점입니다. 볼륨을 너무 낮추면 나쁜 소리뿐만 아니라 좋은 조언까지 함께 차단하게 됩니다.
"수정 테이프" (출력 정규화): AI가 일단 예측을 내놓게 둔 뒤, 나중에 그 답을 수정하려는 방식입니다. 문제는, AI가 예측을 마쳤을 때는 이미 노이즈가 AI의 사고 과정을 오염시킨 후라는 점입니다. 답을 수정하는 것은 마치 이미 타버린 토스트를 되돌리려는 것과 같습니다.

새로운 해결책: "양자 노이즈 캔슬링 헤드셋"

저자들은 FPQC-SAC라고 불리는 새로운 시스템을 제안합니다. 이 시스템은 오디오를 깨끗하게 만들거나 답을 사후에 수정하는 대신, AI가 생각을 시작하기 직전에 특별한 "헤드셋"을 씌워줍니다.

이 헤드셋은 **매개변수화된 양자 회로(Parameterized Quantum Circuit, PQC)**를 사용합니다. 작동 원리는 다음과 같은 비유로 설명할 수 있습니다:

고전적 접근 방식: 노이즈를 사람들이 사방팔방에서 소리를 지르는 것으로 상상해 보세요. 고전적인 필터는 물리적으로 소리를 막으려 하지만, 이 과정에서 좋은 목소리까지 막아버립니다.
양자적 접근 방식: 헤드셋이 이 고함 소리를 거대한 보이지 않는 구체(sphere) 위에서 펼쳐지는 복잡한 춤으로 바꾼다고 상상해 보세요.
- 노이즈: 무작위적이고 혼란스러운 노이즈는 사람들이 모든 방향으로 동시에 회전하는 것과 같습니다. 사람들이 모든 방향으로 회전하면 서로 상쇄됩니다(상쇄 간섭). 이렇게 되면 노이즈는 사라집니다.
- 신호: 중요한 "속삭임"(시장 트렌드)은 사람들이 일직선으로 행진하는 것과 같습니다. 헤드셋은 이 패턴을 인식하여 그들이 명확하게 행진해 나갈 수 있도록 허용합니다(보강 간섭).

AI가 소리를 들을 때쯤이면, 노이즈는 수학적으로 상쇄되었지만 중요한 신호는 여전히 크고 명확하게 남아 있게 됩니다.

테스트 방법

연구진은 이 새로운 "양자 헤드셋"을 다음과 같은 실제 세계의 주식 포트폴리오에 테스트했습니다:

대형 기술주 (애플, 아마존 등)
안전하고 안정적인 주식 (은행 및 소비재 등)
변동성이 큰 고위험 주식 (빠르게 성장하는 기술 기업 등)

그들은 이 새로운 AI를 기존의 가장 뛰어난 트레이딩 AI 및 표준적인 "매수 후 보유(buy and hold)" 전략과 비교했습니다.

결과

결과는 극적이었습니다:

안정성: 새로운 AI는 시장의 혼란에 휘둘리지 않았습니다. 미래 가치에 대해 훨씬 더 일관된 예측을 내놓았습니다.
수익: 주요 테스트에서 새로운 AI는 표준 AI보다 66% 더 많은 돈을 벌었습니다.
최고 모델 추월: 기존의 가장 뛰어난 트레이딩 AI보다 약 27% 더 높은 성능을 보였습니다.
폭풍 속에서의 생존: 시장이 가장 격동적이고 공포스러웠던 시기(예: 팬데믹 폭락장)에 기존 AI들은 무너졌지만, 새로운 AI는 냉정함을 유지하며 수익을 계속 냈습니다.

핵심 요약

이 논문은 AI의 뇌 내부에서 필터로서 특정 유형의 양자 수학(얽힘과 간섭)을 사용함으로써, 고전적인 수학으로는 해결할 수 없었던 문제를 해결했다고 주장합니다. 그들은 단순히 AI를 더 빠르게 만든 것이 아니라, 시장의 혼란을 무시하고 실제로 중요한 신호에만 집중할 수 있는 방법을 제공한 것입니다.

참고: 본 논문은 금융 트레이딩 및 포트폴리오 관리에만 엄격히 초점을 맞추고 있습니다. 이 기술이 의료 진단, 기후 모델링 또는 기타 분야에 작동한다고 주장하지 않습니다.

기술 요약: 양자 표현을 통한 저(低) SNR 금융 강화 학습의 편향 완화

1. 문제 정의: 금융 엔트로피 함정 (The Financial Entropy Trap)

본 논문은 최대 엔트로피 강화 학습(Maximum-entropy RL), 구체적으로 소프트 액터-크리틱(Soft Actor-Critic, SAC)을 금융 시장에 적용할 때 발생하는 결정적인 실패 모드를 식별한다. 금융 환경은 본질적으로 낮은 신호 대 잡음비(SNR)를 특징으로 하며, 여기서 약한 예측 신호는 시장 미세구조 노이즈, 심리적 요인, 유동성 충격에 의해 압도된다.

표준 오프-폴리시(Off-policy) RL에서 "금융 엔트로피 함정"은 다음과 같은 상황에서 발생한다:

노이즈가 섞인 상태 표현 (Noisy State Representations): 고분산의 비구조적 노이즈가 크리틱 네트워크로 입력되는 상태 표현을 오염시킨다.
부트스트래핑을 통한 증폭 (Amplification via Bootstrapping): 벨만 업데이트(Bellman update) 메커니즘이 이러한 노이즈가 섞인 Q-값 추정치를 증폭시킨다.
확률적 탐색의 실패 (Stochastic Exploration Failure): 다양성을 장려하기 위해 설계된 엔트로피 기반의 확률적 탐색이, 약한 예측 신호가 아닌 노이즈가 지배하는 업데이트 방향을 의도치 않게 따르게 된다.
결과: 이는 노이즈가 가치 추정을 부식시키고, 불안정한 정책 경사(Policy Gradient)와 심각한 외표본(Out-of-sample) 성능 저하를 초래하는 자기 강화 루프를 생성한다.

저자들은 기존의 해결책들이 불충분하다고 주장한다:

출력 측 규제 (Output-side regularization): (예: Clipped double-Q, Ensemble critics) 노이즈가 이미 표현(Representation)을 왜곡한 이후에 개입하므로 너무 늦다.
입력 측 필터링 (Input-side filtering): (예: 칼만 필터, 웨이브렛) 지나치게 경직되어 있어, 노이즈와 함께 귀중한 고주파 신호까지 제거할 위험이 있다.

2. 방법론: FPQC-SAC 아키텍처

이를 해결하기 위해, 저자들은 Actor 및 Critic 네트워크 전단의 구조적 병목(Bottleneck)으로서 **매개변수화된 양자 회로(Parameterized Quantum Circuit, PQC)**를 임베딩한 SAC의 플러그 앤 플레이(Plug-and-play) 변형 모델인 FPQC-SAC를 제안한다.

핵심 메커니즘:
원시 입력을 필터링하거나 Q-값을 클리핑하는 대신, PQC는 고분산 금융 관측치를 복소 하이퍼스피어(Hyperspherical) 잠재 공간으로 매핑한다. 이 아키텍처는 두 가지 양자 현상을 활용하여 신호와 노이즈를 분리한다:

복소 위상 인코딩 (신호 보존 vs. 확산 감쇄):
- 금융 상태는 이토 확산 과정( $dX_t = \mu dt + \sigma dW_t$ )으로 모델링된다.
- PQC는 이러한 상태를 연속적인 유니터리 생성기(연속적인 $R_x$ 게이트를 통해)로 인코딩한다.
- 수학적으로, 결정론적 표류(Drift, $\mu$ )는 방향성 위상 이동으로 보존되는 반면, 확률적 확산( $\sigma dW_t$ )은 기댓값에서의 지수적 감쇄 요인을 유발한다. 이는 신호의 방향 정보는 유지하면서 노이즈의 분산을 자연스럽게 감쇄시킨다.
얽힘 기반 간섭 (Entanglement-Driven Interference):
- 노이즈를 위한 상쇄 간섭: 원형 CNOT 얽힘은 구조화되지 않은 등방성(Isotropic) 노이즈를 고차원 힐베르트 공간으로 산란시킨다. 측정(Pauli-Z 관측량) 시, 이러한 무작위 위상들은 상쇄 간섭을 일으켜 통계적으로 상쇄된다.
- 신호를 위한 보강 간섭: 학습 가능한 회전 게이트는 일관되고 시간적으로 상관된 신호(약한 추세)를 특정 측정 방향에 정렬시켜, 이들이 보강 간섭을 일으키도록 한다.

아키텍처 흐름:

Pre-Net: 클래식 선형 레이어가 입력을 7차원 벡터(큐비트 토폴로지에 맞춤)로 압축한다.
PQC 병목: 원형 얽힘(CNOT)과 단일 큐비트 회전을 가진 2레이어 7-큐비트 회로.
Readout: Pauli-Z 관측량의 기댓값을 통해 잠재 특징을 추출한다.
Actor-Critic: 이 안정화된 특징들이 확률적 Actor와 Twin Critic에 입력된다. 벨만 타겟이 엄격하게 양자 간섭의 렌즈를 통해 평가되도록 PQC 파라미터의 지수 이동 평균(EMA)이 타겟 네트워크에 사용된다.

3. 주요 기여

금융 엔트로피 함정의 규명: 본 논문은 최대 엔트로피 RL이 금융 환경에서 저(低) SNR 노이즈를 어떻게 증폭하는지 이론적으로 규명하며, 이를 표준적인 과대평가 편향(Overestimation bias)과 구분한다.
FPQC-SAC 제안: 양자 회로를 계산 속도 향상이 아닌, 노이즈 억제와 신호 유지를 구조적으로 분리하기 위한 기하학적 제약 조건으로 사용하는 새로운 아키텍처를 제시한다.
이론적 근거: 저자들은 PQC가 이토 SDE와 유니터리 진화를 통해 하이퍼스피어 위상 상쇄를 통한 분산 감쇄를 유도함을 수학적으로 증명하며, 이는 Tanh나 LayerNorm과 같은 클래식한 경계 방식에 대한 엄격한 대안을 제공한다.
실증적 검증: 18개 자산을 포함하는 세 가지 서로 다른 실제 포트폴리오(Benchmark, Defensive, High-Volatility Growth)에 대한 광범한 백테스팅을 수행했다.

4. 실험 결과

저자들은 FPQC-SAC를 표준 연속 제어 DRL 베이스라인(SAC, TD3, PPO, DDPG), 강건한 변형 모델(REDQ, TQC, CrossQ, DroQ), 그리고 규칙 기반 전략들과 비교 평가하였다.

성능 향상:
- FPQC-SAC는 표준 제약 없는 SAC 대비 누적 수익률에서 66.89%의 상대적 이득을 달성했다.
- 가장 우수한 연속 제어 DRL 베이스라인인 CrossQ보다 메인 벤치마크에서 약 27% 더 높은 성능을 보였다.
- 메인 실험(Tech & Market-Index 포트폴리오)에서 FPQC-SAC는 표준 SAC의 117.04% 대비 **195.32%**의 누적 수익률을 기록했다.
안정성 지표:
- FPQC-SAC는 가장 낮은 시간적 차이(TD) 분산(LayerNorm의 0.76, Tanh의 0.81 대비 0.54)을 보였다.
- 매우 정확한 가치 추정을 나타내는 가장 작은 Q-gap(0.0004)을 달ر성했다.
- 고변동성 국면에서 다른 모델들이 "구조적 붕괴"를 겪을 때, 특히 우수한 위험 조정 지표(Sortino 및 Calmar ratio)를 보여주었다.
절제 연구 (Ablation Studies):
- 얽힘을 제거(No-CNOT)하거나 학습 가능한 파라미터를 고정(Frozen-PQC)할 경우 성능이 크게 저하되었으며, 이는 성능 향상이 학습 가능한 회전과 얽힘 토폴로지의 결합 효과에서 기인함을 확인시켜 준다.
- 얕은 깊이( $L=2$ )가 최적임이 밝혀졌으며, 더 깊은 회로( $L \ge 3$ )는 오히려 성능 저하를 초래했다. 이는 과도한 표현력이 확률적 노이즈에 과적합될 위험이 있음을 시사한다.

5. 의의 및 주장

본 논문은 FPQC-SAC가 금융 RL의 패러다임 전환을 의미한다고 주장한다. 양자 회로를 단순히 계산 가속기로 취급하는 것이 아니라, 강건한 기하학적 제약 조건으로서의 유용성을 입증했다는 점이 핵심이다.

구조적 강건성: 주요 기여는 표현 단계에서 양자 병목을 삽립하는 것이 학습을 안정화하는 데 있어 다운스트림 규제보다 더 효과적임을 보여준 것이다.
일반화 가능성: 이 방법은 고변동성 "분포 외(Out-of-distribution)" 시나리오에서 어려움을 겪는 CrossQ나 DroQ와 달리, 다양한 시장 국면(방어적, 벤치마크, 고변동성)에서 효과적임을 입증했다.
메커니즘: 성공의 원인은 구조화되지 않은 노이즈 분산을 "소산(Dissipate)"시키면서도 약하지만 구조화된 예측 신호는 보존하는 양자 간섭의 독특한 능력에 있다. 이는 금융 엔트로피 함정의 순환을 끊는 역할을 한다.

저자들은 이 접근 방식이 고도로 확률적인 도메인에서 오프-폴리시 RL을 안정화하기 위한 검증 가능하고 이론적으로 근거 있는 메커니즘을 제공한다고 결론지으며, 추가 연구를 촉진하기 위해 오픈 소스 코드를 제공한다.