🤖 machine learning

CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach

이 논문은 CLaC@FinMMEval 2026 Task 3를 위한 감성 증강 심층 강화 학습 시스템을 제시하며, LLaMA 3.2 뉴스 감성과 알파 기반 보상을 활용하는 DDPG 에이전트가 TSLA와 BTC에서 매수 후 보유 전략을 크게 상회하는 동시에 강세장에서 약세장 체제로 정책을 일반화하는 데 따르는 과제를 강조한다.

원저자: Andrei Neagu, Eeham Khan, Leila Kosseim

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrei Neagu, Eeham Khan, Leila Kosseim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 매우 까다로운 비디오 게임인 주식 시장을 플레이하는 법을 가르치려 한다고 상상해 보세요. 이 게임의 목표는 단순히 점수를 얻는 것이 아닙니다. 결코 멈추지 않고, 전략을 바꾸지 않으며, 자신의 캐릭터를 계속 붙들고 있는 플레이어(바이 앤 홀드 전략)의 점수를 이기는 것입니다. 이 게임은 소음 섞인 효과음, 갑작스러운 반전, 그리고 규칙을 바꿀 수도 있는 뉴스 헤드라인의 끊임없는 흐름으로 가득 차 혼란스럽습니다. 승리하기 위해서는 화면을 보고, 뉴스를 읽고, 게임의 리듬을 느끼며, 앞으로 나아갈지, 가만히 서 있을지, 아니면 뒤로 물러날지를 결정할 수 있는 똑똑한 에이전트가 필요합니다. 이것이 바로 **심층 강화 학습(Deep Reinforcement Learning, DRL)**의 세계입니다. DRL을 AI가 시행착오를 통해 배우는 방법이라고 생각하세요. 좋은 움직임을 보이면 "하이파이브"(보상)를 받고, 실수하면 "찡그린 표정"(벌점)을 받는 식입니다. 당신이 읽게 될 이 논문은 두 가지 매우 다른 캐릭터인 테슬라(TSLA)와 디지털 코인 비트코인(BTC)을 위한 궁극의 트레이딩 로봇을 구축하는 방법을 탐구합니다.

콘코디아 대학교의 연구진은 단순히 추측하는 것이 아니라, 스스로 학습하는 트레이딩 시스템을 구축하기 위해 노력했습니다. 그들은 주식 시장을 플레이어(AI)가 매일 결정을 내려야 하는 복잡한 비디오 게임 레벨처럼 다루었습니다: 즉, 롱(Long, 가격 상승에 베팅), 플랫(Flat, 관망), 또는 숏(Short, 가격 하락에 베팅)을 선택하는 것입니다. AI가 이러한 선택을 할 수 있도록, 그들은 세 가지 유형의 정보를 제공했습니다: 기술적 지표(과거 가격에서 그려낸 속도계나 추세선 같은 것), 캘린더 사이클(월요일인지 혹은 월말인지 아는 것, 왜냐하면 시장은 특정 날에 다르게 행동할 수 있기 때문입니다), 그리고 감성 점수(뉴스를 읽어 사람들이 자산에 대해 행복해하는지 혹은 두려워하는지를 계산하여 사람의 기분을 알려주는 '무드 링' 같은 역할)입니다.

연구팀은 이 게임을 플레이하기 위해 네 가지 다른 유형의 AI "두뇌"를 훈련시켰습니다: 정책 경사(Policy Gradient, PG), 근사 정책 최적화(Proximal Policy Optimization, PPO), 딥 Q-러닝(Deep Q-Learning, DQL), 그리고 **심층 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG)**입니다. 하지만 여기서 영리한 점은, 단순히 돈을 버는 것에 보상을 주는 대신, 그들에게 특별한 "알파 보상(Alpha Reward)"을 주었다는 것입니다. 만약 당신이 친구와 경주를 하고 있다면, 단순히 빨리 달리는 것에 보상을 주는 것이 아니라, 친구보다 더 빨리 달릴 때만 점수를 받는 것과 같습니다. 이는 AI가 단순히 시장이 상승해서 운 좋게 수익을 내는 것이 아니라, "바이 앤 홀드" 기준점을 이기는 데 집중하도록 강제했습니다. 또한, 그들은 훈련 세션이 무작위 시점에 시작되도록 하여, AI가 특정 게임의 대본을 단순히 암기하는 것이 아니라 어떤 상황에서도 대처할 수 있는 법을 배우도록 했습니다.

그들이 2025년의 실제 데이터를 바탕으로 로봇들을 테스트했을 때, 결과는 승리와 미래에 대한 혹독한 교훈이 섞여 있었습니다. 테슬라의 경우, DDPG 로봇이 스타가 되어 무려 **54.96%**의 수익률을 기록했으며, DQL 로봇이 **52.62%**로 근소한 차이로 그 뒤를 이었습니다. 두 모델 모두 "바이 앤 홀드" 전략이 기록한 **16.45%**를 압도했습니다. 특히 DDPG 로봇은 어려움을 피하는 데 탁월하여, 다른 모델들보다 손실(낙폭)을 훨씬 낮게 유지했습니다.

하지만 비트코인 테스트는 훨씬 더 어려운 레벨이었습니다. 시장은 가격이 폭락하는 베어 마켓(하락장)으로 변했고, "바이 앤 홀드" 전략은 **34.27%**라는 거대한 손실을 입었습니다. 이 폭풍 속에서 DDPG 로봇만이 유일하게 살아남아 미미하지만 양수인 **1.58%**의 수익을 냈습니다. 훈련 기간 동안 놀라운 모습을 보였던 DQL을 포함한 다른 로봇들은 상승장에서 하락장으로 급격히 전환된 상황에 적응하지 못하고 고전했습니다.

이 논문은 이러한 AI 에이전트들이 효과적으로 거래하는 법을 배울 수 있지만, 여전히 시장의 "날씨"에 민감하다는 점을 시사합니다. DDPG 알고리즘은 테슬라의 화창한 날과 비트코인의 폭풍우 치는 날을 모두 다른 모델들보다 더 잘 다루며 가장 견고한 모습을 보였습니다. 그러나 연구진은 까다로운 격차를 발견했습니다: 훈련 중에 가장 좋아 보였던 로봇(DQL)이 실제 테스트에서는 항상 승리하지는 못했으며, 특히 시장의 국면이 불 마켓(상승장)에서 베어 마켓(하락장)으로 변할 때 그러했습니다. 이는 AI가 금융의 바다를 항해하는 법을 배울 수는 있지만, 다음 파도가 쓰나미가 될 수 있으므로 잔잔한 물결에 너무 익숙해지지 않도록 주의해야 함을 말해줍니다. 궁극적으로, 이 연구는 뉴스 감성을 스마트한 학습 알고리즘과 결합하는 것이 시장을 이기는 데 도움이 될 수 있지만, "최고의" 로봇은 그것이 직면한 시장의 종류에 따라 크게 달라진다는 것을 보여줍니다.

기술 요약: CLaC @ FinMMEval 2026 Task 3

문제 정의

본 논문은 두 가지 서로 다른 자산인 비트코인(BTC)과 테슬라(TSLA)에 대해 일일 의사결정(Long, Flat, 또는 Short)을 수행할 수 있는 자동 매매 에이전트 개발을 요구하는 CLEF 2026 FinMMEval Lab의 Task 3를 다룹니다. 에이전트는 누적 수익률(CR), 샤프 지수(SR), 최대 낙폭(MDD)과 같은 성능 지표를 극대화하기 위해 역사적 시장 가격, 기술적 지표, 일일 뉴스 기사를 포함한 멀티모달 데이터를 합성해야 합니다. 핵심적인 어려움은 복잡하고 비선형적인 시장 역학을 탐색하고, 데이터 과적합을 피하면서 시장 국면 변화(예: 강세장에서 약세장으로의 전환)에 적응하는 데 있습니다.

방법론

1. 마르코프 결정 과정(MDP) 정식화

매매 문제는 이산 행동 MDP $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$ 로 프레임화됩니다:

상태 공간 ( $\mathcal{S}$ ): 다음을 포함하는 15차원 벡터:
- 가격 역학: 로그 수익률.
- 에이전트 상태: 거래 비용을 고려하기 위한 이전 포지션 ( $p_{t-1} \in \{-1, 0, 1\}$ ).
- 캘린더 인코딩: 계절성을 포착하기 위한 요일, 일, 월의 순환 사인/코사인 표현.
- 기술적 지표: 정규화된 EMA (10, 50), RSI (14), MACD, 볼린저 밴드 및 로그 거래량 변화.
- 감성(Sentiment): 뉴스 기사에서 도출된 일일 감성 점수.
행동 공간 ( $\mathcal{A}$ ): 이산 집합 $\{-1 \text{ (short)}, 0 \text{ (flat)}, 1 \text{ (long)}\}$ .
보상 함수 ( $\mathcal{R}$ ): 원시 포트폴리오 수익률 대신 알파 보상(Alpha Reward) 정식화(기여 부분 참조)를 사용합니다.
전이 역학: 에이전트의 행동이 시장 가격에 영향을 미치지 않는다는 가격 수용자(price-taker) 가정을 따릅니다.
데이터 처리 및 특징 공학
데이터 소스: Yahoo Finance의 역사적 가격/거래량 데이터(TSLA는 2010–2022, BTC는 2014–2022) 및 Financial News Multi-Source 데이터셋의 뉴스 기사.
감성 분석: LLaMA 3.2 1B Instruct를 사용하여 제로샷 설정으로 일일 뉴스 감성을 점수화합니다. 핵심 신호에 집중하기 위해 기사는 헤드라인과 리드문을 포함하여 처음 300 단어로 절단됩니다. 모델은 단 한 번의 순방향 패스(forward pass)를 수행하여 "긍정(positive)", "부정(negative)", "중립(neutral)" 토큰에 대한 로짓(logits)을 추출합니다. 감성 점수는 $P(\text{positive}) - P(\text{negative})$ 로 계산되며, $[-1, 1]$ 범위 내로 제한됩니다.
시간적 정렬: 미래 참조 편향(look-ahead bias)을 방지하기 위해, TSLA의 경우 시장 마감 후 발행된 기사는 다음 거래일로 이동시키며, BTC(24/7)의 경우 UTC 달력 날짜에 고정합니다.
데이터셋 분할: 시계열 분할을 사용했습니다: 훈련(2023년 이전), 검증(2023–2024, 강세장 기간), 테스트(2025–2026, BTC의 약세장을 포함).

2. 딥 강화 학습(DRL) 알고리즘

네 가지 알고리즘을 구현하고 비교했습니다:

정책 경사(Policy Gradient, PG): 몬테카를로 수익률과 엔트로피 보너스를 사용하는 LSTM 기반 액터(actor).
근사 정책 최적화(Proximal Policy Optimization, PPO): 클리핑된 대리 목적 함수(clipped surrogate objective)와 GAE를 사용하는 LSTM 기반 액터-크리틱(actor-critic).
심층 Q-학습(Deep Q-Learning, DQL): Double DQN 업데이트와 경험 재현(experience replay)을 사용하는 피드포워드 네트워크.
심층 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG): 임계값( $\pm 0.33$ )을 통해 이산화된 연속 행동 공간과 탐색을 위한 Ornstein-Uhlenbeck 노이즈를 사용하는 액터-크리틱.

3. 훈련 전략

알파 보상: 보상은 시장 대비 초과 수익으로 정의됩니다: $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$ . 이는 절대적인 이익보다는 바이 앤 홀드(buy-and-hold) 베이스라인을 상회하도록 에이전트를 훈련시킵니다.
무작위 에피소드 시작: 고정된 시퀀스의 암기를 방지하고 일반화 능력을 높이기 위해 훈련 에피소드는 무작위 날짜에서 시작됩니다.
하이퍼파라미터 최적화: 알고리즘-자산 쌍당 180회의 시행을 거쳐 Ray Tune을 통해 수행되었습니다.
모델 선택: 조기 종료(early stopping)가 적용된 **검증 샤프 지수(Validation Sharpe Ratio)**를 기준으로 모델을 선택했습니다.

주요 기여

멀티모달 상태 표현: 기술적 지표, 순환적 캘린더 인코딩, LLM 유도 감성 점수를 결합하는 것이 DRL 에이전트를 위한 효과적인 상태 신호를 생성함을 입증했습니다.
알파 보상 정식화: 저자들은 시장 대비 초과 수익을 극대화하도록 에이전트를 훈련시키는 알파 보상을 도입하고 분석했습니다. 이들은 세 가지 이론적 특성을 확립했습니다:
- 에피소드 전체에 대해 합산할 때 전략의 로그-알파(log-alpha)와 같습니다.
- 가격 수용자 가정하에서는 원시 로그 수익률 보상과 동일한 최적 정책을 공유합니다.
- 변동성이 높은 환경에서 그래디언트 추정치의 분산을 크게 줄이는 분산 감소 제어 변수(control variate) 역할을 합니다.
포괄적인 알고리즘 비교: PG, PPO, DQL, DDPG에 대한 엄격한 평가와 하이퍼파라미터 최적화를 통해, DDPG가 두 자산 모두에서 가장 견고한 성능을 제공함을 밝혀냈으며, 검증 기반 모델 선택이 시장 국면 변화에 얼마나 민감한지를 강조했습니다.

결과

TSLA 성능 (테스트 기간)

베이스라인 (Buy-and-Hold): CR 16.45%, SR 0.61.
DDPG: CR 54.96% 및 SR 1.44를 달성했으며, 가장 낮은 최대 낙폭(MDD)인 19.20%를 기록했습니다.
DQL: CR 52.62% 및 SR 1.38을 달성했으나, 더 높은 MDD(35.76%)를 보였습니다.
PG 및 PPO: 베이스라인보다 성능이 낮거나 상위 모델들에 비해 크게 뒤처졌습니다.

BTC 성능 (테스트 기간)

베이스라인 (Buy-and-Hold): CR -34.27%, SR -0.87 (심각한 약세장).
DDPG: **양(+)의 수익률(1.58%)**과 SR 0.23, MDD 35.30%를 달성한 유일한 모델입니다. 하락장에서 포지션을 flat/short으로 전환함으로써 시장 손실을 성공적으로 완화했습니다.
PG: 손실을 -14.53%로 줄였으나 여전히 음수였습니다.
DQL 및 PPO: 현저히 낮은 성능을 보였으며, DQL은 -23.22%, PPO는 -33.80%를 기록했습니다.

일반화 격차 (Generalization Gap)

특히 BTC에서 상당한 검증-테스트 간 일반화 격차가 관찰되었습니다. 검증 기간(2023–2024)은 지속적인 강세장이었으며, 이로 인해 DQL(검증 SR이 가장 높았던 모델)과 같은 모델은 상승 모멘텀에 과적합되었습니다. 결과적으로 DQL은 약세장인 테스트 조건에 제대로 대응하지 못했으나, DDPG의 연속적 행동 공간과 액터-크리틱 구조는 국면 변화에 대한 더 나은 적응력을 제공했습니다.

의의 및 주장

본 논문은 다음과 같은 조건 하에서 LLM 기반 감성 분석과 심층 강화 학습의 결적인 결합이 알고리즘 매매를 위한 실행 가능한 접근법임을 주장합니다:

보상 형성 (Reward Shaping): 알파 보상을 사용하는 것은 훈련 목표를 시장을 이기는 경쟁적 목표와 일치시켜, 절대적인 가격 움직임에 대한 과적합을 줄입니다.
알고리즘 선택: DDPG는 순환형 온-폴리시(on-policy) 방법(PG, PPO)이나 순수 오프-폴리시(off-policy) 가치 방법(DQL)에 비해 국면 변화를 처리하는 데 있어 우수한 견고성을 보여줍니다.
검증의 한 Limit: 본 연구는 금융 머신러닝의 결정적인 한계를 강조합니다. 단일 검증 윈도우(특히 강세장과 일치하는 경우)에 기반한 모델 선택은 이후의 약세장에서 좋지 못한 일반화로 이어질 수 있습니다. 저자들은 DQL이 검증 지표를 바탕으로 실제 경진대회에 선정되었음에도 불구하고 DDPG가 실제 테스트 기간에서 더 우수했음을 언급하며, 이는 강세장에서 훈련된 정책을 약세장 조건에 적응시키는 것의 어려움을 보여줍니다.

저자들은 본 시스템이 바이 앤 홀드 베이스라인 대비 상당한 초과 수익을 달성화했음에도 불구하고(특히 TSLA에서, 그리고 BTC에서 자본 보존 측면에서), 관찰된 일반화 격차는 국면 의존적 전략을 더 잘 포착하기 위한 워크 포워드 교차 검증(walk-forward cross-validation) 및 계층적 RL(hierarchical RL)에 대한 향후 연구의 필요성을 시사한다고 결론지었습니다.