Janus-Q: End-to-End Event-Driven Trading via Hierarchical-Gated Reward Modeling

이 논문은 뉴스 이벤트의 의미와 시장 반응을 통합한 대규모 데이터셋 구축과 다중 트레이딩 목표 간 균형을 잡는 계층적 게이트 보상 모델을 활용한 강화학습을 통해, 기존 시장 지수 및 LLM 기반 전략보다 우수한 수익률과 예측 정확도를 달성하는 종단간 이벤트 기반 트레이딩 프레임워크 'Janus-Q'를 제안합니다.

핵심

자너스-Q (Janus-Q): 뉴스 한 줄로 주가를 예측하는 '스마트 트레이더' 이야기

이 논문은 **"뉴스를 읽고 바로 매매를 결정하는 AI 트레이더"**를 소개합니다. 기존에 주가 예측이 주로 과거의 숫자 (주가, 거래량) 를 보며 미래를 점치는 방식이었다면, 이 연구는 "뉴스라는 이야기 (이벤트) 를 이해하고, 그 영향력을 계산하여 매매하는" 새로운 방식을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 방식의 문제점: "날씨 예보만 믿고 우산을 사지 않는 사람"

기존의 금융 AI 들은 마치 과거 10 년간의 기온 데이터만 보고 내일 비가 올지 예측하는 사람과 같습니다.

• 문제: 갑자기 화산이 폭발하거나, 대통령이 취임하면 기온 데이터만으로는 예측이 안 됩니다.
• 현실: 주식 시장도 마찬가지입니다. "어떤 회사가 M&A(인수합병) 를 한다", "실적이 폭락했다" 같은 단순한 뉴스 (이벤트) 하나가 주가를 순식간에 뒤흔듭니다.
• 기존 AI 의 한계: 기존 AI 는 이 뉴스들을 '보조 자료'로만 쓰거나, 숫자 패턴에 맞춰서 해석하려다 보니, 뉴스의 진짜 의미를 놓치고 잘못된 매매를 하곤 했습니다.

2. 자너스-Q 의 등장: "뉴스의 의미를 읽는 현명한 투자자"

이 연구팀이 만든 **자너스-Q (Janus-Q)**는 완전히 다른 접근을 합니다.

• 핵심 아이디어: "뉴스를 숫자로만 보지 말고, 이벤트 (사건) 그 자체로 파악하자."
• 비유: 자너스-Q 는 마치 유능한 증권 애널리스트처럼 행동합니다.
  1. 뉴스가 나오면 "아, 이건 '리스크 경고' 사건이구나!"라고 분류합니다. (이벤트 분류)
  2. "이런 사건이 과거에 발생했을 때 주가가 얼마나 떨어졌지?"라고 과거 데이터를 떠올립니다. (역사적 통계)
  3. "이번 뉴스는 정말 충격적이니 주가가 5% 는 떨어지겠군!"라고 예측합니다. (영향력 예측)
  4. "그럼 지금 바로 팔아야지!"라고 결정을 내립니다. (매매 실행)

3. 자너스-Q 가 어떻게 배우는가? (두 단계 학습)

이 AI 는 두 단계의 훈련을 통해 전문가가 됩니다.

1 단계: 방대한 뉴스 도서관 만들기 (데이터 구축)

• 상황: AI 가 배울 수 있는 '정답이 있는 뉴스'가 없었습니다.
• 해결: 연구팀은 6 만 2 천 개의 뉴스를 전문가들이 직접 분석했습니다.
  • "이 뉴스는 어떤 사건인가?" (예: 인수합병, 리스크 경고)
  • "어떤 주식에 영향을 줬는가?"
  • "실제로 주가가 얼마나 움직였는가?" (이걸 CAR이라고 부르는데, 쉽게 말해 "뉴스 때문에 발생한 순수한 수익/손실"입니다.)
• 비유: 마치 수천 권의 사례집을 만들어, "A 사건이 발생하면 B 주식이 C% 떨어졌다"는 식의 정답을 AI 에게 주입한 것입니다.

2 단계: 실전 훈련과 보상 시스템 (모델 학습)

• 상황: AI 가 단순히 "떨어질 것 같다"고 말하는 것만으로는 부족합니다. 실제로 돈을 벌어야 하니까요.
• 해결: **계층형 게이트 보상 모델 (HGRM)**이라는 독특한 시스템을 도입했습니다.
  • 비유: AI 를 훈련시키는 엄격한 코치가 있다고 상상해 보세요.
    • 1 차 문 (하드 게이트): "방향성을 틀리면 (오르는데 내렸다고 하면) 아예 점수 0!" (실수하면 즉시 제재)
    • 2 차 문 (소프트 게이트): "이벤트 종류를 잘못 맞췄다면? 점수 깎아!" (예: '실적 발표'를 '리스크 경고'로 오인하면 감점)
    • 최종 보상: 방향도 맞고, 이벤트도 잘 분석해서 실제로 돈을 벌었다면 큰 점수를 줍니다.
  • 이 과정을 통해 AI 는 "무조건 많이 매매하는 것"보다 **"올바른 논리로 올바른 타이밍에 매매하는 것"**을 배우게 됩니다.

4. 결과: 왜 자너스-Q 가 특별한가?

실험 결과, 자너스-Q 는 기존 방식보다 훨씬 뛰어났습니다.

• 성과: 기존 지수 (시장 평균) 나 다른 AI 들보다 수익률 (샤프 비율) 이 100% 이상 더 높았습니다.
• 비유: 다른 트레이더들이 "날씨 예보 (과거 데이터)"만 믿다가 비를 맞고 옷을 다 젖혔다면, 자너스-Q 는 "화산 폭발 뉴스 (이벤트)"를 보고 미리 우산을 챙겨서 비를 피하고 오히려 돈을 벌었습니다.
• 특징: 단순히 확률로 맞추는 게 아니라, **"왜 주가가 움직였는지"에 대한 논리적 설명 (추론)**도 함께 제공하므로, 인간 투자자도 그 이유를 이해할 수 있습니다.

5. 요약: 한 줄로 정리하면?

"자너스-Q 는 과거의 숫자 패턴에 매몰되지 않고, 뉴스 속 '사건 (이벤트)'의 의미를 깊이 있게 이해하고, 과거의 실제 반응 데이터를 바탕으로 가장 합리적인 매매 결정을 내리는 차세대 금융 AI 입니다."

이 기술은 금융 시장이 단순히 숫자의 흐름이 아니라, 사람들의 이야기 (뉴스) 와 사건들이 만들어내는 결과임을 다시 한번 일깨워주며, 더 투명하고 수익성 높은 투자를 가능하게 합니다.

기술 요약

1. 문제 정의 (Problem)

금융 시장은 전통적으로 시계열 데이터 (가격, 거래량 등) 를 기반으로 한 수치적 예측 모델로 연구되어 왔으나, 이는 다음과 같은 한계를 가집니다.

• 이질적이고 갑작스러운 시장 반응: 주가 변동은 부드러운 시간적 동역학보다는 '수익 발표', 'M&A', '리스크 공시'와 같은 이산적 (discrete) 인 금융 이벤트에 의해 주로 발생합니다. 이러한 이벤트는 방향, 크기, 지속 시간 측면에서 매우 이질적인 시장 반응을 유발합니다.
• 기존 접근법의 결함:
  1. 데이터 부재: 뉴스의 의미론적 (semantic) 정보와 통계적으로 근거 있는 시장 반응 (CAR, 누적 비정상 수익률) 을 결합한 대규모 이벤트 중심 데이터셋이 부족합니다.
  2. 의사결정 불일치: 기존 학습 기반 시스템은 텍스트 정보를 보조 모달리티로만 활용하거나, 단순한 감정 분석에 그칩니다. 이로 인해 언어 모델의 추론이 실제 시장 수익과 정렬되지 않으며, 단순한 상관관계만 학습하거나 단기 노이즈를 악용하는 위조된 전략을 생성할 위험이 있습니다.

2. 제안 방법론: Janus-Q (Methodology)

저자들은 금융 뉴스를 보조 신호가 아닌 주요 의사결정 단위로 격상시키는 종단간 (End-to-End) 이벤트 기반 트레이딩 프레임워크인 Janus-Q를 제안합니다. 이 프레임워크는 두 단계의 패러다임으로 구성됩니다.

Stage I: 이벤트 중심 데이터 구축 (Event-Centric Data Construction)

• 대규모 데이터셋: 62,400 개의 전문가 주석 금융 뉴스 기사를 수집했습니다.
• 세부 주석: 각 이벤트는 10 가지 세분화된 이벤트 유형 (개인 행동, 지분 변경, 리스크 경고 등), 관련 주식, 감정 라벨, 그리고 **누적 비정상 수익률 (CAR)**로 주석 처리되었습니다.
• CAR 모델링: 이벤트 윈도우 내에서 시장 모델 (Market Model) 과 리스크 모델 (Risk Model, CNE5 기반) 을 사용하여 시장 전체 및 산업/스타일 요인을 제거한 순수한 이벤트 유발 수익률을 계산했습니다.

Stage II: 의사결정 지향적 미세 조정 (Decision-Oriented Finetuning)

모델은 두 단계의 학습을 거칩니다.

1. 지도 미세 조정 (SFT): 이벤트 설명에서 예상 CAR 및 거래 신호로 이어지는 구조화된 추론 (Reasoning) 을 학습합니다.
2. 강화 미세 조정 (RFT): **계층적 게이트드 보상 모델 (Hierarchical-Gated Reward Model, HGRM)**을 사용하여 강화 학습 (GRPO 알고리즘) 을 수행합니다.

HGRM 의 핵심 구조:
보상은 단순한 합계가 아닌, 계층적 게이트 구조를 통해 구성됩니다.

• 하드 게이트 (Hard Gate): 예측된 방향 (Direction) 이 실제 시장 방향과 반대일 경우, 모든 후속 보상을 차단합니다. (잘못된 방향의 거래로 인한 수익을 방지)
• 소프트 게이트 (Soft Gate): 예측된 이벤트 유형이 정확하지 않을 경우, 보상에 할인 계수를 적용하여 이벤트 이해도와 거래 결과의 일관성을 유도합니다.
• 거래 보상 (Trading Reward): 거래 비용 (Transaction Cost) 을 고려한 PnL(손익) 을 기반으로 하며, 거래 강도 (Strong/Weak) 에 대한 정규화 항을 포함하여 과도한 거래나 무거래 행동을 방지합니다.
• 크기 및 과정 보상: 예측된 CAR 크기의 정확도와 추론 과정의 질을 추가로 보상합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 이벤트 중심 데이터셋: 62,400 개의 뉴스와 10 가지 이벤트 유형, 감정, CAR 를 포함한 통합 벤치마크 구축.
2. Janus-Q 프레임워크: 금융 뉴스 이벤트를 직접 거래 결정으로 매핑하는 최초의 종단간 이벤트 기반 트레이딩 시스템.
3. HGRM (Hierarchical-Gated Reward Model): 의미론적 추론과 시장 기반 거래 결과를 정렬하기 위해 설계된 새로운 보상 모델로, 다중 목표 간의 상충 관계를 해결하고 경제적 타당성을 보장합니다.

4. 실험 결과 (Results)

다양한 시장 지수 및 LLM 베이스라인 (Time-series LLM, 금융 특화 LLM, 일반 LLM) 과 비교 실험을 수행했습니다.

• 성과 지표:
  • Sharpe Ratio (SR): 기존 최강 전략 대비 102.0% 향상 (1.3088 달성).
  • 방향 정확도 (Direction Accuracy): 최강 경쟁 전략 대비 17.5% 향상.
  • 이벤트 유형 정확도 (ETA): 18.2% 향상.
  • 최대 낙폭 (MDD): 수익성 향상과 동시에 유사한 수준의 최대 낙폭을 유지하여 위험 조정 수익률이 우수함.
• 비교 분석:
  • 시계열 중심 모델이나 단순 텍스트 피처를 추가한 금융 LLM 들은 대부분 음의 Sharpe Ratio 를 보였으나, Janus-Q 는 일관된 상승 추세를 보였습니다.
  • Ablation Study: SFT 단계 제거 시 성능이 급격히 하락하며, GRPO 와 HGRM 이 정책의 정교화와 수익성 극대화에 결정적임을 입증했습니다.
• 인간 정렬 (Human Alignment): 200 개 샘플에 대한 인간 전문가 (CFA, 애널리스트 등) 평가와 비교 시, 이벤트 해석 및 방향 예측에서 인간과 높은 일치도를 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 금융 시장 예측을 단순한 시계열 수치 예측에서 이벤트 기반의 의미론적 추론 및 의사결정으로 전환하는 새로운 접근법을 제시했습니다.
• 해석 가능성: 모델이 왜 특정 이벤트를 특정 방향으로 해석하고 거래를 결정했는지 추론 과정 (Chain-of-Thought) 을 통해 설명 가능하게 만듭니다.
• 실용성: 실제 거래 비용과 위험 요소를 고려한 보상 설계 (HGRM) 를 통해 이론적 모델이 실제 투자 성과로 이어질 수 있음을 입증했습니다.

이 논문은 대규모 언어 모델 (LLM) 을 금융 트레이딩에 적용할 때, 단순한 텍스트 이해를 넘어 통계적으로 검증된 시장 반응과 정렬된 의사결정 메커니즘이 필수적임을 강조하며, 이벤트 중심의 정밀한 금융 AI 시스템 구축을 위한 중요한 이정표가 됩니다.