When Valid Signals Fail: Regime Boundaries Between LLM Features and RL Trading Policies

1. 연구 배경 및 문제 정의 (Problem)

최근 금융 의사결정 분야에서 대규모 언어 모델 (LLM) 의 활용이 증가하고 있으나, 다음과 같은 근본적인 한계가 존재합니다.

• 목적 불일치 (Objective Mismatch): 기존 연구들은 LLM 을 sentiment 분석이나 분류 작업과 같은 표준 NLP 손실 함수 (BLEU, 정확도 등) 로 최적화합니다. 그러나 이러한 최적화는 하류의 강화학습 (RL) 거래 에이전트가 필요한 **지속적인 수치적 특징 (Continuous Numerical Features)**의 예측력을 보장하지 못합니다.
• 분포 이동 (Distribution Shift) 에 대한 취약성: LLM 이 추출한 특징이 훈련 데이터에서는 유효하더라도, 거시경제 충격과 같은 외부 요인으로 인해 데이터 분포가 변할 때 (Regime Shift) RL 에이전트의 성능이 급격히 저하되는 현상이 발생합니다.
• 핵심 질문: LLM 이 생성한 유효한 중간 표현 (Intermediate Representations) 이 반드시 하류 RL 작업의 성능 향상으로 이어지는가?

2. 방법론 (Methodology)

저자는 LLM 을 고정된 (Frozen) 특징 추출기로 사용하고, 이를 RL 에이전트와 모듈러하게 연결하는 파이프라인을 구축했습니다.

A. 시스템 아키텍처

• 데이터 파이프라인: Go 기반의 동시성 파이프라인을 사용하여 뉴스, SEC filing(EDGAR), RSS 등을 수집하고 SQLite 에 저장합니다. 이는 **Look-ahead Bias(선점 편향)**를 방지하기 위해 당일 종료 시점까지의 정보만 사용합니다.
• LLM 특징 추출기: 고정된 LLM(Qwen3-235B) 을 사용하여 매일의 뉴스/문서 묶음을 9 차원의 고정 길이 벡터로 변환합니다.
  • LLM 특징 (4 차원): Sentiment, Impact, Conflicting Signals, News Novelty.
  • 거시경제 특징 (5 차원): VIX, 10 년 국채 수익률, 신용 스프레드, 시장 레짐 플래그 등.
• RL 에이전트: PPO(Proximal Policy Optimization) 알고리즘을 사용하며, OHLCV 데이터, 기술적 지표, LLM 특징, 거시경제 데이터를 결합한 상태 벡터를 입력받아 포트폴리오 결정을 내립니다.

B. 프롬프트 최적화 루프 (Prompt-as-Hyperparameter)

기존 NLP 손실 대신 **정보 계수 (Information Coefficient, IC)**를 직접 최적화 목표로 삼는 자동화 루프를 도입했습니다.

• 메커니즘: 추출 프롬프트를 이산형 하이퍼파라미터로 간주하고, Anthropic 의 Claude API 를 메타 옵티마이저로 사용하여 프롬프트를 변형 (Mutation) 합니다.
• 평가 지표: 예측된 수익률과 실현된 수익률 간의 순위 상관관계인 **IC(Spearman Rank Correlation)**를 기준으로 프롬프트를 평가합니다.
• 최적화 과정: Few-shot 예시 추가, 반증적 사고 (Counterfactual) 도입 등 다양한 변형 실험을 통해 IC 를 극대화하는 프롬프트를 도출했습니다.

3. 주요 기여 (Key Contributions)

1. 프롬프트를 하이퍼파라미터로 최적화: NLP 손실이 아닌 금융 목적 (IC) 에 맞춰 프롬프트를 자동 최적화하는 메커니즘을 제안했습니다. 이를 통해 IC 를 -0.024 에서 +0.104 로 크게 향상시켰습니다.
2. 특징 유효성과 정책 유용성 간의 간극 (Gap) 규명: LLM 이 생성한 특징이 통계적으로 유의미한 예측 신호 (Valid Features) 를 가진다고 하더라도, 이것이 반드시 RL 에이전트의 수익률 향상으로 이어지는 것은 아님을 증명했습니다.
3. 다중 레짐 (Multi-regime) 평가: 거시경제 충격이 발생한 불안정한 기간 (H1 2025) 과 상대적으로 안정된 기간 (H2 2025) 을 구분하여 실험함으로써, LLM 특징의 성능이 시장 레짐에 따라 어떻게 달라지는지 규명했습니다.

4. 실험 결과 (Results)

A. 특징의 유효성 (Feature Validity)

• 최적화된 프롬프트를 통해 추출된 conflicting_signals 와 impact 특징은 5 일 후 수익률과 유의미한 상관관계 (IC > 0.15) 를 보였습니다.
• 신호의 유효 기간은 1 일보다는 3~10 일에 정점을 찍고 20 일 이후에는 감소하는 것으로 확인되었습니다 (뉴스 지연 효과).

B. RL 성능 평가: 레짐 의존성

• 불안정 기간 (H1 2025, 관세 충격 등):
  • LLM 특징을 추가한 에이전트는 가격 기반 베이스라인보다 성능이 떨어졌습니다. (Sharpe Ratio: Baseline 0.010 vs LLM+Macro -0.267).
  • 거시경제 충격 시 LLM 기반 뉴스 신호는 오히려 노이즈로 작용하여 에이전트의 의사결정을 방해했습니다.
  • 거시경제 변수 (Macro-only) 만을 사용한 에이전트는 베이스라인과 유사한 성능을 보였으나, LLM 과 결합했을 때 성능이 저하되었습니다.
• 안정 기간 (H2 2025, calm regime):
  • 시장이 안정화되자 LLM 특징을 포함한 에이전트들이 베이스라인을 상회하는 성과를 보였습니다 (LLM-only Sharpe 1.001).
  • 그러나 여전히 **거시경제 변수만 사용한 에이전트 (Macro-only, Sharpe 1.099)**가 가장 강력한 성능을 보였습니다.

C. 특징 중요도 분석

• 그래디언트 부스팅 트리 분석 결과, RL 에이전트의 의사결정 가중치 **58%**가 거시경제 변수 (VIX, 국채, 신용 스프레드) 에 할당되었습니다.
• 거시경제 변수는 개별 종목의 순위를 예측하지는 않지만 (Cross-sectional IC = 0), 시장의 위험 상태를 감지하여 거래를 조절하는 '레짐 브레이크 (Regime Brake)' 역할을 수행했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 전환 학습의 한계 재확인: LLM 이 생성한 중간 표현의 품질이 높다고 해서 하류 RL 작업의 성공을 보장하지 않습니다. 특히 데이터 분포가 이동할 때 (Distribution Shift) 특징의 예측 구조가 무너질 수 있음을 보여주었습니다.
• 평가 프로토콜의 필요성: 단순히 중간 단계의 특징 (Feature-level) 유효성만 평가하는 것은 부족하며, 다양한 시장 레짐 (특히 스트레스 기간) 을 포함한 아웃-오브-샘플 테스트가 LLM 기반 금융 파이프라인의 표준 프로토콜이 되어야 함을 강조합니다.
• 실용적 시사점: LLM 기반 뉴스 분석은 시장이 안정적일 때 알파 (Alpha) 를 창출할 수 있으나, 거시경제 충격 시에는 오히려 노이즈가 될 수 있으므로, RL 에이전트 설계 시 거시경제 레짐 감지 메커니즘을 필수적으로 통합해야 합니다.

이 연구는 LLM 을 금융에 적용할 때 "유효한 신호"와 "수익성 있는 정책" 사이의 간극을 명확히 구분하고, 이를 해결하기 위한 레짐 적응형 접근의 중요성을 시사합니다.