Can Blindfolded LLMs Still Trade? An Anonymization-First Framework for Portfolio Optimization

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 을 금융 거래에 적용할 때 발생하는 두 가지 근본적인 한계와 편향을 해결하고자 합니다.

• 기억 편향 (Memorization Bias): LLM 이 실제 시장 역학을 이해하는 것이 아니라, 학습 데이터에 포함된 특정 티커 (예: "Tesla", "Apple") 와의 연관성을 단순히 암기하여 예측하는 경우입니다. 이는 "Tesla 주가가 급등한다"는 문구를 학습한 모델이 실제 뉴스 없이도 해당 티커를 무조건 매수하는 과적합 (Overfitting) 현상을 유발합니다.
• 생존자 편향 및 후견 편향 (Survivorship & Lookahead Bias): 기존 백테스팅 환경은 실패한 기업이 데이터에서 사라져 성과를 과장하거나 (생존자 편향), 미래의 정보를 현재로 가져와 사용하는 (후견 편향) 문제가 있어 실제 배포 시 실패합니다.
• 신뢰성 부재: LLM 이 시장 패턴을 진정으로 이해하는지, 아니면 학습 데이터의 통계적 유추에 불과한지 구분할 수 있는 검증 프레임워크가 부족합니다.

2. 제안 방법론: BlindTrade Framework

저자들은 LLM 이 티커 정보를 보지 못하도록 "눈가리개 (Blindfold)"를 하고, 오직 시장 신호와 논리적 추론만으로 거래할 수 있는지 검증하는 BlindTrade 프레임워크를 제안합니다. 이는 Anonymization-First (익명화 우선) 접근법을 핵심으로 합니다.

A. 전체 파이프라인 (6 단계)

1. 데이터 익명화 (Data Anonymization):
   • S&P 500 구성 종목을 매일 수집하여 티커, 회사명, 제품명 등을 모두 익명 식별자 (예: "AAPL" → "STOCK_0026") 로 치환합니다.
   • 뉴스 헤드라인도 구글 지식 그래프 API 를 활용해 고유명사를 제거합니다.
   • 이를 통해 LLM 이 "애플이니까 사야 한다"는 식의 암기 기반 결정을 방지합니다.
2. 멀티 에이전트 LLM 특징 생성 (Multi-Agent LLM Feature Generation):
   • 4 가지 전문 에이전트가 각기 다른 관점에서 종목을 평가하고 추론 (Reasoning) 을 생성합니다.
     • Momentum: 가격 추세와 거래량 분석.
     • News-Event: 익명화된 뉴스의 긍정/부정 감성 및 중요도 판단.
     • Mean-Reversion: 과매수/과매도 상태 및 반등 가능성 분석.
     • Risk-Regime: 전체 시장 리스크 환경 (시스템적 리스크) 평가.
   • 각 에이전트는 과거 60 개 영업일 데이터만 참조하며, 미래 정보를 보지 못하도록 엄격한 지식 컷오프 (Knowledge Cutoff) 를 적용합니다.
3. 신호 유효성 검증 (IC Validation):
   • LLM 의 출력 (점수 및 추론) 이 실제 수익률과 상관관계 (Information Coefficient, IC) 가 있는지 검증합니다.
   • 무작위 교란 (Negative Control) 실험을 통해 신호가 우연이 아님을 입증합니다.
4. 시맨틱 그래프 인코더 (SemGAT):
   • 익명화된 상태에서도 종목 간 관계를 학습하기 위해 그래프 신경망 (GNN) 을 사용합니다.
   • 섹터 엣지: 같은 섹터에 속한 종목을 연결.
   • 시맨틱 엣지: LLM 이 생성한 추론 텍스트의 임베딩 유사도 (Cosine Similarity) 가 높은 종목을 연결하여, "유사한 논리로 평가된 종목" 간의 관계를 학습합니다.
5. 강화학습 포트폴리오 최적화 (RL Policy - PPO-DSR):
   • GNN 의 점수를 기반으로 포트폴리오 가중치를 결정합니다.
   • Intent Head: 시장 상황 (Defensive/Neutral/Aggressive) 을 판단하는 '의도 (Intent)'를 먼저 결정합니다.
   • PPO-DSR: 차분 샤프 비율 (Differential Sharpe Ratio) 을 보상 함수로 사용하여 수익률과 변동성을 동시에 최적화합니다.
   • Top-K Masking: 500 개 종목을 모두 다루지 않고 상위 20 개 종목만 선택하여 거래 비용을 줄입니다.
6. 백테스팅:
   • 10bps 의 거래 비용을 적용하여 실제 환경과 유사하게 평가합니다.

3. 주요 기여 (Key Contributions)

1. 익명화 프로토콜 도입: 티커와 고유명사를 제거하여 LLM 의 암기 편향을 차단하고, 진정한 시장 이해도를 검증할 수 있는 표준을 제시했습니다.
2. 전문 멀티 에이전트 시스템: 4 개의 에이전트가 독립적으로 추론을 생성하고, 이를 그래프 임베딩으로 변환하여 상호 종속성을 학습하게 함으로써 해석 가능한 (Interpretable) 신호를 확보했습니다.
3. 시맨틱 그래프 아키텍처 (SemGAT): 익명화 상태에서도 LLM 의 추론 유사도를 기반으로 동적 그래프를 구성하여 종목 간 관계를 학습하는 새로운 방식을 제안했습니다.
4. 엄격한 신호 검증: IC 분석과 음의 대조군 실험 (Negative Control) 을 통해 LLM 신호가 실제 예측력을 가지며 데이터 누출 (Leakage) 이 아님을 입증했습니다.

4. 실험 결과 (Results)

• 성능 (2025 YTD, 2025 년 1 월 2 일 ~ 8 월 1 일):
  • 샤프 비율 (Sharpe Ratio): 1.40 ± 0.22 (20 개 시드 평균).
  • 누적 수익률: 32.22% ± 5.21%.
  • 벤치마크 비교: SPY(샤프 0.64), EQWL(0.74), 모멘텀 전략 (0.89) 등을 모두 압도했습니다.
• 변동성 및 리스크:
  • 높은 수익을 위해 변동성 (42.34%) 과 최대 낙폭 (MDD -31.66%) 은 SPY 보다 높았습니다. 이는 현금 배분이 불가능한 액션 스페이스 설계에 기인합니다.
• 의도 (Intent) 기반 행동:
  • 정책은 시장 상황에 따라 방어적 (Defensive), 중립적 (Neutral), 공격적 (Aggressive) 모드로 자동 전환됩니다.
  • 방어적 모드에서는 높은 회전율 (2.9%/일) 로 리스크를 분산하고, 공격적 모드에서는 낮은 회전율 (0.4%/일) 로 집중 투자합니다.
• 초점 실험 (Ablation Study):
  • LLM 특징 제거 시: 샤프 비율이 1.40 에서 1.14 로 하락 (LLM 의 해석이 추가 예측력을 제공함).
  • 그래프 구조 제거 시: 샤프 비율이 0.62 로 급락 (종목 간 관계 학습이 필수적임).
  • RL 정책 제거 (Top-K 등가 투자 시): 거래 비용으로 인해 샤프 비율이 -1.17 로 붕괴 (RL 의 비용 인식 학습이 핵심).
• 신호 검증 (Leakage Audit):
  • 예측 점수를 무작위로 섞은 경우, IC 가 0.015 에서 0.0004 로 감소하며 성능이 완전히 무너졌습니다. 이는 모델이 우연이 아닌 유효한 신호 구조를 학습했음을 증명합니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • LLM 기반 금융 AI 의 신뢰성을 확보하기 위해 "암기 (Memorization)"와 "이해 (Understanding)"를 구분하는 검증 프레임워크를 제시했습니다.
  • 추론 (Reasoning) 을 임베딩하여 그래프 학습에 활용함으로써, 블랙박스인 LLM 의 의사결정 과정을 구조화하고 해석 가능성을 높였습니다.
  • 실제 배포 전 신호의 유효성을 검증하는 Negative Control 프로세스의 중요성을 강조했습니다.
• 한계 및 미래 작업:
  • 시장 환경 의존성: 2024 년과 같은 강력한 강세장 (Bull Market) 에서는 SPY 보다 성과가 낮았으나, 변동성이 큰 2025 년에는 크게 우월했습니다. 이는 훈련 데이터 기간 (2020-2023) 이 짧아 강세장 패턴을 충분히 학습하지 못했기 때문으로 분석됩니다.
  • 높은 낙폭: 현금 배분이 불가능하여 하락장에서 방어력이 부족합니다.
  • 익명화 효과 검증: 익명화 자체가 암기를 막는지 대한 직접적인 비교 실험 (Raw vs Anonymized) 은 수행되지 않았습니다.

결론

이 논문은 LLM 이 단순히 학습 데이터의 티커를 암기하는 것을 넘어, 익명화된 환경에서도 유의미한 시장 신호를 포착하고 포트폴리오를 최적화할 수 있음을 실증했습니다. BlindTrade는 투명성, 검증 가능성, 그리고 해석 가능성을 갖춘 책임 있는 금융 AI 시스템 구축을 위한 중요한 이정표가 됩니다.