기술적 요약: LLM 보강 포트폴리오 의사결정을 위한 의미 상태 추상화 인터페이스

문제 제기

심층 강화학습 (DRL) 및 순차적 의사결정 시스템은 비정형 텍스트 (예: 금융 뉴스) 와 수치적 시장 데이터를 점점 더 통합하고 있습니다. 그러나 중요한 설계 격차가 존재합니다. 대부분의 파이프라인은 텍스트의 **의미적 표현 (semantic representation)**과 이를 활용하는 최적화 알고리즘 사이의 구분을 모호하게 만듭니다. 일반적인 접근법은 해석 가능성을 흐리게 하는 고차원 잠재 벡터를 사용하거나, 위험, 신뢰도, 변동성과 같은 직교 개념을 혼동하는 단일 스칼라 점수 (예: 단일 감성 점수) 를 사용합니다. 또한, 텍스트가 희소하여 (일부 의사결정 날짜에만 나타남) 성능 향상이 의미 신호 자체에서 비롯된 것인지, 아니면 특정 학습 알고리즘의 노이즈 처리 능력에서 비롯된 것인지 불분명합니다.

방법론: 의미 상태 추상화 인터페이스 (SSAI)

저자들은 희소하고 비정형적인 텍스트를 $K$개의 감사 가능한 명명된 좌표로 매핑하도록 설계된 방법론적 템플릿인 **의미 상태 추상화 인터페이스 (SSAI)**를 소개합니다.

1. SSAI 프레임워크

• 정의: SSAI 는 날짜 $d$의 자산 $s$에 대한 문서 집합 $N_{s,d}$를 벡터 $\sigma \in \{1, \dots, 5\}^K$로 매핑합니다.
• 축 (Axes): 본 구현에서 $K=4$개의 축이 정의됩니다:
  1. 감성 (Sentiment): 매우 부정적 (1) 에서 매우 긍정적 (5) 까지.
  2. 위험 (Risk): 매우 낮은 위험 (1) 에서 매우 높은 위험 (5) 까지.
  3. 신뢰도 (Confidence): 매우 불확실 (1) 에서 매우 확실 (5) 까지.
  4. 변동성 예측 (Volatility Forecast): 매우 안정적 (1) 에서 매우 변동성 높음 (5) 까지.
• 구현: 고정된 지시사항과 퓨샷 (few-shot) 예제로 프롬프트된 고정된 대형 언어 모델 (LLM) 이 이러한 정수 점수를 추출합니다.
• 희소성 처리: 뉴스가 없는 날 ($N_{s,d} = \emptyset$) 에는 데이터를 0 으로 채우거나 삭제하는 대신 **중립적 기본값 (value 3.0)**을 적용합니다.
• 감사 가능성: 인터페이스는 인간 개입 감독을 위해 설계되어 프롬프트 수준의 제거 (ablation) 와 규제적 가독성 (예: "위험이 2 에서 4 로 증가함") 을 가능하게 합니다.

2. 평가 프로토콜: 표현과 최적화의 분리

핵심 방법론적 기여는 표현 ($\phi$) 의 효과를 최적화기로부터 분리하는 평가 설계입니다.

• 고정된 표현: 모든 추정기 (estimators) 에 걸쳐 단일 고정된 $\phi$(SSAI 매핑) 가 공유됩니다.
• 병렬 추정기: 동일한 의미 상태가 세 가지 다른 유형의 모델에 입력됩니다:
  1. 저분산 추정기: 직접적 팩터 포트폴리오 (SFP, SRF, SCW) 와 감독된 릿지 (ridge) 예측기.
  2. 고분산 비선형 추정기: 강화학습 에이전트 (DP-PPO 및 SAC).
• 불변성: $\phi$가 모든 모델에서 동일하고 고정되므로, 모든 성능 차이는 알고리즘 선택에 기인하며 표현에 기인한 것이 아닙니다.

3. 실험 설정

• 데이터: 30 개 나스닥 -100 종목, 20192023 년 테스트 기간 (표본 외), 20132018 년 훈련. 뉴스는 FNSPID 에서 제공.
• 기준선 (Baselines): 매수 후 보유 (B&H), 모멘텀, 등변동성, 그리고 밀집 신경 인코더 (FinBERT, SSAI 축의 PC1).
• RL 에이전트:
  • DP-PPO: 손실 (drawdown) 을 초선형적으로 처벌하는 보상 조정 (reward shaping) 항이 포함된 손실 처벌 근접 정책 최적화.
  • SAC: 동일한 상태 관측치를 가진 소프트 액터 - 크리티크 (off-policy).

주요 결과

1. 포트폴리오 성과 (팩터 포트폴리오)

• 겉보기 초과 수익: 4 축 SSAI 의미 팩터 포트폴리오 (SFP) 는 누적 수익률 (CR) **307.2%**와 샤프 지수 1.067을 달성하여 매수 후 보유 (243.6%) 를 우세하게 초과하는 것처럼 보였습니다.
• "구성 효과 (Composition Effect)" 주의사항: 이 우세함은 엄격한 통제를 거치면 유지되지 않습니다:
  • 층별 매칭 실패: 뉴스 보도 빈도를 통제할 때, SFP 는 모든 (저, 중, 고) 보도 3 분위수에서 B&H 보다 저조한 성과를 보였습니다. 집계된 이득은 "바구니 선택 구성 효과"였습니다. 즉, 모델이 해당 그룹 내에서 신호가 예측력이 있었기 때문이 아니라, 우연히 잘 수행된 중간 보도 종목들을 선택했기 때문입니다.
  • 비용 민감도: 거래 비용이 $\ge 0.2\%$일 때 우세함이 반전됩니다.
  • 통계적 유의성: 4-팩터 SFP 와 감성 전용 SFP 간의 차이는 통계적으로 유의하지 않았습니다 (Wilcoxon $p=0.556$).
• 우월한 대안:
  • PC1-SFP: 네 개의 축에 대한 데이터 기반 첫 번째 주성분이 433.6% CR을 달성하여 SSAI-SFP 보다 126 퍼센트 포인트 높았습니다.
  • FinBERT-SFP: 밀집 인코더 기준선은 386.3% CR을 달성했습니다.
  • 결론: 명명된 축 인터페이스 (SSAI) 는 이 설정에서 데이터 기반 또는 밀집 대안에 비해 상당한 성능 비용 (126pp CR) 을 초래합니다.

2. 감독 예측

• 희소 LLM 의미 열을 가격/기술적 특징에 단순히 추가하는 것은 릿지 예측 성능을 악화시켰습니다.
• 어휘 기반 기준선 (VADER, TF-IDF/SVD) 과 "높은 확신의 의미적 기울기 (high-conviction semantic tilts)"는 성능을 가격 전용 수준까지 회복시켰으나, 신중한 통합 없이는 밀집 신경 인코더 (FinBERT) 가 릿지 예측을 개선하지는 못했습니다.

3. 강화학습 진단

• 알고리즘 의존성: 동일한 SSAI 상태 하에서 SAC(샤프 1.059)는 DP-PPO(샤프 0.920, $p=0.027$) 보다 현저히 우월한 성과를 보였습니다.
• 해석: 이 격차는 표현의 질이 아니라 알고리즘적 차이 (오프-폴리시 재생, 엔트로피 정규화) 에 기인합니다.
• 마스킹: LLM 신호를 제거 (중립 마스킹) 하는 것은 DP-PPO 성능을 유의하게 저하시키지 않았습니다 (Wilcoxon $p \approx 0.25–0.31$), 이는 RL 에이전트가 희소 의미 신호를 효과적으로 활용하지 못했음을 시사합니다.
• 제거 분석 (Ablation): 특정 축 (예: 신뢰도) 을 제거하면 수익이 감소했으나, 단일 체크포인트 반전 (중립 > 전체 신호) 은 평가 시 상태 분포 변화에 기인한 것이지 신호의 해악에 기인한 것이 아닙니다.

중요성과 주장

이 논문은 그 기여를 진단적이고 경계적인 것으로 명시적으로 규정하며, 우월한 성능에 대한 주장으로 삼지 않습니다.

1. 해석성 - 성능 프론티어 도구로서의 SSAI: 이 연구는 "해석성의 비용"을 정량화합니다. 감사 가능한 명명된 축 (SSAI) 을 데이터 기반 (PC1) 과 밀집 (FinBERT) 과 비교함으로써, 저자들은 감사 가능하고 인간이 읽을 수 있는 축을 유지하는 것이 이 특정 포트폴리오 컨텍스트에서 상당한 성능 비용 (5 년간 126pp CR) 을 수반함을 보여줍니다.
2. 신호와 최적화기의 분리: SSAI 템플릿은 시스템의 성공이 의미적 표현 때문인지 학습 알고리즘 때문인지 분리할 수 있는 재사용 가능한 방법을 제공합니다. 결과는 이 설정에서 **알고리즘 선택 (SAC 대 PPO)**이 표현 효과보다 지배적임을 나타냅니다.
3. 희소 텍스트에 대한 경계적 발견:
   • 희소 LLM 신호는 높은 확신의 기울기나 위험 관리로 유용하지만, 신중한 통합 없이는 밀집 예측이나 RL 을 위한 순진한 입력으로는 견고하지 않습니다.
   • 팩터 포트폴리오에서의 겉보기 초과 수익은 진정한 신호 우위가 아니라 **구성 인공물 (특정 종목 선택)**일 수 있습니다.
   • 고보도 종목 (예: NVDA, GOOGL) 은 AI 투자 주기 동안 시장 효율성과 팩터 모델의 오지정 (misspecification) 으로 인해 SSAI 에 대해 가장 나쁜 상대적 성과를 보였습니다.

결론: 저자들은 SSAI 가 더 밀집된 대안보다 우월하다고 주장하지 않습니다. 대신, 그들은 의미 신호와 최적화 노이즈를 엄격히 분리하기 위한 미래 연구를 위한 방법론적 템플릿으로 SSAI 를 제시하며, 현재 감사 가능성과 예측력 사이의 트레이드오프가 상당함을 강조합니다. 이 작업은 해석성 제약이 측정 가능한 경제적 비용을 수반함을 강조하는 "후향적 벤치마크" 역할을 합니다.