기술 요약: FinMMEval 2026 Task 3의 Fin-Analyst

1. 문제 정의

본 논문은 기존 대규모 언어 모델(LLM) 트레이딩 에이전트들이 주로 미국 주식의 오프라인 백테스팅에 집중해 왔으며, 실제 라이브 순차적 거래 환경에서의 성과에 대한 증거가 부족하다는 한계를 다룹니다. 또한, 이러한 에이전트들은 암호화폐 시장을 거의 통합하지 못하고 있습니다. 저자들은 두 가지 별개의 자산 클래스인 테슬라(TSLA, 주식)와 비트코인(BTC, 암호화폐)에 대해 일일 행동 결정(BUY, HOLD, SELL)을 수행해야 하는 라이в, 온라인 트레이딩 챌린지인 FinMMEval Task 3(CLEF 2026)를 해결합니다. 이 챌린지는 구조화된 수치 데이터(펀더멘털, 기술적 지표)와 비구조화된 텍스트 데이터(뉴스, SEC 공시, 소셜 센티먼트)를 포함한 이질적인 데이터 소스를 실시간으로 처리하는 것을 포함합니다.

2. 방법론

저자들은 계층적, 다층 구조를 채택한 하이브리드 트레이딩 시스템인 Fin-Analyst를 제안합니다. 이 시스템은 Hugging Face Spaces에 컨테이너화된 FastAPI 서비스로 배포되며, 모든 LLM 구성 요소에 gpt-4o-mini를 사용하고 온도는 0.1로 설정되었습니다.

2.1. 아키텍처 개요

시스템은 세 가지 주요 레이어로 구성됩니다:

1. 지속적 메모리(Persistent Memory): 시작 시 로드되는 7개의 전처리된 코퍼스(뉴스, 8-K, 10-Q, 10-K, Compustat, IBES, 기술/소셜 데이터).
2. 전문가 에이전트(Specialist Agents): 특정 데이터 소스를 처리하는 역할 조건부 LLM 에이전트.
3. 메타 에이전트 / 규칙 기반 투표(Meta-Agent / Rule-Based Vote): 전문가의 출력을 최종 트레이딩 행동으로 합성하는 애그리게이터.

2.2. TSLA 전략: 8단계 전문가 LLM 파이프라인

주식 자산(TSLA)의 경우, 시스템은 8개의 특화된 에이전트가 별도의 데이터 소스를 소비하는 전체 계층 구조를 사용합니다:

• 뉴스(News): 일일 뉴스 번들.
• 이벤트(Event): 8-K 공시 (가격 민감 공시).
• 분기(Quarterly): 10-Q 보고서.
• 연간(Annual): 10-K 보고서.
• 펀더멘털(Fundamentals): Compustat 재무 비율.
• 애널리스트(Analyst): IBES 컨센서스 예측.
• 기술적(Technical): MACD, RSI, 볼린저 밴드, ADX.
• 소셜(Social): r/wallstreetbets 센티먼트.

집계 로직:
각 전문가는 개별적인 행동, 신뢰도 점수, 그리고 추론을 생성합니다. 메타 에이전트는 **최신성 가중 계층 구조(recency-weighted hierarchy)**를 사용하여 전문가들의 판결을 집계합니다. 오늘의 뉴스는 가장 높은 가중치를 가지며, 그 신뢰도가 임계값을 초과할 경우 합의를 뒤엎을 수 있습니다. 결정적으로, 공시 기반 전문가(8-K, 10-Q, 10-K)는 사용 가능한 가장 최근의 공시 자료를 바탕으로 작동합니다. 만약 새로운 공시가 없다면, 이들은 결정을 유보하는 대신 이전 공시를 다시 읽어 매일의 판결을 보장합니다. 지연 시간과 비용을 관리하기 위해 입력(예: 동일한 8-K)이 변경되지 않으면 캐시된 판결을 재사용하도록 MD5 해싱을 통해 프롬프트를 캐싱합니다.

2.3. BTC 전략: 규칙 기반 3-시그널 투표

암호화폐 자산(BTC)의 경우, 시스템은 LLM 파이프라인을 우회하여 세 가지 시그널에 기반한 경량 규칙 기반 다수결 투표를 사용합니다:

1. 가격 추세(Price Trend): 제공된 가격 윈도우 동안의 백분율 변화. (0.5% 초과 시 BUY, -0.5% 미만 시 SELL).
2. 모멘텀(Momentum): 주최 측에서 제공하는 불리시(Bullish)/베어리시(Bearish) 라벨.
3. 공포 및 탐욕 지수(Fear & Greed Index): 방향성 투표로 매핑됨 (60 이상 시 BUY, 40 이하 시 SELL).

타이브레이킹(Tie-Breaking): 세 가지 시그널이 다수결을 형성하지 못할 경우, 공포 및 탐욕 지수가 타이브레이커 역할을 합니다 (50 이상이면 BUY, 그렇지 않으면 SELL).

3. 주요 기여

• 하이브리드 멀티 자산 아키텍처: 단일 라이브 트레이딩 프레임워크 내에서 암호화폐를 위한 규칙 기반 전략과 결합된 멀티 전문가 LLM 파이프라인을 구현한 최초의 기록된 사례.
• 라이브 배포: 오프라인 백테스팅을 넘어 라이브 시장 환경에서의 순차적인 온라인 평가 프로토콜로 확장.
• 전문가 기여도 절제 연구(Ablation): 특정 데이터 소스(예: 8-K 공시 vs 연간 보고서)가 트레이딩 성과에 미치는 영향을 격리하여 분석.
• 라이브 환경에서의 오류 분석: "기억 상실형" 에이전트가 잘못된 호출을 반복하거나, 고정 임계값 규칙이 횡보장에서 실패하는 것과 같은 구체적인 실패 모드 식별.

4. 결과

4.1. 라이브 평가 (공식 리더보드, 2026-07-05 접속 기준)

• TSLA: 멀티 전문가 파이프라인은 **+13.51%**의 수익률을 달 Achieve 했으며, 모든 에이전트 중 1위를 차지했습니다. 이는 Buy-and-Hold(B&H) 베이스라인(-14.7%)보다 +28.33 퍼센티지 포인트 높은 성과이며, 샤프 지수는 4.10, 승률은 **88%**였습니다.
• BTC: 규칙 기반 투표는 **-5.30%**로 13위를 기록했습니다. 그러나 약 25%의 가치를 잃은 B&H 베이스라인에 비해 유의미하게 높은 성과를 냈습니다. 이 전략은 B&H 대비 +17.63 퍼센티지 포인트의 알파를 생성했습니다.
• 변동성 민감도: 논문은 중간 스냅샷(6월 4일)과 최종 윈도우 사이의 자산 순위 역전을 언급합니다. TSLA 에이전트의 성공은 거의 전적으로 마지막 몇 주간의 성과에 의해 주도되었으며, BTC 에이전트의 초기 리드는 감소했습니다.

4.2. 오프라인 백테스트 (역사적 데이터: 2025년 8월 – 2026년 5월)

• TSLA: 전체 시스템은 **25.63%**의 누적 수익률(샤프 0.73)을 달성하여, 단일 프롬프트 "NewsOnly" 베이스라인보다 3.9포인트 앞섰습니다.
• BTC: 규칙 기반 전략은 -31.53%인 B&H 베이스라인에 대해 **22.82%**의 수익률을 기록했습니다.
• 절제 연구 결과:
  • 이벤트(8-K) 전문가: 가장 결정적인 시그널로 식별되었습니다. 이를 비활성화하면 누적 수익률이 -30.65 퍼센티지 포인트 하락합니다.
  • 분기(10-Q) 및 뉴스: 이차적인 동력입니다.
  • 연간(10-K) 및 펀더멘털: 약간의 부정적인 기여를 보여, 연간 시그널이 일일 의사결정 단계에서는 노이즈를 더한다는 것을 시사합니다.

4.3. 오류 분석

저자들은 네 가지 주요 오류 범주를 식별했습니다:

1. 나쁜 첫날(Bad First Day): 이력 부족으로 인한 첫날의 맹목적인 추측.
2. 잘못된 베팅 유지(Holding Wrong Bets): 시스템에 메모리가 없어, 잘못된 방향성 호출(예: 랠리 중에도 숏 포지션 유지)을 여러 날 동안 반복함.
3. 노이즈 기반 거래(Trading on Noise): 고정된 임계값(±0.5%)으로 인해 BTC 전략이 미세한 시장 움직임에도 방향을 급격히 바꾸어, LLM 파이프라인이 성공했던 횡보장에서 상당한 손실을 초래함.
4. 움직임 놓침(Sitting Out Moves): 시그널이 불일치하거나 뉴스가 없을 때 시장의 급격한 하락에 대응하지 못함.

5. 의의 및 주장

본 논문은 Fin-Analyst가 멀티 전문가 LLM 아키텍처의 라이브 트레이딩 활용 가능성을 입증한다고 주장하며, 특히 다음 사항을 강조합니다:

• **이벤트 중심 공시(8-K)**는 연간 보고서나 펀더멘털보다 일일 의사결정에서 더 영향력 있는 시그널임을 보여줍니다.
• 라이브 순위는 짧고 변동성이 큰 윈도우에서 불안정합니다. 중간 결과와 최종 결과 사이의 역전은 단기 성과가 순수한 실력보다는 레짐(regime) 운을 반영할 수 있음을 시사합니다.
• 메모리는 핵심적인 격차입니다: 현재 에이전트의 "기억 상실" 특성은 반복적인 오류를 초래하며, 이는 메모리 레이어를 갖춘 차세대 모델의 필요성을 뒷받다합니다.
• 하이브리드 접근 방식이 필수적입니다: LLM은 비구조화된 뉴스를 해석하고 횡보 시장에 적응하는 데 탁 \월하지만(TSLA 사례), 단순한 규칙 기반 시스템은 암호화폐 시장에서 방어적인 알파를 제공할 수 있으나 레짐 변화에 대한 적응력은 부족합니다.

저자들은 짧은 평가 기간, 통계적 유의성 검정의 부재, 그리고 작은 규모의 모델(gpt-4o-mini) 사용을 근거로 자신들의 주장에 대해 겸손한 태도를 명시적으로 밝힙니다. 이들은 본 연구를 메모리 레이어, 토론 기반 집계, 레짐 인식 적응에 관한 향ًا 연구를 위한 문서화된 베이스라인으로 제시합니다.