기술 요약: MARKET-BENCH

문제 정의

양적 트레이딩(Quantitative Trading) 분야는 모델의 환각(Hallucination)이나 불완전한 입력이 막대한 금융 손실로 이어질 수 있는 고위험 환경에서 운영됩니다. 기존의 거대언어모델(LLM)에 대한 평가는 실적 발표 요약, 감성 분석, 기본적 분석 모델링과 같은 고차원적인 작업에 집중되어 있으나, 모델이 트레이더의 일상적인 운영 업무를 지원할 수 있는 능력을 평가하는 데에는 결정적인 공백이 존재합니다. 구체적으로, 현재의 벤치마크들은 LLM이 기본적인 트레이딩 개념(예: 주문 실행, 인벤토리 추적, 리스크 관리)을 이해하고 이를 자연어 설명으로부터 기능적이고 실행 가능한 백테스터(Backtester)를 구축하는 데 적용할 수 있는지 평가하지 못합니다. 핵심적인 문제는 현재의 LLM들이 전략 설명을 수치적으로 정확하고 구조적으로 견고한 트레이딩 시뮬레이션 코드로 신뢰성 있게 변환하지 못한다는 점입니다.

방법론

저자들은 기초적인 양적 트레이딩 작업을 평가하기 위해 설계된 벤치마크인 MARKET-BENCH를 소개합니다. 이 평가 프레임워크는 모델이 제공된 자연어 설명과 시장 데이터를 바탕으로 트레이딩 전략을 시뮬레이션하는 실행 가능한 파이썬(Python) 코드를 생성하도록 요구합니다.

벤치마크 설계

본 벤치마크는 시장 역학의 서로 다른 측면을 포착하는 세 가지 전형적인 전략으로 구성됩니다:

1. 스케줄드 트레이딩 (전략 1): 마이크로소프트(MSFT)를 대상으로 하는 단일 자산 전략으로, 사전에 지정된 타임스탬프에서의 시장가 주문을 포함합니다. 이는 오더북 상호작용, 포지션 추적, 실현 손익(P&L)을 위한 FIFO 회계, 그리고 중간 가격(Mid-price) 기반의 미실현 손익을 테스트합니다.
2. 페어 트레이딩 (전략 2): 코카콜라(KO)와 펩시(PEP) 사이의 평균 회귀 전략입니다. 이는 스프레드 z-score 계산, 두 심볼 간의 공동 자본 관리, 임계값 교차에 따른 진입/청산 로직 실행을 요구합니다.
3. 델타 헤징 (전략 3): MSFT 옵션 전략으로, 모델은 정의된 옵션 델타 시계열을 기초 자산 주식을 통해 헤지해야 합니다. 이는 필오킬(Fill-or-kill) 주문 처리, 거래소 지연, 그리고 순 델타(Net Delta) 집계를 테스트합니다.

데이터 및 시뮬레이션

• 데이터 소스: 시장 데이터는 Databento(L10 오더북 데이터)에서 가져오거나 합성된 데이터(옵션 델타를 위한 랜덤 워크)를 사용합니다.
• 합성 북(Synthetic Book): 벤치마크의 핵심 구성 요소는 모델이 북에서 제거된 유동성을 추적해야 한다는 점입니다. 모델은 정확한 가격 및 거래량 추적을 보장하기 위해 원시 오더북 데이터와 소비된 유동성을 상쇄하여 "합성 북"을 유지해야 합니다.
• 평가 프로토콜:
  • 각 전략은 5개의 서로 다른 라운드(다른 파라미터 구성 및 데이터 시드)에 걸쳐 테스트되며, 모델당 총 15개의 조합이 생성됩니다.
  • 모델은 각 라운드당 최대 3회의 독립적인 원샷(One-shot) 시도가 허용됩니다.
  • 온도(Temperature): 결정론적 결과를 보장하기 위해 0.0으로 설정되었습니다.
  • 제약 조건: 10분의 시간 제한과 제한된 파이썬 패키지 세트(예: pandas, numpy, datetime)를 사용합니다.

지표

평가는 구조적 신뢰성과 수치적 정확성을 분리하여 측정합니다:

• 실행 통과(Executable Passes): 모델이 구문 오류나 런타임 어설션 없이 실행 가능한 코드를 생성하는 데 성공한 라운드의 수를 카운트합니다.
• 평균 절대 오차(MAE): 모델의 출력 지표(총 P&L, 최대 낙폭, 포지션 경로)와 검증 가능한 참조 구현 간의 편차를 측정합니다.
  • 실패 처리: 모델이 실행에 실패할 경우, 모든 타임스탬프에 대해 초기 상태 지표를 반복 계산한 "중복 지표 베이스라인 MAE"가 할당됩니다. 이는 실행되지 않는 출력에 대해 엄격하게 페널티를 부여합니다.
• 집계: 모델은 평균 MAE(실패를 포함한 모든 라운드에 대한 평균), 최적 실행 MAE(단일 라운드에서 달성한 최저 오차), 그리고 총 실행 통과 횟수에 따라 순위가 매겨집니다.

주요 결과

연구에서는 GPT-5 변형, Claude 4.5, Gemini 3 Pro 및 Qwen3, Llama 4와 같은 오픈 소스 모델을 포함한 13개의 최첨단 모델을 평가했습니다.

성능 트렌드

1. 신뢰성 vs 정확성: 코드를 실행할 수 있는 능력과 정확한 코드를 생성하는 능력 사이에는 상당한 격차가 존재합니다.
   • GPT-5.2는 강력한 전반적 성능을 보여주었으며, 완벽한 실행 가능성(15/15 라운드)과 낮은 전체 평균 MAE(969.39)를 달성했습니다.
   • Qwen3 Max는 완벽한 실행 가능성(15/15)을 달성했으나, 특히 전략 2에서 치명적인 수치적 발산을 겪어 약 1.59 × 10⁸의 전체 평균 MAE를 기록했습니다.
   • GPT-5.1 Codex-Max는 전략 1에서 가장 낮은 단일 실행 오차(0.002 MAE)를 기록했으나, 라운드 간 높은 변동성을 보였습니다.
2. 전략 난이도:
   • 전략 1 (단일 주식): 가장 쉬운 작업입니다. 대부분의 모델(평균 4.08/5 라운드)이 이를 실행할 수 있었으나, 수치적 오류는 수십 배 차이가 났습니다.
   • 전략 2 (페어): 구조적으로 더 까다롭습니다. 평균 실행 통과 횟수가 3.46으로 감소했습니다. 모델들은 z-score 계산과 다중 자산 자본 관리에 어려움을 겪었습니다.
   • 전략 3 (델타 헤징): 가장 복잡합니다. 평균 실행 통과 횟수는 3.38로 떨어졌습니다. 델타 집계 및 타이밍 오류로 인해 막대한 P&L 불일치가 발생했습니다.
3. 실패 모드:
   • 구조적 실패: 구문 오류, 누락된 컬럼 또는 타입 불일치로 인해 실행이 불가능한 경우입니다.
   • 의미론적 실패: 코드는 실행되지만 로직을 잘못 구현한 경우(예: 잘못된 헤지 비율, 잘못된 FIFO 회계, 자본 제약 무시). 이는 실행 성공에도 불구하고 높은 MAE를 초래합니다.

주요 기여

• MARKET-BENCH 벤치마크: 텍스트 기반의 금융 분석을 넘어 실행 가능한 전략 구현을 목표로 하는, 코드 생성과 양적 금융의 교차점을 겨냥한 새로운 평가 스위트입니다.
• 다중 라운드, 다중 지표 평가: 금융 맥락에서의 실패의 심각성을 반영하기 위해 실행되지 않는 출력에 대한 베이스라인 페널티를 사용하여, 코드가 '실행되는가'와 '제대로 작동하는가'를 구분하는 엄격한 프로토콜을 도입했습니다.
• 합성 북 시뮬레이션: 모델이 유동성 소비를 추적하고 합성 오더북을 유지하도록 요구하는 메커니즘을 도입하였으며, 이는 코드 생성 벤치마크에서 흔히 생략되는 중요한 실제 제약 사항입니다.

의의 및 주장

본 논문은 현재의 LLM이 기본적인 트레이딩 인프라를 구축할 수는 있지만, 가격, 인벤토리 및 리스크에 대해 견고하게 추론하는 데 어려움을 겪는다고 결론짓습니다.

• 현재의 한계: 저자들은 모델 출력을 양적 분석가(Quant)의 직접적인 대체제로 사용하는 것은 "매우 위험하다"고 주장합니다. 기초적인 작업에서도 모델은 수치적 충실도를 갖춘 기본 전략을 일관되게 구현하는 데 실패합니다.
• LLM의 역할: 논문은 현재의 모델들이 전략을 합성하는 자율적 에이전트보다는 "코딩 보조 도구"로서 더 적합하다고 제안합니다.
• 향업 전망: 저자들은 트레이딩 데이터에 대한 더 나은 학습과 개선된 추론 능력이 있다면, 모델이 결국 전략을 설명하는 것과 시장 역학에 대한 깊은 이해를 바탕으로 구현하는 것 사이의 간극을 메울 수 있을 것이라고 가정합니다. 그러나 현재 연구 단계에서는 그 격차가 여전히 상당합니다.

저자들은 향후 이 분야의 연구를 촉진하기 위해 벤치마크와 공개 리더보드를 배포합니다.