기술 요약: BacktestBench

문제 정의

양적 백테스팅은 거래 전략 평가의 핵심 요소이지만, 높은 기술적 장벽과 제한된 확장성으로 인해 여전히 어려움을 겪고 있습니다. 기존 워크플로는 팩터 조합 구성, 정밀한 시간 논리를 활용한 과거 데이터 조회, 그리고 복잡한 전략을 실행하기 위한 오류 없는 코드 구현을 위해 전문 지식을 요구합니다. 대규모 언어 모델 (LLM) 은 코드 생성과 에이전트 계획을 통해 이러한 학제 간 워크플로를 자동화할 변혁적 잠재력을 제공하지만, 실제 적용은 현재 정체되어 있습니다. 주요 병목 현상은 자동화된 양적 백테스팅에 전념하는 대규모 고품질 벤치마크의 부재입니다. 기존 데이터셋 (예: 텍스트 -SQL 또는 일반 코드 생성 벤치마크) 은 금융 전략 평가에 내재된 고유한 시간 논리, 다단계 추론, 그리고 엄격한 재현성 요구사항을 포착하지 못합니다.

방법론

1. 데이터셋 구축: BacktestBench

저자들은 자동화된 양적 백테스팅을 위한 최초의 대규모 벤치마크인 BacktestBench를 소개합니다.

• 데이터 소스: 이 데이터셋은 2020 년 1 월부터 2025 년 9 월까지 중국 세 대 주요 거래소 (상하이, 선전, 베이징) 의 600 만 건 이상의 실제 시장 기록 (일별 거래 데이터) 으로 구성되었습니다.
• 규모 및 구성: 정밀하게 주석 처리된 18,246 개의 질문 - 답변 (QA) 쌍으로 구성됩니다.
• 핵심 개념: 데이터셋은 팩터(수치 변수), 신호(부울 결정), 전략(실행 가능한 거래 정책), 그리고 KPI(성과 지표) 를 구분합니다.
• 작업 카테고리: 이 벤치마크는 네 가지 고유한 의사결정 작업을 통해 모델을 평가합니다:
  1. 지표 계산: 주어진 전략에 대한 특정 KPI(예: 샤프 비율, 최대 낙폭) 계산.
  2. 티커 선정: 고정된 전략 하에서 후보군 중 가장 성과가 좋은 자산을 식별.
  3. 파라미터 확인: 전략에 대한 최적의 하이퍼파라미터 (예: 백추이 창) 선택.
  4. 전략 선정: 동일한 시장 조건 하에서 경쟁 전략 간 우월한 논리 선택.
• 생성 파이프라인:
  • 코드 - 텍스트: 저자들은 먼저 43 개의 이론적 팩터와 7 개의 KPI 를 생성하여 80 개의 원자적 전략 함수에 캡슐화했습니다. 이후 실행 가능한 Python 백테스팅 코드 (92,170 개의 매수 전략 및 112,791 개의 매도 전략) 를 합성했습니다.
  • 역공학: 다섯 가지 최첨단 LLM 을 사용하여 실제 코드 논리와 정렬된 자연어 전략 설명을 생성하기 위해 "코드 - 텍스트"역공학을 수행했습니다.
  • 품질 관리: 다중 모델 동료 검토 프로세스를 통해 높은 충실도를 보장했습니다. 네 명의 독립적인 LLM 감사자가 코드 충실도와 전략 유효성에 대해 만장일치로 동의한 경우에만 설명이 유지되었습니다.
  • 인간 검증: 200 건의 무작위 표본에서 설명 완전성 97.5%, 코드 정확성 98.5% 의 통과율을 달성했습니다.

2. 베이스라인 시스템: AutoBacktest

데이터셋의 과제를 해결하기 위해 저자들은 양적 연구원의 워크플로를 모방하도록 설계된 강력한 다중 에이전트 협업 시스템인 AutoBacktest를 제안합니다. 이는 복잡한 파이프라인을 세 가지 전문 에이전트로 분리합니다:

1. 요약기 (Summarizer): 자연어 설명에서 의미 수준의 금융 지표 (팩터 및 KPI) 를 추출합니다. 비공식 용어를 표준화된 지표 이름 라이브러리에 매핑하여 모호성을 줄이기 위해 BM25 검색 메커니즘을 활용합니다.
2. 검색기 (Retriever): 데이터 수준 작업을 처리합니다. 식별된 지표를 고유한 단축 코드(컴팩트하고 토큰 효율적인 식별자) 로 매핑하고 PostgreSQL 데이터베이스에서 과거 시장 데이터를 가져오기 위해 실행 가능한 SQL 쿼리를 생성합니다. 비어 있지 않고 유효한 결과를 반환하는지 확인하기 위해 실행 기반 검증 루프를 사용합니다.
3. 코더 (Coder): 논리 수준 구현에 중점을 둡니다. 검색된 데이터 (Pandas DataFrame 형태) 와 표준화된 지표 컨텍스트를 받아 Python 백테스팅 코드를 생성하고 실행합니다. 엄격한 백테스팅 프로토콜 (예: 롱 전용, 시가 매수/종가 매도, 미래 정보 편향 없음) 하에서 필요한 지표를 계산하거나 전략 논리를 실행하기 위해 코드를 반복적으로 디버깅합니다.

주요 기여

1. BacktestBench: 실제 시장 데이터에서 파생된 18,246 개의 QA 쌍을 포함하는 선구적인 대규모 벤치마크로, 네 가지 핵심 양적 작업을 포괄합니다. 이는 범용 코드 생성과 양적 금융의 엄격한 요구사항 사이의 간극을 메워줍니다.
2. AutoBacktest 프레임워크: 자연어 전략을 재현 가능한 백테스트로 변환하는 다중 에이전트 베이스라인 시스템입니다. 모듈식 아키텍처 (요약기, 검색기, 코더) 와 LLM 을 정밀한 데이터베이스 스키마 및 금융 정의에 기반하게 하는 "단축 코드"메커니즘을 도입합니다.
3. 종합 평가: BacktestBench 에서 23 개의 주요 LLM(오픈소스 및 클로즈드 소스 모두) 을 평가하여 이 수직 분야에서 LLM 능력에 대한 최초의 체계적인 분석을 제공합니다.

실험 결과

23 개 LLM 에 대한 평가는 몇 가지 중요한 통찰을 드러냈습니다:

• 성능 격차: 클로즈드 소스 모델이 일반적으로 오픈소스 모델보다 우수한 성과를 냅니다. Gemini 3 Pro는 복잡한 논리적 추론 작업인 지표 계산 (51.67%) 에서 크게 앞서며 **67.41%**의 최고 전체 정확도 (OA) 를 달성했습니다. 최고의 오픈소스 모델인 GLM 4.7은 56.83% 의 OA 를 달성했습니다.
• 확장 민감도: 논리적 추론 작업 (예: 지표 계산) 은 파라미터 규모에 매우 민감합니다. 모델 크기를 235B 에서 4B 로 줄이면 지표 계산 점수가 34.71% 에서 1.77% 로 급락했습니다. 반면, 지표 검색 작업은 민감도가 낮아 더 작은 모델도 상대적으로 높은 검색 정확도를 유지했습니다.
• 생각의 사슬 (CoT) 의 역할: CoT 추론이 없는 모델 (예: Kimi Linear 48B) 은 구문과 논리 사이의 분리를 보여주었습니다. 높은 SQL 실행 정확도 (99.22%) 를 달성했지만 실행 정확도 (48.46%) 와 전략 논리 점수는 거의 0 에 가까웠으며, 이는 논리적으로 결함이 있는 실행 가능한 코드를 생성할 수 있음을 나타냅니다.
• 복잡성 병목 현상: KPI 복잡도가 증가함에 따라 성능이 급격히 저하되었습니다. 승률과 최대 낙폭과 같은 단순한 지표는 더 높은 정확도를 보인 반면, 변동성과 샤프 비율과 같은 복잡한 통계 지표는 대부분의 모델에게 "재난 지역"이 되어, 작거나 CoT 가 없는 모델의 경우 통과율이 종종 20% 미만으로 떨어졌습니다.
• Ablation 연구:
  • 단축 코드: 표준화된 데이터베이스 식별자인 단축 코드를 포함하면 모든 모델에서 SQL 실행 정확도 (EA) 가 크게 향상되었으며, 일부 모델은 20% 포인트 이상의 향상을 보였습니다.
  • Ground Truth: Ground Truth SQL 을 제공하는 것보다 Ground Truth 단축 코드를 제공하는 것이 더 큰 영향을 미쳤으며, 이는 SQL 구문 생성보다는 금융 지표 의미 이해가 주요 병목 현상임을 시사합니다.

중요성 및 주장

이 논문은 BacktestBench 가 표준화된 평가 프로토콜과 엄격한 데이터 자원을 확립하여 범용 코드 생성과 양적 투자 연구 사이의 간극을 효과적으로 메웠다고 주장합니다. 연간 변동성 및 샤프 비율과 같은 복잡한 금융 지표에 필요한 "고차 논리"에 대해 현재 LLM 이 어려움을 겪음을 보여줌으로써, 이 작업은 금융 의사결정에서 현재 AI 의 구체적인 한계를 강조합니다.

저자들은 BacktestBench 를 즉각적인 알파 생성이나 실시간 거래 조언을 위한 도구가 아니라, 구조화된 금융 환경에서 LLM 의 전략 이해, 데이터 검색, 코드 생성 능력을 테스트하기 위한 기초적인 베이스라인으로 위치시킵니다. 이 작업은 LLM 이 절차적 코드 생성은 가능하지만 복잡한 양적 워크플로를 신뢰성 있게 자동화하기 위해서는 엄격한 논리적 추론과 통계적 추론에서 여전히 상당한 개선이 필요하다는 점을 규명함으로써 지능형 금융 의사결정에 대한 향후 발전의 토대를 마련합니다.