QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 은 일반적인 프로그래밍 작업에서 뛰어난 성능을 보여주고 있지만, 실행 가능한 알고리즘 트레이딩 전략 생성 능력은 아직 충분히 연구되지 않았습니다. 기존 코드 벤치마크 (SWE-Bench, LiveCodeBench 등) 는 문법적 정확성이나 테스트 통과에 중점을 두지만, 트레이딩 전략 생성은 다음과 같은 고유한 복잡성을 가집니다.

• 도메인 특화 로직: 금융 지식, 지표 (Indicators), 진입/청회 조건, 포지션 관리 규칙 등을 동시에 이해해야 함.
• 특수 API 숙달: Backtrader 와 같은 프레임워크의 인터페이스, 인덱싱 규칙, 실행 시맨틱을 정확히 따라야 함.
• 실제 실행 가능성: 문법적으로 정확하고 백테스트가 실행되더라도, 실제 데이터에서 거래 신호 (Trade) 가 발생하지 않거나 원래 의도한 전략과 다를 경우 실패로 간주됨.

즉, 단순히 "코드가 컴파일되는 것"을 넘어 "데이터에서 실제 거래를 수행하며, 사용자가 요구한 논리를 정확히 구현하는 것"까지를 평가해야 하는 난제가 존재합니다.

2. 방법론 (Methodology)

2.1 QuantCode-Bench 벤치마크 구성

• 데이터셋: Reddit, TradingView, StackExchange, GitHub, 합성 데이터 (Synthetic) 등 다양한 소스에서 수집된 400 개의 작업으로 구성됨.
• 프레임워크: 오픈소스 백테스팅 프레임워크인 Backtrader를 사용. API 의 복잡성과 실제 적용 가능성을 고려하여 선택됨.
• 작업 난이도: Easy, Medium, Hard 로 분류되며, 각 작업은 지시사항, 진입/청회 조건, 추가 규칙 등을 포함하도록 구조화됨.

2.2 4 단계 평가 파이프라인 (Evaluation Pipeline)

전략이 성공으로 간주되려면 다음 4 단계를 순차적으로 통과해야 함:

1. 컴파일 (Compilation): 문법적 오류 없이 코드가 실행 가능한지 확인.
2. 백테스트 실행 (Backtest): 역사적 데이터 환경에서 런타임 오류 없이 전략이 실행되는지 확인.
3. 거래 발생 (Trade): 실제 데이터에서 최소 1 회 이상의 거래 (Order) 가 발생했는지 확인. (단순히 실행만 되는 것이 아님)
4. LLM 판사 (LLM Judge): 생성된 전략이 텍스트로 된 작업 설명과 의미적으로 일치하는지 확인. (예: RSI 전략을 요구했는데 SMA 전략을 생성하면 실패)

2.3 평가 설정

• Single-turn (한 번 시도): 모델이 수정 없이 첫 시도만으로 정답을 내야 함. (일회성 생성 능력 평가)
• Agentic Multi-turn (에이전트 다중 턴): 실패 시 구조화된 피드백 (오류 유형, 시스템 메시지) 을 받고 최대 10 번까지 코드를 수정하여 재시도함. (반복적 오류 수정 및 에이전트 능력 평가)

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 제시: 실행 가능한 알고리즘 트레이딩 전략 생성을 평가하기 위해 설계된 최초의 체계적인 벤치마크인 QuantCode-Bench를 소개함.
2. 다층적 평가 프레임워크: 기술적 실행 가능성, 거래 행동의 존재, 작업 명세와의 의미적 정합성을 구분하여 평가하는 다단계 프로토콜을 제안함.
3. 광범위한 모델 비교: 최신 최첨단 (Frontier) 모델들을 Single-turn 및 Agentic 설정에서 비교 평가함.
4. 오류 분석: 파이프라인의 각 단계별 실패 원인을 심층 분석하여 현재 모델의 한계를 규명함.
5. 오픈 소스 공개: 코드, 데이터셋, 리더보드를 공개하여 금융 도메인 특화 코드 생성 연구의 재현 가능한 기반을 마련함.

4. 실험 결과 (Results)

4.1 Single-turn 설정 결과

• 컴파일률: 최상위 모델들은 거의 100% 에 가까운 컴파일 성공률을 보임.
• 성능 저하: 컴파일 이후 단계 (백테스트 실행, 거래 발생, 의미적 일치) 로 갈수록 성능이 급격히 떨어짐.
• Judge Pass (최종 성공률): 최상위 모델 (Claude Opus, GPT-5 등) 도 한 번 시도에서 약 **70~76%**의 성공률에 그침.
• 주요 발견: 문법적 오류는 더 이상 주요 병목 현상이 아니며, 전략 로직의 올바른 구현과 API 사용이 주요 난제임.

4.2 Agentic Multi-turn 설정 결과

• 성능 향상: 반복적 피드백을 통해 오류를 수정할 수 있게 되면, 최상위 모델들의 성공률이 **95~98%**까지 급상승함.
• 의미: 많은 오류가 국소적으로 수정 가능한 기술적 결함 (API 사용 실수, 조건부 로직 오류 등) 이며, 모델이 피드백을 통해 스스로 교정할 수 있음을 시사.

4.3 오류 분석 (Error Analysis)

• 주요 실패 원인: 문법 오류가 아닌, 데이터에서 신호가 발생하지 않는 경우 (조건이 너무 엄격하거나 논리 오류) 와 Backtrader 의 Line 객체 처리 오류가 가장 빈번함.
• 에이전트 설정에서의 잔여 오류: 10 번 시도 후에도 해결되지 않는 실패는 주로 작업 설명의 의미적 오해 (Semantic Misinterpretation) 나 복잡한 로직 구현 실패에서 기인함. 기술적 디버깅은 효과적이지만, 자연어 명세의 깊은 이해에는 한계가 있음.

5. 의의 및 결론 (Significance & Conclusion)

• 코드 생성의 새로운 패러다임: 알고리즘 트레이딩 전략 생성은 단순한 코드 작성 (Coding) 이 아닌, 도메인 지식 (금융), API 숙달, 그리고 자연어 의미 해석이 결합된 고유한 클래스의 작업임을 입증함.
• 기술적 정확성 vs 의미적 정합성: 문법적 정확성만으로는 충분하지 않으며, 생성된 코드가 실제 데이터에서 의도한 대로 작동하고 의미적으로 일치하는지 평가하는 것이 필수적임.
• 에이전트 능력의 중요성: 단일 턴 생성 능력보다 반복적 피드백을 통한 오류 수정 능력이 실제 활용성에 더 큰 영향을 미칠 수 있음.
• 모델 특화 vs 일반화: 코딩에 특화된 모델이 항상 금융 전략 생성에서 우월한 것은 아니며, 강력한 의미 이해와 지시 따르기 능력을 가진 일반 목적 모델이 더 잘 수행하는 경우가 많음.

결론적으로, QuantCode-Bench 는 LLM 이 금융 도메인에서 실제로 실행 가능한 솔루션을 생성할 수 있는 능력을 평가하는 중요한 기준이 되며, 향후 도메인 특화 코드 생성 및 에이전트 소프트웨어 공학 연구의 기초를 제공할 것입니다.