기술 요약: HERCULEAN – 금융 지능을 위한 에이전트 벤치마크

문제 정의

AI 에이전트 발전의 핵심 과제는 더 이상 고립되고 명확히 정의된 작업을 해결하는 능력이 아니라, 복잡하고 상호 연결된 전문 워크플로우를 신뢰성 있게 실행하는 역량으로 이동했습니다. 금융 분야에서는 이 구분이 특히 중요합니다. 분석은 불확실성 하에서 실행 가능한 의사결정으로 전환될 때만 가치를 가집니다. 기존 금융 벤치마크는 주로 질문 응답, 요약, 검색, 분류와 같은 정적 역량이나 샌드박스 트레이딩과 같은 제한된 상호작용 환경을 평가합니다. 이러한 접근법은 이질적인 작업 유형을 조정하고, 진화하는 정보 환경에서 추론의 일관성을 유지하며, 생성과 엄격한 검증을 균형 있게 수행해야 하는 전문 금융 업무의 정의적 특성을 포착하지 못합니다. 결과적으로, 최첨단 에이전트가 실제 금융 워크플로우 전반을 종단간(end-to-end)으로 운영할 수 있는지 평가하는 표준화된 체계가 부재합니다.

방법론

이 격차를 해소하기 위해 저자들은 HERCULEAN을 소개합니다. 이는 트레이딩, 헤징, 시장 인사이트, 감사라는 네 가지 대표적인 금융 노동 형태에 걸쳐 최첨단 AI 에이전트를 평가하도록 설계된 최초의 숙련도 벤치마크입니다.

벤치마크 아키텍처

HERCULEAN은 **모델 컨텍스트 프로토콜 (MCP)**에 기반한 표준화되고 아키텍처 중립적인 평가 패러다임을 사용합니다. 각 워크플로우는 자체 도구, 상호작용 역학, 제약 조건 및 성공 기준을 갖춘 전용 "스킬" 환경으로 인스턴스화됩니다.

• 이중 상호작용 프레임워크: 에이전트는 원시 금융 환경과 직접 상호작용하지 않습니다. 대신 실행 프로토콜 (허용된 작업, 시간적 제약, 출력 사양) 을 캡슐화하는 구조화된 스킬 레이어를 통해 상호작용합니다. 이 레이어는 작업 환경을 관리하고, 도구 (예: 데이터 검색, 계산) 를 노출하며, 평가 논리를 강제하는 독립적인 MCP 서버에 의해 뒷받침됩니다.
• 워크플로우 정의:
  • 트레이딩: 에이전트는 진화하는 시장 상태 (가격, 뉴스, 공시) 에 기반하여 3 개월 기간 동안 단일 자산에 대해 순차적인 일일 결정 (매수, 매도, 보유) 을 내립니다. 평가는 누적 수익률 (CR), 샤프 비율 (SR), 최대 낙폭 (MDD) 에 의존합니다.
  • 헤징: 에이전트는 상관관계가 있는 두 자산의 쌍을 선택하고 3 개월 동안 시장 중립 포지션 (롱/숏, 숏/롱, 보유, 청산) 을 관리합니다. 이는 자산 간 관계 추론과 지속적 상태 추적을 요구합니다.
  • 시장 인사이트: 에이전트는 단일 자산에 대해 구조화된 주간 투자 보고서 (등급 및 논리 포함) 를 생성합니다. 평가는 시뮬레이션된 트레이딩 성과와 보고서 품질 (구조, 정확성, 증거 충실도, 추론) 에 대한 루브릭 기반 평가를 결합합니다.
  • 감사: 에이전트는 US-GAAP 분류 체계에 대비하여 SEC 공시 내 XBRL 수치 사실을 검증합니다. 이는 보고된 값을 찾고, 계산 링크베이스에 대해 추론하며, 불일치를 식별해야 하는 결정론적 작업입니다. 평가는 정확도 (ACC) 및 세분화된 오류율 (구조적, 추출, 계산) 을 사용합니다.

실험 설정

이 벤치마크는 네 가지 백본 모델 (Claude Sonnet 4.6, GPT-5.4, Qwen3.5-397B, Qwen3.5-27B) 을 대상으로 다섯 가지 에이전트 프레임워크 (ReAct 에이전트, Claude Code, Codex, Hermes, OpenClaw) 를 평가했습니다.

• 제약 조건: 컨텍스트 내 추론 능력을 격리하기 위해 영구 메모리와 내장 웹 검색은 비활성화되었습니다.
• 데이터: 환경은 백테스팅을 위해 16 개월 기간 (2024 년 12 월 ~ 2026 년 3 월) 과 실전 레짐 (2026 년 4 월 ~ 5 월) 을 활용하며, 대형 미국 주식 (MSFT, TSLA, AAPL, NVDA 등) 과 SEC 공시를 포괄합니다.
• 비용: 총 추론 비용은 약 4,000 달러였습니다.

주요 결과

이 평가는 현재 최첨단 에이전트가 신뢰할 수 있는 전문 시스템에 미치지 못하며, 성능이 특정 워크플로우와 에이전트 프레임워크의 실행 제어에 크게 의존함을 드러냈습니다.

1. 워크플로우 의존적 역량:

   • 높은 성능: 에이전트는 유창한 생성, 검색, 내러티브 합성에 크게 의존하는 시장 인사이트와 트레이딩에서 상대적으로 잘 수행했습니다. 여러 구성이 시장 인사이트에서 9.0 점 이상의 루브릭 점수를 달성했습니다.
   • 심각한 어려움: 에이전트는 헤징과 감사에서 크게 저하되었습니다. 헤징은 자산 간 관계 추론과 지속적 포지션 추적의 필요성으로 인해 어려웠습니다. 감사는 가장 어려운 과제로 남아 있으며, 가장 강력한 시스템조차 66.15% 의 정확도만 달성하여 결정론적 금융 검증이 근본적인 병목임을 시사합니다.
   • 실행 대 추론: 많은 실패는 추론 수준이 아닌 실행 수준에서 발생했습니다. 예를 들어, ReAct 스타일 프레임워크는 감사에서 심각한 구조적 실패 (최대 80% 구조적 오류율) 를 보인 반면, CLI 지향 프레임워크 (Claude Code 등) 는 거의 제로에 가까운 구조적 실패율을 유지했습니다.

2. 프레임워크 설계 영향:

   • 동일한 백본 모델이 서로 다른 에이전트 프레임워크 하에서 극적으로 다른 행동을 보였습니다. 실행 안정성, 궤적 관리, 구조화된 도구 상호작용은 백본의 추론 능력만큼이나 중요한 것으로 나타났습니다.
   • 경량 추론 - 행동 루프는 반복적인 도구 사용과 워크플로우 제약 하에서 종종 붕괴된 반면, 실행 중심 프레임워크는 더 안정적인 장기 거동을 보였습니다.

3. 백본 한계:

   • 최첨단 백본 (Sonnet, GPT) 은 일반적으로 소형 오픈소스 모델보다 우수한 성과를 냈지만, 우수한 언어 모델링만으로는 일반화된 금융 역량을 보장하지 못했습니다. 예를 들어, 내러티브 생성 (시장 인사이트) 에서 뛰어난 모델을 반드시 결정론적 검증 (감사) 에서 잘 수행하지는 않았습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. HERCULEAN 벤치마크: 정적 QA 를 넘어 동적이고 전문적인 노동으로 이동하여, 트레이딩, 헤징, 시장 인사이트, 감사를 포함한 종단간 금융 서비스 워크플로우 전반에 걸쳐 최첨단 에이전트를 평가하는 최초의 숙련도 벤치마크 도입.
2. 표준화된 평가 패러다임: 통합 상호작용 프로토콜과 실행 역학을 통해 이질적인 에이전트 시스템에 대한 일관되고 아키텍처 중립적인 평가를 가능하게 하는 MCP 기반 스킬 환경 제안.
3. 실증적 통찰: 현재 에이전트 금융 지능의 핵심 병목이 단순히 금융 지식이 아니라, 이질적인 전문 노동 형태 전반에 걸쳐 추론을 유지, 업데이트 및 검증하는 데 필요한 제어 구조임을 포괄적으로 평가하여 규명.

저자들은 HERCULEAN 을 신뢰할 수 있는 금융 워크플로우 실행이 가능한 에이전트 개발의 기반으로 위치시키며, 고립된 작업 해결에서 전문 워크플로우 실행으로의 전환이 해당 분야에서 여전히 중요한 과제임을 강조합니다. 이 벤치마크는 오픈소스 학술 평가 하니스로 공개되었으며, 명시적으로 금융, 법률 또는 투자 조언으로 사용되지 않음을 면책합니다.