기술 요약: 예측을 넘어: 예측 시장 에이전트를 위한 신념-거래 계층 (Belief-to-Trade Layer)

1. 문제 정의

미래 사건을 예측하는 것이 범용 AI의 중요한 테스트베드로 부상했지만, 보정된 확률 점수(calibrated probability scores)와 실제 거래 수익성 사이에는 상당한 격차가 존재한다. 기존의 벤치마크들(예: ForecastBench, Prediction Arena)은 강력한 확률적 예측이 반드시 수익성 있는 거래로 이어지지는 않는다는 점을 보여준다.

식별된 핵심 문제는 기존의 평가 프레임워크가 거래 계층(trading layer)—예측을 행동으로 전환하는 메커니즘—를 고정된 프로토콜(예: 고정된 베팅 규모, 단순한 신뢰도 임계값)로 취급하거나 이를 완전히 누락한다는 점이다. 결과적으로, 포지션 사이징, 포트폴리오 노출, 리스크 관리와 같은 중요한 다운스트림 구성 요소들은 결여되어 있거나 단순히 언어 모델 내의 프롬프트 지침으로만 표현된다. 저자들은 이러한 구성 요소들이 프롬프트에 의존하는 휴리스틱이나 하드코딩된 규칙이 아니라, 명시적이고 설계 가능하며 모듈화된 객체로 다뤄져야 한다고 주장한다.

2. 방법론: Raven-Agent

본 논문은 "신념-거래" 계층을 격리하고 최적화하도록 설계된 자율 거래 에이전트인 Raven-Agent를 제안한다. 이 시스템은 교체 가능한 예측 모듈의 하류(downstream)에 위치하는 결정론적이고 모듈화된 아키텍처를 중심으로 구축되었다.

아키텍처 개요

Raven-Agent는 네 가지 주요 모듈로 구성된다:

1. 정보 수집 (Information Collection): 후보 시장을 스캔하고(Polymarket Gamma API를 통해), 가격 및 유동성 데이터를 검색하며, 최근 뉴스 증거를 가져온다. 이 모듈은 타임스탬프가 찍힌 "펄스(pulse)"를 생성하여 데이터 소스와 다운스트림 로직 사이의 계약 역할을 수행하며, 이를 통해 데이터 피드의 모듈형 업데이트를 가능하게 한다.
2. 확률 분석 (Probability Analysis): 교체 가능한 예측 모듈로, 특정 계약 측에 대한 확률($p_i$)을 출력한다. 보고된 실험에서 이 모듈은 고정된 상태로 유지되며, 성능 차이가 오직 거래 계층에 의한 것임을 보장하기 위해 아카이브된 확률을 재사용한다.
3. 순위 지정 및 사이징 (Ranking and Sizing):
   • 선택 (Selection): 후보들은 단순한 확률적 우위($p_i - q_i$)가 아닌, 시간 정규화된 수익률($\rho_i$)에 따라 순위가 매겨진다. 이는 자본이 결제될 때까지 묶여 있는 기간을 고려하기 위함이다:
     $$\rho_i = \left(\frac{p_i}{q_i} - 1\right) \cdot \frac{30}{\max(T_i, 1)}$$
     여기서 $T_i$는 결제까지 남은 일수이다. 상위 $K=4$개의 후보가 유지된다.
   • 사이징 (Sizing): 스테이크(stakes)는 유지된 포지션에 적용되는 **쿼터 켈리 기준(quarter-Kelly criterion)**을 사용하여 결정된다:
     $$s_i = \frac{1}{4} \cdot \max\left(0, \frac{p_i - q_i}{1 - q_i}\right) \cdot W$$
     여기서 $W$는 총 자산(bankroll)이다. 이 스케일링은 확률 추정치의 입력 노이즈를 고려한다.
4. 실행 및 리스크 컨트롤 (Execution and Risk Control): 이 모듈은 "확신에 찬 오류(confidently wrong)" 실패를 방방지하기 위해 언어 모델 프롬프트 외부에서 결정론적 제약 조건을 강제한다. 이 모듈은 다섯 가지 엄격한 제약을 검사한다:
   • 거래당 명목 한도(per-trade notational cap).
   • 총 노출 한도(aggregate exposure cap).
   • 이벤트당 한도(상관관계가 있는 계약을 위한 per-event cap).
   • 포지션 수준 손절매(mark-to-market 손실이 원가의 일정 비율을 초과하면 포지션 종료).
   • 포트폴리오 수준 드로다운 중단(자산 드로다운이 임계값을 초과하면 신규 진입 동결).

실험 프로토콜

저자들은 실제 Polymarket 배포에서 얻은 아카이브된 결정 세트를 사용하는 **제어된 리플레이 프로토콜(controlled replay protocol)**을 도입한다. 이 프로토콜은 아카이브된 예측, 시장 가격 및 실행 기록을 재사용한다. 예측 모델을 일정하게 유지하고 거래 정책만을 변화시킴으로써, 연구는 거래 계층의 영향을 격리한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. 리플레이 프로토콜: 거래 계층를 예측 모델로부터 격리하여 공정한 비교를 가능하게 하는, 아카이브된 예측을 재사용하는 방법론.
2. Raven-Agent: 선택, 사이징, 리스크 관리를 예측 모델로부터 분리하여 거래 계층을 명시적이고 모듈화되며 구성 가능한 컴포넌트로 만드는 자율 에이전트 아키텍처.
3. 실증적 검증: 예측 모델이 고정된 상태에서도 명시적인 거래 계층이 수익률(return on stake)과 위험 조정 수익률(risk-adjusted returns)을 개선한다는 증거.

4. 결과

에이전트는 65번의 펄스 실행 동안 59개의 열린 결정 데이터셋을 대상으로 다섯 가지 정책과 비교 평가되었다:

1. 예측 전용 (Forecast-only): 양(+)의 엣지를 가진 모든 예측에 대해 $10 스테이크 고정.
2. 엣지 비례 (Edge-proportional): 선택 필터링 없이 엣지($p_i - q_i$)에 비례하여 스테이크 크기 결정.
3. 엣지 필터 (Edge-filter): 엣지가 5% 초과인 예측에 대해서만 $10 스테이크 고정.
4. Raven-Agent (fixed): 고정 $10 스테이크를 사용하는 전체 리스크 레이어.
5. Raven-Agent (full): 쿼터 켈리 사이징을 사용하는 전체 리스크 레이어.

주요 결과:

• **Raven-Agent (full)**만이 +15.9%의 ROI와 **+0.42의 양(+)의 스테이크 가중 샤프 지수(stake-weighted Sharpe ratio)**를 달성한 유일한 정책이었다.
• Edge-proportional은 -55.5%의 ROI를 기록하며 최악의 성과를 보였는데, 이는 선택 필터링 없이 "확신에 찬 오류"인 높은 엣지의 예측에 자본을 과도하게 투입하는 것이 손실을 증폭시킨다는 것을 입증한다.
• Raven-Agent (fixed)(-4.7% ROI)는 모든 고정 스테이크 정책보다 우수한 성과를 보였으며, 이는 선택과 리스크 필터링 자체만으로도 가치를 제공함을 나타낸다.
• **선택된 브라이어 점수(Selected Brier score)**는 정책이 더 공격적으로 필터링할수록(전체 아카이브의 0.329에서 Raven-Agent의 0.258로) 개선되었으며, 이는 거래 계층이 품질이 낮은 예측을 성공적으로 걸러냈음을 확인시켜 준다.

실제 배포(20번의 예측)에서 에이전트는 $53.92의 이익을 축적했다.

5. 의의 및 주장

본 논문은 예측 정확도와 거래 수익성 사이의 격차가 견고하고 명시적인 거래 계층의 부재에서 크게 기인한다고 주장한다. 저자들은 다음과 같이 주장한다:

• 선택과 리스크 필터링은 필수적이다: 단순히 엣지에 따라 베팅 규모를 조절하는 것만으로는 불충분하며, 가치를 훼손하는 예측을 걸러내는 것이 정보 기반의 사이징을 보완하는 데 필수적이다.
• 결정론적 제약은 프롬프트 가이드보다 우월하다: 리스크 관리를 위해 프롬프트 지침에 의존하는 것은 신뢰할 수 없다. 언어 모델 프롬프트 외부에서 하드 제약(손절매, 드로다운 제한)을 강제하는 것은 파멸적인 실패를 방지하고 감사 가능한 거절 사유를 제공한다.
• 모듈성은 발전을 가능하게 한다: 예측 모델을 거래 계층과 분리함으로써, 보정(예측)과 실행(거래)의 개선을 독립적으로 평가하고 개발할 수 있다.

저자들은 샘플 크기가 작고 예측 모델이 고정되었다는 점을 언급하며 신중한 어조를 유지한다. 그들은 결과가 거래 계층의 기여를 격리했음을 인정하면서도, 더 강력한 예측 모델을 동일한 인프라에 연결하여 시너지 효과를 더욱 극대화할 수 있다고 밝히고 있다. 이 연구는 AI 트레이딩의 모든 과제를 해결한다고 주장하는 것이 아니라, "신념-거래" 계층을 위한 기초적인 프레임워크를 구축하는 것을 목표로 한다.