Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

"AI 예측 에이전트 평가용 온체인 벤치마크 Foresight Arena"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 현재 AI 예측 능력 평가 방법의 세 가지 근본적인 한계를 지적합니다:

• 데이터셋 오염: 고정된 질문과 결과로 구성된 정적 벤치마크는 학습 데이터 유출에 취약합니다. 모델이 사전 학습 중 테스트 세트를 암기했을 때 단순히 정확해 보이는 현상이 발생합니다.
• 중앙화된 신뢰: 기존 프레임워크는 예측 기록과 점수 계산을 위해 중앙 권한에 의존합니다. 이는 사후 조작이나 선택적 보고의 위험을 초래하여 상업적 신뢰를 훼손합니다.
• 부적절한 지표: 거래 손익 (PnL) 을 통해 에이전트를 평가하는 것은 예측 정확도와 거래 전략 (포지션 크기, 타이밍, 위험 감수성) 을 혼동시킵니다. 에이전트는 정확한 예측에도 불구하고 돈을 잃거나, 운이나 공격적인 베팅으로 인해 예측이 부실함에도 불구하고 돈을 벌 수 있습니다.

저자들은 엄격한 평가를 위해서는 과적합에 저항력이 있고, **탈중앙화 (신뢰 불필요)**되며, 인센티브 호환성 점수 규칙에 기반한 환경이 필요하다고 주장합니다.

2. 방법론 및 시스템 설계

Foresight Arena는 Polymarket에서 제공되는 실제 세계 이진 예측 시장을 대상으로 Polygon PoS에 배포된 실시간 무허가 온체인 벤치마크입니다.

핵심 아키텍처

• 커밋 - 리베일 프로토콜: 에이전트는 경쟁자의 동향을 관찰하는 것을 방지하기 위해 마감 시간 전에 예측의 암호화 해시를 제출 (커밋 단계) 합니다. 이후 실제 확률과 솔트를 공개 (리베일 단계) 합니다. 이를 통해 예측의 독립성이 보장됩니다.
• 신뢰 불필요한 해결: 결과는 Polymarket 에서 사용하는 동일한 오라클인 **Gnosis 조건부 토큰 프레임워크 (CTF)**를 통해 자동으로 해결됩니다. 인간 큐레이터가 결과를 조작할 수 없습니다.
• 가스 없는 참여: 에이전트는 EIP-712 서명 메시지를 사용하는 릴레이어를 통해 상호작용하므로, 네이티브 토큰 (POL) 을 보유하지 않고도 참여할 수 있습니다.
• 지속적인 평판: 점수는 ERC-8004 평판 레지스트리에 누적되어 각 에이전트의 위변조 불가능하고 검증 가능한 기록을 생성합니다.

점수 산정 프레임워크

이 시스템은 두 가지 주요 지표를 사용합니다:

1. 브리어 점수 (Brier Score): 확률적 예측의 정확도를 측정하는 적절한 점수 규칙 ($S = (p - x)^2$) 입니다. 에이전트가 진정한 믿음을 보고할 때만 엄격하게 최소화됩니다.
2. 알파 점수 ($\alpha$): 시장 합의 대비 에이전트의 우위를 측정하는 새로운 지표입니다.
   • 공식: $\alpha = B_{base} - B_{agent}$, 여기서 $B_{base}$는 시장 중간 가격의 브리어 점수입니다.
   • 양의 $\alpha$는 에이전트가 시장의 집단 지성보다 더 나은 성과를 냈음을 나타냅니다.

통계 분석

저자들은 점수 규칙에 대한 공식적인 수학적 처리를 제공합니다:

• 머피 분해 (Murphy Decomposition): 브리어 점수를 불확실성 (UNC), 신뢰도 (REL), **해상도 (RES)**로 분해합니다.
  • $\alpha$는 해상도 이득 (시장보다 나은 구분 능력) 과 신뢰도 격차 (시장보다 나은 보정) 의 합임이 입증되었습니다.
• 검정력 분석: 알파의 분산에 대한 폐쇄형 식을 유도하고 특정 우위 ($\alpha^*$) 를 감지하는 데 필요한 표본 크기를 계산합니다.
  • 결과: $\alpha^* = 0.02$의 실제 우위를 감지하려면 약 350 개의 예측 (7 개 시장의 50 라운드) 이 필요합니다. $\alpha^* = 0.01$을 감지하려면 그 약 4 배가 필요합니다.

3. 주요 기여

1. 온체인 검증 가능성: 모든 예측, 커밋, 점수가 공개 블록체인에 기록되어 제 3 자가 주최자를 신뢰하지 않고도 에이전트의 기록을 독립적으로 재생하고 검증할 수 있는 최초의 벤치마크입니다.
2. 신뢰 불필요한 해결: 결과 해결을 위해 Gnosis CTF 를 사용하여 중앙 중재자를 제거했습니다.
3. 공식적인 알파 점수 분석: 알파가 적절한 점수 규칙임을 엄밀하게 통계적으로 증명하고, 예측 능력을 신뢰할 수 있게 감지하기 위한 분산 및 표본 크기 요구 사항을 유도했습니다.
4. 머피 분해 통찰: "시장을 이기는 것"이 "보정된 것"과 수학적으로 구별됨을 보여줌으로써, 시장 가격 추종에 노이즈가 섞인 경우와 진정한 보정 오류와 같은 특정 실패 모드를 진단할 수 있게 합니다.
5. 무허가 인프라: 오픈 소스이며 가스 없는 시스템을 통해 이더리움 호환 주소라면 누구나 참여하고 지속적인 온체인 자격 증명을 구축할 수 있습니다.

4. 실험 결과

저자들은 5 개의 최첨단 대형 언어 모델 (LLM) 에이전트와 무작위 기준선을 포함한 50 라운드 실시간 평가를 수행했습니다.

• 평가된 에이전트: claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7 및 무작위 기준선.
• 전체 성과:
  • 무작위 기준선: 모든 LLM 보다 현저히 낮은 성과를 보였습니다 ($\bar{\alpha} \approx -0.14$), 이는 LLM 이 진정한 예측 능력을 보유하고 있음을 확인시켜 줍니다.
  • 상위 티어: claude-opus-4-5, gpt-5-2, gemini-3-pro는 작은 양의 알파 점수 ($+0.003$ ~ $+0.005$) 를 달성했습니다. 양수이지만 50 라운드 기간에서는 통계적으로 유의미하지 않았습니다 (검정력 분석에 따르면 유의미하려면 $\alpha^* \ge 0.02$가 필요하다는 예측과 일치함).
  • 부진한 에이전트: grok-4-1과 glm-4-7은 음의 알파 점수를 기록했습니다. 머피 분해는 이들이 보정 오류뿐만 아니라 낮은 해상도 (시장 가격을 추적하지만 노이즈를 추가함) 로 고통받았음을 드러냈습니다.
• 도메인 전문성:
  • 크립토: LLM 은 시장 중간 가격보다 빠른 속도로 급변하는 뉴스를 통합할 수 있는 능력으로 인해 여기서 가장 강력한 우위를 보였습니다.
  • 지정학: 모든 에이전트가 시장보다 낮은 성과를 보였으며, 이는 LLM 이 빈도가 낮고 모호성이 높은 정치적 사건을 처리하는 데 어려움을 겪음을 시사합니다.
  • 스포츠/경제: 특정 모델이 도메인 강점을 보이며 혼합된 결과를 나타냈습니다.

5. 중요성 및 함의

• 예측과 거래의 분리: PnL 대신 적절한 점수 규칙을 사용하여 Foresight Arena 는 모델의 세계에 대한 지식을 거래 전략에서 분리합니다. 이는 PnL 기반 평가에서는 놓칠 수 있는 (예: 노이즈가 섞인 시장 추종과 같은) 실패 모드를 드러냅니다.
• 검증 가능한 AI 자격 증명: 이 시스템은 온체인 자격 증명이라는 새로운 AI 평가 표준을 제안합니다. 이는 위변조가 불가능하고 누적된 성과 기록으로, 자율 에이전트의 상업적 라이선싱 및 배포에 필수적입니다.
• 통계적 정직성: 이 논문은 현재와 같은 단기 평가 (예: 50 라운드) 가 최상위 최첨단 모델들을 구별할 충분한 검정력을 갖추지 못함을 강조합니다. AI 예측 능력을 신뢰할 수 있게 순위 매기기 위해서는 장기적이고 지속적인 평가가 필요함을 확립합니다.
• 설계 지침: 분석은 에이전트가 시장을 이기려면 시장 가격을 단순히 반복하거나 과도하게 자신감을 갖는 대신 신선한 정보 (해상도) 와 통제된 과감성을 우선시해야 함을 시사합니다.

결론적으로 Foresight Arena 는 정적 데이터셋과 이익 기반 지표를 넘어 암호학적 검증과 정보 이론에 기반한 시스템으로 이동하여 AI 예측을 측정하는 최초의 견고하고 탈중앙화되며 통계적으로 엄격한 프레임워크를 제공합니다.