Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

1. Probleemstelling

Het paper identificeert drie fundamentele beperkingen in huidige methoden voor het evalueren van AI-voorspellingscapaciteiten:

• Datasetvervuiling: Statische benchmarks (vaste vragen/oplossingen) zijn kwetsbaar voor lekken in trainingsdata, waarbij modellen nauwkeurig lijken simpelweg omdat ze de testset tijdens het vooraf trainen hebben gememoriseerd.
• Gecentraliseerd vertrouwen: Bestaande kaders vertrouwen op centrale autoriteiten om voorspellingen te registreren en scores te berekenen, wat risico's met zich meebrengt van retroactieve manipulatie of selectieve rapportage, wat het commerciële vertrouwen ondermijnt.
• Ongeschikte metrieken: Het evalueren van agenten via Trading Profit-and-Loss (PnL) verward voorspellende nauwkeurigheid met handelsstrategie (positiemeting, timing en risicobereidheid). Een agent kan geld verliezen ondanks nauwkeurige voorspellingen of geld verdienen ondanks slechte voorspellingen door geluk of agressief wedden.

De auteurs betogen dat een rigoureuze evaluatie een omgeving vereist die resistent is tegen overfitting, gedecentraliseerd (trustless) is en gebaseerd is op prikkels-compatibele scorevoorschriften.

2. Methodologie & Systeemontwerp

Foresight Arena is een live, permissionless, on-chain benchmark die is ingezet op Polygon PoS en AI-agenten evalueert op real-world binaire voorspellingmarkten afkomstig van Polymarket.

Core Architectuur

• Commit-Reveal Protocol: Agenten dienen een cryptografische hash van hun voorspellingen in (commit-fase) voor de deadline om te voorkomen dat ze de bewegingen van concurrenten observeren. Ze onthullen later de werkelijke kansen en een 'salt' (reveal-fase). Dit waarborgt de onafhankelijkheid van de voorspelling.
• Trustless Resolutie: Uitkomsten worden automatisch opgelost via het Gnosis Conditional Token Framework (CTF), dezelfde oracle die door Polymarket wordt gebruikt. Geen menselijke curator kan de resolutie manipuleren.
• Gasloze Deelname: Agenten interageren via een relayer met EIP-712 ondertekende berichten, waardoor deelname mogelijk is zonder native tokens (POL) te bezitten.
• Persistente Reputatie: Scores worden geaccumuleerd in het ERC-8004 Reputation Registry, wat een onaanpasbaar, verifieerbaar trackrecord creëert voor elke agent.

Scorekader

Het systeem gebruikt twee primaire metrieken:

1. Brier Score: Een correct scorevoorschrift ($S = (p - x)^2$) dat de nauwkeurigheid van probabilistische voorspellingen meet. Het wordt strikt geminimaliseerd alleen wanneer de agent zijn ware overtuiging rapporteert.
2. Alpha Score ($\alpha$): Een nieuwe metriek die de marge van de agent boven de marktconsensus meet.
   • Formule: $\alpha = B_{base} - B_{agent}$, waarbij $B_{base}$ de Brier-score is van de markt-middenprijs.
   • Een positieve $\alpha$ geeft aan dat de agent de collectieve wijsheid van de markt heeft overtroffen.

Statistische Analyse

De auteurs bieden een formele wiskundige behandeling van de scorevoorschriften:

• Murphy Decompositie: Ze ontleden de Brier Score in Onzekerheid (UNC), Betrouwbaarheid (REL) en Resolutie (RES).
  • $\alpha$ blijkt de som te zijn van een Resolutiewinst (beter onderscheidend vermogen dan de markt) en een Betrouwbaarheidsgap (beter gekalibreerd dan de markt).
• Power Analyse: Ze leiden gesloten vormen af voor de variantie van Alpha en berekenen de steekproefgrootte die nodig is om een specifieke marge ($\alpha^*$) te detecteren.
  • Vondst: Het detecteren van een echte marge van $\alpha^* = 0.02$ vereist ongeveer 350 voorspellingen (50 rondes van 7 markten). Het detecteren van $\alpha^* = 0.01$ vereist ongeveer 4x dat bedrag.

3. Belangrijkste Bijdragen

1. On-Chain Verifieerbaarheid: De eerste benchmark waarbij alle voorspellingen, commitments en scores op een publieke blockchain worden geregistreerd, waardoor elke derde partij onafhankelijk de geschiedenis van een agent kan herspelen en verifiëren zonder het vertrouwen in de organisator.
2. Trustless Resolutie: Eliminatie van gecentraliseerde arbiters door gebruik te maken van de Gnosis CTF voor uitkomstresolutie.
3. Formele Alpha Score Analyse: Een rigoureuze statistische bewijsvoering dat Alpha een correct scorevoorschrift is en een afleiding van de variantie en steekproefgrootte-eisen voor betrouwbare detectie van voorspellend vermogen.
4. Murphy-Decompositie Inzicht: Aantonen dat "de markt verslaan" wiskundig onderscheiden is van "gekalibreerd zijn", wat toelaat tot diagnose van specifieke faalmodi (bijv. marktvolgen met ruis versus echte miscalibratie).
5. Permissionless Infrastructuur: Een open-source, gasloos systeem dat elke Ethereum-compatibele adres toestaat deel te nemen en persistente on-chain credentials op te bouwen.

4. Experimentele Resultaten

De auteurs voerden een 50-rondes live evaluatie uit met vijf frontier Large Language Model (LLM) agenten en een willekeurige baseline.

• Geëvalueerde Agenten: claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7, en een Random Baseline.
• Algehele Prestatie:
  • Random Baseline: Presteerde significant slechter dan alle LLM's ($\bar{\alpha} \approx -0.14$), wat bevestigt dat LLM's over echt voorspellend vermogen beschikken.
  • Top Tier: claude-opus-4-5, gpt-5-2, en gemini-3-pro behaalden kleine positieve Alpha-scores ($+0.003$ tot $+0.005$). Hoewel positief, waren deze niet statistisch significant op de 50-rondes horizon (in overeenstemming met power-analyse die voorspelt dat significantie vereist $\alpha^* \ge 0.02$).
  • Onderpresteerders: grok-4-1 en glm-4-7 behaalden negatieve Alpha-scores. De Murphy-decompositie onthulde dat ze leden onder lage resolutie (ze volgden de marktprijs maar voegden ruis toe) in plaats van alleen kalibratiefouten.
• Domeinspecialisatie:
  • Crypto: LLM's toonden hier de sterkste marge, waarschijnlijk vanwege het vermogen om breaking news sneller te integreren dan de markt-middenprijs.
  • Geopolitiek: Alle agenten presteerden slechter dan de markt, wat suggereert dat LLM's worstelen met laag-frequentie, hoog-ambiguïteit politieke gebeurtenissen.
  • Sport/Economie: Gemengde resultaten met specifieke modellen die domeinstrengths tonen.

5. Betekenis en Implicaties

• Ontkoppeling van Voorspelling en Trading: Door correcte scorevoorschriften te gebruiken in plaats van PnL, isoleert Foresight Arena de kennis van de wereld van het model van zijn handelsstrategie. Dit onthult faalmodi (zoals "marktvolgen met ruis") die PnL-gebaseerde evaluaties zouden missen.
• Verifieerbare AI Credentials: Het systeem stelt een nieuwe standaard voor AI-evaluatie voor: on-chain credentials. Dit zijn onveranderlijke, cumulatieve records van prestaties die niet kunnen worden vervalst, essentieel voor de commerciële licentieverlening en implementatie van autonome agenten.
• Statistische Eerlijkheid: Het paper benadrukt dat huidige korte-horizon evaluaties (bijv. 50 rondes) de kracht missen om top-tier frontier modellen te onderscheiden. Het stelt vast dat langetermijn, continue evaluatie noodzakelijk is om AI-voorspellingscapaciteiten betrouwbaar te rangschikken.
• Ontwerprichtlijnen: De analyse suggereert dat een agent om de markt te verslaan prioriteit moet geven aan verse informatie (resolutie) en gecontroleerde durf, in plaats van simpelweg marktprijzen te echoën of overmoedig te zijn.

Concluderend biedt Foresight Arena het eerste robuuste, gedecentraliseerde en statistisch rigoureuze kader voor het meten van AI-voorspelling, verdergaand dan statische datasets en winst-gebaseerde metrieken naar een systeem gebaseerd op cryptografische verificatie en informatietheorie.