💰 quantitative finance

Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

Questo articolo introduce Foresight Arena, un benchmark on-chain senza autorizzazione che valuta agenti di previsione basati sull'intelligenza artificiale su mercati predittivi reali, utilizzando smart contract trustless e regole di scoring adeguate per misurare rigorosamente l'accuratezza predittiva, prevenendo al contempo l'overfitting e la contaminazione dei dati.

Autori originali: Maksym Nechepurenko, Pavel Shuvalov

Pubblicato 2026-05-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Maksym Nechepurenko, Pavel Shuvalov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un'arena digitale gigantesca dove le "sfere di cristallo" dell'IA competono per vedere il futuro. Questo articolo introduce Foresight Arena, un nuovo modo per verificare se l'Intelligenza Artificiale è davvero brava a prevedere eventi del mondo reale, o se sta semplicemente indovinando.

Ecco la spiegazione di come funziona, utilizzando analogie semplici.

1. Il Problema: Perché i vecchi test erano difettosi

Prima di questo, testare i previsori dell'IA presentava tre grandi falle:

Il Problema della "Scheda di Trucco": I vecchi test utilizzavano domande statiche (come un quiz fisso). I modelli di IA potrebbero aver visto le risposte mentre venivano addestrati, quindi non stavano realmente "prevedendo"; stavano semplicemente ricordando.
Il Problema dell'"Arbitro": La maggior parte dei test si affidava a un umano o a un'azienda centrale per tenere il punteggio. Se quell'arbitro era di parte o manomesso, i risultati erano falsi.
Il Problema del "Trader vs. Veggente": Alcuni test misuravano quanto denaro un'IA guadagnava scommettendo su eventi. Ma fare soldi non riguarda solo essere nel giusto; riguarda quando scommetti e quanto rischi. Un'IA potrebbe essere terribile nel prevedere il futuro eppure fare soldi essendo un giocatore fortunato.

2. La Soluzione: Uno Stadio Digitale Senza Fiducia

Foresight Arena risolve questo costruendo il test su una blockchain (un registro digitale pubblico e immutabile).

Il Gioco "Commit-Reveal" (Impegno-Rivelazione): Immagina un gioco di poker in cui devi scrivere la tua previsione su un foglio di carta, sigillarlo in una busta e metterlo sul tavolo prima che chiunque altro possa vederlo. Solo dopo che tutti hanno sigillato le loro previsioni si aprono le buste. Questo impedisce agli agenti IA di barare guardando cosa hanno indovinato prima gli altri.
La Regola "Nessun Giudice Umano": I risultati non sono decisi da una persona. Vengono letti automaticamente da un sistema pubblico e decentralizzato (Polymarket/Gnosis). Se l'evento accade, la blockchain lo sa. Nessuno può modificare il punteggio a posteriori.
La Regola dell'"Ingresso Libero": Chiunque (o qualsiasi IA) può partecipare senza chiedere il permesso.

3. La Classifica: Misurare la "Verità" contro la "Fortuna"

Invece di contare i soldi, l'arena utilizza una formula matematica speciale chiamata Punteggio di Brier.

L'Analogia: Pensala come un meteorologo. Se dice "C'è il 90% di probabilità di pioggia" e piove, ottiene un buon punteggio. Se dice 90% e c'è il sole, ottiene un punteggio basso. Il punteggio misura quanto la sua fiducia fosse vicina alla realtà.
Il "Punteggio Alpha" (Il Vantaggio): Questa è la ricetta segreta dell'articolo. Non chiede solo: "Hai avuto ragione?". Chiede: "Sei stato più nel giusto della folla?"
- Immagina una folla di 1.000 persone che indovinano il vincitore di una partita sportiva. Il "Consenso di Mercato" è la previsione media di quella folla.
- Se un'IA indovina come la folla, il suo punteggio è zero.
- Se l'IA indovina diversamente e risulta avere ragione, ottiene un punteggio positivo. Questo dimostra che l'IA ha trovato un'informazione che la folla ha perso.

4. L'Esperimento: Chi ha vinto?

Gli autori hanno condotto un test dal vivo per 50 round coinvolgendo cinque modelli di IA di livello superiore (di aziende come Anthropic, OpenAI, Google, ecc.) e una "Linea di Base Casuale" (un computer che indovina numeri a caso).

I Risultati:

Gli Indovini Casuali: Hanno fallito miseramente, dimostrando che il test funziona.
I Modelli IA di Vertice: Tre modelli (Claude, GPT e Gemini) sono andati leggermente meglio della folla, ma la differenza era minima. Era come una gara in cui i primi tre corridori hanno finito entro una frazione di secondo l'uno dall'altro. Il test non è stato abbastanza lungo per dire con certezza chi fosse il più veloce in assoluto.
I Modelli "Copioni": Due modelli (Grok e GLM) hanno cercato di indovinare cosa stesse pensando la folla ma hanno aggiunto un po' di "rumore" (errori casuali). In realtà sono andati peggio rispetto a copiare semplicemente la folla perfettamente. Questa è una scoperta chiave: Cercare di essere leggermente diversi dalla folla quando non si è effettivamente più intelligenti danneggia solo il punteggio.

5. L'"Anatomia" di una Buona Previsione

L'articolo analizza perché un'IA vince o perde utilizzando una "Decomposizione di Murphy" (un modo sofisticato per smontare un punteggio):

Risoluzione (La "Nitidezza"): L'IA riesce a distinguere tra un evento probabile e uno improbabile? I vincitori erano "più nitidi" della folla.
Affidabilità (L'"Onestà"): Quando un'IA dice "70% di probabilità", accade il 70% delle volte? I vincitori erano molto onesti riguardo alla loro fiducia.
La Lezione: Per battere il mercato, devi essere più nitido della folla. Essere semplicemente "calmi" o "onesti" non è sufficiente se non vedi cose che la folla ha perso.

6. La Grande Conclusione

Questo articolo ha costruito un sistema di reputazione permanente e immutabile per l'IA.

In passato, un'azienda di IA poteva affermare: "La nostra IA è il miglior previsore!" e mostrarti un foglio di calcolo che avevano inventato.
Ora, con Foresight Arena, un'IA ha una traccia pubblica e inalterabile sulla blockchain. Puoi andare a guardare la storia tu stesso.

Il Punto Fondamentale:
L'articolo conclude che, sebbene i modelli IA attuali siano molto meglio del caso, sono attualmente molto vicini alla "saggezza collettiva" della folla umana. Per dimostrare che un'IA è davvero superiore, dobbiamo continuare a condurre questi test per molto più tempo (centinaia di round, non solo 50) per vedere se le piccole differenze si accumulano in un vincitore chiaro.

Cosa l'articolo NON afferma:

Non dice che queste IA possono prevedere il mercato azionario per profitto (è un gioco diverso).
Non dice che queste IA sono pronte a governare governi o ospedali.
Non afferma che i risultati attuali sono l'ultima parola; afferma esplicitamente che il test deve durare più a lungo per separare i migliori performer.

1. Enunciato del Problema

Il paper identifica tre limitazioni fondamentali nei metodi attuali per valutare le capacità di previsione dell'IA:

Contaminazione dei Dati: I benchmark statici (domande/risoluzioni fisse) sono vulnerabili alla fuoriuscita di dati di addestramento, dove i modelli appaiono accurati semplicemente perché hanno memorizzato il set di test durante il pre-addestramento.
Fiducia Centralizzata: I framework esistenti si affidano ad autorità centrali per registrare le previsioni e calcolare i punteggi, creando rischi di manipolazione retroattiva o segnalazione selettiva, che minano la fiducia commerciale.
Metriche Inappropriate: Valutare gli agenti tramite il Profitto e Perdita (PnL) del trading confonde l'accuratezza predittiva con la strategia di trading (dimensionamento delle posizioni, tempistica e propensione al rischio). Un agente può perdere denaro nonostante previsioni accurate o guadagnare nonostante previsioni scadenti a causa della fortuna o di scommesse aggressive.

Gli autori sostengono che una valutazione rigorosa richieda un ambiente che sia resistente all'overfitting, decentralizzato (senza fiducia) e basato su regole di punteggio compatibili con gli incentivi.

2. Metodologia e Progettazione del Sistema

Foresight Arena è un benchmark live, senza autorizzazione, on-chain distribuito su Polygon PoS che valuta gli agenti AI su mercati di previsione binari del mondo reale provenienti da Polymarket.

Architettura Principale

Protocollo Commit-Reveal: Gli agenti inviano un hash crittografico delle loro previsioni (fase di commit) prima della scadenza per impedire di osservare le mosse dei concorrenti. Riveleranno le probabilità effettive e un sale successivamente (fase di reveal). Questo garantisce l'indipendenza delle previsioni.
Risoluzione Senza Fiducia: Gli esiti sono risolti automaticamente tramite il Gnosis Conditional Token Framework (CTF), lo stesso oracle utilizzato da Polymarket. Nessun curatore umano può manipolare la risoluzione.
Partecipazione Senza Gas: Gli agenti interagiscono tramite un relayer utilizzando messaggi firmati EIP-712, permettendo la partecipazione senza possedere token nativi (POL).
Reputazione Persistente: I punteggi sono accumulati sul Registro di Reputazione ERC-8004, creando una cronologia verificabile e immutabile per ogni agente.

Sistema di Punteggio

Il sistema utilizza due metriche principali:

Punteggio Brier: Una regola di punteggio corretta ( $S = (p - x)^2$ ) che misura l'accuratezza delle previsioni probabilistiche. È strettamente minimizzata solo quando l'agente riporta la sua vera credenza.
Punteggio Alpha ( $\alpha$ ): Una metrica innovativa che misura il vantaggio dell'agente rispetto al consenso di mercato.
- Formula: $\alpha = B_{base} - B_{agent}$ , dove $B_{base}$ è il punteggio Brier del prezzo medio di mercato.
- Un $\alpha$ positivo indica che l'agente ha superato la saggezza collettiva del mercato.

Analisi Statistica

Gli autori forniscono un trattamento matematico formale delle regole di punteggio:

Decomposizione di Murphy: Decompongono il Punteggio Brier in Incertezza (UNC), Affidabilità (REL) e Risoluzione (RES).
- Si dimostra che $\alpha$ è la somma di un Guadagno di Risoluzione (migliore discriminazione rispetto al mercato) e di un Divario di Affidabilità (migliore calibrazione rispetto al mercato).
Analisi della Potenza: Derivano espressioni in forma chiusa per la varianza di Alpha e calcolano la dimensione del campione necessaria per rilevare un vantaggio specifico ( $\alpha^*$ $α^{*}$ ).
- Risultato: Rilevare un vero vantaggio di $\alpha^* = 0.02$ richiede circa 350 previsioni (50 round di 7 mercati). Rilevare $\alpha^* = 0.01$ richiede circa 4 volte tale quantità.

3. Contributi Chiave

Verificabilità On-Chain: Il primo benchmark in cui tutte le previsioni, gli impegni e i punteggi sono registrati su una blockchain pubblica, permettendo a qualsiasi terza parte di riprodurre e verificare indipendentemente la cronologia di un agente senza fidarsi dell'organizzatore.
Risoluzione Senza Fiducia: Eliminazione degli arbitri centralizzati utilizzando il Gnosis CTF per la risoluzione degli esiti.
Analisi Formale del Punteggio Alpha: Una prova statistica rigorosa che Alpha è una regola di punteggio corretta e una derivazione della varianza e dei requisiti di dimensione del campione per il rilevamento affidabile delle capacità di previsione.
Insight sulla Decomposizione di Murphy: Dimostrazione che "battere il mercato" è matematicamente distinto dall'"essere calibrati", permettendo la diagnosi di specifici modi di fallimento (ad esempio, tracciamento del mercato con rumore rispetto a una vera miscalibrazione).
Infrastruttura Senza Autorizzazione: Un sistema open-source e senza gas che permette a qualsiasi indirizzo compatibile con Ethereum di partecipare e costruire credenziali on-chain persistenti.

4. Risultati Sperimentali

Gli autori hanno condotto una valutazione live di 50 round coinvolgendo cinque agenti di modelli linguistici su larga scala (LLM) all'avanguardia e una baseline casuale.

Agenti Valutati: claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7 e una Baseline Casuale.
Prestazioni Complessive:
- Baseline Casuale: Ha performato significativamente peggio di tutti gli LLM ( $\bar{\alpha} \approx -0.14$ ), confermando che gli LLM possiedono una genuina capacità di previsione.
- Livello Superiore: claude-opus-4-5, gpt-5-2 e gemini-3-pro hanno ottenuto piccoli punteggi Alpha positivi ( $+0.003$ to $+0.005$ ). Sebbene positivi, questi non erano statisticamente significativi all'orizzonte di 50 round (coerente con l'analisi della potenza che prevede che la significatività richieda $\alpha^* \ge 0.02$ ).
- Sottoperformanti: grok-4-1 e glm-4-7 hanno ottenuto punteggi Alpha negativi. La decomposizione di Murphy ha rivelato che hanno sofferto di bassa risoluzione (tracciavano il prezzo di mercato ma aggiungevano rumore) piuttosto che di semplici errori di calibrazione.
Specializzazione di Dominio:
- Criptovalute: Gli LLM hanno mostrato il vantaggio più forte qui, probabilmente grazie alla capacità di integrare le notizie di rottura più velocemente del prezzo medio di mercato.
- Geopolitica: Tutti gli agenti hanno sottoperformato rispetto al mercato, suggerendo che gli LLM faticano con eventi politici a bassa frequenza e alta ambiguità.
- Sport/Economia: Risultati misti con modelli specifici che mostrano punti di forza di dominio.

5. Significato e Implicazioni

Disaccoppiamento della Previsione dal Trading: Utilizzando regole di punteggio corrette invece del PnL, Foresight Arena isola la conoscenza del mondo del modello dalla sua strategia di trading. Questo rivela modi di fallimento (come "tracciamento del mercato con rumore") che le valutazioni basate sul PnL mancherebbero.
Credenziali AI Verificabili: Il sistema propone un nuovo standard per la valutazione dell'IA: credenziali on-chain. Questi sono record immutabili e cumulativi di prestazioni che non possono essere falsificati, essenziali per la licenza commerciale e il dispiegamento di agenti autonomi.
Onestà Statistica: Il paper sottolinea che le attuali valutazioni a breve termine (ad esempio, 50 round) mancano della potenza per distinguere tra i modelli all'avanguardia di livello superiore. Stabilisce che una valutazione continua a lungo termine è necessaria per classificare in modo affidabile le capacità di previsione dell'IA.
Guida alla Progettazione: L'analisi suggerisce che affinché un agente batta il mercato, deve dare priorità alle informazioni fresche (risoluzione) e a una audacia controllata, piuttosto che semplicemente ripetere i prezzi di mercato o essere eccessivamente sicuro.

In conclusione, Foresight Arena fornisce il primo framework robusto, decentralizzato e statisticamente rigoroso per misurare la previsione dell'IA, superando i dataset statici e le metriche basate sui profitti per un sistema fondato sulla verifica crittografica e sulla teoria dell'informazione.