WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

Immagina di essere un detective che cerca di risolvere un mistero, ma il crimine non è ancora avvenuto. Nel mondo dell'intelligenza artificiale, spesso testiamo programmi informatici "intelligenti" ponendo loro domande su cose che sono già accadute, come "Chi ha vinto la Coppa del Mondo 2022?". Il problema è che potrebbero aver semplicemente memorizzato la risposta da internet, invece di averla effettivamente elaborata. Per testare davvero se un cervello è intelligente, devi prevedere il futuro — qualcosa che non esiste ancora e che non può essere cercato su Google. Questo è il confine della "previsione" (forecasting), dove vediamo se una macchina è in grado di ragionare per arrivare a una risposta che nessuno conosce ancora.

Questo articolo, intitolato WORLDCUP ARENA, prende quell'idea e la trasforma in un enorme esperimento in tempo reale. Invece di chiedere a un computer di indovinare il vincitore di una partita terminata anni fa, i ricercatori hanno organizzato un torneo dal vivo: la Coppa del Mondo FIFA 2026. Hanno invitato sei dei modelli di IA più avanzati al mondo ad agire come analisti sportivi. Ogni giorno, prima che venisse giocata una singola partita, queste IA dovevano esaminare le squadre, il meteo, gli arbitri e le ultime notizie, e poi fare sette diverse previsioni per la partita (come chi vincerà, quanti gol verranno segnati e il punteggio esatto). Il punto è che le partite non erano ancora avvenute. Le risposte non esistevano da nessuna parte su internet. Ciò significava che le IA non potevano accedere al risultato; dovevano effettivamente pensare.

I ricercatori volevano vedere se questi computer super-intelligenti potessero battere le probabilità o se avrebbero semplicemente seguito la massa. Hanno scoperto che, sebbene le IA fossero impressionanti, non erano magiche. In media, hanno indovinato circa il 63,9% degli esiti delle partite. Questo sembra buono, ma è quasi esattamente lo stesso risultato che si otterrebbe scommettendo ciecamente sulla squadra che i bookmaker pensavano avrebbe vinto. In effetti, le IA erano così prudenti che raramente prevedevano un pareggio, anche se i pareggi accadevano spesso, e continuavano a indovinare lo stesso noioso punteggio (2–1) ripetutamente.

Ecco la parte più sorprendente: i sei diversi modelli di IA pensavano in modo quasi identico. Erano d'accordo tra loro il 76% delle volte. Se avessi chiesto loro di votare sul vincitore, il "voto di maggioranza" non è stato migliore del singolo modello di IA più bravo. Si scopre che anche i modelli di "pensiero" più avanzati del 2026 seguono tutti lo stesso schema: sono molto bravi a guardare il quadro generale (come prevedere quale paese vincerà l'intero torneo) ma faticano con i dettagli minuscoli e disordinati di una singola partita serrata. L'articolo conclude che, al momento, questi sistemi di IA non sono molto diversi l'uno dall'altro; sono tutti molto bravi a imitare i modelli di scommessa umani, ma non hanno ancora capito come "vedere" il futuro meglio di un esperto umano con una calcolatrice.

L'Esperimento: Un Torneo di Menti dal Vivo

I ricercatori hanno allestito un'arena "priva di leakage" (senza perdite di dati). Nei test normali, gli scienziati devono preoccuparsi che l'IA possa aver "estratto" la risposta dai suoi dati di addestramento. Ma qui, poiché le partite stavano avvenendo in tempo reale nel 2026, le risposte letteralmente non esistevano quando venivano poste le domande. La configurazione era rigorosa:

• I Giocatori: Sei modelli di IA all'avanguardia (Claude, GPT, Gemini, Kimi, GLM e Seed).
• Le Regole: Ogni modello doveva utilizzare la propria modalità di "pensiero esteso" (il livello più profondo di ragionamento disponibile) e il proprio strumento di ricerca web integrato per leggere le ultime notizie, i rapporti sugli infortuni e le quote.
• Il Compito: Per ognuna delle 104 partite del torneo, l'IA doveva compilare una "scheda di previsione" con sette mercati: chi vince, il punteggio esatto, il numero totale di gol e altro ancora.
• I Dati: Alle IA veniva fornito un "dossier" per ogni squadra che si aggiornava quotidianamente, passando da un breve riassunto a un enorme file di oltre 1 milione di caratteri alla fine del torneo.

Cosa Hanno Scoperto: La Mentalità del "Gregge"

I risultati hanno dipinto un quadro chiaro e leggermente divertente di come pensano queste IA.

1. Seguono la Massa, Non la Sfera di Cristallo
Le IA non hanno superato i bookmaker. Si sono semplicemente schierate con la squadra favorita dai bookmaker l'85,6% - 90,4% delle volte. La loro accuratezza media del 63,9% è statisticamente la stessa di sostenere meccanicamente il favorito (che ottiene il 64,4%). Non stavano scoprendo nuove intuizioni; stavano solo riecheggiando il mercato.

2. La "Cecità verso il Pareggio"
Le IA sono state terribili nel prevedere i pareggi. Nel torneo, 27 partite sono terminate in pareggio. I modelli hanno previsto solo 8-14 pareggi. Erano così spaventate dal pareggio che quasi non lo consideravano, nonostante accada frequentemente nel calcio.

3. L'Ossessione per il "2–1"
Quando dovevano indovinare il punteggio esatto, i modelli si sono incastrati in un vicolo cieco. Hanno concentrato il 28,0% di tutte le loro previsioni di punteggio su un unico risultato: il 2–1. Hanno ignorato la vasta varietà di punteggi possibili e hanno affollato le loro ipotesi su un risultato "prototipico".

4. Quadro Generale vs. Piccoli Dettagli
I modelli erano "forti sul macro, deboli sul micro".

• Macro: Sono stati bravissimi a prevedere il vincitore del torneo e le classifiche dei gruppi.
• Micro: Sono crollati nelle partite più combattute. Negli ottavi di finale (dove le squadre erano ben equilibrate), hanno avuto un'accuratezza dell'86,5%. Ma nelle semifinali, dove i dossier erano ricchi di informazioni e le squadre erano paritarie, la loro accuratezza è crollata all'8,3%. Più conoscevano le squadre, peggio riuscivano a scegliere il vincitore di una partita serrata.

5. L'Effetto "Gregge"
I sei modelli erano d'accordo tra loro il 76,0% delle volte. Poiché pensavano tutti in modo molto simile, chiedere loro di votare non aiutava. Un "voto di maggioranza" dei sei modelli non aggiungeva nulla all'accuratezza. Erano tutti intrappolati nello stesso ciclo.

La Classifica: Una Corsa Molto Serrata

I punteggi finali sono stati incredibilmente vicini, dimostrando che l'attuale generazione di IA non è fortemente differenziata.

• Claude ha preso il primo posto con 897 punti.
• GLM è arrivata ultima con 813 punti.
• Il divario tra primo e ultimo era di soli 84 punti (circa il 10,3%).

Quando i ricercatori hanno eseguito i test statistici (chiamati "intervalli bootstrap") per vedere se il vincitore fosse davvero migliore, i risultati sono stati incerti. Claude è stata la vincitrice nel 53,6% delle simulazioni ripetute, ma la differenza tra i migliori modelli era spesso entro il margine di errore. Ad esempio, la differenza tra il primo e il secondo posto era così piccola che, se si fosse ripetuto il torneo, l'ordine potrebbe essersi invertito.

La Conclusione

Questo studio suggerisce che, sebbene i modelli di IA più avanzati di oggi siano strumenti potenti per la raccolta di informazioni e il ragionamento, non hanno ancora imparato a liberarsi dai pattern del passato per prevedere davvero il futuro. Sono eccellenti nel riassumere ciò che sappiamo, ma quando si trovano di fronte a un evento veramente incerto dove la risposta non esiste ancora, tendono a giocare sul sicuro, seguire la massa e indovinare l'esito più "medio".

L'articolo conclude che l'attuale generazione di sistemi all'avanguardia non è nettamente diversa dall'altra. Condividono tutti gli stessi punti di forza (pensiero macroscopico) e le stesse debolezze (paura dei pareggi, ossessione per i punteggi medi). La "magia" della previsione tramite IA, sembra, è ancora solo una versione molto sofisticata del seguire le quote delle scommesse.