Automating Forecasting Question Generation and Resolution for AI Evaluation

Questo lavoro presenta un sistema automatizzato basato su agenti di ricerca web potenziati da LLM per generare e risolvere su larga scala domande di previsione diversificate e verificabili, dimostrando un'efficacia superiore rispetto alle piattaforme umane e migliorando le prestazioni degli agenti di previsione attraverso strategie di decomposizione delle domande.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza conoscenze tecniche.

🌍 Il Grande Esperimento: Costruire un "Olimpiade" per le Intelligenze Artificiali

Immagina di voler sapere se un'Intelligenza Artificiale (AI) è davvero intelligente. Come fai a testarla? Non puoi chiederle di fare un quiz di matematica o di scrivere un poema, perché quelle sono cose che le macchine fanno già benissimo.

Gli autori di questo studio (FutureSearch) hanno pensato a qualcosa di più difficile e utile: fargli indovinare il futuro.

Pensala come una gara di previsioni meteo, ma invece di chiedere "pioverà domani?", chiedono cose molto più complesse come: "Tra tre mesi, il governo degli USA approverà questa nuova legge?" oppure "Il prezzo del petrolio supererà i 100 dollari entro Natale?".

Il problema è che per fare queste gare serve un enorme numero di domande (domande di previsione) che siano:

1. Chiare: Non ci devono essere dubbi su come si risponde (Sì o No).
2. Difficili: Non devono essere ovvie.
3. Verificabili: Alla fine, qualcuno deve poter controllare la risposta con certezza.

Fino a ora, creare queste domande era come cercare di costruire un grattacielo a mano: ci volevano mesi di lavoro umano, e spesso le domande erano noiose o ripetitive (tipo "pioverà a New York?").

🤖 La Soluzione: Un "Squadra di Investigatori" Robot

Gli autori hanno creato un sistema automatico, una sorta di fabbrica di domande guidata da robot. Ecco come funziona, passo dopo passo, con una metafora:

Immagina di avere un capo chef (l'AI) che deve preparare un menu per una cena di gala.

1. Gli Ingredienti (I "Semi"): Il sistema prende notizie reali dal mondo (articoli di giornale, report finanziari, eventi politici). Questi sono i "semi" da cui nasceranno le domande.
2. Lo Chef Creativo (Il primo Robot): Prende un'articolo di giornale e dice: "Ehi, potremmo chiedere se questo evento accadrà entro dicembre?". Crea una bozza di domanda.
3. Il Controllo Qualità (I Verificatori): Qui entra in gioco la magia. Non si fida ciecamente dello chef. Ha una squadra di ispettori robot che controllano la domanda:
   • Ispettore 1: "È ambigua? Se chiedo a 10 persone diverse, otterrò la stessa risposta?"
   • Ispettore 2: "Possiamo davvero trovare la risposta su Google o in un database ufficiale tra tre mesi?"
   • Ispettore 3: "È noiosa? È ovvio che la risposta sia 'Sì'?"
     Se la domanda non supera tutti i test, viene scartata.
4. La Pulizia Finale: Un ultimo robot controlla che non ci siano domande doppie (come due ricette identiche con nomi diversi).

🏆 I Risultati: Una Gara Vinta dalle Macchine

Il team ha usato questo sistema per creare 1.499 domande su temi seri: politica, economia, guerre, clima, spazio. Poi, hanno messo alla prova diverse Intelligenze Artificiali (come GPT-5, Gemini, ecc.) facendogli rispondere a queste domande.

Ecco cosa hanno scoperto:

• Le domande sono ottime: Il sistema ha creato domande di alta qualità quasi il 96% delle volte. È meglio di quanto facciano gli umani su piattaforme famose come Metaculus (che hanno un tasso di errore più alto).
• Più è intelligente, meglio risponde: Le AI più potenti hanno fatto meglio di quelle più piccole. È come se in una gara di scacchi, il Grande Maestro battesse il principiante. Questo dimostra che il sistema funziona davvero come un test di intelligenza.
• L'AI risolve le domande: Il sistema non solo crea le domande, ma le risolve anche automaticamente quando arriva la data di scadenza, con un'accuratezza del 95%.

💡 Perché è importante?

Immagina che l'Intelligenza Artificiale sia un'automobile che sta diventando sempre più veloce.

• Prima, avevamo solo una pista di kart per testarla (domande facili).
• Ora, con questo sistema, abbiamo costruito un circuito di Formula 1 con curve pericolose, pioggia e ostacoli reali.

Questo ci permette di:

1. Capire quanto siamo vicini all'Intelligenza Artificiale Generale (una macchina che pensa e agisce come un umano in tutto).
2. Aiutare i decisori politici e aziendali a fidarsi delle previsioni delle AI per prendere decisioni importanti (come investire soldi o preparare piani di emergenza).

In sintesi

Gli autori hanno costruito un laboratorio automatico che inventa, controlla e risolve migliaia di indovinelli sul futuro. Hanno dimostrato che le macchine possono creare i propri test di intelligenza, e che più l'AI è "sveglia", meglio riesce a risolvere questi indovinelli. È un passo gigante per capire quanto siamo vicini a creare un'intelligenza artificiale davvero capace di gestire il mondo reale.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Automating Forecasting Question Generation and Resolution for AI Evaluation", pubblicato presso il Workshop ICLR 2026 su AI per la Progettazione di Meccanismi e Decisioni Strategiche.

1. Il Problema

La previsione di eventi futuri è una metrica robusta per valutare l'intelligenza generale (AGI) e supportare il processo decisionale. Tuttavia, la valutazione dei sistemi di previsione basati su AI (LLM) è ostacolata da una grave carenza di dati di alta qualità.

• Complessità del Campionamento: A differenza dei task di classificazione, una previsione richiede una distribuzione di probabilità; l'unico "gold label" osservabile è un singolo esito binario (evento verificato o meno). Questo richiede un enorme numero di domande per distinguere modelli ben calibrati da quelli scarsamente calibrati.
• Limiti delle Soluzioni Esistenti: I benchmark attuali (es. Metaculus, ForecastBench) si basano su curatela umana (costosa e lenta) o su fonti dati ricorrenti (es. meteo, borsa), che generano domande poco diversificate, banali o altamente correlate.
• Sfida Operativa: Creare domande di previsione che siano ambigue, risolubili oggettivamente, difficili e con conseguenze reali è un processo laborioso che richiede una specifica rigorosa dei criteri di risoluzione.

2. Metodologia

Gli autori presentano un sistema automatizzato end-to-end basato su agenti LLM (Large Language Models) con accesso al web, progettato per generare e risolvere domande di previsione su larga scala.

Pipeline di Generazione delle Domande

Il sistema segue un flusso di lavoro multi-stadio (illustrato nella Figura 1 del paper):

1. Seed (Semi): Il processo inizia con 2.500 "seed" (semi) derivati da fonti reali: articoli di notizie (GDELT, Media Cloud) e razionali di previsioni di ricavi aziendali (Stockfisher). Questo garantisce che le domande siano ancorate a eventi reali e non allucinazioni.
2. Agenti ReAct: Vengono utilizzati agenti ReAct (Reasoning + Acting) ottimizzati per la ricerca web.
   • Generazione Proto-domande: Un agente trasforma ogni seed in 1-7 "proto-domande" (bozze di domande future).
   • Raffinamento: Un secondo agente opera per trasformare le proto-domande in domande di previsione complete, aggiungendo criteri di risoluzione precisi, oggettivi e verificabili.
3. Verifica e Filtraggio: Un insieme di agenti verificatori valuta ogni domanda raffinata su quattro criteri:
   • Qualità complessiva: La domanda è non banale?
   • Ambiguità: È risolvibile senza ambiguità?
   • Risolvibilità: Può essere risolta automaticamente da un altro agente?
   • Previsione: Un agente semplice stima la probabilità per evitare domande con esiti quasi certi (0% o 100%).
     Solo le domande che ricevono valutazioni "great" o "very certainly yes" superano il filtro.
4. Deduplicazione: Vengono utilizzati embedding (text-embedding-3-large) e clustering (DBSCAN) seguiti da una verifica LLM (Claude Haiku 4.5) per rimuovere domande duplicate o ridondanti.

Risoluzione delle Domande

Per risolvere le domande generate, il sistema utilizza un ensemble di agenti:

• Tre agenti basati su Gemini 3 Pro (con prompt leggermente diversi).
• In caso di disaccordo, un agente Opus 4.5 funge da arbitro.
• La risoluzione avviene tramite ricerca web attiva e verifica dei criteri specificati.

3. Contributi Chiave

• Primo Sistema di Generazione Web-Aware: È il primo sistema di generazione di domande di previsione che sfrutta agenti di ricerca web flessibili, permettendo la creazione di domande tempestive e basate su fatti attuali, superando i limiti della conoscenza statica.
• Dataset su Larga Scala: Il sistema ha generato 1.499 domande di previsione diverse, reali e risolubili, coprendo un ampio spettro di domini (geopolitica, economia, politica, scienza).
• Validazione dell'Automazione: Dimostrazione che un sistema automatizzato può produrre domande con un tasso di annullamento (annulment rate) e qualità paragonabile o superiore a quello curato da umani (Metaculus).
• Benchmark per l'AGI: Fornisce un nuovo strumento per misurare i progressi verso l'AGI, poiché la capacità di prevedere eventi complessi e incerti è un indicatore fondamentale di intelligenza generale.

4. Risultati Sperimentali

Il sistema è stato valutato su diversi fronti:

• Qualità e Diversità:
  • Le domande coprono 12 macro-aree tematiche (es. azioni regolatorie, sicurezza internazionale, elezioni, clima).
  • L'analisi di similarità intra-cluster ha mostrato una bassa ridondanza (media di similarità 1.32 su una scala 1-4), confermando la diversità del dataset.
• Accuratezza della Risoluzione:
  • Tasso di Annullamento: Il sistema stima un tasso di annullamento del 3,9% (IC 95%: 1,1%-8,4%), che è significativamente migliore del tasso storico di Metaculus (~8%).
  • Accuratezza: Rispetto a un campione verificato da umani, il risolutore automatico ha un tasso di errore del 4,9% (IC 95%: 1,6%-9,8%).
  • Qualità percepita: Il 75,2% delle domande sottoposte a valutazione da esperti umani è stato classificato come "accettabile".
• Valutazione delle Prestazioni dei Modelli (Brier Score):
  • I modelli più intelligenti hanno ottenuto risultati migliori, confermando che il benchmark premia l'intelligenza e lo sforzo di ricerca.
  • Gemini 3 Pro: Brier Score 0,134 (migliore prestazione).
  • GPT-5: Brier Score 0,149.
  • Gemini 2.5 Flash: Brier Score 0,179.
• Impatto della Decomposizione:
  • Un esperimento di "decomposizione in sottodomande" (generare 3-5 domande ausiliarie per informare la previsione principale) ha migliorato ulteriormente le prestazioni, riducendo il Brier Score da 0,141 a 0,132 per Gemini 3 Pro.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale per la ricerca sull'AI:

1. Scalabilità della Valutazione: Risolve il collo di bottiglia della creazione di dati di valutazione, permettendo di generare benchmark dinamici e su larga scala senza dipendere da risorse umane costose.
2. Metrica Robusta per l'AGI: Fornisce un metodo oggettivo e non manipolabile ("ungameable") per tracciare i progressi verso l'Intelligenza Artificiale Generale, basandosi sulla capacità di gestire l'incertezza del mondo reale.
3. Miglioramento dei Sistemi di Previsione: Dimostra che l'uso di strategie avanzate (come la decomposizione delle domande) combinato con modelli più capaci porta a previsioni più accurate, offrendo spunti per migliorare i sistemi di supporto alle decisioni.
4. Limiti e Futuro: Il paper riconosce che i modelli attuali faticano con interazioni complesse (form compilabili, caricamento dinamico) e domande che richiedono la prova di un "non evento" (assenza di notizie). Tuttavia, l'approccio proposto apre la strada a futuri sistemi capaci di gestire domande condizionali ("Se X accade, allora Y?") e domini ad alto impatto come la biosicurezza e la stabilità geopolitica.

In sintesi, gli autori hanno dimostrato che l'automazione tramite agenti LLM può generare dataset di previsione di alta qualità, superando le limitazioni dei metodi tradizionali e fornendo un terreno di prova essenziale per valutare l'evoluzione dell'intelligenza artificiale.