🤖 machine learning

On Randomness in Agentic Evals

Questo studio dimostra che la valutazione delle prestazioni degli agenti AI basata su una singola esecuzione è inaffidabile a causa di una significativa variabilità statistica, e raccomanda l'adozione di molteplici run e analisi statistiche rigorose per distinguere il progresso algoritmico reale dal rumore di valutazione.

Autori originali: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

Pubblicato 2026-03-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Bjarni Haukur Bjarnason, André Silva, Martin Monperrus

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎲 Il Grande Inganno della Sorte: Perché i Test degli Agenti AI sono (quasi) una Lotteria

Immagina di essere un allenatore di calcio che deve scegliere il miglior giocatore per la finale mondiale. Hai due candidati: Marco e Luigi.
Per decidere, fai loro giocare una sola partita.

Marco segna un gol e vince.
Luigi subisce un rigore dubbio e perde.

Il tuo rapporto dirà: "Marco è il migliore, Luigi è pessimo".
Ma è vero? O forse Luigi ha solo avuto una sfortuna di un secondo, un arbitro distratto, o un vento contrario? Se avessero giocato 10 partite, forse Luigi avrebbe vinto 7 volte e Marco solo 3.

Questo è esattamente il problema che gli autori di questo studio hanno scoperto con le Intelligenze Artificiali (Agenti).

1. Il Problema: La "Fotografia" Inesatta

Oggi, quando le aziende o i ricercatori testano un nuovo agente AI (un robot software che risolve problemi complessi, come correggere codice o gestire task), fanno una cosa molto rischiosa: lo fanno eseguire una sola volta per ogni compito e riportano il risultato come se fosse una verità assoluta.

Gli autori hanno detto: "Aspettate un attimo. Se fate una sola prova, state guardando solo un fotogramma di un film intero. Potete vedere un momento di fortuna o di sfortuna, ma non la vera abilità del giocatore."

Hanno messo alla prova questa idea facendo eseguire 60.000 volte gli stessi compiti a diversi agenti AI. È come se avessero fatto giocare Marco e Luigi 10 volte ciascuno contro 10 avversari diversi, invece di una sola volta.

2. La Scoperta: Il Caos Nascosto

Il risultato è stato scioccante. Anche quando tutto sembrava identico (stesso computer, stesso codice, stessa temperatura di "casualità" impostata a zero, che dovrebbe rendere tutto prevedibile), i risultati cambiavano drasticamente.

L'effetto Farfalla: Immagina di lanciare una moneta. Se cade su "testa" o "croce" cambia tutto il futuro della partita. Gli agenti AI fanno lo stesso. Spesso, nei primi pochi secondi di ragionamento (anche solo nei primi 100 "pensieri" o token), due esecuzioni identiche prendono strade diverse.
- Esempio: Un agente pensa: "Cerco il file nel folder A". L'altro pensa: "Cerco il file nel folder B".
- Questo piccolo scarto iniziale si ingigantisce come una valanga. Alla fine, uno risolve il problema perfettamente, l'altro fallisce miseramente, anche se sono lo stesso identico modello.

3. Le Conseguenze: Falsi Progressi

Se un ricercatore dice: "Il mio nuovo modello è migliorato del 3% rispetto al vecchio!", potrebbe semplicemente aver avuto la fortuna di pescare una "giornata di sole" durante l'unica prova fatta.
Non è un vero progresso tecnologico, è solo rumore statistico. È come dire che un giocatore è diventato un campione perché ha vinto una partita di Monopoli lanciando i dadi una volta sola.

Questo porta a:

Decisioni aziendali sbagliate (comprare un software che in realtà non funziona bene).
Leaderboard (classifiche) che non hanno senso.
Spreco di soldi e tempo per cercare di migliorare cose che in realtà sono già buone, o viceversa.

4. La Soluzione: Non fidarti della prima impressione

Gli autori danno tre consigli pratici, come se fossero le regole per un gioco più equo:

Gioca più partite (Esegui più test): Non fermarti alla prima esecuzione. Fai girare l'agente 10, 20 o 30 volte per ogni compito e fai la media. Solo così vedi la sua vera abilità.
Usa la statistica (Calcola la sicurezza): Prima di dire "abbiamo migliorato il 2%", calcola se quel 2% è reale o solo fortuna. Serve un numero specifico di prove per esserne sicuri (come dire: "Ho bisogno di 36 partite per essere sicuro che questo giocatore sia davvero migliore").
Guarda l'intero spettro (Il miglior e il peggior caso): Non guardare solo la media. Guarda:
- Pass@k (L'ottimista): "Se provi 5 volte, qual è la probabilità che almeno una volta riesca?" (Il massimo potenziale).
- Pass^k (Il pessimista): "Se provi 5 volte, qual è la probabilità che riesca sempre?" (La vera affidabilità).
- Spesso c'è un divario enorme tra questi due: l'agente può essere un genio quando ha fortuna, ma un disastro quando è sfortunato.

In Sintesi

Questo studio ci dice che l'AI è imprevedibile. Non possiamo più fidarci di una singola prova per giudicare chi è il migliore. Dobbiamo smettere di guardare una singola foto e iniziare a guardare l'intero album delle foto (o meglio, il film intero) per capire davvero chi sta facendo progressi reali e chi sta solo avendo un giorno fortunato.

È il passaggio dall'essere scommettitori a essere scienziati.

1. Il Problema: L'Inaffidabilità delle Valutazioni Singole

Il paper affronta un problema metodologico critico nel campo dei sistemi agentic (agenti AI che interagiscono con ambienti e strumenti): la pratica standard di valutare le prestazioni basandosi su una singola esecuzione (run) per task, riportando il punteggio pass@1 (la probabilità che un task venga risolto al primo tentativo).

Assunzione errata: La maggior parte dei paper e delle classifiche (leaderboard) assume che un singolo run fornisca una stima affidabile della performance reale.
Realtà: Le valutazioni agentiche sono intrinsecamente stocastiche. Fattori come la temperatura di campionamento, le interazioni con l'ambiente, l'esecuzione degli strumenti e persino le ottimizzazioni hardware dei motori di inferenza introducono variabilità.
Conseguenza: Un miglioramento riportato di 2-3 punti percentuali potrebbe non rappresentare un progresso algoritmico reale, ma semplicemente il risultato di una "corsa fortunata" (sampling noise) all'interno della stessa distribuzione sottostante. Questo porta a decisioni ingegneristiche e di business errate.

2. Metodologia

Gli autori hanno condotto uno studio empirico su larga scala per quantificare questa variabilità:

Dataset e Task: Utilizzo del benchmark SWE-Bench-Verified, focalizzato sulla risoluzione di issue su GitHub tramite agenti di codifica.
Configurazioni: Sono stati testati 6 agenti diversi (combinazioni di 3 modelli e 2 scaffold):
- Modelli: Qwen3-32B, DeepSWE-preview (fine-tuned su Qwen), e Devstral-2-123B.
- Scaffold: nano-agent (scaffold minimale sviluppato dagli autori) e R2E-Gym (scaffold più ricco usato nel training di DeepSWE).
Scala dell'esperimento:
- 10 esecuzioni indipendenti per ogni configurazione (invece della singola solita).
- Totale di 60.000 traiettorie di agenti raccolte.
- Generazione di 25,58 miliardi di token e 1,88 milioni di chiamate agli strumenti.
Analisi:
- Confronto tra temperature diverse (incluso $T=0$ , teoricamente deterministico).
- Analisi a livello di token per identificare il punto di divergenza delle traiettorie.
- Calcolo di metriche multiple: pass@1, pass@k (limite ottimistico) e pass^k (limite pessimistico).

3. Risultati Chiave

A. Variabilità Significativa nelle Esecuzioni Singole

Anche con configurazioni identiche, i punteggi di risoluzione variano notevolmente tra le diverse esecuzioni:

La differenza tra il punteggio minimo e massimo di un singolo run varia da 2,2 a 6,0 punti percentuali.
La deviazione standard supera spesso 1,5 punti percentuali.
Il mito del determinismo: Anche a temperatura 0.0, la variabilità persiste (deviazione standard fino a 1,8%). Questo è dovuto a non-determinismo nei motori di inferenza (precisione floating-point, parallelizzazione, hardware). Quindi, impostare $T=0$ non garantisce risultati riproducibili nelle valutazioni agentiche.

B. Divergenza Precoce delle Traiettorie

L'analisi a livello di token ha rivelato che le traiettorie divergono molto presto:

La divergenza avviene spesso entro i primi token (spesso entro l'1% della lunghezza totale della traiettoria).
Effetto Farfalla: Una piccola differenza iniziale nel ragionamento (es. "Cerchiamo il file" vs "Controlliamo la directory") cambia la distribuzione di probabilità per i token successivi, portando a chiamate agli strumenti diverse e, infine, a strategie di risoluzione completamente opposte (successo vs fallimento).
Questo fenomeno è stato osservato anche a temperatura 0, dimostrando che la casualità è intrinseca al processo di inferenza autoregressiva.

C. Ampiezza del "Performance Envelope" (Pass@k vs Pass^k)

Utilizzando metriche multiple, gli autori hanno quantificato quanto il successo dipenda dall'esplorazione stocastica:

Pass@k (Ottimistico): La probabilità che almeno uno tra $k$ tentativi abbia successo.
Pass^k (Pessimistico): La probabilità che tutti i $k$ tentativi abbiano successo.
Risultato: Esistono gap fino a 24,9 punti percentuali tra il caso migliore e quello peggiore. Ad esempio, un agente potrebbe risolvere il 34% dei task al primo tentativo, ma fino al 53% con 5 tentativi (pass@5), mentre solo il 15% viene risolto in modo coerente in tutti i 5 tentativi (pass^5). Questo indica che il successo è spesso legato a scelte casuali favorevoli piuttosto che a una capacità deterministica robusta.

4. Contributi Principali

Studio Empirico su Larga Scala: Quantificazione della varianza nelle valutazioni agentiche (60k traiettorie, 25B token).
Analisi della Divergenza: Dimostrazione che le traiettorie si separano precocemente (entro i primi token) e che questo si propaga attraverso il meccanismo di condizionamento autoregressivo.
Caratterizzazione dei Limiti di Performance: Introduzione dell'uso combinato di pass@k e pass^k per definire i limiti ottimistici e pessimistici delle capacità di un agente.
Raccomandazioni Pratiche: Proposta di nuove linee guida per valutazioni scientificamente solide.

5. Significato e Raccomandazioni

Il paper conclude che le attuali pratiche di valutazione sono metodologicamente insostenibili per il progresso scientifico reale. Per distinguere il progresso algoritmico dal rumore statistico, gli autori raccomandano tre pratiche concrete:

Multiple Run per Task: Stimare il pass@1 basandosi su multiple esecuzioni indipendenti per ogni task, specialmente quando si misurano piccoli miglioramenti.
Analisi della Potenza Statistica: Utilizzare l'analisi della potenza statistica per determinare il numero necessario di run. Ad esempio, per rilevare un miglioramento del 2% con una potenza dell'80% e una varianza media, sono necessari circa 9 run per agente. Per un miglioramento dell'1%, servono fino a 36 run.
Report Completo delle Metriche: Non limitarsi al pass@1, ma riportare anche pass@k (limite ottimistico) e pass^k (limite pessimistico) per caratterizzare l'intera "busta" delle prestazioni e la robustezza dell'agente.

Conclusione: Sebbene queste pratiche aumentino i costi computazionali, sono essenziali per evitare decisioni basate su dati inaffidabili e per garantire che il campo dell'IA agentiche progredisca su basi scientifiche solide, distinguendo il segnale reale dal rumore di valutazione.