🤖 AI

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

Questo articolo mette in discussione l'assunto di una stabilità nelle classifiche dei grandi modelli linguistici dimostrando che variare i budget di token di inferenza altera significativamente le prestazioni e l'ordine dei modelli, rivelando comportamenti non monotoni, inversioni di classifica e complementarità tra i modelli che rendono necessari protocolli di valutazione condizionati dal budget.

Autori originali: Rodrigo Guedes de Souza, Alison R. Panisson

Pubblicato 2026-08-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rodrigo Guedes de Souza, Alison R. Panisson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di trovarti in una biblioteca gigante dove i libri sono scritti da robot super intelligenti chiamati Large Language Models (LLM). Questi robot possono leggere quasi tutto e rispondere a domande su matematica, scienza e storia. Per molto tempo, le persone che cercavano di scegliere il robot "migliore" chiedevano semplicemente una domanda e vedevano chi dava la risposta corretta per primo. Presupponevano che se il Robot A era migliore del Robot B in un test, lo sarebbe sempre stato, indipendentemente dalle circostanze. Era come giudicare una corsa guardando solo chi tagliava il traguardo per primo, senza curarsi di quanto tempo fosse stato loro concesso di correre.

Ma ecco il colpo di scena: questi robot non "pensano" istantaneamente. Scrivono le loro risposte una parola alla volta, come una lunga catena di pensieri. Il limite di quante parole possono scrivere è chiamato "budget di token". Immagina di dare a uno studente un tempo diverso per sostenere un esame. Alcuni studenti potrebbero aver bisogno di molto tempo per risolvere un puzzle difficile, mentre altri potrebbero confondersi se hanno troppo tempo e iniziano a rimuginare eccessivamente. La grande domanda per gli scienziati è: il robot "migliore" rimane il migliore se cambiamo il limite di tempo? O il vincitore cambia a seconda di quanto tempo lasciamo loro pensare? È esattamente ciò che i ricercatori volevano scoprire.

Il problema dell'"Overthinking": perché più tempo non è sempre meglio

In questo studio, i ricercatori hanno allestito un esperimento massiccio per vedere come quattro diversi modelli di IA si comportassero su tre test complicati: matematica della scuola elementare, matematica a livello di competizione e domande di scienza a livello di laurea specialistica. Non si sono limitati a lasciare che i modelli corressero; li hanno costretti a fermarsi dopo quantità specifiche di "pensiero" (misurate in token). Hanno testato sette diversi limiti, che andavano da un minuscolo 64 token (pochissimo tempo per pensare) fino a un enorme 4.096 token (molto tempo per pensare).

Ciò che hanno scoperto è che l'idea di un singolo modello "migliore" è un mito. Le classifiche dei modelli sono cambiate e si sono invertite a seconda interamente di quanto tempo veniva loro concesso.

La sorpresa dell' "Overthinking"
Potresti pensare che dare a un robot più tempo per pensare lo aiuterà sempre a trovare la risposta corretta. Ma i ricercatori hanno scoperto qualcosa di strano: a volte, dare a un modello più token lo portava ad arrivare alla risposta sbagliata. Lo chiamano "overthinking" (rimuginare eccessivamente).

Immagina uno studente che conosce la risposta a un problema di matematica. Se gli dai 10 minuti, la scrive correttamente. Ma se gli dai 30 minuti, potrebbe iniziare a dubitare di se stesso, cambiare risposta e finire per sbagliare. Lo studio ha scoperto che questo accadeva per circa il 3% - 19% delle domande. Peggio ancora, questo non era un problema delle domande stesse; era specifico per ogni robot. Una domanda che faceva "rimuginare" un modello portandolo al fallimento, poteva essere perfettamente gestibile per un altro modello. È come come una persona possa diventare nervosa se ha troppo tempo per preparare un discorso, mentre un'altra ne trae beneficio.

I grandi scambi in classifica
A causa di ciò, il "vincitore" della corsa continuava a cambiare.

Nel test di matematica più facile (GSM8K), un modello enorme (LLaMA-3.3 70B) era il campione quando riceveva una quantità media di tempo (256 token). Ma non appena hanno dato ai modelli più tempo (fino a 4.096 token), un modello più piccolo (GPT-OSS 20B) ha preso il comando e vi è rimasto.
Nel test di scienza più difficile (GPQA), il modello più piccolo (LLaMA-3 8B) era in realtà il migliore quando il tempo era limitato (256–512 token). Ma con l'aumentare del tempo, i modelli più grandi hanno recuperato il terreno e alla fine si sono pareggiati per il primo posto.

Questo significa che se guardi oggi una classifica che dice "Il Modello X è il migliore", questa affermazione è vera solo per una specifica quantità di tempo. Se cambi il limite di tempo, il Modello X potrebbe improvvisamente diventare il peggiore.

Il divario dell' "Oracolo": perché abbiamo bisogno di un interruttore intelligente
I ricercatori si sono anche chiesti: "Se potessimo magicamente scegliere il modello perfetto per ogni singola domanda, quanto faremmo meglio?". Hanno costruito un "Oracolo" teorico (un selettore perfetto) che sceglieva il modello migliore per ogni specifica domanda e limite di tempo.

I risultati sono stati scioccanti. Nel test di scienza più difficile, questo selettore perfetto poteva ottenere 27,8 punti percentuali in più di risposte corrette rispetto al singolo miglior modello che lavorava da solo. Anche nei test di matematica più facili, il divario era significativo (fino a 16,9 punti). Questo prova che nessun singolo robot è bravo in tutto. A volte il robot piccolo è il migliore, a volte quello grande, e a volte sono tutti sbagliati.

Possiamo costruire un interruttore intelligente?
Il team ha provato a costruire un "router" — un sistema intelligente che guarda una domanda e il limite di tempo, e poi decide quale robot debba rispondere.

All'interno dello stesso tipo di test: Quando hanno addestrato il router su problemi di matematica e lo hanno testato su problemi di matematica, ha funzionato molto bene. Usare il "limite di tempo" come indizio ha aiutato a scegliere il robot giusto, migliorando l'accuratezza di 1,6 - 5,7 punti.
Tra test differenti: Ma quando hanno provato a usare lo stesso router per passare da domande di matematica a domande di scienza, si è confuso. Gli indizi del "limite di tempo" che funzionavano per la matematica non funzionavano per la scienza. In effetti, usare quegli indizi ha fatto performare il router peggio di 1,2 punti quando passava tra i domini. Questo suggerisce che la relazione tra "quanto tempo hai" e "ottenere la risposta corretta" è diversa per ogni materia.

Il punto chiave

La lezione principale di questo articolo è semplice ma potente: non esiste un singolo modello di IA "migliore". La risposta a "quale modello è il migliore?" dipende interamente da "quanto tempo gli lasci pensare".

Se stai costruendo un'app per uno smartphone dove puoi dare all'IA pochissimo tempo, un modello piccolo e veloce potrebbe essere il tuo campione. Se stai gestendo un server dove puoi dare all'IA ore per pensare, un modello diverso e più grande potrebbe vincere. Il vecchio modo di classificare i modelli — ovvero scegliere un unico vincitore per tutti — è rotto. Invece, dobbiamo dire: "Il Modello A è il migliore per risposte brevi, il Modello B è il migliore per risposte lunghe e, a volte, se gli dai troppo tempo, potrebbe semplicemente sbagliare tutto".

I ricercatori suggeriscono che in futuro dovremmo smettere di chiedere un punteggio singolo e iniziare a riportare come i modelli si comportano a diversi limiti di tempo. E se vogliamo usare questi modelli in modo efficace, abbiamo bisogno di sistemi intelligenti che sappiano quando chiamare il pensatore veloce e piccolo e quando chiamare il pensatore grande e lento — perché il vincitore cambia nel momento in cui il cronometro inizia a scorrere.

Sintesi Tecnica: Classifiche Dipendenti dal Budget nella Valutazione degli LLM

Definizione del Problema

La valutazione standard dei Large Language Model (LLM) assume che le classifiche dei modelli siano stabili e invarianti rispetto alle condizioni di inferenza. Nello specifico, presume che un modello dichiarato "stato dell'arte" su un benchmark (ad es. GSM8K, GPQA) mantenga la sua superiorità indipendentemente dal budget di token — ovvero il numero massimo di token che un modello è autorizzato a produrre prima della troncamento.

Questo articolo contesta tale assunzione. Esso postula che il panorama della valutazione sia fondamentalmente dipendente dal budget. La letteratura recente sullo scaling del calcolo al tempo di test suggerisce che l'aumento del limite di token può migliorare le prestazioni, mentre la letteratura sul "overthinking" (pensare troppo) suggerisce che l'aggiunta di token possa degradare l'accuratezza. Tuttavia, l'interazione tra questi effetti attraverso diversi modelli e task rimane non quantificata. Il problema centrale è se le classifiche dei modelli, la difficoltà degli item e la complementarità dei modelli siano proprietà statiche o funzioni del budget di token.

Metodologia

Gli autori hanno condotto un'indagine sistematica che coinvolge quattro modelli di ragionamento open-weight e tre benchmark di ragionamento attraverso sette distinti budget di token.

Modelli: Quattro modelli che coprono un ordine di grandezza nel conteggio dei parametri: LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B e GPT-OSS 20B.
Benchmark: Tre dataset di difficoltà crescente:
- GSM8K (1.319 problemi di matematica per la scuola elementare).
- MATH-500 (500 problemi di matematica a livello competitivo).
- GPQA-Diamond (198 domande di scienza a livello di dottorato).
Budget di Token: Sette livelli che vanno da 64 a 4.096 token ( $b \in \{64, 128, 256, 512, 1024, 2048, 4096\}$ ).
Configurazione Sperimentale: Sono state generate in totale 56.476 singole inferenze con temperatura $T=0$ per garantire il determinismo.
Protocollo di Valutazione:
- Gestione del Troncamento: Lo studio impiega un'analisi a tre livelli per separare i veri fallimenti di ragionamento dagli artefatti di troncamento:
  1. Tutti gli item: Punteggio standard dove gli output troncati sono segnati come errati.
  2. Solo stop: Limitare l'analisi agli item in cui un modello specifico ha completato la generazione.
  3. Comuni non troncati: Limitare l'analisi agli item in cui tutti e quattro i modelli hanno completato la generazione, consentendo confronti a coppie.
- Metriche: Correttezza binaria (corrispondenza esatta), test di McNemar per la significatività della classifica, similarità di Jaccard per l'accordo tra modelli e analisi del gap Oracle (differenza tra un ensemble oracle per item e il miglior singolo modello).

Contributi Chiave e Risultati

1. Tassonomia Comportamentale a Livello di Item

Gli autori classificano le traiettorie modello-item in quattro categorie: sempre corretto, monotona crescente, non monotona e sempre errato.

Comportamento Non Monotono: Contrariamente all'assunto che più token aiutino sempre, il 3,6–25,8% degli item mostra un comportamento non monotono (l'accuratezza diminuisce all'aumentare del budget), rappresentando l'overthinking.
Specificità del Modello: Questo fenomeno è ampiamente specifico per ogni modello. La sovrapposizione cross-modello degli item non monotoni è bassa (6–14%), il che significa che un item che innesca l'overthinking in un modello raramente lo fa in un altro. Ciò implica che gli item "problematici" non possono essere semplicemente rimossi dai benchmark per risolvere il problema.
Validazione: Anche dopo aver filtrato gli artefatti di troncamento (utilizzando le traiettorie di solo stop), i tassi non monotoni rimangono sostanziali (ad es. 19,1% per LLaMA-3 8B su GPQA), confermando che l'overthinking è un vero fallimento del ragionamento.

2. Inversioni di Classifica Statisticamente Significative

Le classifiche dei modelli non sono stabili; il "miglior" modello cambia a seconda del budget.

GSM8K: LLaMA-3.3 70B guida a $b=256$ (62,4%), ma GPT-OSS 20B lo supera a $b=512$ e mantiene un vantaggio significativo a $b=4096$ (94,9% contro 91,7%).
GPQA: Il modello più piccolo (LLaMA-3 8B) si classifica primo ai bassi budget ( $b=256, 512$ ), viene superato da LLaMA-3.3 70B a $b=1024$ , ed è infine eguagliato da GPT-OSS 20B a $b=4096$ .
Significatività: Queste inversioni sono statisticamente significative ( $p < 0,01$ tramite test di McNemar) in tutti i benchmark, anche controllando il troncamento sui set comuni non troncati.

3. Dinamiche del Gap Oracle

Un ensemble oracle (che seleziona il modello corretto per ogni item) rivela un potenziale significativo di miglioramento tramite la selezione del modello.

Entità: Il gap oracle (accuratezza oracle meno il miglior singolo modello) varia da +3,5 pp a +27,8 pp.
Dipendenza dal Budget:
- Su GSM8K, il gap è non monotono, con un picco a $b=256$ (+16,9 pp) mentre i modelli risolvono item differenti, per poi declinare man mano che convergono su item più facili ad alti budget.
- Sui benchmark più difficili (MATH-500, GPQA), il gap cresce monotonicamente, raggiungendo rispettivamente +12,8 pp e +27,8 pp a $b=4096$ .
Complementarità: Anche ad alti budget, i modelli risolvono subset di item significativamente diversi (similarità di Jaccard $\approx 0,74$ a $b=4096$ ), indicando una persistente complementarità.

4. Prova di Concetto di Routing Consapevole del Budget

Gli autori hanno addestrato classificatori XGBoost per instradare gli item al miglior modello basandosi sulle caratteristiche testuali e sul budget di token.

Performance Cross-Domain: Quando addestrato su GSM8K+MATH-500 e testato su GPQA, il router ha ottenuto un +2,67 pp rispetto alla baseline "Best-Per-Budget", catturando il 14,1% del gap oracle.
Importanza delle Caratteristiche: L'analisi SHAP mostra che il budget di token è la caratteristica dominante (6,1 $\times$ più importante delle caratteristiche testuali come la presenza di LaTeX).
Specificità del Dominio: Mentre le caratteristiche del budget migliorano le prestazioni all'interno di un dominio (+1,6 a +5,7 pp), danneggiano il trasferimento cross-domain (−1,2 pp). Ciò indica che la relazione tra budget e accuratezza è specifica per il dominio e non si generalizza direttamente dalla matematica alla scienza.

Significato e Implicazioni

L'articolo sostiene che la domanda "quale modello è il migliore?" non ha una risposta univoca; dipende dal budget di generazione dei token. Gli autori propongono tre implicazioni azionabili:

Protocolli di Valutazione: I benchmark dovrebbero adottare una valutazione condizionata al budget, riportando le classifiche a più livelli di budget piuttosto che un singolo punteggio statico. Questo è critico per gli scenari di deployment vincolati (ad es. mobile, edge) dove budget generosi sono in fattibilità.
Sistemi di Routing: I sistemi di selezione e routing dei modelli devono trattare il budget di token come un segnale di prima classe. Tuttavia, poiché le mappature budget-accuratezza sono specifiche per dominio, i sistemi di routing dovrebbero combinare i segnali di budget con caratteristiche domain-agnostic o tecniche di adattamento.
Opportunità di Ensemble: I sostanziali gap oracle documentati rappresentano un'opportunità concreta per gli metodi di ensemble e di routing per sfruttare la complementarità dei modelli, ottenendo potenzialmente guadagni di prestazione significativi rispetto ai deployment a singolo modello.

Lo studio conclude che il panorama della valutazione degli LLM è fondamentalmente dipendente dal budget, con le classifiche dei modelli, la difficoltà degli item e la complementarità che variano tutte in funzione del limite di token della generazione all'inferenza.