💬 NLP

Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions

Questo articolo introduce un framework di valutazione in stile esame che rivela come gli attuali modelli di ragionamento non riescano ad allocare strategicamente un budget di calcolo condiviso durante il tempo di esecuzione tra più domande, comportandosi invece come risolutori sequenziali avidi che danno priorità all'ordine di presentazione rispetto alla difficoltà o al valore della domanda.

Autori originali: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Pubblicato 2026-08-11

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere seduto in una gigantesca biblioteca tecnologica dove i libri sono scritti da computer super intelligenti chiamati "modelli di ragionamento". Questi computer sono incredibili nel risolvere enigmi, ma hanno una strana particolarità: più l'enigma è difficile, più loro "pensano" prima di rispondere. Questo processo di pensiero costa qualcosa chiamato "compute", che è come una scorta limitata di energia o un limite di tempo rigoroso durante un test. Gli scienziati sanno da tempo che se si dà a questi computer più tempo per pensare a un singolo problema difficile, essi migliorano nel risolverlo. Ma è emersa una nuova domanda: cosa succede quando dai al computer una pila di diversi enigmi, ma con un unico limite di tempo condiviso per l'intera pila? Il computer può decidere quali enigmi meritano di ricevere la sua energia, o si limita a procedere con determinazione attraverso di essi nell'ordine in cui appaiono, sprecando il suo tempo sui problemi facili e finendo la benzina prima ancora di vedere quelli difficili? Questo è il grande mistero che i ricercatori stanno cercando di risolvere, perché se questi computer intelligenti non sono in grado di gestire la propria energia su un gruppo di compiti, potrebbero fallire in situazioni del mondo reale in cui devono gestire molti lavori contemporaneamente.

Questo articolo, intitolato "Thinking Hard, Not Smart" (Pensare con intensità, non con intelligenza), affronta esattamente questo problema. I ricercatori hanno organizzato un "esame" digitale per diversi dei modelli di ragionamento più avanzati al mondo. Invece di dare a ogni domanda il proprio limite di tempo, hanno dato all'intero esame un unico budget condiviso di "token di pensiero" (un'unità di sforzo computazionale). L'esame includeva domande di diversa difficoltà, alcune con un punteggio più alto di altre, e i modelli dovevano capire come dividere la loro energia limitata per ottenere il punteggio totale più alto. I risultati sono stati un po' uno shock: i modelli non sono riusciti ad agire come studenti strategici durante un esame. Invece di saltare una domanda difficile e a basso punteggio per risparmiare energia per una facile e ad alto punteggio, si sono comportati come uno studente avido che legge semplicemente le domande dall'alto verso il basso. Hanno dedicato una enorme quantità di sforzo alle prime domande, spesso esaurendo i token prima ancora di arrivare alla fine del compito, indipendentemente da quanti punti valessero le domande successive.

Lo studio ha scoperto che questi modelli sono strateghi "ciechi rispetto alla posizione". Non sembrano curarsi se una domanda è etichettata come "Difficile" o "Facile", o se vale 20 punti o 5. Seguono principalmente l'ordine in cui le domande vengono presentate. Se una domanda è la prima, vi riversano tutta la loro energia; se è l'ultima, spesso la ignorano completamente. I ricercatori hanno testato questo aspetto rimescolando l'ordine delle domande e cambiando i loro valori di punteggio, ma i modelli non si sono adattati. Anche quando i ricercatori hanno fornito ai modelli un prompt speciale dicendo loro di "pianificare in anticipo" e "allocare con saggezza", i modelli non hanno cambiato le proprie abitudini. Hanno continuato a spendere la loro energia nello stesso modo, solo distribuendo la stessa mancanza di strategia in modo un po' più uniforme. L'articolo suggerisce che, sebbene questi modelli stiano diventando bravi a "pensare intensamente" su un singolo problema, non hanno ancora imparato a "pensare con intelligenza" su quali problemi valga la pena considerare.

Per rendere la cosa più chiara, immagina di avere uno zaino con un limite di peso rigido di 10 libbre e di trovarti a un mercatino dell'usato con 20 articoli. Alcuni articoli sono pesanti ma valgono molto denaro (alto valore, alto costo), altri sono leggeri ma valgono pochissimo (basso valore, basso costo) e altri ancora sono pesanti ma senza valore. Un acquirente intelligente guarderebbe l'intera lista, sceglierebbe gli articoli che offrono il miglior "rapporto valore per libbra" e riempirebbe lo zaino per ottenere più denaro. Ma questi modelli di IA si sono comportati come un acquirente che afferra semplicemente il primo articolo che vede, poi il secondo, poi il terzo, infilandoli nello zaino finché non è troppo pesante da sollevare. Quando arrivavano alla fine della fila, non avevano più spazio per i migliori affari. I ricercatori hanno scoperto che man mano che il numero di domande (o articoli) cresceva da 5 a 20, i modelli diventavano peggio nel coprire l'intera lista. Ad esempio, con 20 domande, i modelli hanno svolto un lavoro serio su circa 4 o 8 di esse, lasciando il resto completamente non toccato.

L'articolo ha anche esaminato se i modelli reagissero alla difficoltà delle domande. Si scopre che dedicano effettivamente più tempo alle domande difficili, ma solo dopo che le hanno già iniziate. Non guardano una domanda difficile e dicono: "Questa sembra dura, la salterò per risparmiare energia per dopo". Invece, si tuffano, si rendono conto che è difficile e continuano finché non esauriscono l'energia. Questo è ciò che gli autori chiamano pensiero "reattivo" piuttosto che "prospettico". Sono bravi a risolvere un problema una volta iniziato, ma sono scarsi nel decidere quali problemi iniziare in primo luogo.

Interessantemente, i ricercatori hanno testato questo sia su problemi di matematica che su problemi di programmazione, e i risultati sono stati gli stessi. Che il compito fosse risolvere un'equazione o scrivere un programma informatico, i modelli si sono comportati come un treno su un binario fisso: procedevano in avanti, un problema alla volta, finché il carburante non finiva. Non cambiavano binario per raggiungere le fermate più facili o più preziose. Lo studio conclude che questa capacità di gestire un budget condiviso tra più compiti è una competenza distinta di cui gli attuali modelli sono privi. Sanno come pensare intensamente, ma non hanno ancora capito come razionare il proprio pensiero. Questo non è solo un piccolo intoppo; suggerisce che mentre chiediamo a questi modelli di svolgere lavori più complessi e a più fasi, potremmo dover insegnare loro un nuovo tipo di "metacognizione" — la capacità di pensare al proprio modo di pensare e di gestire le proprie risorse, non solo di risolvere l'enigma che hanno davanti.

Sintesi Tecnica: Pensare con Fatica, Non con Astuzia

Definizione del Problema

I modelli linguistici di ragionamento attuali sfruttano sempre più il calcolo durante il tempo di esecuzione (test-time compute) per migliorare le prestazioni su singoli problemi. Tuttavia, le valutazioni esistenti tipicamente esaminano questi modelli un quesito alla volta, assegnando un budget indipendente a ciascuno. Questa configurazione non riesce a catturare un vincolo critico nel deployment nel mondo reale: l'allocazione del budget globale. Quando più problemi competono per un singolo budget di inferenza finito (ad esempio, un limite di token o un vincolo di latenza), un modello deve prendere decisioni strategiche su come distribuire le proprie risorse di calcolo. Deve determinare quali problemi vale la pena tentare, quando saltare o differire un compito e quanta energia investire in ciascuno per massimizzare il punteggio totale.

Il documento postula che, sebbene i modelli possano essere capaci di "pensare con fatica" (think hard) su un singolo problema, manchino del controllo metacognitivo per "pensare con astuzia" (think smart) attraverso un insieme di problemi competitivi. Nello specifico, non è chiaro se i modelli siano in grado di stimare il valore di una domanda rispetto al suo costo e di regolare dinamicamente la propria strategia di ragionamento per ottimizzare l'utilità globale, similmente alla risoluzione di un problema del sacco (knapsack problem) dove i pesi (costi) non sono esplicitamente noti.

Metodologia

Framework di Valutazione: L'Ambiente "Esame"

Gli autori introducono un framework di valutazione in stile esame per indagare l'allocazione del budget condiviso.

Task: Al modello vengono presentati $N$ quesiti simultaneamente, ciascuno con un valore di punteggio visibile ( $v_i$ ).
Vincolo: Il modello riceve un singolo budget condiviso di $B$ token di ragionamento per l'intero esame.
Obiettivo: Massimizzare il punteggio totale (somma dei punti per le domande risposte correttamente).
Meccanismo: Il modello genera un singolo tracciato di ragionamento (reasoning trace) per l'intero esame. Il prompt non impone un ordine specifico. Dopo la fase di ragionamento, al modello viene chiesto di fornire le risposte finali basandosi sul tracciato.

Dataset e Costruzione

Fonte: Gli esperimenti primari utilizzano Omni-MATH (Gao et al., 2024).
Variabili: Gli esami sono costruiti con $N \in \{5, 10, 20\}$ quesiti.
Schemi di Punteggio: Per testare la sensibilità al valore, gli autori variano le assegnazioni di punteggio:
- Fisso: Tutti i quesiti valgono 10 punti.
- Casuale: Punteggi da 1 a 15, indipendenti dalla difficoltà.
- Allineato: I quesiti più difficili ricevono punteggi più alti.
- Invertito: I quesiti più facili ricevono punteggi più alti.
Ordinamento: I quesiti sono presentati in ordine casuale, con difficoltà crescente o decrescente, per scindere la posizione di presentazione dalla difficoltà intrinseca.

Modelli Valutati

Lo studio copre una gamma di modelli open-weight e frontier:

Open-Weight: DeepSeek-R1-Distill-Qwen (7B, 14B) e Qwen3 (8B, 14B, 32B).
Modelli API: DeepSeek-V4 Flash e Pro (versioni preview).
Generalizzazione: Le scoperte sono validate su un dominio di ragionamento sul codice utilizzando CRUXEval-O.

Metriche

Per analizzare il comportamento di allocazione, gli autori definiscono:

Sforzo di Token ( $t_i$ ): Il numero totale di token di ragionamento attribuiti al quesito $i$ .
Set di Lavoro ( $W$ ): Quesiti che ricevono uno sforzo sostanziale (definito come $\ge 200$ token o $\ge 2$ segmenti di ragionamento).
Ordine di Risoluzione: La sequenza in cui i quesiti in $W$ vengono affrontati in modo sostanziale, determinata dal baricentro ponderato dai token dei loro segmenti di ragionamento.
Analisi di Correlazione: Vengono calcolate le correlazioni di Spearman tra i comportamenti di allocazione (sforzo, ordine) e i segnali (posizione di presentazione, difficoltà, valore del punteggio). Si utilizzano correlazioni parziali per controllare i confondimenti tra posizione e difficoltà.

Risultati Chiave

1. Allocazione Sequenziale, non Strategica

I modelli si comportano ampiamente come risolutori sequenziali avidi (greedy sequential solvers) piuttosto che come allocatori strategici.

Dominanza della Posizione: Il predittore più forte sia dello sforzo che dell'ordine di risoluzione è la posizione di presentazione. I modelli danno priorità ai quesiti in base all'ordine in cui appaiono nel prompt.
Negligenza dei Quesiti Successivi: All'aumentare del numero di quesiti ( $N$ ), il ragionamento si concentra sempre più sulla parte iniziale dell'esame. La correlazione tra posizione di presentazione ed effort di token è fortemente negativa ( $\rho \approx -0.48$ per $N=20$ ), mentre la correlazione tra posizione e ordine di risoluzione è fortemente positiva ( $\rho \approx +0.68$ ).
Insensibilità al Valore: I modelli mostrano una sensibilità trascurabile ai punteggi dichiarati. La correlazione tra sforzo/ordine e valori dei punteggi rimane vicina allo zero in tutte le condizioni.

2. Gestione della Difficoltà Reattiva, non Prospettica

I modelli non allocano proattivamente più calcolo ai quesiti difficili prima di tentarli.
Sebbene i quesiti più difficili ricevano effettivamente più token, si tratta di un effetto reattivo: una volta che un modello entra in un quesito difficile, continua a ragionare finché il budget non si esaurisce o il problema viene risolto. Questo effetto si indebolisce man mano che il budget si stringe (ovvero all'aumentare di $N$ ), suggerendo che i modelli non possono identificare preventivamente i problemi ad alto costo per saltarli o differirli.

3. La Pressione del Budget Amplifica il Fallimento

Contrazione della Copertura: Man mano che la lunghezza dell'esame aumenta, la frazione di quesiti che riceve uno sforzo sostanziale (copertura) diminuisce monotonicamente. Per $N=20$ , la copertura scende a circa il 40% per i modelli open e fino al 23% per i modelli API.
Tasso di Zero-Token: Una frazione significativa di quesiti (fino al 69% per DSV4-F a $N=20$ ) non riceve alcun token di ragionamento, indicando che vengono di fatto ignorati.

4. I Prompt di Pianificazione non Risolvono il Probleo

Istruzioni esplicite per "pianificare l'allocazione" o "considerare difficoltà e costo" migliorano la copertura (i modelli tentano più quesiti) ma non riescono a indurre una prioritizzazione consapevole del valore.
I modelli continuano comunque a seguire l'ordine di presentazione e non adattano la loro strategia quando i valori o le difficoltà dei quesiti vengono riordinati o ricalibrati.

5. Generalizzazione al Ragionamento sul Codice

Gli stessi pattern comportamentali (risoluzione guidata dalla posizione, insensibilità al valore) si estendono ai compiti di ragionamento sul codice in CRUXEval-O, indicando che questo è un limite fondamentale delle attuali architetture di ragionamento piuttosto che un artefatto specifico del dominio.

Contributi

Framework di Valutazione: Il paper introduce un framework controllato in "stile esame" per studiare l'allocazione del budget condiviso, distinguendolo dalle convenzionali valutazioni per singolo quesito.
Analisi Basata sui Tracciati: Fornisce un'analisi granulare basata sui tracciati dell'effort di ragionamento realizzato e dell'ordine di risoluzione, rivelando il divario tra la capacità di ragionamento a livello di oggetto e il controllo strategico.
Evidenza Empirica: Stabilisce che gli attuali modelli di ragionamento, nonostante la loro capacità di risolvere problemi compli singoli, non riescono a esibire il controllo metacognitivo necessario per allocare il calcolo strategicamente tra compiti competitivi.

Significato e Rivendicazioni

Il paper conclude che l'allocazione del budget globale è una capacità distinta che non viene catturata dalle valutazioni convenzionali. Gli autori sostengono che i modelli attuali "sanno come pensare con fatica al quesito che hanno davanti, ma non come decidere quale quesito valga la pena considerare".

Le scoperte suggeriscono che semplicemente scalare i modelli di ragionamento o migliorare le prestazioni per singolo quesito non sarà sufficiente per scenari con risorse globali finite. L'incapacità di razionare il calcolo strategicamente — specificamente il fallimento nel dare priorità in base al valore e la tendenza a concentrare lo sforzo all'inizio indipendentemente dal valore del quesito — rappresenta un collo di bottiglia significativo per il deployment dei modelli di ragionamento in ambienti con vincoli di costo o multi-task. Il paper non propone una soluzione, ma evidenzia questa come una sfida critica e ancora non affrontata per il settore.