💬 NLP

When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

Questo articolo introduce un benchmark diagnostico che dimostra come, sebbene i grandi modelli linguistici raggiungano un'alta accuratezza in compiti procedurali brevi, la loro capacità di eseguire fedelmente algoritmi passo-passo degradi significativamente all'aumentare della complessità, rivelando che le prestazioni elevate nei benchmark spesso nascondono debolezze sostanziali nel seguire le istruzioni.

Autori originali: Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

Pubblicato 2026-05-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Principale: Il Test della "Ricetta"

Immagina di dare a uno chef una ricetta molto specifica, passo dopo passo, per fare una torta. La ricetta dice: "Mescola farina e zucchero. Poi aggiungi le uova. Poi mescola per 10 secondi. Poi inforna".

Potresti aspettarti che lo chef segua ogni singola istruzione in ordine. Ma cosa succede se lo chef, invece di seguire i passaggi, indovina semplicemente come sa solitamente una torta e ti consegna un risultato? O cosa succede se si ferma a metà, dimentica gli ultimi tre passaggi e dice semplicemente: "Ecco la torta"?

Questo documento è come una gigantesca cucina sperimentale dove i ricercatori hanno fornito a 14 diversi modelli AI "chef" (Large Language Models) migliaia di queste ricette specifiche. Le ricette erano semplici problemi matematici, ma erano state progettate per essere lunghe e insidiose. L'obiettivo non era vedere se l'AI poteva fare matematica difficile, ma se poteva seguire fedelmente le istruzioni dall'inizio alla fine.

La Preparazione: La "Scala Senza Fine"

I ricercatori hanno costruito un test speciale con due modi principali per rendere il compito più difficile:

La Lunghezza della Scala: Hanno dato all'AI ricette con un numero di passaggi che variava da 5 a 95. Immagina una scala. Una scala di 5 gradini è facile da salire. Una scala di 95 gradini è estenuante.
La Regola del "Ritorno Indietro": In alcune ricette, il passaggio 10 non utilizzava solo il risultato del passaggio 9. Potrebbe aver detto: "Torna indietro e usa il risultato del passaggio 3". È come dire a un escursionista: "Fai un passo avanti, poi torna indietro al terzo albero che hai incontrato e raccogli una pietra da lì". Questo costringe l'AI a ricordare cose accadute molto tempo fa.

Cosa Hanno Trovato: Il "Dimenticare"

I risultati sono stati sorprendenti. Anche se la matematica era semplice (solo addizione, sottrazione, moltiplicazione o divisione), le prestazioni degli AI peggioravano sempre più man mano che le ricette diventavano più lunghe.

Il Crollo: Su una ricetta breve di 5 passaggi, gli AI davano la risposta corretta circa il 61% delle volte. Ma su una ricetta lunga di 95 passaggi, il loro tasso di successo crollava a solo il 20%.
Il Problema del "Ritorno Indietro": Quando l'AI doveva ricordare passaggi molto lontani (come il passaggio 3), le sue prestazioni calavano ulteriormente. È come se l'AI si confondesse su dove si trovasse nella storia.

Come gli AI Hanno Fallito: Gli "Chef Truffatori"

I ricercatori non hanno guardato solo la risposta finale; hanno osservato come l'AI tentava di risolvere il problema. Hanno scoperto che spesso gli AI non facevano effettivamente il lavoro. Invece, tentavano di "barare" o "tagliare le strade" in diversi modi divertenti:

L'"Uscita Anticipata" (Sottoesecuzione): Questo era l'errore più comune. L'AI iniziava la ricetta, eseguiva alcuni passaggi, si annoiava o si confondeva, e poi saltava direttamente alla fine, fingendo di aver finito tutto. È come uno studente che scrive la prima frase di un saggio, poi salta alla conclusione senza scrivere la parte centrale.
I Passaggi "Allucinati": A volte l'AI inventava passaggi extra che non erano affatto nella ricetta. È come uno chef che aggiunge "spolvera polvere di unicorno" quando la ricetta non ha mai detto di farlo.
La Trappola dell'"Auto-Correzione": A volte l'AI otteneva la risposta sbagliata, se ne rendeva conto e tentava di correggerla più avanti nel testo. Ma quando la correggeva, aveva già rovinato il risultato finale.
Il "Riconoscitore di Pattern": Invece di fare i calcoli, alcuni AI sembravano indovinare la risposta basandosi su come apparivano i numeri, piuttosto che seguire effettivamente i passaggi.

La Conclusione Principale

Il documento conclude che solo perché un'AI ti dà una risposta finale "plausibile", non significa che abbia effettivamente fatto il lavoro.

Pensaci come a uno studente che sostiene un esame. Se ottiene la risposta giusta, potresti pensare che abbia studiato. Ma questo documento mostra che a volte stanno solo indovinando o ricordando la risposta da un esame precedente, invece di risolvere effettivamente il problema passo dopo passo.

In breve: I modelli AI attuali sono ottimi nel sembrare intelligenti e nel fornire un risultato finale, ma faticano ad agire come un robot affidabile che segue una lunga e noiosa lista di istruzioni esattamente come scritta. Quando le istruzioni diventano troppo lunghe o richiedono di ricordare troppo dal passato, l'AI tende a perdere il filo e smette di seguire le regole.

1. Enunciato del Problema

Sebbene i Modelli Linguistici su Grande Scala (LLM) dimostrino prestazioni elevate nei benchmark di ragionamento, un'alta accuratezza nella risposta finale non garantisce che il modello abbia eseguito fedelmente la procedura specifica fornita nel prompt. I modelli spesso fanno affidamento su scorciatoie, corrispondenza di pattern, associazioni memorizzate o calcoli intermedi instabili per giungere a una risposta plausibile senza seguire effettivamente i passaggi prescritti.

Questa distinzione è critica per le applicazioni che richiedono un rigoroso rispetto degli algoritmi (ad esempio, calcoli numerici, processi decisionali basati su regole e flussi di lavoro strutturati). Il paper affronta il divario tra "apparire ragionevoli" e "eseguire fedelmente le istruzioni", in particolare all'aumentare della complessità del compito.

2. Metodologia

Gli autori introducono un benchmark diagnostico controllato progettato per isolare i fallimenti nell'esecuzione procedurale dall'ambiguità nell'interpretazione del compito.

Formulazione del Compito:
- Input: Due variabili numeriche ( $x$ e $y$ ).
- Procedura: Un algoritmo aritmetico passo-passo scritto in linguaggio naturale. L'algoritmo inizializza $S_1=x$ e $S_2=y$ , quindi definisce una sequenza di variabili intermedie ( $S_3, S_4, \dots$ ) utilizzando operazioni aritmetiche di base ( $+, -, \times, \div$ ).
- Obiettivo: Il modello deve eseguire l'algoritmo esattamente come scritto e restituire il valore calcolato finale.
- Verità Terrena (Ground Truth): Deterministica e facilmente verificabile tramite un esecutore esterno, eliminando l'ambiguità.
Assi di Complessità:
1. Lunghezza dell'Algoritmo: Il numero di passaggi ( $T$ ) varia da 5 a 95 (in incrementi di 10).
2. Dipendenze di Riferimento Indietro (Look-back): Per stressare il tracciamento dello stato, il benchmark introduce dipendenze in cui un passaggio corrente può richiedere il recupero di variabili intermedie da passaggi precedenti.
  - Look-back 1: Dipende solo dal passaggio immediatamente precedente.
  - Look-back 7: Dipende da uno qualsiasi dei 7 passaggi precedenti.
Costruzione del Dataset:
- Scala: 55 dataset per un totale di 55.000 esempi.
- Variabili: Combinazioni di intervalli di input ( $[0,1], [1,10], [10,100]$ ), tipi di dati (intero vs float) e varianti di operazioni (miste, solo addizione, solo sottrazione, ecc.).
Modelli Valutati:
- 14 Modelli: Che coprono varie scale (da 1,5 a 685 miliardi di parametri) e famiglie (DeepSeek, Qwen, Mistral, OLMo, OpenAI, ecc.), inclusi sia modelli standard addestrati alle istruzioni sia modelli orientati al ragionamento.
Metriche di Valutazione:
- Accuratezza della Prima Risposta: Correttezza della prima risposta estratta.
- Correct@Any: Correttezza se qualsiasi span di risposta nell'output è corretto (cattura l'autocorrezione).
- Tasso di Risposta Non Nulla: Percentuale di output contenenti un tag <answer> valido.
- Comportamento di Seguito dei Passaggi: Categorizzazione in Esatto (passaggi corretti), Sottoesecuzione (terminazione prematura) e Sovraesecuzione (passaggi extra).

3. Contributi Chiave

Benchmark Diagnostico: Un ambiente controllato e innovativo progettato specificamente per misurare la fedeltà procedurale piuttosto che la semplice correttezza della risposta finale.
Evidenza Empirica dell'"Illusione Procedurale": Dimostra che anche quando l'algoritmo completo è fornito esplicitamente, gli LLM falliscono frequentemente nell'eseguirlo fedelmente all'aumentare della complessità.
Analisi delle Modalità di Fallimento: Identifica specifiche modalità di fallimento a livello di generazione (ad esempio, sottoesecuzione, risposte mancanti, risposte premature) che sono invisibili quando si guarda solo all'accuratezza finale.
Sensibilità alla Profondità delle Dipendenze: Mostra che i modelli faticano significativamente non solo con sequenze lunghe, ma con il recupero di stati non locali (dipendenze di riferimento indietro).

4. Risultati Chiave

Degradazione dell'Accuratezza con la Complessità:
- Numero di Passaggi: L'accuratezza media della prima risposta crolla drasticamente dal 61% a 5 passaggi al 20% a 95 passaggi.
- Profondità di Riferimento Indietro: L'aumento della dipendenza di riferimento indietro da 1 a 7 riduce l'accuratezza media di ulteriori 18,43 punti percentuali, indicando una debolezza specifica nel tracciare stati intermedi non locali.
Modalità di Fallimento a Livello di Generazione:
- Sottoesecuzione: All'aumentare del numero di passaggi, la proporzione di generazioni "sottoeseguite" (che si fermano prima dell'ultimo passaggio) sale dal 24,25% al 50,87%.
- Esecuzione Esatta: Crolla dal 70,88% al 46,84%.
- Risposte Premature: Molti modelli generano una risposta all'inizio dell'output senza completare la traccia di ragionamento, suggerendo un affidamento alla corrispondenza di pattern piuttosto che all'esecuzione.
Fattori di Input e Compito:
- Tipo di Operazione: I compiti di addizione e sottrazione generalmente producono un'accuratezza superiore rispetto a moltiplicazione e divisione.
- Magnitudine: Sebbene la magnitudine numerica influisca sulle prestazioni in varianti specifiche (ad esempio, moltiplicazione), essa non spiega completamente il diffuso degrado dell'accuratezza. Il motore principale è il carico procedurale del tracciamento dello stato.
- Scala del Modello: I modelli più grandi generalmente performano meglio, ma la tendenza al declino dell'accuratezza con la complessità vale per tutte le dimensioni dei modelli.
Autocorrezione:
- Sebbene "Correct@Any" sia spesso superiore all'"Accuratezza della Prima Risposta", rivela che i modelli spesso commettono errori iniziali e tentano di autocorreggersi, ma falliscono comunque nel mantenere il flusso procedurale rigoroso richiesto.

5. Significato e Implicazioni

Limiti del Ragionamento Attuale: Lo studio mette in discussione l'assunto che "Chain-of-Thought" o tracce di ragionamento più lunghe equivalgano a un fedele rispetto delle istruzioni. I modelli spesso "allucinano" il processo o saltano passaggi interamente pur producendo un numero finale plausibile.
Sicurezza e Affidabilità: Per applicazioni ad alto rischio (ad esempio, calcoli finanziari, applicazione di politiche), affidarsi agli LLM per eseguire procedure esplicite multi-step è attualmente rischioso, poiché potrebbero fallire silenziosamente saltando passaggi o allucinando stati intermedi.
Direzioni Future: I risultati suggeriscono la necessità di:
- Nuovi obiettivi di addestramento che penalizzino esplicitamente le deviazioni procedurali.
- Agenti potenziati da strumenti (utilizzando calcolatori/esecutori esterni) per gestire le parti deterministiche degli algoritmi.
- Miglioramenti architetturali per un migliore tracciamento dello stato a lungo orizzonte e risoluzione delle dipendenze non locali.

In conclusione, il paper fornisce una lente rigorosa per valutare se gli LLM "pensano" davvero attraverso un problema o semplicemente "indovinano" l'esito, rivelando debolezze sostanziali nell'esecuzione fedele delle istruzioni all'aumentare della complessità procedurale.