Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models

1. Il Problema

Nonostante i recenti progressi dei Large Language Models (LLM) nel completamento e nella sintesi del codice, la loro capacità di ragionare effettivamente sull'esecuzione di un programma rimane poco chiara. Le valutazioni esistenti (come CruxEval, CodeMind e REval) si concentrano principalmente sulla previsione dell'output finale o su stati intermedi isolati, ma presentano limiti critici:

• Mancanza di Coerenza: Non verificano se la simulazione dell'esecuzione segua una logica coerente. Un modello potrebbe produrre un output corretto per "scorciatoie" (es. indovinare basandosi sul nome della funzione o sulla memorizzazione dei dati di addestramento) pur avendo una simulazione interna errata.
• Mancanza di Consistenza: Non valutano la coerenza del ragionamento attraverso diversi test o percorsi di esecuzione dello stesso programma.
• Inflazione delle Prestazioni: I modelli sembrano eccellere in compiti di debug o riparazione, ma spesso ciò è dovuto all'abbinamento di pattern o all'uso di scorciatoie linguistiche piuttosto che a una reale comprensione del flusso di controllo e dei dati.

2. Metodologia: CES (Code Execution Simulation)

Gli autori propongono CES, un nuovo task e framework di valutazione progettato per simulare l'esecuzione di un programma dato un input, unificando la previsione dell'output con la previsione degli stati intermedi del programma.

Caratteristiche Chiave di CES:

• Simulazione Flusso-Sensibile: A differenza di approcci precedenti che chiedono previsioni su singole istruzioni, CES richiede al modello di simulare l'intero flusso di esecuzione in un'unica richiesta (prompt), prevedendo variabili critiche, iterazioni di loop, predicati condizionali e rami di controllo.
• Prompting Adattivo: Utilizza l'apprendimento nel contesto (In-Context Learning) con esempi statici selezionati dinamicamente in base alla struttura del codice (loop, condizionali, annidamenti) per guidare il modello.
• Definizione delle Proprietà: CES analizza tre tipi di proprietà:
  1. Looping: Variabili di loop e iterabili.
  2. Branching: Predicati condizionali e rami presi/non presi.
  3. Return: Valori di output finali.

Metriche di Valutazione:

1. Coerenza del Ragionamento (Reasoning Coherency):

   • Definisce un ragionamento come "coerente" se la simulazione segue la logica comune di esecuzione, anche se i valori previsti sono errati.
   • Identifica tre regole di incoerenza:
     • Regola 1: I valori composti (es. risultato di una funzione zip) non derivano logicamente dai valori delle loro parti.
     • Regola 2: Incoerenza tra il predicato condizionale e il ramo preso (es. predicato vero ma ramo non preso).
     • Regola 3 (Cruciale): Output Corretto con Ragionamento Errato. Se il modello prevede l'output corretto ma la simulazione interna è errata, il caso è marcato come "sospettosamente corretto" (incoerente). Questo rileva allucinazioni, scorciatoie o data leakage.

2. Consistenza del Ragionamento (Reasoning Consistency):

   • Valuta la capacità del modello di ragionare coerentemente su diversi test che coprono gli stessi o diversi cammini primi (prime paths) nel grafo di flusso di controllo (CFG).
   • Classifica la consistenza in tre livelli:
     • Forte (Strong): Corretto su test con percorsi diversi.
     • Debole (Weak): Corretto solo su test con percorsi identici.
     • Casuale (Random): Nessuna consistenza osservabile.

3. Contributi Chiave

• Introduzione di CES: Un task unificato che unisce previsione di output e stati intermedi, permettendo un'analisi diagnostica del punto esatto in cui la simulazione diverge dalla realtà (punto di divergenza).
• Rilevamento di Successi "Sospetti": Capacità di filtrare i casi in cui un modello ottiene un risultato corretto per "fortuna" o scorciatoie, fornendo una valutazione più onesta delle capacità di ragionamento.
• Analisi di Consistenza Multi-Test: Una nuova metrica per valutare la robustezza del ragionamento induttivo degli LLM su diversi percorsi di esecuzione.
• Collegamento con Task di Debug: Dimostrazione empirica che il successo nei task di previsione, localizzazione e riparazione dei bug non è necessariamente legato alla capacità di simulare l'esecuzione.

4. Risultati Sperimentali

Gli autori hanno valutato 16 LLM (inclusi modelli di ragionamento come GPT-4, DeepSeek-R1, o4-mini) su 164 programmi Python di HumanEval.

• Coerenza: Solo l'81.42% delle simulazioni è coerente. Di queste, solo il 46.92% porta a un output corretto. Il restante 53.08% ha una simulazione coerente ma produce un output errato.
• Incoerenza e Scorciatoie: Modelli avanzati come GPT-4 e DeepSeek-R1 mostrano un alto tasso di ragionamento incoerente (circa il 25% dei casi), spesso dovuto all'uso di scorciatoie linguistiche o allucinazioni che portano comunque a un output corretto (Regola 3).
• Consistenza: La maggior parte del ragionamento degli LLM è casuale (48.87%) o debole (45.37%). Solo una piccola frazione (5.76%) dimostra una consistenza forte su percorsi diversi. Questo spiega la loro debolezza in compiti che richiedono un'analisi sensibile al percorso.
• Diagnosi degli Errori:
  • Nei programmi con loop, l'errore più comune è la previsione errata degli iterabili del loop.
  • Nei programmi con condizionali, l'errore risiede spesso nella previsione errata dei predicati complessi.
• Confronto con Task di Bug:
  • Esiste una sovrapposizione minima tra il successo nei task di bug (predizione, localizzazione, riparazione) e la capacità di simulare correttamente l'esecuzione (CES).
  • Molti successi nei task di bug sono classificati come "successi sospetti": il modello risolve il bug senza aver mai simulato correttamente l'esecuzione del codice difettoso, basandosi invece su pattern matching o specifiche testuali.

5. Significato e Implicazioni

• Rivalutazione delle Prestazioni: I risultati suggeriscono che le alte percentuali di successo su benchmark come HumanEval potrebbero essere sovrastimate a causa di scorciatoie e data leakage. CES offre un modo sistematico per "setacciare" (vet) questi successi sospetti.
• Limiti Attuali degli LLM: Nonostante la capacità di simulare l'esecuzione in modo coerente in molti casi, gli LLM attuali mancano di una vera generalizzazione induttiva e di un ragionamento robusto su percorsi di esecuzione diversi.
• Sicurezza e Affidabilità: L'incapacità di incorporare il ragionamento sull'esecuzione nei task di debug rappresenta un rischio per l'uso degli LLM in contesti reali, dove la generalizzazione a bug non visti o a contesti diversi è fondamentale.
• Futuro della Ricerca: CES fornisce una base per sviluppare la prossima generazione di Code LLM che siano consapevoli dell'esecuzione (execution-aware) e meno dipendenti da scorciatoie linguistiche.

In sintesi, il paper dimostra che mentre gli LLM possono spesso indovinare l'output corretto, la loro capacità di ragionare passo-passo sull'esecuzione del codice è spesso incoerente, debole o casuale, e il loro successo nei task di ingegneria del software è spesso dovuto a meccanismi superficiali piuttosto che a una profonda comprensione semantica.