CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

1. Enunciato del Problema

Nonostante i rapidi progressi dei Modelli Linguistici di Grandi Dimensioni (LLM) nella generazione di codice, non è chiaro se questi modelli possiedano una comprensione genuina della logica di esecuzione del codice o se facciano affidamento su euristiche superficiali per prevedere output corretti. I benchmark esistenti (ad esempio, CruxEval, LiveCodeBench-O, REval) soffrono di due difetti critici:

1. Mancanza di Invarianza Implementativa: Valutano tipicamente i modelli rispetto a una singola implementazione "canonica" del codice. Questo non verifica se un modello può ragionare in modo coerente attraverso variazioni di codice funzionalmente equivalenti ma strutturalmente o lessicalmente distinte.
2. Mancanza di Trasparenza del Processo: Si concentrano quasi esclusivamente sulla correttezza dell'output finale. I modelli possono spesso produrre la risposta finale corretta mentre allucinano stati di esecuzione intermedi, indicando una mancanza di vero ragionamento passo dopo passo.

Gli autori sostengono che le valutazioni basate solo sull'output siano insufficienti per valutare un ragionamento sul codice robusto e introducono CoRE per colmare queste lacune.

2. Metodologia: Il Benchmark CoRE

CoRE è costruito a partire da 60 problemi di programmazione selezionati da HumanEval e LiveCodeBench, progettati per valutare due dimensioni fondamentali: Invarianza Implementativa e Trasparenza del Processo.

A. Pipeline di Costruzione

1. Implementazioni di Codice Diversificate (Fase I):

   • Gli autori hanno utilizzato sette LLM diversi per generare più soluzioni per ogni problema.
   • Processo di Pulizia: Le soluzioni hanno subito una validazione di esecuzione per garantire l'equivalenza funzionale. Per assicurare la diversità, sono state filtrate in base ad un'alta Complessità Ciclomatica e a una bassa Similarità Jaccard 1-gramma (diversità lessicale) tra le implementazioni dello stesso problema.
   • Risultato: 255 implementazioni di codice uniche su 60 problemi (media di 4,3 implementazioni per problema).

2. Sonde per Stati Intermedi (Fase II):

   • Utilizzando il tracciamento dell'esecuzione Python, gli autori hanno catturato i valori di runtime reali per tutte le variabili.
   • Hanno formulato domande di sondaggio intermedio rivolte a quattro dimensioni di ragionamento:
     • Aritmetica: Precisione numerica in operazioni complesse.
     • Logica: Risoluzione di condizioni booleane annidate e flusso di controllo.
     • Stato: Tracciamento della cronologia delle variabili attraverso percorsi di esecuzione profondi.
     • Confini: Punti critici di transizione (ad esempio, terminazioni dei cicli).
   • Risultato: 243 sonde intermedie (media di 4,1 per problema), con ogni sonda che copre in media 2,2 dimensioni di ragionamento.

B. Protocollo di Valutazione e Metriche

Gli autori propongono un protocollo di valutazione olistico che va oltre la semplice accuratezza:

• Coerenza dell'Output Rigorosa ($I$): Un indicatore binario (1 o 0) in cui il modello deve prevedere l'output corretto per ogni implementazione diversificata di un problema.
• Peso di Fedeltà del Processo ($W_s$): Il rapporto tra le sonde di stato intermedio risposte correttamente.
• Punteggio di Coerenza del Ragionamento (RCS): La metrica principale definita come $RCS = I \times W_s$.
  • Questa formulazione garantisce che se un modello fallisce nell'invarianza implementativa (ovvero, sbaglia una variante) o fa affidamento su euristiche superficiali (basso $W_s$), il punteggio finale sia pesantemente penalizzato o annullato.

3. Contributi Chiave

1. Benchmark CoRE: Un benchmark rigoroso composto da 1.978 campioni che valuta congiuntamente l'invarianza implementativa e la trasparenza del processo, caratterizzato da una complessità superiore (complessità ciclomatica media di 5,0) e diversità rispetto ai benchmark esistenti.
2. Identificazione di Limiti Fondamentali: Lo studio rivela due modalità di fallimento critiche negli LLM all'avanguardia:
   • Lacuna di Robustezza (Overfitting Stile): I modelli performano significativamente meglio sul codice generato dalla propria famiglia o da stili familiari (ad esempio, modelli OpenAI su codice OpenAI) rispetto a codice funzionalmente equivalente proveniente da altri stili.
   • Esecuzione Superficiale: I modelli arrivano frequentemente a output finali corretti mentre allucinano stati intermedi, dimostrando che fanno affidamento su mappature input-output piuttosto che su una simulazione genuina dell'esecuzione.
3. Protocollo di Valutazione Olistico: L'introduzione del Punteggio di Coerenza del Ragionamento (RCS) fornisce un metodo per distinguere il ragionamento genuino dalle scorciatoie euristica.

4. Risultati Sperimentali

Gli autori hanno valutato otto LLM all'avanguardia (inclusi GPT-5, o3, Claude-4.5, DeepSeek-V3.2 e Qwen-3) utilizzando varie strategie di prompting (IO, Chain-of-Thought, Chain-of-Code, RHDA).

• Divario di Performance: Esiste una disconnessione massiccia tra l'accuratezza dell'output finale e il ragionamento intermedio. Ad esempio, GPT-5 ha raggiunto un'accuratezza dell'output rigorosa dell'84,62% ($I$) ma solo una fedeltà del processo del 18,96% ($W_s$) con prompting standard.
• Bias Stile: L'analisi della mappa di calore (Fig. 5) mostra una forte dominanza diagonale, dove i modelli ottengono i punteggi più alti sul codice generato dalla propria famiglia. Questo conferma l'overfitting stilistico.
• Impatto del Prompting: Sebbene Chain-of-Thought (CoT) e Chain-of-Code (CoC) abbiano migliorato la fedeltà del processo, non hanno eliminato completamente il divario di robustezza o l'esecuzione superficiale.
• Debolezze Dimensionali: I modelli hanno avuto maggiori difficoltà con l'Aritmetica (precisione numerica) e lo Stato (mantenimento della cronologia delle variabili), con punteggi medi di fedeltà del processo spesso inferiori al 50% nell'impostazione IO.
• Efficacia dell'RCS: La metrica RCS ha filtrato efficacemente i modelli che apparivano competenti basandosi solo sull'output ma fallivano nella coerenza del ragionamento.

5. Significato

Il documento sposta fondamentalmente il paradigma della valutazione del ragionamento sul codice. Dimostra che un output corretto non implica un ragionamento corretto. Esponendo la fragilità degli attuali LLM—in particolare la loro suscettibilità al bias stilistico e la loro incapacità di tracciare stati intermedi—CoRE fornisce uno standard necessario per lo sviluppo di modelli che comprendono genuinamente l'esecuzione del codice. I risultati suggeriscono che il futuro addestramento e valutazione degli LLM devono dare priorità al ragionamento passo dopo passo fedele e alla robustezza attraverso implementazioni diversificate piuttosto che ottimizzare semplicemente per l'accuratezza dell'output finale.