Riassunto Tecnico: DevIntent - Quanto il codice generato dagli LLM viola l'intento dello sviluppatore?

Definizione del Problema

I benchmark attuali per i modelli linguistici di grandi dimensioni (LLM) nella generazione di codice si basano principalmente sui tassi di superamento dei test (ad esempio, Pass@1) per misurare la correttezza funzionale. Tuttavia, questa metrica è insufficiente perché non riesce a rilevare le violazioni dell'intento. Un LLM può generare codice che soddisfa tutti i casi di test esplicitamente dichiarati pur violando contemporaneamente vincoli impliciti o intenti non dichiarati dello sviluppatore. Il lavoro precedente ha documentato casi in cui i modelli "giocano con le specifiche" o si adattano eccessivamente alle istruzioni (overfitting), ma questo articolo si concentra su una modalità di fallimento distinta: output che superano legittimamente i test dichiarati validi, ma non riescono a catturare l'effettivo intento non dichiarato dello sviluppatore.

Metodologia

1. Definizione della Metrica: Tasso di Violazione dell'Intento (IVR)

Gli autori introducono l'Intent Violation Rate (IVR) per quantificare il divario tra il successo dei test dichiarati e l'intento dello sviluppatore.
$$IVR = \frac{n_{violating}}{n_{stated\_passed}}$$
Dove:

• $n_{stated\_passed}$ è il numero di soluzioni generate che superano tutti i test visibili e dichiarati.
• $n_{violating}$ è il sottoinsieme di tali soluzioni che falliscono almeno un test di vincolo nascosto.

L'IVR è calcolato solo sulle soluzioni che superano i test iniziali pubblici; le soluzioni che falliscono i test dichiarati sono escluse. L'IVR riportato è la media dei IVR per problema.

2. Costruzione del Benchmark

Lo studio utilizza un benchmark pilota di 49 problemi di specifica algoritmica derivati da HumanEval+.

• Prompt Engineering: Per ogni problema, un "gold prompt" (contenente le specifiche complete) è stato rimosso manualmente di specifici vincoli per creare un prompt ambiguo. L'LLM riceve solo questo prompt ambiguo e il test dichiarato ($C1$).
• Vincoli Nascosti: I vincoli rimossi dal gold prompt sono stati codificati come test di vincolo nascosto ($C2–C4$). Questi test catturano l'intento non dichiarato (ad esempio, l'ordine di ordinamento, tipi di dati specifici) che l'LLM non viene esplicitamente istruito a soddisfare.
• Validazione: Un audit sulla fuga di dati (leakage audit) ha garantito che i test dichiarati ($C1$) potessero essere soddisfatti senza la conoscenza dei vincoli nascosti. Le soluzioni canoniche sono state eseguite contro l'intera suite per confermare che i vincoli nascosti fossero soddisfacibili da codice corretto (producendo un IVR di 0 per la ground truth).

3. Pipeline di Valutazione

La valutazione ha coinvolto due modelli: Claude Sonnet 4.6 e OpenAI GPT 4.1.

• Generazione: Sono state generate 5 soluzioni per problema con una temperatura di 1.0 e un limite di 1024 token.
• Esecuzione: Le soluzioni sono state eseguite contro i test dichiarati ($C1$) e i test nascosti ($C2–C4$) con un timeout di 5 secondi per test.
• Analisi: Il IVR per problema è stato calcolato, e l'IVR complessivo è stato determinato come la media tra i problemi con almeno una soluzione che supera il test dichiarato. Gli intervalli di confidenza sono stati stimati tramite ricampionamento bootstrap.

Risultati Chiave

Alti Tassi di Superamento Dichiarati vs. Alto Tasso di Violazione dell'Intento

Nonostante l'alta correttezza funzionale sui test dichiarati, entrambi i modelli hanno mostrato significative violazioni dell'intento:

• Claude Sonnet 4.6: Ha superato i test dichiarati il 94,3% delle volte, ma ha violato l'intento nel 54,5% dei problemi qualificanti (95% CI: 40,4–68,1%).
• OpenAI GPT 4.1: Ha superato i test dichiarati il 92,7% delle volte, ma ha violato l'intento nel 63,5% dei problemi qualificanti (95% CI: 50,0–76,5%).

Distribuzione Sistematica e Bimodale

La distribuzione del IVR per problema è stata trovata essere bimodale, con raggruppamenti vicino a 0 (nessuna violazione) o 1 (tutte le soluzioni violano l'intento).

• Il 95,7% dei problemi qualificanti per Sonnet 4.6 e il 91,3% per GPT 4.1 rientravano in queste categorie estreme.
• Ciò indica che le violazioni dell'intento sono sistematiche e quasi deterministiche piuttosto che rumore di campionamento casuale. I modelli o catturano completamente i vincoli nascosti o non li catturano affatto.

Gerarchia dei Vincoli

I tassi di fallimento sui vincoli nascosti sono diminuiti monotonicamente da $C2$ a $C4$. Per entrambi i modelli, il primo vincolo rimosso ($C2$) presentava il tasso di fallimento più alto (circa 43–44%), suggerendo che il primo vincolo rimosso è spesso il più centrale per l'intento del compito.

Significato e Rivendicazioni

Il documento sostiene che i tassi di superamento standard sovrastimano significativamente quanto il codice generato dagli LLM rifletta l'intento dello sviluppatore.

• Gap di Misurazione: Le metriche di correttezza funzionale sono insufficienti per il deployment perché non possono rilevare scenari in cui il codice soddisfa la suite di test ma viola assunzioni implicite.
• Fallimento Sistematico: La natura bimodale dei risultati suggerisce che gli attuali modelli non "indovinano" l'intento casualmente; o lo inferiscono correttamente o lo ignorano completamente, portando a un alto rischio di fallimenti silenziosi in presenza di prompt ambigui.
• Strumento Diagnostico: L'IVR funge da diagnostico relativo per misurare il divario tra le specifiche dichiarate e l'intento effettivo, evidenziando la necessità di metodi di valutazione che vadano oltre i semplici tassi di superamento dei test.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Ambito: Il benchmark è limitato a 49 problemi algoritmici in Python; i risultati potrebbero differire per altri linguaggi o tipi di task (es. trasformazione dei dati).
• Specificità del Modello: La valutazione è stata limitata a Sonnet 4.6 e GPT 4.1 con una singola temperatura.
• Potenza Statistica: La dimensione ridotta del campione ($N=49$) e gli intervalli di confidenza sovrapposti rendono la differenza tra i tassi di violazione dei due modelli non distinguibile statisticamente.
• Soggettività: La definizione di "intento" dipende dal giudizio di un singolo annotatore rispetto al gold prompt, rendendo la metrica normativa piuttosto che una ground truth assoluta.
• Contaminazione dei Dati: Poiché il benchmark deriva dal dataset pubblico HumanEval+, esiste il rischio che i modelli abbiano incontrato gli problemi originali durante l'addestramento, sebbene gli autori notino che i prompt ambigui sono stati costruiti manualmente per mitigare questo aspetto.