A Reference Framework for Empirical Studies on LLM-Based Code Generation: A Review-Grounded Synthesis

Sintesi Tecnica: Un Quadro di Riferimento per Studi Empirici sulla Generazione di Codice Basata su LLM

Problematica
I Large Language Models (LLM) sono sempre più utilizzati per la generazione di codice e compiti correlati all'ingegneria del software. Tuttavia, la valutazione empirica di questi sistemi rimane frammentata, creando significativi ostacoli alla riproducibilità, alla comparabilità e all'accumulo di evidenza cumulativa. Gli studi esistenti variano ampiamente per compiti, fonti dei problemi, contesti applicativi, attributi di qualità, metriche, metodi empirici, configurazioni dei modelli, ambienti e artefatti generati. Questa eterogeneità rende difficile sintetizzare i risultati tra diversi studi o identificare pratiche metodologiche comuni. Inoltre, l'ingegneria del software basata su LLM introduce sfide metodologiche uniche, tra cui l'output non deterministico, le versioni evolutive dei modelli, il comportamento opaco dei modelli, la sensibilità ai prompt e la necessità di valutare gli artefatti oltre la correttezza funzionale. Le attuali linee guida per l'ingegneria del software empirica sono spesso insufficienti per affrontare queste specifiche sfide, rendendo necessari orientamenti metodologici su misura.

Metodologia
Per affrontare questa lacuna, gli autori hanno condotto una revisione strutturata degli studi empirici che coinvolgono gli LLM nella generazione di codice e in compiti correlati. La ricerca ha seguito un processo di sintesi bottom-up piuttosto che proporre un framework a priori.

• Strategia di Ricerca: È stata eseguita una ricerca strutturata nell'ACM Digital Library utilizzando una query Booleana che mirava a LLM, generazione di codice/programmazione ed valutazione empirica. La ricerca ha coperto articoli pubblicati tra il 2023 e il 2025.
• Selezione: La ricerca iniziale ha prodotto 75 articoli. Dopo l'applicazione dei criteri di inclusione ed esclusione (focalizzandosi sulle valutazioni empiriche di generazione di codice, adattamento, riparazione, testing, ecc., escludendo invece articoli di visione non empirici), sono stati trattenuti 32 articoli. Altri tre articoli sono stati identificati tramite snowballing, portando a un corpus finale di 35 studi.
• Estrazione dei Dati: Per ogni studio, gli autori hanno estratto e standardizzato i dati riguardanti i compiti di codifica, i contesti applicativi, le fonti dei problemi, gli attributi di qualità, le metriche di valutazione, i metodi empirici, le configurazioni degli LLM, gli output generati e i setup comparativi.
• Sintesi: È stato utilizzato un processo di codifica bottom-up per identificare concetti ricorrenti all'interno dei campi di estrazione. Questi concetti sono stati raggruppati in categorie di livello inferiore e poi astratti in dimensioni di livello superiore che ricorrevano tra gli studi esaminati.

Contributi Chiave
Il documento apporta cinque contributi primari:

1. Sintesi delle Pratiche Empiriche: Un riepilogo completo delle pratiche empiriche trovate in 35 studi selezionati, inclusi esperimenti controllati, valutazioni di benchmark, mining di repository, studi sull'utente e design a metodi misti.
2. Identificazione delle Dimensioni Ricorrenti: L'identificazione di nove maggiori dimensioni metodologiche: compiti, fonti dei problemi, contesti applicativi, attributi di qualità, metriche, metodi empirici, configurazioni dei modelli, ambienti e output generati.
3. Proposta di un Quadro di Riferimento: La derivazione di un framework di riferimento bottom-up composto da sei componenti core per supportare il design, la reportistica e il confronto di studi empirici sulla generazione di codice basata su LLM.
4. Dataset di Tracciabilità: La fornitura di un dataset di tracciabilità codificato che collega gli studi esaminati alle dimensioni del framework per supportare la trasparenza e la futura sintesi delle evidenze.
5. Applicazione Illustrativa: Dimostrazioni di come il framework possa essere utilizzato sia retrospettivamente per mappare gli studi esistenti, sia prospettivamente per derivare nuovi design di studi empirici.

Risultati e Componenti del Framework
L'analisi dei 35 studi ha rivelato una sostanziale variabilità metodologica. Le pratiche empiriche più frequenti sono state gli esperimenti/valutazioni controllate (23 studi) e i confronti di strategie di prompt (22 studi). L'ambito di valutazione si estende oltre la correttezza funzionale per includere efficienza, affidabilità, sicurezza, equità, conformità delle licenze, qualità della spiegazione e preoccupazioni incentrate sull'uomo.

Sulla base della sintesi, gli autori propongono un framework di riferimento organizzato in sei componenti core:

1. Compito di Codifica (Coding Task): Cattura l'attività oggetto della valutazione, incluso il tipo di compito (es. generazione generale, riparazione, spiegazione), il contesto applicativo (es. programmazione competitiva, sicurezza, data science) e la fonte del problema (es. benchmark, repository, documentazione).
2. Valutazione della Qualità e delle Metriche: Definisce gli attributi di qualità (es. correttezza, sicurezza, equità) e le metriche specifiche utilizzate per operazionalizzarli (es. pass@k, runtime, valutazioni umane, tassi di vulnerabilità).
3. Design della Ricerca Empirica: Comprende la struttura metodologica, inclusi il metodo di studio (es. esperimento controllato, studio sull'utente), il design sperimentale (ipotesi, variabili), il setup comparativo (es. LLM vs Umano, cross-modello) e le tecniche di analisi dei dati.
4. Ambiente (Environment): Cattura le impostazioni computazionali ed esecutive, inclusa l'infrastruttura (cloud, locale), gli ambienti di esecuzione/test (Docker, online judges) e le impostazioni umane/organizzative (classi, studi sull'utente).
5. Configurazione dell'LLM: Copre la selezione del modello (proprietario vs open-source), le strategie di prompting (es. chain-of-thought, retrieval augmentation), la regolazione dei parametri (temperatura, campionamento) e le strategie di workflow (fine-tuning, sistemi basati su agenti).
6. Output Generato: Descrive gli artefatti prodotti, che vanno da snippet di codice e funzioni a livello di repository fino a test, patch, spiegazioni e tracce di interazione.

Significatività e Rivendicazioni
Il documento sostiene che questo framework serva come un vocabolario strutturato per descrivere, confrontare e progettare studi empirici. Non intende prescrivere un singolo metodo sperimentale, quanto piuttosto rendere esplicite le dimensioni di design degli studi empirici. Organizzando lo spazio del design empirico, il framework mira a:

• Migliorare la coerenza, la comparabilità e la riproducibilità nelle valutazioni future.
• Aiutare i ricercatori a identificare le lacune metodologiche e a ragionare su configurazioni di studio compatibili.
• Supportare la pianificazione di indagini empiriche meglio fondate, trattando gli studi come configurazioni di scelte interdipendenti piuttosto che come valutazioni isolate di modelli.

Gli autori sottolineano che il framework è una struttura di riferimento in evoluzione. Esso riflette lo stato attuale della letteratura (2023–2025) e riconosce che potrebbero essere necessari futuri affinamenti per affrontare i modelli emergenti, i workflow di prompting e le preoccupazioni di valutazione. Il framework è progettato per essere estensibile, con lavori futuri pianificati per modellare i vincoli di compatibilità tra i componenti e sviluppare supporto per strumenti per il design di studi empirici.