Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

Sintesi Tecnica: Uno Studio di Replicazione Differenziata sugli LLM per la Riparazione Automatica delle Vulnerabilità

Problema
La riparazione automatica delle vulnerabilità (AVR) utilizzando i Large Language Models (LLM) ha recentemente dimostrato risultati che superano i metodi tradizionali di riparazione del programma basati sui test. Tuttavia, gli autori sostengono che questi risultati "eccezionali" potrebbero essere guidati da tre "mani invisibili":

1. Code Leakage (Perdita di Codice): Gli LLM potrebbero essere stati addestrati proprio sui dataset di benchmark utilizzati per la valutazione (ad es., Vul4J, PrimeVul), permettendo loro di memorizzare le correzioni anziché generalizzare.
2. Prompt Design (Completamento vs. Patching): Molti studi inquadrano la riparazione come un compito di completamento del codice in cui il codice vulnerabile viene sostituito da un segnaposto. Se il modello ha memorizzato la correzione, esso completa semplicemente lo schema.
3. Fault Localization Perfetta: Gli studi forniscono spesso l'esatto numero di riga della vulnerabilità. Combinato con i prompt di completamento del codice, ciò consente ai modelli che memorizzano di riprodurre le correzioni senza comprendere la logica sottostante.

L'ipotesi centrale è che se gli LLM stanno realmente generalizzando, l'introduzione di errori nella localizzazione dei guasti dovrebbe degradare le prestazioni. Al contrario, se stanno semplicemente "barando" tramite la memorizzazione, ignoreranno gli errori di localizzazione e riprodurranno la correzione nota indipendentemente dal prompt.

Metodologia
Gli autori propongono uno "studio di replicazione scettico" utilizzando una pipeline differenziata sui benchmark Vul4J e VJTrans (trasformato/rifattorizzato). La metodologia prevede:

• Iniezione Controllata di Errori: A differenza dei lavori precedenti che forniscono una localizzazione perfetta, questa pipeline sposta deliberatamente la localizzazione del guasto nel prompt di $n$ righe (specificamente offset di 2, 4 e 8 righe, sia positive che negative) rispetto alla verità fondamentale (ground truth).
• Variazioni del Prompt: Lo studio utilizza quattro template di prompt (P1–P4) che variano le informazioni fornite:
  • Informazioni generali + solo la funzione.
  • Funzione + marcatori di localizzazione a livello di riga.
  • Funzione + descrizione del tipo di vulnerabilità.
  • Funzione + sia marcatori a livello di riga che tipo di vulnerabilità.
• Pipeline LLM a Due Stadi:
  1. Generatore: Un LLM iniziale genera una patch basata sul (potenzialmente errato) prompt.
  2. Revisore: Un secondo LLM revisiona la patch generata, restituendo "TRUE" se appare corretta o "FALSE" se fallisce.

3. Validazione: Le patch generate vengono validate attraverso:
   • Regression Testing: Assicurando che la funzionalità sia preservata.
   • Proof of Vulnerability (PoV) Testing: Assicurando che la vulnerabilità sia effettivamente risolta.
   • Audit Manuale: Un campione di patch che superano i test automatizzati viene ispezionato manualmente per classificarle come "Corrette", "Parzialmente Corrette" o "Errate".

• Analisi Statistica: Lo studio utilizza TOST (Two One-Sided Tests) per dimostrare la equivalenza statistica piuttosto che una semplice mancanza di differenza significativa. Questo viene utilizzato per testare se le prestazioni rimangono stabili nonostante gli errori di localizzazione (supportando l'ipotesi della memorizzazione). Il metodo Agresti-Coull-Wilson viene utilizzato per calcolare gli intervalli di confidenza per i risultati dell'audit manuale.

Contributi Chiave

1. Replicazione Differenziata: Il documento va oltre la semplice replicazione introducendo una variabile controllata (errore di localizzazione) per testare la robustezza della riparazione automatica basata su LLM.
2. Isolamento della Memorizzazione: Utilizzando VJTrans (vulnerabilità rifattorizzate con identificatori rinominati e flusso di controllo alterato), lo studio tenta di isolare la generalizzazione del modello dalla memorizzazione dei dati, poiché la correzione esatta dello sviluppatore non è disponibile per questi casi trasformati.
3. Framework Statistico per l'Equivalenza: Gli autori propongono l'uso del test di equivalenza (TOST) per convalidare scientificamente se i modelli "che barano" (memorizzando) si comportano in modo identico sotto condizioni perturbate rispetto alle condizioni perfette.
4. Analisi Critica delle "Mani Invisibili": Lo studio sfida esplicitamente la validità degli attuali benchmark per l'AVR, dimostrando come la localizzazione perfetta e l'inquadramento del completamento del codice possano gonfiare artificialmente i tassi di successo.

Risultati e Risultati Attesi
Nota: Trattandosi di una proposta/piano per uno studio (come indicato dalle sezioni "Execution Plan" e "Research Statement"), il documento non presenta risultati empirici finali ma le ipotesi e il design sperimentale per testarli.

Il documento delinea ipotesi specifiche riguardo ai risultati attesi:

• Ipotesi sulla Memorizzazione: Se gli LLM si affidano alla memorizzazione, ci sarà un'equivalenza statisticamente significativa nelle prestazioni tra i prompt con localizzazione perfetta e quelli con localzione spostata (RQ1ERR). Il modello ignorerà l'errore e produrrà la correzione nota.
• Ipotesi sulla Generalizzazione: Se gli LLM stanno generalizzando, le prestazioni dovrebbero diminuire significativamente quando la localizzazione viene spostata, poiché il modello tenta di correggere il codice sbagliato.
• Comportamento del Revisore: Se l'ipotesi del "baratore" è corretta, anche il secondo LLM (revisore) si affiderà alla memorizzazione. Dovrebbe riconoscere le patch "plausibili" (memorizzate) anche quando la localizzazione nel prompt è errata, mentre potrebbe non riconoscere le patch corrette per vulnerabilità rifattorizzate (non viste).
• Sensibilità dell'Offset: Gli autori si aspettano che non vi sia alcuna differenza significativa di prestazione tra spostamenti piccoli ($\le 2$) e grandi ($>3$) se il modello sta barando, poiché il modello ignora completamente l'indizio di posizione nel prompt.

Significatività
Il documento afferma di affrontare la crisi della riproducibilità negli ingegneri del software basati su LLM. Dimostrando che gli attuali alti tassi di successo possono essere artefatti di data leakage e localizzazione perfetta, lo studio mira a:

• Fornire una base più rigorosa per valutare gli strumenti AVR.
• Distinguere tra modelli che comprendono veramente i pattern di vulnerabilità e quelli che semplicemente richiamano i dati di addestramento.
• Stabilire una metodologia (iniezione di errori + test di equivalenza) che possa essere applicata a studi futuri per garantire che i miglioramenti riportati nella riparazione del programma siano generalizzazioni genuine e non artefatti di memorizzazione.

Gli autori concludono che, senza tali controlli, il settore rischia di sovrastimare le capacità degli LLM in compiti critici per la sicurezza.