Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection

Sintesi Tecnica: Feedback Umano Persistente, LLM e Analizzatori Statici per la Generazione di Codice Sicuro e il Rilevamento di Vulnerabilità

Problematica
Il documento affronta la crescente dipendenza dai Large Language Models (LLM) per la generazione di codice sicuro e il rilevamento di vulnerabilità, evidenziando una lacuna critica nelle attuali metodologie di valutazione. Sebbene gli LLM siano sempre più utilizzati nello sviluppo software, essi generano frequentemente codice insicuro anche quando vengono istruiti esplicitamente per fare il contrario. La letteratura esistente valuta prevalentemente questi modelli utilizzando strumenti di analisi statica automatizzata (es. CodeQL, Semgrep) come unica verità fondamentale (ground truth). Gli autori sostengono che questo approccio sia fallace perché gli analizzatori statici presentano alti tassi di falsi positivi e spesso non si allineano al giudizio degli esperti umani riguardo alle reali vulnerabilità di sicurezza. Inoltre, gli attuali framework mancano di meccanismi per memorizzare e riutilizzare in modo persistente il feedback degli esperti, limitando la capacità degli LLM di apprendere dalle correzioni passate.

Metodologia
Lo studio impiega una metodologia a due fronti: una revisione completa della letteratura e uno studio di validazione empirica.

1. Revisione della Letteratura: Gli autori hanno esaminato 2025 pubblicazioni provenienti dai principali forum di ingegneria del software (A/A*) per caratterizzare le attuali tendenze della ricerca. Hanno analizzato benchmark, linguaggi di programmazione target, famiglie di modelli e strumenti di valutazione utilizzati negli studi sulla generazione di codice sicuro e sul rilevamento di vulnerabilità.
2. Validazione Empirica:
   • Costruzione del Dataset: Utilizzando la tecnica di prompting Recursive Critiques Improvement (RCI) con GPT-4o, gli autori hanno generato 1.080 campioni di codice basati su 108 task unici mappati sui CWE Top 25.
   • Creazione della Verità Fondamentale (Ground Truth): Due revisori esperti (un dottorando e un studente di master), sotto la supervisione di un docente, hanno ispezionato manualmente i campioni per etichettarli come vulnerabili o sicuri rispetto al loro specifico CWE target. I disaccordi sono stati risolti tramite discussione o arbitrato di un esperto, raggiungendo un alto accordo tra i valutatori (Cohen's $\kappa = 0.94$).
   • Confronto tra Strumenti: La verità fondamentale validata manualmente è stata confrontata con gli output di due strumenti di analisi statica ampiamente utilizzati, CodeQL e Semgrep.
   • Proposta di Framework: Sulla base dei risultati, gli autori propongono un framework concettuale che integra il feedback umano in una pipeline di Retrieval-Augmented Generation (RAG).

Risultati Chiave
Lo studio empirico ha rivelato discrepanze significative tra gli strumenti automatizzati e gli esperti umani:

• Verità Fondamentale: Il 61% dei campioni generati era effettivamente sicuro, mentre il 39% conteneva vulnerabilità.
• Performance degli Strumenti: Semgrep ha classificato il 60% dei campioni come sicuri e CodeQL ha classificato l'80% come sicuri. Sebbene il tasso aggregato di Semgrep apparisse vicino al giudizio umano, l'analisi per singolo campione ha mostrato disaccordi sostanziali.
• Metriche di Accuratezza: Solo il 65% dei report di Semgrep e il 61% dei report di CodeQL corrispondevano correttamente alle etichette della verità fondamentale.
• Copertura CWE: Entrambi gli strumenti non sono riusciti a rilevare i CWE target in una frazione sostanziale di casi della verità fondamentale e hanno riportato frequentemente scoperte per CWE non target (la cui validità rimaneva ignota in questo studio).
• Autocritica: Lo studio ha osservato che gli LLM che fornivano autocritiche "specifiche" (feedback mirati e azionabili) producevano codice più sicuro (64% sicuro) rispetto a critiche "generiche" (56% sicuro).

Framework Proposto: Feedback Umano Persistente
Per affrontare i limiti degli strumenti statici e la natura transitoria degli attuali cicli di feedback, gli autori propongono un framework concettuale (illustrato nella Figura 3) che integra un agente Human-in-the-Loop (HIL) in una pipeline RAG dinamica. Il framework è composto da quattro agenti:

1. Prompt Agent: Coordina la generazione del codice recuperando orientamenti di sicurezza pertinenti da una RAG a doppia fonte (Dual-Source Rang: Feedback Umano e Conoscenza Esterna sulle Vulnerabilità) per raffinare il prompt dello sviluppatore.
2. Security Agent: Valuta il codice generato utilizzando analizzatori statici e LLM, producendo report leggibili sia dalle macchine che dagli umani.
3. Agente Human-in-the-Loop (HIL): Agisce come decisore finale. Gli esperti esaminano i report del Security Agent. In caso di disaccordo, il feedback dell'esperto viene memorizzato in modo persistente nella RAG.
   • Ponderazione della Fiducia (Trust Weighting): Il sistema assegna pesi di fiducia dinamici al feedback in base al consenso dei revisori e al successo empirico storico (utilizzando una media mobile esponenziale).
   • Doppia Revisione: Per prevenire l'avvelenamento dei dati (data poisoning), il nuovo feedback richiede l'approvazione di due revisori distinti prima di entrare nel pool di recupero attivo.
4. Dual-Source RAG: Un servizio di conoscenza condiviso che dà priorità al feedback validato dagli umani (HF) rispetto alla conoscenza esterna generale (EVK) utilizzando una funzione di punteggio composita che penalizza le contraddizioni tra i consigli generali e il feedback degli esperti.

Significatività e Rivendicazioni
L'articolo sostiene che affidarsi esclusivamente agli strumenti di analisi statica per valutare il codice generato dagli LLM sia inaffidabile e comporti rischi per la validità della ricerca sulla sicurezza. Gli autori affermano che il feedback degli esperti non è necessario solo per singoli casi, ma può generalizzarsi a casi futuri simili. Di conseguenza, il framework proposto mira a consentire agli LLM di riutilizzare dinamicamente il precedente feedback umano, migliorando sia la generazione di codice sicuro che il rilevamento di vulnerabilità. Lo studio conclude che la comunità dell'ingegneria del software deve andare oltre la valutazione puramente automatizzata e incorporare cicli di feedback persistenti guidati dagli esperti per garantire l'affidabilità degli LLM in contesti critici per la sicurezza.

Limitazioni (Minacce alla Validità)
Gli autori riconoscono diverse limitazioni:

• Validità di Costruzione: La revisione della letteratura è stata limitata alle pubblicazioni del 2025 nei forum di ingegneria del software, rischiando di perdere pattern presenti in forum specifici della sicurezza (es. USENIX Security, CCS).
• Validità Interna: Le etichette della verità fondamentale si basano sulla valutazione manuale, che è soggetta a bias umani nonostante l'alto accordo tra i valutatori.
• Validità Esterna: Gli esperimenti si sono concentrati su codice Python generato da GPT-4o tramite prompting RCI. I risultati potrebbero non generalizzarsi ad altri linguaggi (particolarmente linguaggi a basso livello come C/C++), altri domini o altri LLM e strumenti di analisi statica.