Sintesi Tecnica: Gli Agenti LLM Open-Source possono sostituire gli strumenti di Static Application Security Testing?

Problema

Il documento affronta la domanda emergente se l'IA Agente, specificamente gli agenti basati su Large Language Model (LLM) general-purpose, possa efficacemente sostituire o competere con i tradizionali strumenti di Static Application Security Testing (SAST) per la scansione delle vulnerabilità informatiche. Sebbene la GenAI abbia rivoluzionato la generazione di codice, gli autori indagano la sua efficacia nel validare il codice per quanto riguarda l'idoneità alla sicurezza. Il problema centrale è determinare se un moderno agente LLM open-source e general-purpose possa identificare in modo affidabile vulnerabilità comuni (ad es., SQL injection, segreti non sicuri, path traversal) in codebase Python in condizioni realistiche, o se soffra di limiti intrinseci come allucinazioni, elevati tassi di falsi positivi e mancanza di spiegabilità rispetto agli stabiliti strumenti basati su regole.

Metodologia

Lo studio ha impiegato un confronto empirico tra un agente LLM personalizzato e uno strumento SAST open-source verificato.

• Strumento di Baseline: Bandit, uno strumento SAST focalizzato su Python noto per i bassi tassi di falsi positivi e una moderata accuratezza, è servito come "fonte di verità" e baseline per il confronto.
• Agente Sperimentale: Snitch, un'applicazione agente basata su Python progettata per scansionare ricorsivamente le directory. Snitch sfrutta Ollama per ospitare ed eseguire LLM locali.
• Modelli Valutati: Sono stati testati tre distinti modelli open-source general-purpose:
  1. Gemma3 (Google): Commercializzato come specialista della codifica.
  2. Llama3.1 (Meta): Un LLM general-purpose.
  3. Qwen2.5 (Alibaba): Destinato al ragionamento, alla codifica e al debugging.
• Target di Test: Tre repository Python open-source con diversa complessità e maturità:
  1. Yum: Un gestore di pacchetti enterprise ormai ritirato (alta maturità).
  2. Beaverhabits: Un tracker di abitudini personale (commerciale casuale).
  3. Fail2ban: Un servizio daemon orientato alla sicurezza.
• Design Sperimentale:
  • Bandit ha scansionato tutti e tre i repository per prima cosa per stabilire una baseline di rilevamenti di severità Medium e High.
  • Snitch ha poi scansionato gli stessi repository utilizzando ciascuno dei tre modelli (9 scansioni totali degli agenti).
  • Prompting: Per tutte le esecuzioni degli agenti è stato utilizzato un prompt fisso e dettagliato, che istruiva il modello ad agire come un esperto di ingegneria della sicurezza informatica identificando problemi SAST specifici e restituendo i risultati in un formato JSON strutturato.
• Metriche di Valutazione:
  • Recall (Recupero): Il rapporto tra i rilevamenti Medium/High di Bandit anche rilevati dall'agente (i match parziali sono pesati a 0.5).
  • Tasso di Falsi Positivi (FP): Il rapporto tra i problemi segnalati dall'agente che non sono stati segnalati da Bandit e che sono stati determinati come malintesi contestuali o allucinazioni tramite revisione umana.
  • Punteggio Composto: Calcolato come Recall - Tasso di FP.
  • Tempo di Esecuzione: Registrato per confrontare l'efficienza rispetto a Bandit.

Risultati Chiave

I dati empirici indicano che gli agenti LLM open-source valutati hanno sottoperformato significativamente rispetto allo strumento SAST tradizionale.

• Bassa Recall: Nessun modello ha raggiunto un punteggio di recall superiore a 0.25. Gli agenti hanno mancato la stragrande maggioranza delle vulnerabilità identificate da Bandit.
• Alti Falsi Positivi: Tutti i modelli hanno mostrato tassi di falsi positivi estremamente elevati, compresi tra il 40% e il 90%.
  • Le allucinazioni comuni includevano la segnalazione di costanti della libreria standard (ad es., calendar.MONDAY) come segreti hardcoded, l'interpretazione errata dell'uso di file .env come fughe di dati di produzione e l'identificazione di pattern di codice benigni (come commenti o intestazioni di licenza) come vulnerabilità.
  • Il modello Gemma3 ha avuto il tasso di FP più alto, mentre Qwen2.5 ha avuto il più basso, pur rimanendo sostanziale.
• Allucinazioni e Accuratezza:
  • Gli agenti hanno frequentemente allucinato la posizione delle vulnerabilità (nomi di file e numeri di riga), facendo riferimento a file o blocchi di codice inesistenti.
  • Sebbene gli agenti abbiano occasionalmente identificato problemi unici mancati da Bandit (ad es., l'uso insicuro di requests.get o path traversals), questi erano difficili da verificare come "veri positivi" senza una verità esterna e sono stati superati dal rumore di fondo.
• Performance ed Efficienza:
  • Bandit ha completato le scansioni in meno di un minuto per repository.
  • Snitch (agenti LLM) ha richiesto da 1 a 4 ore per repository, a seconda delle dimensioni del codebase.
  • Il tempo di esecuzione totale per tutte le scansioni degli agenti attraverso i tre modelli è stato di circa 10–12 ore, rispetto ai minuti necessari per Bandit.

Contributi Chiave

1. Valutazione Empirica: Il documento fornisce una valutazione rigorosa e basata sui dati dell'IA agente per la SAST, andando oltre la speculazione teorica verso metriche di performance misurabili (precisione, recall, tasso di FP).
2. Confronto con la Baseline: Stabilisce una baseline di prestazione diretta utilizzando Bandit, dimostando che gli attuali LLM open-source general-purpose mancano della affidabilità necessaria per compiti specializzati di scansione della sicurezza.
3. Identificazione dei Limiti: Lo studio evidenzia specifici modi di fallimento degli agenti LLM in questo dominio, in particolare l'allucinazione della posizione delle vulnerabilità e l'interpretazione errata di pattern di sviluppo standard (ad es. variabili d'ambiente) come difetti di sicurezza.
4. Punteggio Composto: L'introduzione di un punteggio composto (Recall - Tasso di FP) per valutare olisticamente il compromesso tra la perdita di vulnerabilità e la generazione di rumore.

Significato e Rivendicazioni

Il documento conclude che gli attuali agenti basati su LLM GenAI open-source non sono attualmente adatti al compito specializzato della scansione SAST in condizioni realistiche.

• Gap di Affidabilità: Gli alti tassi di falsi positivi e la bassa recall rendono questi agenti inaffidabili come strumenti di sicurezza standalone. Le "allucinazioni" riguardanti la posizione delle vulnerabilità rendono l'output quasi inutile per la rimediazione automatizzata, poiché gli sviluppatori non possono fidarsi del file o del numero di riga specifico fornito.
• Barriera di Efficienza: Il costo computazionale e il tempo richiesti dagli agenti LLM (ore rispetto a minuti) rappresentano una barriera proibitiva per l'integrazione nei normali pipeline CI/CD rispetto agli strumenti basati su regole.
• Ruolo dell'IA: Gli autori suggeriscono che, sebbene l'IA agente mostri promesse per la generazione e l'assistenza del codice, attualmente manca della precisione e della spiegabilità richieste per la validazione. Il documento sostiene che i tradizionali strumenti basati su regole come Bandit rimangono superiori per l'analisi del codice grazie alla loro coerenza, velocità e tracciabilità.
• Prospettive Future: Gli autori ipotizzano che anche modelli closed-source o specializzati con un avanzato prompt engineering potrebbero migliorare i risultati, ma i limiti fondamentali dei sistemi generativi (allucinazione, mancanza di basi di conoscenza esterne come le definizioni CVE) impediscono attualmente loro di sostituire gli stabiliti strumenti SAST. Suggeriscono un potenziale approccio ibrido in cui gli agenti agiscono come supplementi agli strumenti tradizionali, concentrandosi solo su problemi nuovi, piuttosto che come sostituti.