Leveraging Large Language Models for Trustworthiness Assessment of Web Applications

1. Il Problema

La sicurezza delle applicazioni web è diventata una preoccupazione critica, ma i metodi tradizionali di valutazione della "fiduciosità" (trustworthiness) presentano limiti significativi:

• Approccio reattivo: La maggior parte degli strumenti si concentra sulla rilevazione di vulnerabilità note (es. SAST, DAST), ignorando le debolezze latenti o le pratiche di codifica insicure che potrebbero portare a nuove vulnerabilità.
• Scalabilità e soggettività: La valutazione dell'aderenza alle pratiche di codifica sicura (Secure Coding Practices) è attualmente un processo manuale, basato su revisioni del codice da parte di esperti. Questo approccio è lento, costoso, soggettivo e difficile da scalare in ambienti di sviluppo moderni (CI/CD).
• Falsi positivi/negativi: Gli strumenti statici spesso soffrono di alti tassi di falsi positivi a causa della mancanza di contesto semantico, mentre le soluzioni ibride introducono un eccessivo overhead computazionale.

L'obiettivo della ricerca è automatizzare la valutazione della fiducia nelle applicazioni web analizzando l'aderenza alle pratiche di codifica sicura, utilizzando i Large Language Models (LLM) per superare i limiti delle analisi basate su pattern.

2. Metodologia

Gli autori propongono una metodologia empirica in cinque fasi per valutare l'efficacia degli LLM nell'identificare pratiche di codifica sicura e calcolare un punteggio di fiducia olistico.

• Dataset: È stato utilizzato il WSVD-Bench, un benchmark pubblico contenente servizi web Java derivati da TPC-App, TPC-C e TPC-W. Il dataset include 42 funzioni (18 servizi) con varianti sicure (Vx0) e vulnerabili (VxA), focalizzandosi specificamente sulle 16 pratiche di Validazione degli Input definite da OWASP (rilevanti per prevenire SQL Injection).
• Ground Truth: È stata costruita una verità di riferimento manuale tramite ispezione del codice da parte di esperti per determinare l'applicabilità e l'aderenza a ciascuna delle 16 pratiche per ogni funzione.
• Selezione dei Modelli: Sono stati testati 5 LLM di diverse capacità (gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-mini, gpt-4.1, gemini-2.5-flash) con impostazioni deterministiche (temperature = 0.2).
• Strategie di Prompting (Variabili Indipendenti):
  1. Baseline (Zero-shot): Solo la descrizione della pratica OWASP e il codice.
  2. CWE + Esempi Negativi: Arricchimento semantico con mappature CWE e snippet di codice che mostrano violazioni (Few-shot).
  3. Contesto di Chiamata (Call Context): Inclusione del codice delle funzioni helper chiamate (estratto tramite Joern) per tracciare la logica di validazione inter-procedurale.
  4. Basato su Regole (Rule-Based): Istruzioni esplicite e condizioni binarie ("se-allora") per la conformità, senza esempi di codice.
  5. Stima del Punteggio: Richiesta diretta all'LLM di generare un punteggio di fiducia scalare [0, 1].
• Valutazione e Aggregazione:
  • Per le classificazione binaria (Adesione/Non Adesione), sono stati calcolati Accuracy, Precision, Recall e F1-score.
  • Per il punteggio di fiducia, è stato utilizzato un Modello di Qualità (QM) gerarchico basato sulla metodologia LSP (Logic Score of Preference). Questo modello aggrega i risultati binari degli LLM in un punteggio unico, utilizzando operatori logici di "simultaneità" (un sistema è forte quanto il suo anello più debole) e pesi derivati empiricamente dai dati sulle vulnerabilità reali (CVE).

3. Contributi Chiave

1. Analisi Comparativa delle Strategie di Prompting: Uno studio sistematico che confronta diverse tecniche di ingegneria dei prompt (semantica, contesto strutturale, istruzioni esplicite) su modelli LLM eterogenei.
2. Valutazione Empirica dell'Automazione: Dimostrazione della fattibilità e dell'affidabilità dell'uso degli LLM per l'automazione della valutazione della fiducia, chiarendo quando e come possono essere applicati su larga scala.
3. Estensione del Modello di Qualità (QM): Integrazione degli output degli LLM in un framework QM esistente (basato su LSP) per automatizzare la classificazione delle funzioni e il calcolo di un punteggio di fiducia quantitativo, superando la necessità di revisione manuale.

4. Risultati Sperimentali

• RQ1 (Baseline): Gli LLM possono identificare parzialmente le pratiche OWASP in zero-shot, ma le prestazioni variano drasticamente in base alla complessità della pratica. I modelli più potenti (gpt-4.1) ottengono un F1-score macro di ~0.89, mentre i modelli più piccoli falliscono spesso su logiche di controllo del flusso.
• RQ2 (Impatto del Contesto):
  • Contesto Semantico (CWE + Esempi): Ha migliorato le prestazioni dei modelli ad alta capacità (gpt-4.1), ma ha peggiorato quelle dei modelli più piccoli a causa del "rumore" informativo.
  • Contesto Strutturale (Call Context): Ha causato un regresso generale delle prestazioni (diminuzione del recall) per tutti i modelli. L'inserimento di codice non filtrato ha introdotto troppo rumore, confondendo i modelli e portando a falsi negativi.
  • Prompting Basato su Regole: È risultato la strategia più robusta per i modelli di capacità media e bassa. Le istruzioni esplicite hanno compensato la minore capacità di ragionamento, permettendo a modelli come gpt-4o-mini di raggiungere prestazioni vicine a quelle dei modelli top-tier.
• RQ3 (Punteggi di Fiducia):
  • La generazione diretta di un punteggio di fiducia da parte dell'LLM (senza modello di aggregazione) è risultata inaffidabile (MAE elevato, alta variabilità).
  • L'approccio ibrido, dove l'LLM fornisce solo le classificazioni binarie che vengono poi aggregate dal Modello di Qualità LSP, ha prodotto risultati discriminatori e stabili. Questo metodo è riuscito a distinguere statisticamente in modo significativo tra versioni sicure e vulnerabili, anche con modelli più leggeri.

5. Significato e Conclusioni

Il paper dimostra che gli LLM non devono essere visti come "oracoli" che generano direttamente punteggi di sicurezza, ma come motori di rilevamento scalabili da integrare in un framework deterministico.

• Scoperta Principale: L'aggiunta di contesto strutturale grezzo (codice delle funzioni chiamate) è controproducente; al contrario, l'uso di istruzioni basate su regole è fondamentale per migliorare l'affidabilità, specialmente per i modelli più efficienti.
• Impatto Pratico: La metodologia proposta permette di integrare la valutazione della fiducia nelle pipeline CI/CD moderne, offrendo un'alternativa scalabile e automatizzata alle revisioni manuali, pur mantenendo un rigore quantitativo grazie all'uso del modello LSP.
• Limiti: Lo studio è limitato al linguaggio Java e alla validazione degli input per SQL injection. Tuttavia, la metodologia è estendibile ad altri domini e linguaggi.

In sintesi, la ricerca valida l'ipotesi che l'automazione della valutazione della fiducia sia possibile, a condizione che l'output degli LLM sia vincolato da strutture logiche rigorose (come il QM) e che le strategie di prompting siano ottimizzate per il modello specifico, evitando il sovraccarico di contesto non filtrato.