IntelliSA: An Intelligent Static Analyzer for IaC Security Smell Detection Using Symbolic Rules and Neural Inference

Riepilogo Tecnico: IntelliSA

Problematica
L'Infrastructure as Code (IaC) consente il provisioning automatizzato di ambienti su larga scala, ma introduce rischi di sicurezza significativi quando si verificano errori di configurazione. Sebbene siano stati sviluppati analizzatori statici basati su regole simboliche (come SLIC, SLAC e lo stato dell'arte Glitch) per rilevare "security smells" (modelli di codifica errati che suggeriscono vulnerabilità), essi soffrono di un limite fondamentale: la sovra-approssimazione. Questi strumenti basati su regole generano un alto richiamo (recall) ma producono un eccesso di falsi positivi, sovraccaricando gli ingegneri della sicurezza con l'onere dell'ispezione manuale. Al contrario, sebbene i Large Language Models (LLM) possano ridurre i falsi positivi grazie alla comprensione contestuale, fare affidamento su di essi direttamente tramite API introduce costi elevati, latenza, problemi di governance dei dati e di riproducibilità. Inoltre, gli LLM stand-alone spesso soffrono di sotto-approssimazione, mancando veri positivi che gli strumenti basati su regole riescono a catturare.

Metodologia: Framework IntelliSA
Gli autori propongono IntelliSA, un analizzatore statico intelligente che integra il matching di regole simboliche con l'inferenza neurale per affrontare il dilemma dei falsi positivi. Il framework opera in tre fasi principali:

1. Sovra-approssimazione Simbolica: Il sistema impiega inizialmente un analizzatore statico (specificamente Glitch) per scansionare script IaC (Puppet, Ansible, Chef) utilizzando regole simboliche. Ciò garantisce una copertura ampia e un alto richiamo, segnalando tutti i potenziali "security smells", inclusi molti falsi positivi.
2. Distillazione della Conoscenza per il Filtraggio dei Falsi Positivi: Per filtrare i falsi positivi senza fare affidamento su costose API di LLM durante l'inferenza, gli autori impiegano un approccio di distillazione della conoscenza teacher-student:
   • Teacher: Un LLM di grandi dimensioni (Claude-4) funge da modello teacher. Gli vengono forniti le righe di codice segnalate, la specifica regola di rilevamento e il contesto per determinare se un avviso è un Vero Positivo (TP) o un Falso Positivo (FP). Queste etichette generate dall'LLM fungono da pseudo-etichette.
   • Student: Un modello neurale compatto (CodeT5p-220M, ~220M di parametri) viene addestrato utilizzando queste pseudo-etichette. Lo student apprende a classificare gli avvisi dell'analizzatore statico come TP o FP. Il modello student è oltre 500 volte più piccolo del teacher, consentendo un dispiegamento offline efficiente.
3. Inferenza End-to-End: Nella pipeline finale, l'analizzatore statico genera gli avvisi, che vengono poi passati attraverso il modello student addestrato. Solo gli avvisi predetti come Veri Positivi vengono riportati all'utente.

Contributi Chiave

1. Framework IntelliSA: Il primo analizzatore statico intelligente per IaC che combina regole simboliche per la copertura con l'inferenza neurale distillata per la precisione, mirando specificamente alla riduzione dei falsi positivi nel rilevamento degli security smell.
2. Distillazione Cost-Effective: La dimostrazione che un modello student compatto può apprendere efficacementamente dalle pseudo-etichette di un modello LLM teacher per filtrare gli avvisi dell'analisi statica, raggiungendo un'alta accuratezza senza il costo di runtime o i rischi per la privacy dei dati derivanti dall'uso diretto delle API degli LLM.
3. Validazione Empirica: Una valutazione completa rispetto agli esistenti analizzatori statici (SLIC, SLAC, Glitch) e ai baseline zero-shot LLM (Claude-4, Grok-4, GPT-5) su tre principali tecnologie IaC.

Risultati Sperimentali
Il sistema è stato valutato su un dataset etichettato da esseri umani composto da 241 script IaC (11.814 righe di codice) che coprono 213 istanze di security smell in Puppet, Ansible e Chef.

• Accuratezza (RQ1): IntelliSA ha ottenuto il punteggio Macro-F1 più alto, pari all'83%, superando l'analizzatore statico allo stato dell'arte Glitch (69%) e i baseline LLM (fino al 76%). Nello specifico, ha migliorato i punteggi F1 del 27% su Puppet, del 4% su Ansible e dell'11% su Chef rispetto a Glich, guidato principalmente da guadagni significativi nella precisione (es. +43% su Puppet) con solo modeste riduzioni nel richiamo.
• Efficacia dei Costi (RQ2): IntelliSA ha dimostrato una superiorità nell'efficienza nel localizzare gli smell. Ha raggiunto il più basso Effort@60%Recall (la percentuale di righe di codice che un ingegnere deve ispezionare per trovare il 60% degli smell), richiedendo solo l'1,14% (Puppet), lo 0,74% (Ansible) e l'1,66% (Chef) del codebase. Ha inoltre raggiunto il più alto F1@1%LOC (qualità del rilevamento all'interno del top 1% delle righe ispezionate), arrivando all'85% su Ansible.
• Scelte di Design (RQ3):
  • Modello Teacher: Claude-4 ha fornito il miglior equilibrio per la pseudo-etichettatura (F1 89%), superando GPT-5 e Grok-4.
  • Modello Student: CodeT5p-220M si è rivelato l'architettura più efficace (Macro-F1 79%).
  • Scala: Il modello da 220M di parametri ha performato in modo comparabile alla variante da 770M, pur essendo il 71% più piccolo, validando il design orientato all'efficienza.

Significatività e Rivendicazioni
Il paper sostiene che IntelliSA offra una soluzione pratica al collo di bottiglia dei "falsi positivi" nell'analisi della sicurezza IaC. Sfruttando la distillazione della conoscenza, esso raggiunge l'alta precisione degli LLM mantenendo la capacità di dispiegamento offline a basso costo dei tradizionali analizzatori statici. Gli autori affermano che IntelliSA sia l'approccio più accurato e conveniente attualmente disponibile per il rilevamento degli security smell in IaC, consentendo agli ingegneri della sicurezza di identificare la maggior parte delle vulnerabilità con un minimo sforzo di ispezione manuale. Il lavoro è rilasciato come open source per supportare la riproducibilità e la ricerca ulteriore.