Can Small GenAI Language Models Rival Large Language Models in Understanding Application Behavior?

Sintesi Tecnica: I piccoli modelli linguistici GenAI possono competere con i grandi modelli linguistici nella comprensione del comportamento delle applicazioni?

Definizione del Problema
La proliferazione dei malware, che utilizzano sempre più l'offuscamento, il polimorfismo e il riutilizzo del codice, ha reso inefficaci i tradizionali metodi di rilevamento basati sulle firme. Sebbene i Large Language Models (LLM) abbiano dimostrato un potenziale significativo nella comprensione della semantica del codice e nel rilevamento di comportamenti malevoli, il loro dispiegamento in ambienti di sicurezza informatica pratici è ostacolato dagli elevati requisiti computazionali, dall'uso sostanziale della memoria e dal consumo energetico. Questi vincoli ne limitano la fattibilità per l'analisi in tempo reale, l'edge computing e i centri operativi di sicurezza con risorse limitate. Di conseguenza, esiste una necessità critica di valutare se i Small Language Models (SLM) — che sono leggeri, efficienti e più veloci — possano raggiungere prestazioni di rilevamento dei malware comparabili a quelle dei loro omologhi più grandi, offrendo così un equilibrio sostenibile tra accuratezza del rilevamento ed efficienza operativa.

Metodologia
Lo studio impiega un framework di valutazione sistematica per confrontare le capacità di SLM e LLM nella classificazione di malware binari.

• Dataset: I ricercatori hanno utilizzato il dataset SBAN, un benchmark multidimensionale contenente codice sorgente sia benigno che malware proveniente da repository open-source, benchmark di sicurezza e codice generato da IA. Per garantire una valutazione bilanciata e prevenire l'inflazione dell'accuratezza, è stato selezionato casualmente un sottoinsieme di 10.000 campioni (5.000 benigni e 5.000 malware).
• Selezione dei Modelli: Sono stati testati cinque modelli, rappresentanti sia le categorie SLM che LLM in base al numero di parametri e all'architettura:
  • SLM: DeepSeek-1.3B e Phi-4-mini.
  • LLM: Llama-3.1-8B, Qwen-2.5-7B e Mistral-7B.
• Strategie di Valutazione: Lo studio ha confrontato due distinti approcci di inferenza:
  1. Testa di Classificazione (Classification Head): Utilizzando i pesi pre-addestrati del modello con l'aggiunta di una testa di classificazione leggera per la classificazione binaria, utilizzando una funzione sigmoide con una soglia predefinita di 0,5.
  2. Basata su Prompt (Zero-Shot): Fornendo direttamente ai modelli un'istruzione specifica di cybersecurity per classificare il codice come 'malware' o 'benigno' senza ulteriore fine-tuning, utilizzando una temperatura di 0 per output deterministici.
• Metriche: Le prestazioni sono state valutate utilizzando Accuratezza, Precisione, Recall e F1-score per entrambe le classi (benigna e malware), insieme al tempo di inferenza e alla fattibilità computazionale. Gli esperimenti sono stati condotti su una workstation dotata di una singola GPU NVIDIA H100.

Contributi Chiave

• Analisi Comparativa: Lo studio fornisce un confronto dettagliato tra LLM e SLM specificamente per la diagnosi di codice malware, utilizzando sia teste di classificazione che il prompting diretto.
• Granularità delle Metriche: I risultati sono riportati con metriche specifiche (precisione, recall, F1-score) per entrambe le classi (benigna e malware), evidenziando la capacità dei modelli di distinguere tra le due.
• Valutazione Robusta: L'uso di un sottoinsieme bilanciato di 10.000 campioni dal dataset SBAN garantisce una valutazione delle prestazioni affidabile e imparziale.
• Valutazione a Doppia Strategia: Il documento confronta in modo unico le prestazioni delle teste di classificazione native dei modelli rispetto alle strategie di prompting zero-shot, rivelando differenze significative nella loro efficacia.

Risultati Sperimentali

• Superiorità del Prompting: È stata osservata una significativa differenza di prestazioni tra le due strategie. In quasi tutti i modelli valutati, l'approccio basato su prompt ha superato costantemente la strategia della testa di classificazione. Ciò suggerisce che gli obiettivi di instruction-tuning intrinseci in questi modelli consentono capacità di ragionamento più forti per questo compito rispetto ai loro livelli di classificazione predefiniti.
• Competitività degli SLM: Nonostante abbiano meno parametri, gli SLM hanno dimostrato prestazioni competitive. In particolare, Phi-4-mini ha raggiunto uno dei F1-score più elevati e ha mantenuto valori equilibrati di precisione e recall, sfidando l'assunto che la dimensione del modello sia l'unico determinante dell'efficacia del rilevamento.
• Prestazioni LLM vs Costi: I modelli più grandi (ad es. Qwen-2.5-7B, Mistral-7B) hanno dimostrato forti capacità di rilevamento ma richiedevano tempi di inferenza e risorse computazionali sostanzialmente maggiori.
• Compromessi Precisione-Recall: Sebbene gli SLM abbiano mostrato un'alta precisione, alcuni hanno mostrato una recall inferiore per i campioni benigni. Tuttavia, i risultati complessivi indicano che gli SLM progettati con cura possono fornire capacità di rilevamento significative.

Significatività e Rivendicazioni
Il documento afferma che i piccoli modelli GenAI possono integrare efficacemente i modelli grandi, offrendo un equilibrio pratico tra prestazioni ed efficienza delle risorse. I risultati suggeriscono che:

1. Fattibilità Operativa: Gli SLM sono particolarmente adatti per il dispiegamento nel mondo reale in ambienti con capacità computazionale limitata, come dispositivi edge e centri operativi di sicurezza, dove latenza e consumo di risorse sono critici.
2. Architetture Gerarchiche: Gli SLM possono fungere da efficace meccanismo di filtraggio di primo stadio nelle pipeline di analisi dei malware. I campioni sospetti identificati dagli SLM potrebbero essere inoltrati a modelli più grandi per un'analisi più approfondita, riducendo i costi operativi pur preservando un'elevata accuratezza di rilevamento.
3. Riqualificazione Minima: La forte performance dei metodi basati su prompt suggerisce che l'addestramento specifico per il compito non sia sempre necessario; modelli pre-addestrati con prompt ben progettati possono eseguire il rilevamento dei malware con costi di addestramento aggiuntivo minimi.

Gli autori concludono che, sebbene i modelli più grandi raggiungano generalmente un'accuratezza complessiva superiore, i modelli più piccoli come Phi-4-mini offrono soluzioni affidabili ed efficienti dal punto di vista delle risorse. Lo studio sottolinea che la dimensione del modello non determina da sola l'efficacia; la qualità dell'addestramento, l'instruction tuning e la conoscenza del dominio giocano ruoli ugualmente importanti. Il lavoro futuro è diretto al miglioramento delle prestazioni degli SLM attraverso il fine-tuning su dataset diversificati e l'esplorazione di tecniche di ottimizzazione del modello come il pruning e la distillazione.