Riepilogo Tecnico: Modellazione delle Minacce mediante Modelli Linguistici Adattati al Dominio

Enunciato del Problema

Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) mostrino promesse nelle applicazioni di cybersecurity come il rilevamento delle vulnerabilità, la loro efficacia nella modellazione strutturata delle minacce rimane poco esplorata. La ricerca precedente si è concentrata prevalentemente su LLM a scopo generale in contesti di prompting limitati. Esiste un divario critico nella comprensione se i modelli adattati al dominio (specificamente quelli addestrati su corpora di telecomunicazioni e cybersecurity) superino i corrispettivi a scopo generale nel contesto della classificazione delle minacce basata su STRIDE per le reti 5G. Inoltre, l'impatto della scala del modello, delle strategie di decodifica (deterministiche vs stocastiche) e delle tecniche di prompting (Zero-Shot vs Few-Shot) sulla affidabilità e validità degli output strutturati non è stato valutato sistematicamente.

Metodologia

Lo studio presenta una valutazione empirica completa che coinvolge 52 configurazioni distinte su 8 modelli linguistici addestrati alle istruzioni (che variano da 1 a 8 miliardi di parametri). I modelli includevano LLM a scopo generale (ad es. varianti di Llama-3) e modelli adattati al dominio (Tele-LLMs per le telecomunicazioni e Foundation-Sec per la cybersecurity).

Configurazione Sperimentale

• Compito: Classificazione multi-etichetta delle minacce 5G nelle sei categorie STRIDE (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege).
• Dataset: Sei minacce 5G rappresentative che coprono tutte le categorie STRIDE, derivate da Mahyoub et al. [14].
• Strategie di Prompting:
  • Zero-Shot (ZS): Istruzione diretta del compito senza esempi.
  • Few-Shot (FS): Inclusione di esempi in contesto che dimostrano la classificazione delle minacce.
  • Modelli di Chat: Valutazione con e senza modelli di chat specifici per il modello per valutare l'aderenza alle istruzioni.
• Strategie di Decodifica:
  • Decodifica Greedy: Valutazione deterministica, esecuzione singola.
  • Campionamento Stocastico: 10 esecuzioni indipendenti per minaccia (Temperature=0.7, Top_p=0.9) per valutare la coerenza dell'output e l'incertezza.
• Metriche di Valutazione:
  • Metriche standard di classificazione (Precisione, Recall, F1-Score).
  • Tasso di Output Invalido (IOR): La proporzione di output che non rispettano il formato richiesto (ad es. risposte vuote, etichette allucinate, spiegazioni contraddittorie).
  • F1-Score Penalizzato: Una metrica composita definita come $F1 \times (1 - IOR)$, che dà priorità sia all'accuratezza che alla validità dell'output.

Contributi Chiave

1. Valutazione Sistematica dell'Adattamento al Dominio: Il documento fornisce la prima analisi comparativa di LLM adattati al dominio (Telecomunicazioni e Cybersecurity) rispetto a modelli a scopo generale specificamente per la classificazione delle minacce basata su STRIDE.
2. Analisi delle Proprietà del Modello: Indaga l'interazione tra scala del modello (1B–8B) e strategie di decodifica, rivelando come il campionamento stocastico esponga incertezza di classificazione e problemi di stabilità nei modelli più piccoli.
3. Impatto della Tecnica di Prompting: Lo studio quantifica gli effetti del prompting Few-Shot e dei modelli di chat sia sulla qualità della classificazione che sull'aderenza alle istruzioni.
4. Informazioni sull'Affidabilità dell'Output: Oltre alla precisione standard, il documento identifica e categorizza specifici modi di fallimento (ad es. categorie allucinate, contraddizioni tra etichetta e spiegazione, e mancanza di astensione elegante) che rendono gli output del modello inutilizzabili per la modellazione automatizzata delle minacce.
5. Linee Guida Pratiche per il Prompting: Basandosi su osservazioni empiriche, gli autori propongono strategie di prompting specifiche per la modellazione strutturata delle minacce per migliorare l'affidabilità dell'output.

Risultati e Scoperte

1. L'Adattamento al Dominio Non è una Panacea

Contrariamente all'ipotesi che l'addestramento specifico per il dominio garantisca prestazioni superiori, i modelli adattati al dominio non hanno costantemente superato i loro corrispettivi a scopo generale. Sebbene modelli come Foundation-Sec-8B-Instruct e le varianti Tele-it abbiano ottenuto punteggi competitivi in contesti specifici, i modelli a scopo generale (ad es. Llama-3.1-8B-Instruct) spesso li hanno eguagliati o superati, in particolare sotto prompting Few-Shot. Ciò suggerisce che il ragionamento specifico del compito e l'aderenza alle istruzioni sono critici quanto la conoscenza del dominio.

2. Scala del Modello e Strategia di Decodifica

• Scala: I modelli più grandi (8 miliardi di parametri) hanno generalmente ottenuto F1-score penalizzati più alti e maggiore stabilità rispetto ai modelli più piccoli (1B e 3B). Tuttavia, la sola scalatura non ha eliminato errori di classificazione o output invalidi.
• Decodifica: Il campionamento stocastico ha rivelato una variabilità significativa nei modelli più piccoli, che spesso non sono riusciti a selezionare etichette coerenti tra le diverse esecuzioni. Al contrario, i modelli più grandi hanno dimostrato una selezione di etichette più stabile.
• Prompting Few-Shot: Il prompting FS ha generalmente migliorato il recall e gli F1-score per i modelli più grandi aiutandoli a inferire strutture multi-etichetta. Tuttavia, per i modelli più piccoli (specificamente 1B), il prompting FS ha talvolta degradato le prestazioni o aumentato gli output invalidi, indicando un limite di capacità nell'interpretare esempi in contesto.

3. Validità e Affidabilità dell'Output

Una parte significativa dello studio si concentra sul Tasso di Output Invalido (IOR). I risultati indicano che:

• I modelli più piccoli e le configurazioni senza modelli di chat hanno prodotto tassi più elevati di output invalidi (ad es. testo esplicativo invece di etichette, categorie allucinate o generazione di codice).
• I modelli di chat non hanno sempre migliorato l'accuratezza della classificazione, ma hanno significativamente migliorato l'aderenza alle istruzioni, riducendo la frequenza di risposte malformate.
• Nessuno dei modelli valutati ha dimostrato la capacità di "astenersi elegantemente" o esprimere incertezza quando una classificazione valida non poteva essere determinata; tendevano invece ad allucinare etichette.

Significato e Affermazioni

Il documento conclude che gli attuali LLM, anche se adattati al dominio e scalati, affrontano limiti fondamentali nella modellazione strutturata delle minacce. I risultati mettono in discussione l'assunzione che aggiungere semplicemente più dati di addestramento specifici per il dominio o aumentare la dimensione del modello sia sufficiente per un'automazione sicura affidabile.

Gli autori affermano che:

• L'adattamento al dominio da solo è insufficiente per la modellazione strutturata delle minacce; i modelli richiedono un allineamento con compiti di ragionamento specifici e vincoli di output.
• L'affidabilità è distinta dall'accuratezza. Un modello può ottenere un ragionevole F1-score ma essere comunque operativamente inaffidabile a causa di alti tassi di output invalidi o contraddittori.
• I miglioramenti futuri devono andare oltre la scalatura dei dati per incorporare meccanismi di ragionamento specifici per il compito più forti e un migliore ancoraggio ai concetti di sicurezza.
• L'ingegneria del prompt è una leva critica per migliorare l'affidabilità, specificamente attraverso l'uso di esempi Few-Shot per i modelli più grandi e vincoli di formattazione rigorosi (modelli di chat) per garantire la validità dell'output.

Lo studio funge da baseline empirica cautelativa, suggerendo che mentre gli LLM possono assistere nella modellazione delle minacce, non possono ancora essere considerati agenti autonomi senza un significativo controllo umano e una configurazione attenta dei parametri di prompting e decodifica.