Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity?

Titolo: Gli LLM possono fornire efficacemente scenari basati sulla teoria dei giochi per la cybersecurity?

Autore: Daniele Proverbio et al.
Data: Settembre 2025 (preprint)

---

1. Il Problema

La teoria dei giochi è uno strumento fondamentale nella cybersecurity per modellare, prevedere e progettare le interazioni strategiche tra attaccanti e difensori. Con l'avvento dei Large Language Models (LLM), questi modelli sono stati integrati sia come generatori di scenari che come agenti autonomi (attaccanti o difensori) all'interno di tali scenari.

Tuttavia, esiste un vuoto di conoscenza critico: non è chiaro se gli agenti guidati da LLM si comportino in modo allineato con le previsioni della teoria dei giochi classica o se mostrino comportamenti emergenti, imprevedibili e distorti da bias intrinseci. La mancanza di studi sistematici sull'adeguatezza degli LLM in contesti di sicurezza informatica solleva dubbi sulla loro affidabilità per la progettazione di sistemi difensivi, specialmente considerando la loro sensibilità a fattori come la lingua e la personalità assegnata.

2. Metodologia

Gli autori hanno utilizzato il framework FAIRGAME, progettato per simulare giochi strategici con agenti LLM in modo riproducibile. Lo studio si è concentrato su due scenari canonici utilizzati in cybersecurity:

1. Gioco a somma zero monostadio (One-shot Zero-Sum Game): Modellato per scenari come jamming, intercettazione (eavesdropping) o attacchi DoS. In questo gioco, il guadagno di un giocatore equivale alla perdita dell'altro.
2. Dilemma del Prigioniero Dinamico (Repeated Prisoner's Dilemma): Modellato per scenari di egoismo nelle reti multi-hop o intrusioni a livello nazionale. Giocato per 10 round con informazioni parziali sulla storia delle mosse.

Variabili Sperimentali:

• Modelli LLM: Quattro modelli all'avanguardia sono stati testati: GPT-4 (OpenAI), Gemini Pro 1.5 (Google), Mistral Large (Mistral AI) e Llama 3.1 405B (Meta).
• Lingue: Cinque lingue naturali per valutare la sensibilità linguistica: Inglese, Francese, Arabo, Vietnamita e Cinese Mandarino.
• Tratti della Personalità: Gli agenti sono stati configurati con tratti "Cooperativi" o "Egoisti" (Selfish).
• Informazione: Nel Dilemma del Prigioniero, è stata variata la conoscenza del numero totale di round (noto vs. sconosciuto).
• Metriche di Valutazione:
  • Internal Variability (IV): Coerenza interna del modello nelle ripetizioni.
  • Cross-Language Inconsistency (CI): Instabilità del comportamento al cambio di lingua.
  • Variability Over Rounds (VR): Fluttuazione delle strategie durante i round ripetuti.

3. Risultati Chiave

A. Gioco a Somma Zero

• Impatto della Personalità: Le combinazioni di personalità influenzano significativamente i payoff. Ad esempio, quando entrambi gli agenti sono "cooperativi", tendono a scegliere opzioni diverse, portando a payoff negativi, in contrasto con la strategia mista ottimale prevista dalla teoria.
• Instabilità Linguistica: Non esiste un pattern conservato tra i modelli. Cambiare la lingua di prompt può alterare completamente la strategia adottata da un LLM. Ad esempio, GPT-4o si comporta in modo coerente in francese ma è un outlier in inglese; Llama 3 diverge in francese.
• Stabilità dei Modelli: Mistral Large ha mostrato la minore variabilità e i picchi di underperformance più bassi. GPT-4o è risultato il modello meno stabile, con alta inconsistenza cross-lingua.

B. Dilemma del Prigioniero Ripetuto

• Convergenza e Deviazioni: Sebbene la teoria preveda la defezione (Nash Equilibrium) in scenari statici, gli LLM mostrano comportamenti complessi. In generale, tendono a defezionare, ma con grandi inconsistenze tra lingue e combinazioni di personalità.
• Sensibilità alla Lingua: Le penalità sono generalmente più basse (maggiore cooperazione) in Inglese (lingua di addestramento primaria) e quando il numero di round è sconosciuto.
• Comportamento Dinamico:
  • Claude 3.5 Sonnet converge rapidamente a valori stabili, suggerendo una rapida adattamento ma forse una minore flessibilità esplorativa.
  • GPT-4o inizia con alta cooperazione per poi aumentare le penalità (riducendo la cooperazione), mostrando un adattamento strategico dipendente dal contesto.
  • Llama 3 e GPT-4o mostrano la minore inconsistenza cross-lingua (CI più bassa), mentre Claude 3.5 mostra la massima sensibilità linguistica.

4. Contributi Principali

1. Framework Sperimentale Riproducibile: Dimostrazione dell'uso di FAIRGAME per testare agenti LLM in scenari di cybersecurity, permettendo l'isolamento di bias specifici (lingua, personalità).
2. Identificazione di Bias Critici: Evidenza che gli LLM non sono "agnostici" rispetto alla lingua o alla personalità. Le loro decisioni strategiche variano drasticamente in base al contesto linguistico, il che è un fattore di rischio per la sicurezza globale.
3. Metriche Quantitative: Introduzione e calcolo di metriche (IV, CI, VR) per valutare la stabilità e l'affidabilità degli LLM in contesti strategici, fornendo una guida per la selezione del modello più adatto a specifici scenari.
4. Avvertenza per la Cybersecurity: Sottolinea che l'applicazione indiscriminata di LLM nella sicurezza informatica è rischiosa a causa della loro imprevedibilità e della potenziale violazione dei presupposti della teoria dei giochi classica.

5. Significato e Implicazioni

Lo studio ha implicazioni profonde per la ricerca e la pratica nella cybersecurity:

• Selezione dei Modelli: Non tutti gli LLM sono uguali per applicazioni di sicurezza. La scelta del modello deve essere basata su test specifici per la lingua target e lo scenario, poiché un modello stabile in inglese potrebbe essere inaffidabile in arabo o vietnamita.
• Nuove Minacce: Gli attaccanti basati su LLM potrebbero comportarsi in modo diverso rispetto agli algoritmi tradizionali, sfruttando bias linguistici o di personalità per eludere difese progettate su modelli classici.
• Necessità di Nuove Strategie: I difensori devono sviluppare contromisure che tengano conto della natura stocastica e biasata degli LLM, piuttosto che affidarsi esclusivamente a modelli deterministici.
• Etica e Responsabilità: L'uso di agenti AI per simulare attacchi e difese richiede framework di sperimentazione responsabili e trasparenti per evitare conseguenze indesiderate dovute a bias nascosti.

In conclusione, mentre gli LLM offrono potenti strumenti per la modellazione di scenari complessi, la loro integrazione nella cybersecurity richiede una validazione rigorosa e una comprensione profonda delle loro deviazioni rispetto alla teoria dei giochi classica.