ExAI5G: A Logic-Based Explainable AI Framework for Intrusion Detection in 5G Networks

1. Il Problema

L'implementazione delle reti 5G ha ampliato notevolmente la superficie di attacco per le intrusioni informatiche, richiedendo sistemi di rilevamento delle intrusioni (IDS) in grado di gestire traffico ad alto volume e complessità. Sebbene i modelli di deep learning "black-box" (come le reti neurali tradizionali) possano raggiungere tassi di rilevamento elevati, la loro mancanza di trasparenza crea un divario di fiducia per gli operatori di sicurezza.
Il problema centrale affrontato dal paper è il trade-off tra prestazioni e interpretabilità: nei domini critici come la sicurezza informatica, un miglioramento marginale delle metriche di performance (es. F1-score) non giustifica il rischio di utilizzare sistemi inesplicabili, dove gli operatori non possono comprendere il motivo di un allarme né agire di conseguenza in modo efficace.

2. Metodologia: Il Framework ExAI5G

ExAI5G è un framework ibrido progettato per rendere trasparente un IDS basato su deep learning senza sacrificare eccessivamente le prestazioni. L'architettura si articola in quattro fasi principali:

1. Modello IDS basato su Transformer:

   • Viene addestrato un modello TabTransformer su dati di traffico di rete 5G/IoT.
   • Il modello proietta i vettori delle caratteristiche in embedding, utilizza un token [CLS] appreso e processa la sequenza attraverso un encoder Transformer (6 livelli, 8 teste).
   • Per gestire lo squilibrio delle classi, viene utilizzata una funzione di perdita focalizzata (focal loss) con pesi di classe.

2. Attribuzione delle Caratteristiche (Integrated Gradients):

   • Per identificare quali caratteristiche di input guidano le decisioni del modello, viene applicato il metodo Integrated Gradients (IG).
   • Questo calcola l'importanza delle caratteristiche rispetto a una baseline (vettore zero), fornendo un punteggio di attribuzione che indica la direzione e l'intensità dell'influenza di ogni feature sulla classificazione.

3. Estrazione di Regole Logiche (Surrogate Decision Tree):

   • Per rendere il modello interpretabile, viene addestrato un albero decisionale di surrogato (CART) utilizzando le predizioni del Transformer come pseudo-etichette.
   • Da questo albero vengono estratte regole logiche "if-then" (clausole) che descrivono le condizioni per cui viene attivato un allarme.
   • Vengono calcolati metriche di Fidelity (quanto l'albero replica il modello originale) e Coverage (quanti casi di test sono coperti dalle regole).

4. Generazione e Validazione delle Spiegazioni tramite LLM:

   • Le regole logiche e le attribuzioni IG vengono convertite in linguaggio naturale utilizzando Large Language Models (LLM).
   • Viene introdotta una nuova metodologia di valutazione quantitativa in tre parti per verificare la qualità delle spiegazioni generate:
     • Similarità Semantica: Confronto vettoriale tra la regola logica originale e il testo generato dall'LLM.
     • Fedeltà all'Attribuzione: Verifica programmatica che il linguaggio usato (es. "alto", "basso") corrisponda al segno matematico del punteggio di attribuzione (positivo o negativo).
     • Punteggio di Azionabilità (Actionability): Un LLM valutatore esperto assegna un punteggio (1-5) sulla base dell'utilità pratica della spiegazione per un analista di sicurezza (es. suggerisce passi concreti o tipi di attacco).

3. Contributi Chiave

1. Framework XAI Innovativo: Un sistema che integra un IDS Transformer con estrazione di regole logiche e spiegazioni in linguaggio naturale validate.
2. Metodologia di Valutazione delle Spiegazioni: Introduzione di uno schema di validazione a tre livelli (semantica, fedeltà, azionabilità) per valutare oggettivamente le spiegazioni generate dagli LLM.
3. Dimostrazione di Performance Equilibrata: Confronto diretto con modelli opachi, dimostrando che un sistema interpretabile può raggiungere prestazioni elevate (99,9% di accuratezza) con un set di regole compatto e ad alta fedeltà.
4. Analisi Quantitativa degli LLM: Valutazione comparativa di quattro diversi modelli generativi (Qwen2.5, Llama3.1, Phi4, Gemma3), dimostrando che modelli moderni possono generare spiegazioni perfettamente fedeli e azionabili.
5. Studio con Esperti Umani: Una valutazione pilota con due analisti di sicurezza per confrontare le metriche automatizzate con il giudizio umano, evidenziando punti di convergenza e divergenza.

4. Risultati Sperimentali

Il framework è stato testato su un dataset pubblico di intrusioni 5G/IoT contenente 9 classi (8 attacchi, 1 traffico benigno).

• Prestazioni di Classificazione:

  • Accuratezza complessiva: 99,9%.
  • Macro F1-score: 0,854.
  • Sebbene modelli ensemble come Random Forest abbiano ottenuto un F1 leggermente superiore (0,989), ExAI5G offre un compromesso accettabile a favore della trasparenza.

• Estrazione delle Regole:

  • Sono state estratte 16 regole logiche con una fedeltà del 99,7% rispetto al modello Transformer originale.
  • Le regole coprono il 100% dei casi di test (dopo una leggera potatura, 15 regole coprono il 99,998%).
  • Le caratteristiche più influenti identificate sono di natura temporale e volumetrica (es. frame.time_relative, tcp.stream).

• Qualità delle Spiegazioni (LLM):

  • I modelli Qwen2.5:14b e Phi4:14b hanno eccelso, ottenendo punteggi di fedeltà all'attribuzione di 0,99 e 0,98 rispettivamente.
  • Il punteggio medio di azionabilità per i migliori modelli è stato di 4,6 su 5, indicando che le spiegazioni sono altamente utili per gli operatori.
  • Lo studio con esperti umani ha confermato che le spiegazioni sono percepite come coerenti e utili, sebbene con una valutazione leggermente più conservatrice rispetto alle metriche automatizzate.

• Efficienza Computazionale:

  • Latenza di inferenza mediana di 2,48 ms per flusso su CPU, rendendo il sistema adatto per il deployment in tempo reale nelle reti 5G.

5. Significato e Implicazioni

Il lavoro di ExAI5G segna un cambio di paradigma nella sicurezza informatica basata sull'AI. Dimostra che non è necessario accettare l'opacità dei modelli ad alte prestazioni.

• Fiducia Operativa: Fornisce agli analisti di sicurezza la capacità di verificare e comprendere le decisioni dell'AI, trasformando gli allarmi da "scatole nere" a raccomandazioni basate su regole verificabili.
• Azionabilità: Le spiegazioni non si limitano a elencare dati, ma forniscono contesto di sicurezza (es. "alto volume di connessioni simultanee suggerisce un attacco DDoS"), permettendo risposte rapide e mirate.
• Sostenibilità della Sicurezza: Il framework suggerisce che per le infrastrutture critiche (come il 5G), la capacità di un sistema di essere compreso, verificato e fidato è più importante di un miglioramento marginale delle metriche di accuratezza ottenuta a scapito della trasparenza.

In sintesi, ExAI5G offre una soluzione robusta per colmare il divario tra le capacità predittive dell'AI e la necessità umana di comprensione e controllo nei sistemi di sicurezza di nuova generazione.