6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

Sintesi Tecnica: Sicurezza del Sensing 6G tramite Reinforcement Learning Teoria dei Giochi Distribuita

Problematica
Nei sistemi di Integrazione Sensing e Comunicazione (ISAC) per la prossima generazione 6G, la doppia funzionalità delle infrastrutture wireless crea nuove vulnerabilità di sicurezza. Nello specifico, negli ambienti urbani, gli attaccanti attivi possono manipolare le direzioni del beamforming fornendo feedback falsificati dello stato del canale o della qualità del fascio. Questa manipolazione mira ad aumentare l'interferenza e a indurre i trasmettitori (TX) a dirigere i lobi principali del fascio verso l'attaccante anziché verso gli utenti legittimi. La sfida centrale consiste nel rilevare tali attaccanti attivi e mitigare il loro impatto sulla capacità del sistema e sulla sicurezza all'interno di un ambiente dinamico e incerto, caratterizzato da una complessa propagazione urbana (condizioni di Line-of-Sight e Non-Line-of-Sight).

Metodologia
Gli autori propongono un framework ibrido che integra l'Apprendimento per Rinforzo (Reinforcement Learning - RL), l'inferenza Bayesiana e la Teoria dei Giochi per affrontare queste sfide di sicurezza. La metodologia opera attraverso i seguenti componenti:

1. Modello di Sistema:

   • Scenario: Una simulazione di ray-tracing basata su 3GPP in un ambiente Urban Micro (UMi) a Dortmund, Germania, operante a 28 GHz (banda FR2 mmWave) con una larghezza di banda di 400 MHz.
   • Hardware: Due stazioni base (TX) e quattro ricevitori (RX) dotati di Uniform Rectangular Arrays (URA).
   • Propagazione: I canali sono modellati utilizzando gli standard 3GPP TR 38.901, incorporando path loss, shadow fading (log-normale) e small-scale fading (3GPP NR Clustered Delay Line). Un metodo di Shooting and Bouncing Rays (SBR) modella gli effetti multipath con fino a un riflesso e tre diffrazioni.

2. Rappresentazione dello Stato e Aggiornamento della Credenza (Belief Update):

   • Il sistema mantiene un vettore di credenza Bayesiana che rappresenta la probabilità ($P_j$) che ogni utente $j$ sia un attaccante.
   • Questa credenza viene aggiornata iterativamente in base alla deviazione tra la capacità di canale prevista e quella osservata, utilizzando una verosimiglianza esponenziale derivata da un punteggio di anomalia.
   • Per stabilizzare il processo di Q-learning, le probabilità continue vengono discretizzate in livelli di confidenza (5 livelli per nodo), formando uno spazio di stato definito dall'ID del nodo sospetto e dal suo livello di confidenza.

3. Formulazione Teoria dei Giochi:

   • Sono implementati due modelli di gioco per prevedere il comportamento e ottimizzare l'utilità: Nash e Stackelberg.
   • Funzione di Utilità: $U = \sum (1 - P_j)C_j - \beta_{risk} P_j C_j$, dove $C_j$ è la capacità del canale e $P_j$ è la probabilità dell'attaccante. Questa formulazione bilancia le prestazioni degli utenti legittimi con i rischi di sicurezza.
   • Modello Nash: I TX agiscono simultaneamente e indipendentemente, cercando un equilibrio di migliore risposta (best-response equilibrium).
   • Modello Stackelberg: Una struttura gerarchica in cui un TX agisce come "Leader" (prioritizzato dal servire più utenti) e l'altro come "Follower". Il Leader ottimizza la propria strategia anticipando la migliore risposta del Follower.

4. Integrazione del Reinforcement Learning:

   • Un agente di Q-learning seleziona gli angoli di beamforming (spazio delle azioni: 25 angoli discreti per antenna) per massimizzare la capacità totale del canale e minimizzare l'interferenza.
   • Esplorazione vs. Sfruttamento: Viene utilizzata una politica $\epsilon$-greedy, ma l'esplorazione è guidata dal modello Stackelberg-Bayesiano piuttosto che essere puramente casuale.
   • Meccanismi di Memoria: Lo studio confronta un approccio basato sulla memoria (utilizzando l'Experience Replay con tuple $(s, a, r, s')$) rispetto a un approccio senza memoria. Il modello basato sulla memoria mira a ridurre le correlazioni temporali e ad accelerare la convergenza.

Contributi Chiave

• Framework Ibrido: Il documento introduce un'architettura innovativa che combina l'inferenza Bayesiana per la modellazione dell'incertezza, la Teoria dei Giochi per la modellazione dell'interazione strategica e il RL per l'ottimizzazione a lungo termine nella sicurezza ISAC.
• Superiorità di Stackelberg: Il lavoro dimostra che una struttura di gioco gerarchica di tipo Stackelberg supera un approccio Nash simultaneo nel rilevamento degli attaccanti. La dinamica Leader-Follower riduce l'interferenza interna alla rete, fornendo un segnale più chiaro per l'algoritmo Bayesiano per distinguere tra il comportamento malevolo e il naturale fading del canale.
• Experience Replay nella Sicurezza: L'applicazione del Q-learning basato sulla memoria (Experience Replay) dimostra di migliorare significativamente l'accuratezza del rilevamento e la stabilità del sistema rispetto agli aggiornamenti senza memoria in ambienti avversari.
• Validazione tramite Ray-Tracing Urbano: La metodologia è validata utilizzando una mappa urbana digitalizzata e realistica (Dortmund) con ray-tracing, invece di semplificati modelli di canale teorici.

Risultati delle Prestazioni

• Rilevamento dell'Attaccante:
  • Il modello Stackelberg ha raggiunto un'accuratezza media di rilevamento del 69,41%, superando significativamente il modello Nash al 38,38%.
  • Nello scenario Stackelberg, il valore di credenza per l'attaccante (RX3) è convergente rapidamente superando lo 0,9, mentre il modello Nash non è riuscito a distinguere l'attaccante con alta confidenza (i valori rimanevano inferiori a 0,5).
• Throughput di Sistema:
  • L'approccio di Q-learning basato sulla memoria ha raggiunto una capacità media totale del canale di 934 Mbps, rispetto ai 841 Mbps dell'approccio senza memoria (un miglioramento dell'11,06%).
  • L'accuratezza del rilevamento è migliorata dal 70,13% (senza memoria) al 75,46% (con memoria).
• Robustezza: Sotto il framework proposto, il sistema ha identificato con successo gli attaccanti con probabilità costantemente superiori a 0,9, anche in presenza di severo shadowing e multipath. Il sistema si è ripreso rapidamente dai cali temporanei di credenza causati dalla dinamica del canale, dimostrando resilienza.
• Recupero della Capacità: Nonostante la presenza di un attaccante, il beamforming ottimizzato ha permesso alla capacità totale del sistema di raggiungere circa 2500 Mbps nelle iterazioni successive, soddisfacendo i requisiti del 5G New Radio.

Significato e Rivendicazioni
Il documento afferma che il framework proposto affronta efficacemente le sfide di sicurezza nei sistemi ISAC 6G dinamici, trasformando il sistema da un semplice ottimizzatore numerico in un "decisore consapevole del rischio, guidato dall'incertezza e sensibile al comportamento". L'integrazione dell'inferenza Bayesiana nelle funzioni di utilità della teoria dei giochi consente un rilevamento degli attaccanti più accurato rispetto agli standard approcci Nash. Inoltre, lo studio stabilisce che l'incorporazione della memoria (Experience Replay) nel processo di RL è critica per stabilizzare l'apprendimento e migliorare il throughput in ambienti urbani rumorosi e avversari. Il lavoro fornisce una base fondamentale per estendere questi metodi a scenari ISAC mobili e in tempo reale, garantendo un'allocazione delle risorse sicura ed efficiente per le reti future.