Belief-Space Quantum-Inspired Reinforcement Learning for Partially Observable Autonomous Cyber Defense in the Internet of Vehicles

Sintesi Tecnica: Apprendimento per Rinforzo Ispirato alla Meccanica Quantistica nello Spazio delle Credenze per la Sicurezza IoV

Formulazione del Problema
Il documento affronta le sfide di sicurezza inerenti all'Internet dei Veicoli (IoV), dove la natura dinamica e avversaria dell'ambiente rende inefficaci i tradizionali sistemi di rilevamento delle intrusioni (IDS) statici. Gli approcci esistenti si affidano a dataset offline e classificatori fissi, fallendo nel considerare il processo decisionale sequenziale, l'adattamento dell'attaccante e l'osservabilità parziale nelle implementazioni reali. Nello specifico, gli autori identificano un limite critico negli attuali sistemi di difesa basati su Reinforcement Learning (RL): essi si affidano a modelli di credenza bayesiani classici per tracciare l'intento nascosto dell'attaccante. Sotto osservabilità parziale, particolarmente quando gli attaccanti impiegano strategie di sondaggio o di evasione, questi modelli classici tendono a "collassare" in stime eccessivamente sicure di sé (overconfident). Questo collasso corrompe l'input della policy, portando ad azioni difensive erratiche e ad alta varianza proprio quando una ragionamento affidabile sarebbe più necessario.

Metodologia: Q-BIRD
Per superare tali limitazioni, gli autori propongono il Quantum Belief-Integrated Reinforcement Defense (Q-BIRD). Il framework modella la sicurezza IoV come un'interazione sequenziale tra attaccante e difensore sotto osservabilità parziale, formulata come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP).

1. Rappresentazione della Credenza Ispirata alla Meccanica Quantistica: A differenza degli approcci classici che mantengono un vettore di probabilità sulle ipotesi di intento dell'attaccante, Q-BIRD utilizza uno stato di credenza basato su ampiezze ($\psi_t \in \mathbb{C}^H$). Il difensore mantiene un vettore di stato composto da numeri complessi, dove ogni voce corrisponde a un possibile intento dell'attaccante (ad es. benigno, sondaggio, attacco, evasione).

   • Evoluzione: Lo stato di credenza evolve tramite una matrice di trasformazione lineare ($U_t$) nello spazio delle ampiezze, anziché tramite aggiornamenti diretti di probabilità.
   • Estrazione della Probabilità: Le probabilità vengono derivate solo quando necessario utilizzando la regola di Born ($b_t(\theta_i) = |\psi_t(i)|^2$).
   • Meccanismo: Questo approccio consente all'incertezza di persistere in una "sovrapposizione" di ipotesi sotto osservazioni ambigue o ingannevoli. Ciò impedisce il collasso prematuro della credenza che avviene con gli aggiornamenti bayesiani classici, consentendo un'evoluzione della credenza non-bayesiana che è più robusta al rumore e alla manipolazione avversaria.

2. Integrazione con RL: Lo stato di credenza quantistica è integrato in un difensore basato su Proximal Policy Optimization (PPO). La policy ($\pi_\phi$) riceve in input sia lo stato del sistema osservabile ($s_t$) che lo stato di credenza ($b_t$ o $\psi_t$). Il difensore seleziona azioni di mitigazione sensibili ai costi (allerta, limitazione del traffico, isolamento) per minimizzare una funzione di ricompensa definita come la somma negativa del danno cumulativo e dei costi operativi.

3. Modello di Minaccia: L'ambiente presenta un attaccante adattivo con uno stato di intento nascosto che evolve in base alle azioni del difensore. L'attaccante passa dinamicamente tra strategie di sondaggio, attacchi attivi ed evasione per evitare il rilevamento, creando un ambiente non stazionario.

Contributi Chiave
Il documento delinea quattro contributi primari:

1. Formulazione: La sicurezza IoV è formulata come un processo decisionale sequenziale con un attaccante adattivo che opera sotto uno stato di intento nascosto.
2. Credenza Ispirata alla Meccanica Quantistica: Viene proposta una nuova rappresentazione della credenza basata su ampiezze che preserva l'incertezza distribuita tra le ipotesi di intento sotto osservazioni ambigue, contrastando con la natura soggetta a collasso dei modelli di credenza bayesiani classici.
3. Integrazione della Policy: Lo stato di credenza quantistica è integrato in un difensore basato su PPO, consentendo azioni di mitigazione sensibili ai costi condizionate sia dagli stati osservabili che dall'incertezza della credenza.
4. Validazione: Il framework è validato attraverso simulazioni controllate e analisi di spiegabilità post-hoc (SHAP, LIME, Grad-CAM), confermando che lo stato di credenza quantistica funge da segnale decisionale primario durante le transizioni di strategia dell'attaccante.

Risultati Sperimentali
L'approccio è stato valutato in un ambiente IoV simulato utilizzando 600 episodi di addestramento e 80 episodi di test, con un modello di attaccante adattivo. Il metodo è stato confrontato con i baseline, inclusi PPO con credenza bayesiana classica, Q-Learning e policy casuali.

• Riduzione del Danno: Il metodo proposto ha ottenuto una riduzione del 60,4% nel danno medio cumulativo rispetto a PPO con credenza bayesiana classica (27,495 vs 69,348).
• Stabilità: Fondamentalmente, il metodo ha dimostrato una riduzione del 90,2% nella varianza del danno (3,636 vs 37,054), rappresentando un miglioramento di 10,2 volte nella stabilità. Ciò indica che il comportamento del difensore è significativamente più prevedibile e affidabile.
• Tasso di Successo dell'Attacco (ASR): Il PPO quantistico ha raggiunto un ASR di 0,000 negli episodi di test, un miglioramento del 50% rispetto al baseline PPO classico (0,247).
• Probabilità di Sopravvivenza: La probabilità di sopravvivenza è aumentata del 46,4% (1,000 vs 0,683).
• Risultati dell'Ablazione: Lo studio ha notato che una policy casuale ha effettivamente superato PPO con credenza classica nel danno medio. Ciò suggerisce che il modello di credenza classica danneggia attivamente la policy fornendo dati di stato falsi e eccessivamente sicuri durante l'evasione, mentre la credenza quantistica mantiene l'incertezza, permettendo alla policy di rimanere coerente.

Significatività e Rivendicazioni
Il documento sostiene che la fonte primaria del guadagno di prestazioni è la rappresentazione della credenza ispirata alla meccanica quantistica, non l'algoritmo di RL sottostante (PPO), come confermato dagli studi di ablazione in cui differiva solo il meccanismo di aggiornamento della credenza. Gli autori affermano che le rappresentazioni dell'incertezza non classiche forniscono una sicurezza superiore per le reti IoV senza richiedere hardware quantistico; l'aspetto "quantistico" è un framework matematico per rappresentare l'incertezza su hardware classico.

La significatività risiede nel risolvere il modo specifico di fallimento dei modelli di credenza classici in contesti avversari: il "collasso" dell'incertezza sotto osservazioni ingannevoli. Preservando l'incertezza nello spazio delle ampiezze, Q-BIRD consente un processo decisionale robusto durante le transizioni di strategia, offrendo una difesa più stabile ed efficace contro avversari adattivi in ambienti IoV critici per la sicurezza. Il lavoro suggerisce che i futuri sistemi di difesa autonoma debbano andare oltre il rilevamento statico e la modellazione probabilistica classica per gestire l'ambiguità e l'adattabilità delle moderne minacce informatiche.