Belief-Space Quantum-Inspired Reinforcement Learning for Partially Observable Autonomous Cyber Defense in the Internet of Vehicles

Resumo Técnico: Aprendizado por Reforço Inspirado em Quantum para Segurança de IoV Baseado em Espaço de Crença

Formulação do Problema
O artigo aborda os desafios de segurança inerentes à Internet dos Veículos (IoV), onde a natureza dinâmica e adversária do ambiente torna os sistemas de detecção de intrusão (IDS) estáticos tradicionais ineficazes. As abordagens existentes dependem de conjuntos de dados offline e classificadores fixos, falhando em considerar a tomada de decisão sequencial, a adaptação do atacante e a observabilidade parcial em implementações do mundo real. Especificamente, os autores identificam uma limitação crítica nas defesas de Aprendizado por Reforço (RL) atuais: elas dependem de modelos de crença Bayesiana clássicos para rastrear a intenção oculta do atacante. Sob observabilidade parcial, particularmente quando os atacantes empregam estratégias de sondagem ou evasão, esses modelos clássicos tendem a "colapsar" em estimativas excessivamente confiantes. Esse colapso corrompe a entrada da política, levando a ações defensivas erráticas e de alta variância precisamente quando o raciocínio confiável é mais necessário.

Metodologia: Q-BIRD
Para superar essas limitações, os autores propõem o Quantum Belief-Integrated Reinforcement Defense (Q-BIRD). O framework modela a segurança de IoV como uma interação sequencial atacante-defensor sob observabilidade parcial, formulada como um Processo de Decisão de Markov Parcialmente Observável (POMDP).

1. Representação de Crença Inspirada em Quantum: Diferente das abordagens clássicas que mantêm um vetor de probabilidade sobre hipóteses de intenção do atacante, o Q-BIRD utiliza uma crença baseada em amplitude ($\psi_t \in \mathbb{C}^H$). O defensor mantém um vetor de estado de números complexos, onde cada entrada corresponde a uma possível intenção do atacante (ex: benigna, sondagem, ataque, evasão).

   • Evolução: O estado de crença evolui via uma matriz de transformação linear ($U_t$) no espaço de amplitude, em vez de atualizações de probabilidade direta.
   • Extração de Probabilidade: As probabilidades são derivadas apenas quando necessário usando a regra de Born ($b_t(\theta_i) = |\psi_t(i)|^2$).
   • Mecanismo: Esta abordagem permite que a incerteza persista em uma "superposição" de hipóteses sob observações ambíguas ou enganosas. Isso evita o colapso prematuro da crença que ocorre em atualizações Bayesianas clássicas, permitindo uma evolução de crença não-Bayesiana que é mais robusta ao ruído e à manipulação adversária.

2. Integração com RL: O estado de crença quantum é integrado a um defensor de Otimização de Política de Proximidade (PPO). A política ($\pi_\phi$) recebe como entrada tanto o estado do sistema observável ($s_t$) quanto o estado de crença ($b_t$ ou $\psi_t$). O defensor seleciona ações de mitigação conscientes de custo (alerta, estrangulamento, isolamento) para minimizar uma função de recompensa definida como a soma negativa do dano cumulativo e dos custos operacionais.

3. Modelo de Ameaça: O ambiente apresenta um atacante adaptativo com um estado de intenção oculta que evolui com base nas ações do defensor. O atacante muda dinamicamente entre estratégias de sondagem, ataques ativos e evasão para evitar a detecção, criando um ambiente não estacionário.

Principais Contribuições
O artigo descreve quatro contribuições principais:

1. Formulação: A segurança de IoV é formulada como um processo de decisão sequencial com um atacante adaptativo operando sob um estado de intenção oculto.
2. Crença Inspirada em Quantum: Uma nova representação de crença baseada em amplitude é proposta para preservar a incerteza distribuída entre as hipóteses de intenção sob observações ambíguas, contrastando com a natureza propensa ao colapso das crenças Bayesianas clássicas.
3. Integração de Política: O estado de crença quantum é integrado a um defensor baseado em PPO, permitindo ações de mitigação conscientes de custo condicionadas tanto aos estados observáveis quanto à incerteza da crença.
4. Validação: O framework é validado através de simulações controladas e análises de explicabilidade post-hoc (SHAP, LIME, Grad-CAM), confirmando que o estado de crença quantum serve como o principal sinal de decisão durante as transições de estratégia do atacante.

Resultados Experimentais
A abordagem foi avaliada em um ambiente de IoV simulado usando 600 episódios de treinamento e 80 episódios de teste, com um modelo de atacante adaptativo. Os resultados foram comparados com baselines incluindo PPO com crença Bayesiana clássica, Q-Learning e políticas aleatórias.

• Redução de Dano: O método proposto alcançou uma redução de 60,4% no dano médio cumulativo em comparação com o PPO com crença Bayesiana clássica (27,495 vs. 69,348).
• Estabilidade: Crucialmente, o método demonstrou uma redução de 90,2% na variância do dano (3,636 vs. 37,054), representando uma melhoria de 10,2 vezes na estabilidade. Isso indica que o comportamento do defensor é significativamente mais previsível e confiável.
• Taxa de Sucesso de Ataque (ASR): O PPO quantum alcançou um ASR de 0,000 nos episódios de teste, uma melhoria de 50% sobre o baseline de PPO clássico (0,247).
• Probabilidade de Sobrevivência: A probabilidade de sobrevivência aumentou em 46,4% (1,000 vs. 0,683).
• Descobertas de Ablação: O estudo observou que uma política aleatória na verdade superou o PPO com crença clássica em dano médio. Isso sugere que o modelo de crença clássica prejudica ativamente a política ao fornecer dados de estado falsos e excessivamente confiantes durante a evasão, enquanto a crença quantum mantém a incerteza, permitindo que a política permaneça consistente.

Significância e Alegações
O artigo afirma que a principal fonte de ganho de desempenho é a representação de crença inspirada em quantum, não o algoritmo de RL subjacente (PPO), conforme confirmado pelos estudos de ablação onde apenas o mecanismo de atualização de crença diferiu. Os autores afirmam que representações de incerteza não-clássicas fornecem superioridade de segurança para redes IoV sem exigir hardware quantum; o aspecto "quantum" é um framework matemático para representar a incerteza em hardware clássico.

A significância reside em abordar o modo de falha específico dos modelos de crença clássicos em ambientes adversários: o "colapso" da incerteza sob observações enganosas. Ao preservar a incerteza no espaço de amplitude, o Q-BIRD permite uma tomada de decisão robusta durante as transições de estratégia, ofereção uma defesa mais estável e eficaz contra adversários adaptativos em ambientes de IoV críticos para a segurança. O trabalho sugere que os futuros sistemas de defesa autônomos devem ir além da detecção estática e da modelagem probabilística clássica para lidar com a ambiguidade e a adaptabilidade das ameaças cibernéticas modernas.