FGGM: Formal Grey-box Gradient Method for Attacking DRL-based MU-MIMO Scheduler

Resumo Técnico: FGGM – Método de Gradiente Formal de Caixa Cinza para Atacar Agendadores MU-MIMO Baseados em DRL

1. Problema Investigado

O artigo aborda a vulnerabilidade de segurança intrínseca em sistemas de comunicação 5G que utilizam MIMO Multi-Usuário (MU-MIMO) com agendamento baseado em Aprendizado por Reforço Profundo (DRL).

• Contexto: Para maximizar a eficiência espectral e garantir justiça entre usuários, as estações base (BS) devem selecionar um subconjunto de usuários para transmissão em tempo real. Este problema é NP-difícil, levando à adoção de DRL para inferir soluções quase ótimas.
• Ameaça: O DRL é suscetível a ataques adversariais onde usuários maliciosos manipulam suas informações de estado do canal (CSI) para degradar o desempenho dos usuários legítimos (vítimas).
• Limitação das Abordagens Existentes: A maioria dos estudos anteriores assume que os atacantes possuem conhecimento exato das CSIs das vítimas (modelo de caixa branca completa ou espionagem de feedback em texto claro). No entanto, em sistemas de enlace de subida (uplink) do LTE/5G, a BS estima o CSI diretamente, tornando a obtenção de valores exatos das vítimas impraticável.
• Objetivo: Desenvolver um método de ataque eficaz que funcione sem conhecer os valores exatos das observações das vítimas, mas apenas seus limites estatísticos.

2. Metodologia Proposta: FGGM

Os autores propõem o Método de Gradiente Formal de Caixa Cinza (FGGM), uma técnica que combina um modelo de ameaça de "caixa cinza" com métodos de verificação formal de redes neurais.

• Modelo de Ameaça (Caixa Cinza):

  • Conhecimento do Atacante: Os adversários conhecem a política DRL treinada (pesos da rede, arquitetura) e os parâmetros estatísticos (média e variância) do normalizador de observações da rede.
  • Desconhecimento: Os atacantes não conhecem os valores exatos das CSIs das vítimas em tempo real.
  • Abordagem: Os atacantes estimam os limites superior e inferior das observações das vítimas baseando-se na normalização estatística (média $\mu$ e desvio padrão $\sigma$) extraída da política DRL. O espaço de busca é definido como $\mu \pm \delta\sigma$.

• Técnica de Verificação Formal (Domínio de Poliedros):

  • O FGGM utiliza domínios abstratos de poliedros (especificamente a técnica DeepPoly), comumente usada para verificação de redes neurais.
  • Em vez de tentar prever uma saída exata para uma entrada específica, o método calcula os limites superior e inferior das saídas da rede neural para todo o intervalo de possíveis entradas das vítimas.
  • Isso permite propagar as incertezas das observações das vítimas através das camadas ocultas e de saída da rede DRL.

• Formulação do Ataque:

  • O objetivo é encontrar um único vetor de CSI adversarial ($o_{adv}$) que minimize o limite superior do valor Q (probabilidade de seleção) para todas as ações que envolvem vítimas, independentemente de qual seja o valor real da CSI da vítima dentro do intervalo estimado.
  • O problema é formulado como uma otimização não linear, resolvida via Descida de Gradiente Estocástica (SGD).
  • Vantagem Chave: O ataque é calculado uma única vez no início do período de ataque. O mesmo vetor de CSI adversarial é reutilizado em todos os passos de tempo, tornando-o robusto contra a variação das CSIs das vítimas devido ao movimento.

3. Contribuições Principais

1. Novo Modelo de Ameaça: Introdução de um modelo de caixa cinza para agendadores MU-MIMO baseados em DRL, que integra o conhecimento da política (caixa branca) com a incerteza das observações das vítimas (caixa preta).
2. Algoritmo FGGM: Proposta de um método que utiliza abstração de poliedros para gerar observações adversariais que degradam o throughput das vítimas para todo o intervalo possível de suas observações, sem necessidade de recálculo contínuo.
3. Superioridade sobre Baselines: Demonstração de que o FGGM supera ataques de caixa preta (ruído aleatório) e ataques baseados em amostragem de caixa branca (PGD adaptado) em termos de probabilidade de seleção e degradação de throughput.
4. Impacto Significativo: Evidência experimental de que um único atacante pode reduzir o throughput em 9,5%, e quando 50% dos usuários são adversários, a redução pode chegar a 70%.
5. Aplicabilidade Geral: O estudo serve como caso de uso para outros problemas de alocação de recursos baseados em DRL (ex: problemas de mochila).

4. Resultados Experimentais

Os experimentos foram realizados em um ambiente simulado de rede celular com canais gerados pelo QuaDRiGa, variando o número de usuários (8 e 16) e atacantes.

• RQ1 (Espaço de Busca): O FGGM manteve uma probabilidade de seleção de vítimas consistentemente menor que as abordagens comparadas (Noise e SPGD) em diferentes tamanhos de limites de busca ($\delta$). O desempenho ótimo foi observado em um espaço de busca médio ($\delta_{adv} = 2.0$).
• RQ2 (Número de Atacantes): Existe uma correlação direta entre o número de atacantes e a degradação do serviço. O FGGM superou o método SPGD em quase todas as configurações. Com apenas um atacante, o FGGM reduziu a taxa de transmissão das vítimas em 9,5% a mais que o método de ruído.
• RQ3 (Cenário Crítico - 50% de Atacantes):
  • Em uma configuração com 8 usuários (4 atacantes), o FGGM reduziu a taxa de dados da vítima mais crítica de 88,5 MB/s para 26,6 MB/s (uma redução de ~70%).
  • O FGGM degradou significativamente o índice de justiça de Jain e a taxa de dados, enquanto o agendador DRL original (SAC) performava quase tão bem quanto o agendador ótimo (OptPF) na ausência de ataques.
  • O ataque demonstrou ser mais eficaz do que a otimização baseada em amostragem (PGD), pois minimizar o limite superior do valor Q garante a degradação para todas as possibilidades de entrada.

5. Significância e Conclusão

O trabalho destaca que os agendadores baseados em DRL, embora eficientes em desempenho, possuem uma superfície de ataque crítica quando dependem de dados de entrada não sanitizados.

• Implicação de Segurança: A descoberta de que é possível realizar um ataque eficaz sem conhecer os dados exatos das vítimas (apenas usando estatísticas de normalização) representa um risco real para a implementação de 5G/6G.
• Defesa Futura: O estudo sugere que a simples robustez contra ruído não é suficiente. A defesa contra tais ataques pode exigir treinamento adversarial que considere intervalos de entrada ou a integração de técnicas de verificação formal no processo de treinamento do DRL.
• Inovação Técnica: A aplicação de métodos de verificação formal (poliedros) para gerar ataques adversariais em sistemas de controle contínuo/discreto híbridos (como agendamento de recursos) é uma contribuição metodológica pioneira.

Em suma, o FGGM demonstra que é possível paralisar a eficiência de redes 5G baseadas em IA manipulando apenas uma fração dos dados de entrada, sem necessidade de espionagem de dados sensíveis, levantando alertas urgentes sobre a segurança de sistemas de comunicação autônomos.