Trustworthy AI-Driven Dynamic Hybrid RIS: Joint Optimization and Reward Poisoning-Resilient Control in Cognitive MISO Networks

Este artigo propõe uma superfície inteligente reconfigurável (RIS) híbrida e dinâmica para redes de rádio cognitivo, otimizando conjuntamente o beamforming e a fase via aprendizado por reforço profundo (SAC) enquanto introduz a primeira defesa sistemática contra envenenamento de recompensa, garantindo desempenho robusto e eficiente em termos energéticos.

O essencial

Imagine que você está tentando fazer uma chamada de vídeo importante em um parque cheio de pessoas (o Primary User ou usuário licenciado). Você não pode gritar alto demais para não atrapalhar a conversa alheia, mas o vento e as árvores (os obstáculos) estão bloqueando sua voz.

Aqui entra a tecnologia deste artigo, que é como uma super-espelho inteligente que você pode controlar com um aplicativo no seu celular. Vamos descomplicar tudo o que os autores propuseram:

1. O Problema: O Espelho que "Fica Cansado"

Na tecnologia atual, existem dois tipos de espelhos inteligentes (chamados de RIS):

• O Espelho Passivo: É como um espelho de banheiro comum. Ele reflete sua voz sem gastar energia, mas se o sinal for muito fraco, ele não consegue ajudar muito. É barato, mas limitado.
• O Espelho Ativo: É como um megafone. Ele não só reflete, mas amplifica sua voz. O problema? Ele gasta muita bateria e esquenta, o que é caro e difícil de manter.

A Solução do Artigo: Os autores criaram um Espelho Híbrido Dinâmico. Pense nele como um "camaleão de energia".

• Se a bateria do espelho estiver cheia (ele recolheu energia solar ou de ondas de rádio), ele vira um megafone (modo ativo) para amplificar seu sinal.
• Se a bateria estiver baixa, ele vira automaticamente um espelho comum (modo passivo) para economizar energia e continuar funcionando, mesmo que com menos força.
• O Truque: Ele decide isso em tempo real, sem que você precise mexer em nada.

2. O Cérebro: O "Treinador" que Aprende (IA)

Para controlar esse espelho inteligente e a sua antena ao mesmo tempo, os autores usaram uma Inteligência Artificial chamada Aprendizado por Reforço (DRL).

Imagine um treinador de futebol (o algoritmo SAC) que está aprendendo a jogar.

• Ele tenta diferentes formações (ajusta a direção do sinal e o ângulo do espelho).
• Se a jogada funciona (você recebe a chamada com qualidade), ele ganha um "ponto" (recompensa).
• Se atrapalha, ele perde pontos.
• Com o tempo, o treinador aprende a jogada perfeita para cada situação, mesmo com o vento mudando ou pessoas passando na frente.

3. O Vilão: O "Sabotador" (Ataque de Envenenamento)

Aqui está a parte mais interessante e assustadora. E se alguém tentar enganar o treinador?
Imagine um torcedor do time adversário que grita mentiras para o treinador.

• Ele diz: "Ei, aquela jogada foi horrível!" (quando na verdade foi ótima).
• Ou: "Isso foi incrível!" (quando foi um erro).
  Isso é chamado de Ataque de Envenenamento de Recompensa. Se o treinador acreditar nessas mentiras, ele vai aprender a jogar errado e sua chamada vai cair.

4. O Herói: O "Detetive de Estatística" (Defesa)

O artigo propõe uma defesa simples, mas genial, para proteger o treinador. Em vez de ter um guarda-costas complexo e caro, eles usam um filtro estatístico.

Pense assim:

• O treinador sabe que, em média, ele ganha cerca de 5 pontos por jogo.
• De repente, o "torcedor mentiroso" grita que ele ganhou 100 pontos ou perdeu 50 pontos.
• O Filtro olha para esses números e diz: "Espera aí! Isso é muito fora do normal. Deve ser mentira."
• O filtro corta (ignora) esses valores extremos e só deixa passar as recompensas que fazem sentido estatístico.

Isso é feito de forma muito leve, como um filtro de café, sem gastar muita energia do sistema.

Resumo da Ópera

Os autores criaram um sistema onde:

1. Espelhos Inteligentes mudam de comportamento (passivo/ativo) dependendo de quanta energia têm, equilibrando desempenho e economia.
2. Uma IA aprende sozinha a configurar esses espelhos para a melhor conexão possível.
3. Um Sistema de Defesa protege essa IA de mentiras enviadas por hackers, garantindo que a rede continue funcionando bem mesmo sob ataque.

Por que isso importa?
Isso é o futuro das redes 6G. Permite que tenhamos internet super rápida em lugares onde o sinal é ruim, sem gastar uma fortuna em energia e sem deixar hackers derrubarem o sistema. É como ter um assistente pessoal que não só melhora sua conexão, mas também sabe quando alguém está tentando enganar você.

Resumo técnico

Resumo Técnico: Otimização de Redes Cognitivas com RIS Híbrido Dinâmico e Defesa contra Ataques

1. Problema e Motivação

As Redes de Rádio Cognitivo (CRNs) são essenciais para mitigar a escassez de espectro, permitindo que Usuários Secundários (SUs) acessem bandas licenciadas sem interferir nos Usuários Primários (PUs). No entanto, redes de próxima geração (como 6G) enfrentam desafios críticos:

• Links Diretos Não Confiáveis: A comunicação direta entre SUs é frequentemente bloqueada, exigindo tecnologias de retransmissão.
• Restrições de Energia: Dispositivos de IoT e sensores têm energia limitada, tornando soluções ativas (como repetidores tradicionais) inviáveis devido ao alto consumo.
• Limitações das Superfícies Inteligentes Reconfiguráveis (RIS) Existentes:
  • RIS Passivo: Baixo consumo, mas sofre com o efeito de desvanecimento multiplicativo (perda de sinal).
  • RIS Ativo: Amplifica o sinal, mas consome muita energia e gera ruído térmico.
  • RIS Híbrido Fixo: Combina elementos passivos e ativos de forma estática, faltando adaptabilidade às condições energéticas variáveis.
• Vulnerabilidade de Segurança: Algoritmos de Aprendizado por Reforço Profundo (DRL), usados para otimizar essas redes, são vulneráveis a ataques de envenenamento de recompensa (reward poisoning), onde um adversário manipula os sinais de recompensa para degradar o aprendizado e a performance da rede.

2. Metodologia Proposta

O artigo propõe uma arquitetura integrada que combina hardware adaptativo e inteligência artificial robusta:

A. Modelo de Sistema: RIS Híbrido Dinâmico e Consciente de Energia

• Arquitetura: Um RIS que alterna dinamicamente entre modos passivo (apenas reflexão) e ativo (reflexão + amplificação) em tempo real.
• Gestão de Energia: O RIS é alimentado por colheita de energia (Energy Harvesting - EH) de uma baliza de potência dedicada.
  • Se a energia colhida ($E_{total}$) estiver abaixo de um limiar ($\tau$), o RIS opera em modo passivo.
  • Se $E_{total} \ge \tau$, o RIS ativa o modo ativo, com ganho de amplificação escalado proporcionalmente à energia disponível.
• Modelagem Realista: O sistema considera:
  • Canais de desvanecimento Rayleigh em cascata (mais precisos que modelos simples).
  • Impairments de hardware (amplitude de reflexão dependente da fase).
  • Ruído térmico introduzido pelos amplificadores no modo ativo.
• Restrições: Otimização sujeita a limites de interferência nos PUs e potência máxima de transmissão dos SUs.

B. Otimização via Deep Reinforcement Learning (DRL)

• Algoritmo: Utilização do Soft Actor-Critic (SAC), um método off-policy baseado em entropia.
• Justificativa: O SAC é escolhido por sua robustez em espaços de ação e estado contínuos (necessários para beamforming e fases do RIS) e por promover uma exploração eficiente, evitando convergência prematura para ótimos locais.
• Objetivo: Maximizar a taxa de soma (sum-rate) dos SUs, otimizando conjuntamente a matriz de beamforming do transmissor e os coeficientes de fase/amplificação do RIS.

C. Mecanismo de Defesa contra Envenenamento de Recompensa

• Ataque: Assume-se um adversário que inverte ou escala os sinais de recompensa quando o agente performa bem (baseado em um limiar $A_T$).
• Defesa Proposta: Um mecanismo leve e em tempo real composto por:
  1. Recorte (Clipping): Limita os valores de recompensa a um intervalo pré-definido.
  2. Filtragem Estatística: Compara a recompensa observada com a média e o desvio padrão das recompensas "limpas" (histórico recente). Se a recompensa for um outlier estatístico, ela é descartada e não usada para atualizar a política.

3. Principais Contribuições

1. Primeira Abordagem Dinâmica e Consciente de Energia: Introdução de um RIS híbrido que alterna modos baseados na energia colhida, superando designs híbridos fixos.
2. Modelagem Realista: Incorporação de modelos de canal em cascata, imperfeições de hardware e ruído térmico, oferecendo uma avaliação de performance mais fiel à realidade.
3. Otimização Conjunta via SAC: Demonstração de que o SAC supera métodos como DDPG e TD3 em cenários de CRN com RIS, garantindo estabilidade e taxas mais altas.
4. Defesa de Segurança Inovadora: Primeira investigação sistemática de ataques de envenenamento de recompensa em CRNs assistidas por RIS, propondo uma defesa estatística leve que não exige múltiplos ambientes de treinamento (diferente de soluções anteriores computacionalmente pesadas).

4. Resultados de Simulação

• Performance do SAC: O método SAC convergiu consistentemente para taxas de soma superiores às do DDPG, TD3 e políticas aleatórias, especialmente em cenários com alto número de elementos RIS.
• Impacto do RIS Híbrido Dinâmico:
  • O RIS híbrido dinâmico superou tanto o RIS totalmente passivo (melhor taxa) quanto o totalmente ativo (menor consumo de energia).
  • Ajustando o limiar de energia ($\tau$), é possível equilibrar a eficiência energética e a taxa de dados. Por exemplo, com $\tau=40$ J, o sistema opera 57,2% do tempo em modo passivo, economizando energia sem sacrificar drasticamente a performance.
  • Comparado a RISs híbridos fixos (50% ativos, 50% passivos), a abordagem dinâmica adaptativa alcançou taxas de dados mais altas ao ativar elementos apenas quando há energia suficiente.
• Eficiência Energética: O sistema híbrido economizou até 74,2% de energia em comparação com o RIS totalmente ativo, mantendo uma performance aceitável.
• Resiliência à Segurança:
  • Ataques de envenenamento (inversão e escala) degradaram severamente a performance do agente sem defesa.
  • A defesa proposta (filtragem estatística + recorte) restaurou a taxa de aprendizado, mantendo o agente convergindo para uma política ótima mesmo sob ataque adversário. O filtro demonstrou ser eficaz em remover recompensas corrompidas sem penalizar o aprendizado normal.

5. Significância e Conclusão

Este trabalho avança significativamente a viabilidade prática das Redes de Rádio Cognitivo de próxima geração. Ao integrar:

1. Adaptabilidade Energética: Permite a implantação de RIS em dispositivos com restrições severas de energia (IoT).
2. Robustez de Segurança: Garante a confiabilidade do sistema contra ataques ciber-físicos que visam o aprendizado da IA.
3. Eficiência de Hardware: Oferece um equilíbrio superior entre custo, consumo de energia e desempenho de comunicação.

A pesquisa destaca que a combinação de otimização baseada em DRL (SAC) com mecanismos de defesa leve é crucial para a implantação segura e eficiente de redes inteligentes e autônomas no cenário 6G.