Trustworthy AI-Driven Dynamic Hybrid RIS: Joint Optimization and Reward Poisoning-Resilient Control in Cognitive MISO Networks

Dit artikel introduceert een betrouwbaar, AI-gestuurd dynamisch hybride RIS-systeem voor cognitieve MISO-netwerken dat energiebewust schakelt tussen passieve en actieve modi, via soft actor-critic geoptimaliseerd wordt en beschermd is tegen beloningvergiftiging-aanvallen.

De kern

📡 De Slimme Spiegel die Energie Spaart en Bedriegers Terechtwijst

Stel je voor dat je in een groot, druk stadion zit (het Cognitieve Radionetwerk). Er zijn twee soorten mensen:

1. De VIP's (Hoofdgebruikers): Zij hebben een vast, exclusief ticket voor de beste plekken (de frequentiebanden). Ze mogen niet gestoord worden.
2. De Toeristen (Secundaire Gebruikers): Zij willen ook kijken, maar hebben geen ticket. Ze mogen alleen kijken als ze de VIP's niet storen.

Het probleem? Soms is het zicht op het podium geblokkeerd door muren of mensen (signaalblokkering). En de batterijen van de toeristen zijn vaak leeg (energiebeperkingen).

1. De Magische Spiegel (RIS)

Om dit op te lossen, plaatsen we een Reconfigurable Intelligent Surface (RIS). Denk hierbij niet aan een gewone spiegel, maar aan een muur bedekt met duizenden kleine, slimme spiegeltjes.

• Passieve modus: De spiegeltjes buigen het licht (signaal) netjes om de hoek. Ze verbruiken bijna geen energie, maar ze kunnen het signaal niet versterken. Als het signaal erg zwak is, helpt dit niet genoeg.
• Actieve modus: De spiegeltjes hebben een batterij en een versterker. Ze kunnen het signaal niet alleen buigen, maar ook harder schreeuwen (versterken). Dit werkt geweldig, maar het kost veel batterij.

2. De Slimme Mix: De "Hybride" Spiegel

In dit artikel bedenken de onderzoekers een dynamische hybride RIS.

• Hoe werkt het? Stel je voor dat elke spiegel een eigen kleine zonnepaneeltje heeft.
  • Als de zonnepaneeltjes vol zijn (veel energie), gaan de spiegels in de actieve modus: ze versterken het signaal.
  • Als de batterij bijna leeg is, schakelen ze automatisch over naar de passieve modus: ze buigen het signaal alleen, zonder versterking, om energie te sparen.
• Het doel: De toeristen (secundaire gebruikers) krijgen zo het beste zicht, zonder dat hun batterij (of de energiebron van de spiegel) leeg loopt.

3. De Slimme Leerling (AI & DRL)

Hoe weet de spiegel precies wanneer hij moet versterken en hoe hij moet buigen? Dat doet een AI (een kunstmatige intelligentie) genaamd SAC (Soft Actor-Critic).

• De analogie: Stel je een kind voor dat leert fietsen. Het probeert iets, valt, en krijgt een "punten" (beloning) als het goed gaat.
• De AI probeert duizenden combinaties van spiegel-hoeken en zendkracht. Als de toeristen een goed beeld hebben, krijgt de AI een beloning. Als ze storen of de batterij leeg is, krijgt de AI een straf.
• Na veel oefenen leert de AI precies wat hij moet doen om het beste resultaat te krijgen, zelfs als de omstandigheden (zoals wind of obstakels) veranderen.

4. De Boze Vriend (Reward Poisoning)

Er is echter een gevaar: Reward Poisoning (Beloningsvergiftiging).

• Het probleem: Stel dat een hacker in het stadion zit. Hij kan de "punten" die de AI krijgt, manipuleren. Hij zegt bijvoorbeeld: "Je hebt een slechte zet gedaan, hier is een straf!" terwijl de AI eigenlijk goed bezig was.
• Het gevolg: De AI leert verkeerde dingen. Ze gaat denken dat ze moet stoppen met versterken of verkeerde hoeken moet kiezen. Het hele systeem crasht.

5. De Wapenrusting (Verdediging)

De onderzoekers hebben een slimme, lichte verdediging bedacht: Reward Clipping & Statistische Filtering.

• De analogie: Stel je een leraar voor die de cijfers van een klas controleert.
  • Als een leerling plotseling een cijfer van 100 krijgt, terwijl hij normaal een 6 haalt, denkt de leraar: "Wacht even, dat is onrealistisch."
  • De verdediging kijkt naar de geschiedenis van de punten. Als een nieuwe beloning te extreem is (te hoog of te laag) vergeleken met wat normaal is, gooit de AI die beloning weg.
  • Ze gebruiken alleen de "echte" punten om te leren. Zo blijft de AI stabiel, zelfs als de hacker probeert haar gek te maken.

🏆 Wat is het resultaat?

1. Beter dan vast: De dynamische spiegel (die wisselt tussen aan/uit) werkt veel beter dan een spiegel die altijd aan staat (te veel energie) of altijd uit staat (te zwak).
2. Beter dan andere AI: De gekozen AI-methode (SAC) leert sneller en betrouwbaarder dan andere bekende methoden.
3. Veilig: Zelfs als hackers proberen de AI te misleiden, blijft het systeem werken dankzij de slimme filter die de "valse" punten weggooit.

Kortom: Dit artikel laat zien hoe we slimme, energiezuinige spiegels kunnen bouwen die zichzelf aanpassen aan de batterijstand, en die zo slim zijn dat ze niet laten manipuleren door hackers. Dit is een grote stap naar snellere en veiligere draadloze netwerken in de toekomst.

Technische samenvatting

Titel

Betrouwbare AI-gestuurde Dynamische Hybride RIS: Gecombineerde Optimalisatie en Bestendige Besturing tegen Beloningvergiftiging in Cognitieve MISO-netwerken.

1. Probleemstelling

Het artikel adresseert de uitdagingen in toekomstige 6G-cognitieve radio-netwerken (CRN), waar secundaire gebruikers (SU) licentievrije banden moeten benutten zonder primaire gebruikers (PU) te storen. De specifieke problemen zijn:

• Onbetrouwbare verbindingen: Directe SU-verbindingen zijn vaak geblokkeerd of zwak.
• Energiebeperkingen: Actieve componenten (zoals versterkers) verbruiken veel energie, wat problematisch is voor energie-arme apparaten.
• Statische architectures: Bestaande Reconfigurable Intelligent Surfaces (RIS) zijn vaak statisch (alleen passief of altijd actief) en kunnen niet dynamisch schakelen op basis van beschikbare energie.
• Cyberveiligheid: Deep Reinforcement Learning (DRL) agents zijn kwetsbaar voor "reward poisoning" aanvallen, waarbij een aanvaller de beloningssignalen manipuleert om het leerproces te saboteren, wat leidt tot spectrummisbruik en prestatieverlies.

2. Methodologie

De auteurs stellen een geavanceerd systeemmodel voor dat drie kerncomponenten integreert:

• Dynamische Hybride RIS:

  • In plaats van een vaste configuratie, schakelt de RIS dynamisch tussen passieve modus (alleen reflectie, laag energieverbruik) en actieve modus (reflectie + versterking, hoger energieverbruik).
  • De schakeling wordt bepaald door een energie-drempelwaarde ($\tau$). Als de geoogste energie (via een dedicated power beacon) onder deze drempel valt, schakelt de RIS naar passief om energie te besparen.
  • Het model houdt rekening met niet-ideale hardware: fase-afhankelijke reflectieamplitudes, versterkingsruis in de actieve modus en gekaskede Rayleigh-vervalkanalen (multiplicative fading).

• Gecombineerde Optimalisatie met Soft Actor-Critic (SAC):

  • Het probleem van het maximaliseren van de som-rate van de SU's (onder interferentiebeperkingen voor PU's) wordt gemodelleerd als een Markov Decision Process (MDP).
  • De auteurs gebruiken Soft Actor-Critic (SAC), een DRL-algoritme dat uitstekend presteert in continue actie- en toestandsruimtes.
  • De agent optimaliseert gelijktijdig de transmissiebeamforming van de SU-zender en de faseshift (en versterkingsfactor) van de RIS.
  • De beloningsfunctie (reward) bevat een strafterm als de RIS in de actieve modus probeert te werken met onvoldoende geoogste energie.

• Verdediging tegen Reward Poisoning:

  • Om DRL-agenten te beschermen tegen manipulatie van beloningssignalen (bijv. omkering of schaling van beloningen door een aanvaller), wordt een lichtgewicht verdedigingsmechanisme voorgesteld.
  • Dit mechanisme combineert reward clipping (het beperken van extreme waarden) met statistische filtering (controle op afwijkingen van het gemiddelde en de standaardafwijking van recente, schone beloningen).
  • Verdachte beloningen worden verworpen voordat ze worden gebruikt om het beleid van de agent bij te werken.

3. Belangrijkste Bijdragen

1. Dynamische Energie-bewuste Hybride RIS: De eerste studie die een RIS introduceert die dynamisch schakelt tussen passief en actief op basis van geoogste energie, in plaats van een vaste hybride configuratie.
2. Realistisch Systeemmodel: Inclusief niet-ideale reflectie, versterkingsruis, gekaskede kanalen en energie-oogstbeperkingen, wat de resultaten praktischer maakt dan eerdere studies met ideale aannames.
3. SAC-gebaseerde Besturing: Toepassing van SAC voor gecombineerde beamforming en RIS-optimalisatie in een onderliggende MISO-CRN, wat superieur presteert ten opzichte van DDPG en TD3.
4. Eerste Systematische Verdediging: Het is de eerste studie die reward poisoning-aanvallen op DRL-agenten in RIS-versterkte CRN's onderzoekt en een efficiënte, statistische verdediging voorstelt.

4. Resultaten

De numerieke simulaties tonen het volgende aan:

• Prestaties: De SAC-benadering convergeert sneller en bereikt een hogere cumulatieve beloning dan DDPG, TD3 en willekeurige strategieën.
• Hybride vs. Statisch: De dynamische hybride RIS presteert beter dan zowel volledig passieve als volledig actieve RIS, en ook beter dan vaste hybride RIS-ontwerpen. Het biedt een optimale afweging tussen doorvoer en energieverbruik.
• Energie-efficiëntie: De hybride RIS kan tot 74,2% energie besparen ten opzichte van een volledig actieve RIS, afhankelijk van de ingestelde drempelwaarde ($\tau$), zonder de betrouwbaarheid van de verbinding te veel te compromitteren.
• Invloed van Parameters: Een hoger aantal RIS-elementen en een hogere minimale reflectieamplitude verbeteren de prestaties. Een hogere cascade-level (meer obstakels) en meer PU-ontvangers (strengere interferentiebeperkingen) verminderen de prestaties.
• Veiligheid: De voorgestelde verdediging (clipping + statistische filtering) is zeer effectief. Zelfs onder zware "invert" en "scale" aanvallen, behoudt de agent een stabiele leercurve en een hoge gemiddelde rate, terwijl de agent zonder verdediging convergeert naar een suboptimale strategie.

5. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen theoretische DRL-optimalisatie en praktische implementatie in energie-beperkte, veilige 6G-netwerken.

• Het bewijst dat AI-gestuurde dynamische RIS haalbaar is en superieur is aan statische oplossingen.
• Het introduceert een praktische, rekenkracht-arme veiligheidsmaatregel tegen een kritieke kwetsbaarheid in DRL (reward poisoning), wat essentieel is voor de betrouwbare inzet van AI in kritieke infrastructuur.
• De studie biedt inzicht in het ontwerp van toekomstige cognitieve radio-netwerken die zowel energie-efficiënt als veilig zijn tegen vijandige ingrepen.

Kortom, het artikel levert een stap voorwaarts naar de praktische, veilige en efficiënte implementatie van RIS-assisterende cognitieve radio-systemen.