Resource Allocation for Positive-Rate Covert Communications Using Optimization and Deep Reinforcement Learning

Dit artikel presenteert optimalisatie- en deep reinforcement learning-methoden voor hulpbronnenallocatie om positieve-snelheid covert communicatie te realiseren in Rayleigh-kanaalcondities, waarbij zowel niet-causale als causale kanaalstaten worden behandeld.

De kern

Het Kunstje van de Onzichtbare Boodschap: Hoe je stiekem praat zonder betrapt te worden

Stel je voor dat je een geheime boodschap moet sturen naar een vriend, maar er zit een sluwe bewaker (laten we hem "de Wacht" noemen) in de buurt die elke beweging van je antenne in de gaten houdt. Als de Wacht merkt dat je iets stuurt, is je boodschap verpest. Je doel is niet alleen om de boodschap veilig aan te laten komen, maar ook om ervoor te zorgen dat de Wacht geen idee heeft dat er überhaupt iets wordt gestuurd.

Dit is het probleem dat deze wetenschappers oplossen. Ze willen een manier vinden om positieve snelheid (veel informatie) te sturen, zonder dat de Wacht het doorheeft.

Hier is hoe ze dit doen, vertaald naar alledaagse taal:

1. De Uitdaging: De "Stille" Radio

Normaal gesproken is het heel moeilijk om stiekem te praten. Als je te hard praat, hoort de Wacht het. Als je te zacht praat, hoor jij je vriend niet.

• Het oude probleem: Vroeger dachten wetenschappers dat je maar heel weinig informatie kon sturen zonder betrapt te worden (zoals een fluisterende brievenbus).
• De nieuwe oplossing: Deze auteurs gebruiken slimme wiskunde en kunstmatige intelligentie om de "ruis" van de radio te benutten. Ze spelen een spelletje met de krachten van de natuur (de signaalsterkte) om de Wacht in de waan te brengen.

2. Twee Spelregels: Alles weten vs. Stap voor stap

De auteurs bekijken twee situaties, afhankelijk van hoe goed je de toekomst kunt voorspellen:

Situatie A: De Orakel (Niet-causale CSI)

Stel je voor dat je een magische bril hebt waarmee je alleen maar ziet hoe de wind gaat waaien voor de hele week. Je weet precies welke dagen het stormt en welke dagen het stil is.

• Het plan: Je kunt nu een perfect plan maken. Je stuurt je boodschap alleen op de dagen dat de wind je vriend helpt en de Wacht verwarren.
• De methode: De auteurs hebben een slimme "drie-stappen-methode" bedacht.
  1. Eerst checken ze of het überhaupt mogelijk is (is de wind wel gunstig?).
  2. Dan proberen ze een makkelijk plan te maken alsof er geen regels zijn.
  3. Als dat plan de Wacht te veel opvalt, passen ze het plan een beetje aan met een soort "boete-systeem" (een wiskundige straal) totdat het perfect is: snel genoeg voor je vriend, maar onzichtbaar voor de Wacht.

Situatie B: De Blindganger (Causale CSI)

Nu heb je die magische bril niet. Je weet alleen hoe de wind nu waait, maar niet hoe het morgen gaat. Je moet beslissingen nemen terwijl je loopt.

• Het probleem: Je kunt geen perfect plan maken voor de hele week, want je weet niet wat er komt.
• De oplossing (De AI-Trainer): Hier gebruiken ze een Deep Reinforcement Learning (een soort slimme AI).
  • De Analogie: Stel je voor dat je een video-game speelt waarin je een auto moet besturen door een donkere tunnel. Je weet niet waar de gaten zitten, maar je kunt wel oefenen.
  • De AI (de "Double Deep Q-Network") speelt dit spel duizenden keren in een simulatie. Elke keer als hij een goede zet doet (stiekem sturen zonder betrapt te worden), krijgt hij een puntje. Elke keer als hij betrapt wordt, krijgt hij een straf.
  • Na veel oefenen is de AI zo slim geworden dat hij instinctief weet: "Ah, nu is het moment om een beetje harder te praten, want de Wacht is even afgeleid!"

3. Twee Doelen: Snelheid vs. Energie

De auteurs hebben twee soorten problemen opgelost:

1. Maximale Snelheid: "Hoe snel kan ik praten zonder betrapt te worden, als ik een beperkte batterij heb?" (Zoals een marathonloper die probeert zo snel mogelijk te rennen met een volle maag).
2. Minimale Energie: "Hoe weinig batterij kan ik gebruiken om een boodschap van een bepaalde lengte te sturen?" (Zoals een spion die probeert zo stil mogelijk te lopen om energie te besparen).

4. Wat zeggen de resultaten?

De computer-simulaties tonen aan dat hun methoden veel beter werken dan de oude, simpele methoden.

• De "Orakel-methode" (als je alles van tevoren weet) is super efficiënt en haalt het maximale uit de situatie.
• De "AI-methode" (als je stap voor stap moet beslissen) is bijna net zo goed als de Orakel-methode, terwijl de AI eigenlijk blind is voor de toekomst. Het leert van zijn fouten en wordt steeds slimmer.

Samenvatting in één zin

Deze wetenschappers hebben slimme algoritmes en een slimme AI bedacht die een geheime boodschapper leren hoe hij sneller en zuiniger kan communiceren met zijn vriend, terwijl hij de sluwe bewaker volledig in de waan laat dat er niets aan de hand is.

Het is als het spelen van een perfecte dans met een partner, waarbij je precies weet hoe je moet bewegen om niet op te vallen in een drukke menigte, zelfs als je niet weet wat er over een uur gebeurt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Resource Allocation for Positive-Rate Covert Communications Using Optimization and Deep Reinforcement Learning" in het Nederlands.

Titel

Ressourcetoewijzing voor positieve-snelheid verborgen communicatie met behulp van optimalisatie en diepe versterkende leerling (Deep Reinforcement Learning).

1. Probleemstelling

Het artikel richt zich op het realiseren van verborgen communicatie (covert communication) met een positieve snelheid in Rayleigh-blokvervalkanalen (block-fading channels).

• Doel: Een zender en een legitieme ontvanger moeten communiceren zonder dat een waarnemer (de "warden") kan detecteren dat er communicatie plaatsvindt.
• Beperkingen:
  • Er wordt geen externe sleutel (keyless) gebruikt; de beveiliging berust puur op de fysieke laag.
  • De zender en ontvanger hebben toegang tot Channel State Information (CSI) van zowel het legitieme kanaal als het kanaal naar de waarnemer.
  • De waarnemer kent alleen de statistische verdeling van de CSI, niet de instantane waarden.
  • Er zijn twee optimalisatieproblemen gedefinieerd:
    1. Krachttoewijzing (Power Allocation): Maximaliseren van de totale verborgen snelheid onder een maximum vermogensbeperking.
    2. Snelheidstoewijzing (Rate Allocation): Minimaliseren van het verbruikte vermogen onder een minimum verborgen snelheid.
• Uitdaging: De problemen zijn niet-convex vanwege de "minder ruis" (less noisy) constraint, die vereist dat het legitieme kanaal stochastisch beter is dan het kanaal van de waarnemer om een positieve snelheid te garanderen zonder sleutels.

2. Methodologie

De auteurs onderscheiden twee scenario's op basis van de beschikbaarheid van CSI:

A. Niet-causale CSI (Non-causal CSI)

In dit scenario is de volledige CSI voor alle blokken bekend bij de start van de transmissie.

• Aanpak: De auteurs stellen een drie-staps methode voor voor zowel kracht- als snelheidstoewijzing:
  1. Haalbaarheidstest: Controleren of er een oplossing bestaat die voldoet aan de basisvoorwaarde ($h_\ell \geq g_\ell$ voor ten minste één blok).
  2. Convexe Optimalisatie: De niet-convexe "minder ruis" constraint wordt tijdelijk genegeerd om een convex probleem op te lossen (via Lagrange-multiplicatoren en bisection search). Als deze oplossing de oorspronkelijke constraint voldoet, is het de optimale oplossing.
  3. Projectie en Straal (Penalty Method): Als de convexe oplossing de constraint schendt, wordt de constraint omgezet in een strafterm (penalty term) in de doelfunctie. Een Projected Gradient Ascent (PGA) (voor kracht) of Projected Gradient Descent (PGD) (voor snelheid) algoritme wordt gebruikt om vanaf de convexe oplossing naar een haalbare, niet-convexe oplossing te convergeren.

B. Causale CSI (Causal CSI)

In dit scenario is alleen de CSI van de huidige en vorige blokken bekend; toekomstige blokken zijn onbekend.

• Krachttoewijzing:
  • Het probleem wordt geformuleerd als een Markov Beslissingsproces (MDP).
  • De toestand omvat resterend vermogen, resterende verborgenheidsmarge, en de cumulatieve "minder ruis" status.
  • Oplossing: Een Double Deep Q-Network (DDQN) wordt getraind om het optimale beleid te leren dat de verwachte cumulatieve beloning (verborgen snelheid) maximaliseert.
• Snelheidstoewijzing:
  • Dit probleem is niet Markoviaans omdat de totale snelheidsbeperking toekomstige acties beperkt op basis van de huidige staat.
  • Benadering: Het probleem wordt geconverteerd naar een krachttoewijzingsprobleem door de resterende snelheid om te rekenen naar een equivalente resterende kracht (met behulp van Jensen's ongelijkheid en verwachte kanaalwaarden).
  • De reeds getrainde DDQN voor krachttoewijzing wordt vervolgens gebruikt om de snelheidstoewijzing benaderend op te lossen.

3. Belangrijkste Bijdragen

1. Eerste analyse: Dit is naar weten de eerste studie die keyless positieve-snelheid verborgen communicatie analyseert en optimaliseert over vervaagde kanalen (fading channels), gebaseerd op recente information-theoretische resultaten voor discrete geheugenloze kanalen (DMC).
2. Niet-convexe optimalisatie: Ontwikkeling van robuuste drie-staps algoritmen voor niet-causale CSI die de complexiteit van de niet-convexe "minder ruis" constraint effectief hanteren.
3. DRL-toepassing: Toepassing van Deep Reinforcement Learning (DDQN) voor sequentiële beslissingen onder causale CSI, inclusief een innovatieve methode om het niet-Markoviaanse snelheidsprobleem op te lossen door het te mappen naar het krachtprobleem.
4. Uitgebreide simulaties: Gedetailleerde prestatievergelijkingen die aantonen dat de voorgestelde methoden superieur zijn aan bestaande "triviale" en "convexe" benchmarks.

4. Resultaten

De simulaties tonen de volgende inzichten:

• Niet-causale scenario's:
  • De voorgestelde PGA/PGD-methoden presteren consistent beter dan convexe benaderingen en triviale methoden, vooral wanneer het kanaal van de waarnemer beter is dan het legitieme kanaal.
  • Voor snelheidstoewijzing heeft de voorgestelde methode een aanzienlijk hogere haalbaarheidskans (feasibility probability) en verbruikt minder vermogen dan de benchmarks.
• Causale scenario's:
  • De DDQN-benadering voor krachttoewijzing overtreft zowel de "average" (gemiddelde) als de "triviale" causale methoden significant.
  • Er is een prestatieverlies (lagere snelheid of hoger vermogen) vergeleken met de niet-causale situatie, wat onvermijdelijk is door het ontbreken van toekomstige kennis. Dit verlies neemt toe naarmate het kanaal van de waarnemer beter wordt.
  • De benaderde DDQN-methode voor snelheidstoewijzing levert ook hier de beste resultaten op in termen van vermogensverbruik en haalbaarheid.
• Invloed van striktheid: Een strengere verborgenheidsconstraint (kleiner $\delta$) leidt logischerwijs tot lagere snelheden en hogere vermogensverbruik, maar de voorgestelde algoritmen blijven robuust.

5. Betekenis en Conclusie

Dit onderzoek is van groot belang voor de ontwikkeling van veilige communicatie in toekomstige netwerken (zoals 6G), waar niet alleen de inhoud, maar ook de aanwezigheid van communicatie geheim moet blijven.

• De paper toont aan dat het mogelijk is om positieve snelheden te bereiken zonder gedeelde sleutels, zolang er voldoende informatie over de kanaalstatistieken beschikbaar is.
• De combinatie van wiskundige optimalisatie (voor niet-causale gevallen) en Deep Reinforcement Learning (voor real-time, causale beslissingen) biedt een praktische en schaalbare oplossing voor resource management in dynamische, onzekere omgevingen.
• De methode om een niet-Markoviaans probleem te benaderen met een getrainde MDP-oplosser is een waardevolle bijdrage aan het veld van versterkende leerling voor communicatiesystemen.