6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

Technische Samenvatting: 6G Sensing Beveiliging via Gedistribueerde Speltheoretische RL

Probleemstelling
In de volgende generatie 6G Integrated Sensing and Communication (ISAC) systemen creëert de duale functionaliteit van draadloze infrastructuur nieuwe beveiligingskwetsbaarheden. Specifiek in stedelijke omgevingen kunnen actieve aanvallers de richting van beamforming manipuleren door gefalsificeerde kanaaltoestand- of beam-kwaliteitsfeedback te verstrekken. Deze manipulatie heeft als doel interferentie te vergroten en zenders (TX's) te misleiden om hun hoofdlobben naar de aanvaller te richten in plaats van naar legitieme gebruikers. De kernuitdaging is het detecteren van dergelijke actieve aanvallers en het beperken van hun impact op de systeemcapaciteit en beveiliging binnen een dynamische, onzekere omgeving die wordt gekenmerkt door complexe stedelijke propagatie (Line-of-Sight en Non-Line-of-Sight condities).

Methodologie
De auteurs stellen een hybride framework voor dat Reinforcement Learning (RL), Bayesiaanse inferentie en Speltheorie integreert om deze beveiligingsuitdagingen aan te pakken. De methodologie werkt via de volgende componenten:

1. Systeemmodel:

   • Scenario: Een 3GPP-gebaseerde ray-tracing simulatie van een Urban Micro (UMi) omgeving in Dortmund, Duitsland, opererend op 28 GHz (FR2 mmWave band) met een bandbreedte van 400 MHz.
   • Hardware: Twee basisstations (TX's) en vier ontvangers (RX's) uitgerust met Uniform Rectangular Arrays (URA).
   • Propagatie: Kanalen worden gemodelleerd met behulp van 3GPP TR 38.901 standaarden, waarbij padverlies, schaduwfading (log-normaal) en kleinschalige fading (3GPP NR Clustered Delay Line) zijn inbegrepen. Een Shooting and Bouncing Rays (SBR) methode modelleert multipath effecten met maximaal één reflectie en drie diffracties.

2. State Representatie en Belief Update:

   • Het systeem houdt een Bayesiaanse belief vector bij die de waarschijnlijkheid ($P_j$) vertegenwoordigt dat elke gebruiker $j$ een aanvaller is.
   • Deze belief wordt iteratief bijgewerkt op basis van de afwijking tussen de voorspelde en geobserveerde kanaalcapaciteit, gebruikmakend van een exponentiële likelihood afgeleid van een anomalie-score.
   • Om het Q-learning proces te stabiliseren, worden continue waarschijnlijkheden gediscretiseerd in betrouwbaarheidsniveaus (5 niveaus per node), wat een state space vormt gedefinieerd door de verdachte node ID en het bijbehorende betrouwbaarheidsniveau.

3. Speltheoretische Formulering:

   • Twee spelmodellen worden geïmplementeerd om gedrag te voorspellen en nut te optimaliseren: Nash en Stackelberg.
   • Nutfunctie: $U = \sum (1 - P_j)C_j - \beta_{risk} P_j C_j$, waarbij $C_j$ de kanaalcapaciteit is en $P_j$ de kans op een aanvaller. Deze formulering balanceert de prestaties van legitieme gebruikers tegen de beveiligingsrisico's.
   • Nash Model: TX's handelen simultaan en onafhankelijk, waarbij zij zoeken naar een best-response evenwicht.
   • Stackelberg Model: Een hiërarchische structuur waarbij één TX optreedt als "Leader" (geprioriteerd door meer gebruikers te bedienen) en de andere als "Follower". De Leader optimaliseert zijn strategie in anticipatie op de best-response van de Follower.

4. Integratie van Reinforcement Learning:

   • Een Q-learning agent selecteert beamforming hoeken (actieruimte: 25 discrete hoeken per antenne) om de totale kanaalcapaciteit te maximaliseren en interferentie te minimaliseren.
   • Exploratie vs. Exploitatie: Een $\epsilon$-greedy beleid wordt gebruikt, maar exploratie wordt gestuurd door het Stackelberg-Bayesiaanse model in plaats van puur willekeurig te zijn.
   • Geheugenmechanismen: De studie vergelijkt een geheugen-gebaseerde benadering (gebruikmakend van Experience Replay met $(s, a, r, s')$ tupels) met een geheugenloze benadering. Het geheugen-gebaseerde model beoogt temporele correlaties te verminderen en convergentie te versnellen.

Belangrijkste Bijdragen

• Hybride Framework: Het paper introduceert een nieuw architectuur die Bayesiaanse inferentie voor onzekerheidsmodellering, Speltheorie voor strategische interactiemodellering en RL voor langetermijnoptimalisatie combineert voor ISAC-beveiliging.
• Superioriteit van Stackelberg: Het werk demonstreert dat een hiërarchische Stackelberg-spelstructuur beter presteert dan een simultane Nash-benadering bij het detecteren van aanvallers. De Leader-Follower dynamiek vermindert interne netwerkinterferentie, wat een duidelijker signaal biedt voor het Bayesiaanse algoritme om kwaadaardig gedrag te onderscheiden van natuurlijke kanaalfading.
• Experience Replay in Beveiliging: De toepassing van geheugen-gebaseerde Q-learning (Experience Replay) laat zien dat dit de detectienauwkeurigheid en systeemstabiliteit aanzienlijk verbetert vergeleken met geheugenloze updates in adversariële omgevingen.
• Validatie via Urban Ray-Tracing: De methodologie wordt gevalideerd met behulp van een realistische, gedigitaliseerde stedelijke kaart (Dortmund) met ray-tracing, in plaats van vereenvoudigde theoretische kanaalmodellen.

Prestatieresultaten

• Aanvaller Detectie:
  • Het Stackelberg model behaalde een gemiddelde detectienauwkeurigheid van 69,41%, wat aanzienlijk beter is dan het Nash model met 38,38%.
  • In het Stackelberg scenario convergeerde de belief-waarde voor de aanvaller (RX3) snel tot boven de 0,9, terwijl het Nash model er niet in slaagde de aanvaller met een hoge mate van vertrouwen te onderscheiden (waarden bleven onder de 0,5).
• Systeem Doorvoersnelheid:
  • De geheugen-gebaseerde Q-learning benadering behaalde een gemiddelde totale kanaalcapaciteit van 934 Mbps, vergeleken met 841 Mbps voor de geheugenloze benadering (een verbetering van 11,06%).
  • De detectienauwkeurigheid verbeterde van 70,13% (geheugenloos) naar 75,46% (geheugen-gebaseerd).
• Robuustheid: Onder het voorgestelde framework identificeerde het systeem aanvallers succesvol met waarschijnlijkheden consistent boven de 0,9, zelfs in de aanwezigheid van zware schaduwvorming en multipath effecten. Het systeem herstelde zich snel van tijdelijke dalingen in de belief veroorzaakt door kanaaldynamiek, wat duidt op veerkracht.
• Capaciteitsherstel: Ondanks de aanwezigheid van een aanvaller, maakte de geoptimaliseerde beamforming de totale systeemcapaciteit ongeveer 2500 Mbps in latere iteraties, wat voldoet aan de 5G New Radio vereisten.

Betekenis en Claims
Het paper claimt dat het voorgestelde framework effectief de beveiligingsuitdagingen in dynamische 6G ISAC-systemen aanpakt door het systeem te transformeren van een eenvoudige numerieke optimizer naar een "risico-bewuste, onzekerheid-gestuurde en gedrag-sensitieve beslisser". De integratie van Bayesiaanse inferentie in speltheoretische nutfuncties maakt een nauwkeurigere detectie van aanvallers mogelijk vergeleken met standaard Nash-benaderingen. Verder stelt de studie vast dat het opnemen van geheugen (Experience Replay) in het RL-proces cruciaal is voor het stabiliseren van het leren en het verbeteren van de doorvoersnelheid in ruisgevoelige, adversariële stedelijke omgevingen. Het werk vormt een fundamentele basis voor het uitbreiden van deze methoden naar mobiele en real-time ISAC-scenario's, om zo veilige en efficiënte toewijzing van middelen in toekomstige netwerken te waarborgen.