⚡ electrical engineering

RL based Beamforming Optimization for 3D Pinching Antenna assisted ISAC Systems

Dit artikel stelt een 3D-pinching antenne-uitrolschema voor voor ISAC-systemen voor en ontwikkelt een op een heterogene graaf neurale netwerk gebaseerd reinforcement learning-algoritme om de antennepositionering, tijdsallocatie en zendvermogen gezamenlijk te optimaliseren, waarbij een superieur presterend vermogen wordt aangetoond ten opzichte van 1D/2D-tegenhangers en andere baselines bij het maximaliseren van de som van communicatiesnelheden onder sensing- en energiebeperkingen.

Oorspronkelijke auteurs: Qian Gao, Ruikang Zhong, Yue Liu, Hyundong Shin, Yuanwei Liu

Gepubliceerd 2026-01-29

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Qian Gao, Ruikang Zhong, Yue Liu, Hyundong Shin, Yuanwei Liu

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een feestje organiseert waarbij je twee dingen tegelijk moet doen: praten met je gasten (communicatie) en een oog houden op de kamer om te zorgen dat iedereen veilig is (sensoren/waarnemen). In de wereld van draadloze technologie wordt dit ISAC genoemd (Integrated Sensing and Communication).

Normaal gesproken staan de "luidsprekers" (antennes) die dit werk doen in een rechte lijn of een plat rooster, zoals soldaten in een rij. Dit paper stelt een nieuwe manier voor om ze te rangschikken: 3D Pinching Antennas.

Hier is de uitsplitsing van de ideeën uit het paper met behulp van eenvoudige analogieën:

1. Het Probleem: De "Platte" Beperking

Denk aan traditionele antennes als een rij mensen die zaklampen vasthouden op een enkele rechte lijn. Ze kunnen licht naar voren schijnen, maar ze kunnen niet gemakkelijk omhoog, omlaag of opzij kijken zonder hun hele lichaam te bewegen. Als een gast op een balkon staat of een doelwit hoog in de lucht vliegt, heeft een platte lijn antennes moeite om hen efficiënt te bereiken. Ze verspillen energie door te proberen een doelwit te raken dat "buiten hun baan" ligt.

2. De Oplossing: De "Pinching" Antenne

De auteurs introduceren een speciale technologie genaamd Pinching Antennas.

De Metafoor: Stel je een lange, flexibele tuinslang voor (een golfgeleider) waar water doorheen stroomt. Normaal stroomt het water gewoon aan het uiteinde eruit. Maar met deze speciale slang kun je de slang op elk punt langs de lengte "knijpen" (pinch), en dan spuit het water daar direct naar buiten.
Het Voordeel: In plaats van vaste luidsprekers, heb je een flexibele slang waarbij je de "luidspreker" (antenne) overal kunt inschakelen waar je dat wilt. Dit is goedkoop en zeer flexibel.

3. Het Grote Idee: De 3D "Zeester" Vorm

Eerdere studies gebruikten deze slangen alleen in een rechte lijn (1D) of een plat rooster (2D). Dit paper stelt voor om drie slangen zo te rangschikken dat ze een 3D-hoek vormen, zoals de hoek van een kamer waar de vloer twee muren ontmoet (de X-, Y- en Z-as).

Waarom dit beter is: Het is alsof je een platte zaklamp verandert in een 3D-zeester. Nu kan het systeem gasten op de vloer bereiken, op een balkon, of zelfs in de lucht vliegen. Het geeft het systeem "ruimtelijke vrijheid" om de bundels precies daarheen te richten waar ze nodig zijn, zonder energie te verspillen.

4. De Uitdaging: Het "Te Veel Keuzes" Probleem

Omdat de antennes overal in de 3D-ruimte kunnen bewegen, en je ook nog moet beslissen wanneer je met elke gast praat en hoe hard je spreekt, zijn er miljoenen mogelijke combinaties.

De Analogie: Het is alsof je probeert een Rubiks kubus op te lossen die steeds van vorm verandert terwijl je ook nog eens jongleert. Een mens (of een standaard computerprogramma) zou overweldigd raken door het proberen te berekenen van de perfecte zet elke seconde.

5. De Hersenen: HGRL (De "Slimme Coach")

Om dit op te lossen, hebben de auteurs een nieuwe AI-coach gemaakt genaamd HGRL (Heterogeneous Graph Neural Network Reinforcement Learning).

Hoe het werkt: Stel je een coach voor die de spelers (gebruikers) en de bal (doelwitten) niet ziet als een rommelige menigte. In plaats daarvan ziet de coach ze als een speciale kaart (een graaf) waarbij elke verbinding gelabeld is.
- "Deze antenne praat met die gebruiker."
- "Deze antenne houdt dat doelwit in de gaten."
- "Deze twee antennes storen elkaar."
Het "Heterogene" deel: Dit is de sleutel. De coach begrijpt het verschil tussen een "Gebruiker" en een "Doelwit". Hij behandelt ze niet allemaal hetzelfde. Hierdoor kan de AI veel sneller leren en slimmere beslissingen nemen dan oudere AI-methoden die alles als een generieke klont behandelen.

6. De Resultaten: De Winnaarscirkel

De auteurs hebben simulaties (computertests) uitgevoerd om te zien hoe deze nieuwe 3D-opstelling zich verhoudt tot de oude 1D- en 2D-opstellingen.

De Uitkomst: De 3D Pinching Antenna-opstelling won elke keer.
- Communicatie: Het leverde meer data (praatte sneller) aan de gebruikers.
- Sensoren/Waarnemen: Het hield de doelwitten net zo goed in het vizier, maar gebruikte hiervoor minder energie.
- Efficiëntie: De oude 1D- en 2D-opstellingen verspillen veel energie aan het proberen de doelwitten te bereiken. De 3D-opstelling was zo precies dat hij de veiligheidseisen kon halen met heel weinig overtollige energie, waardoor hij die bespaarde energie kon gebruiken om met de gebruikers te praten.

Samenvatting

Kortom, dit paper zegt: Stop met het rangschikken van je antennes in platte lijnen. Door de antennes in een 3D-hoek te rangschikken met behulp van flexibele "pinching"-technologie en een slimme AI-coach te trainen die het verschil begrijpt tussen mensen en objecten, kun je draadloze systemen maken die sneller, slimmer en energiezuiniger zijn. De AI leerde de antennes in de 3D-ruimte te bewegen om de balans tussen praten en observeren perfect te beheren, waarmee alle oudere, plattere methoden werden verslagen.

Technische Samenvatting: RL-gebaseerde Beamforming-optimalisatie voor 3D Pinching Antenne-ondersteunde ISAC-systemen

Probleemstelling
Integrated Sensing and Communication (ISAC)-systemen streven ernaar om spectrum en hardwaregebruik te verenigen om de spectrale efficiëntie en situationeel bewustzijn te verbeteren. Hoewel pinching antennes (PA's)—goedkope, herconfigureerbare op dielektrische golfgeleiders gebaseerde leaky antennes—aanzienlijk potentieel bieden voor ISAC vanwege hun mobiliteit en het vermogen om on-demand Line-of-Sight (LoS) beams te vormen, heeft bestaand onderzoek de PA-implementatie grotendeels beperkt tot 1D (enkele golfgeleider) of 2D (parallelle golfgeleiders in een vlak) configuraties. Deze lager-dimensionale lay-outs beperken de hoekdekking en elevatie-diversiteit, wat de capaciteit van het systeem om zwevende of verhoogde gebruikers en doelwitten effectief te bedienen, inperkt.

Bovendien vormt het optimaliseren van een 3D PA-ondersteund ISAC-systeem een complexe uitdaging. Het probleem omvat de gezamenlijke optimalisatie van continue variabelen: 3D-antennepositionering, Time-Division Multiple Access (TDMA) tijdtoewijzing en de distributie van zendvermogen. Dit creëert een hoog-dimensionaal, niet-convex en niet-lineair optimalisatieprobleem (vanwege fractionale SNR-expressies en exponentiële fase-termen) dat moeilijk op te lossen is met conventionele handmatige optimalisatie of standaard Reinforcement Learning (RL) methoden.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een nieuw framework voor dat een 3D-implementatieschema combineert met een Heterogeneous Graph Neural Network-gebaseerd Reinforcement Learning (HGRL) algoritme.

Systeemmodel: De auteurs modelleren een downlink ISAC-systeem waarbij een Basisstation (BS) drie orthogonale golfgeleiders gebruikt (uitgelijnd met de x-, y- en z-as) uitgerust met pinching antennes. Het systeem bedient $K$ gebruikers en detecteert $L$ doelwitten die zich in het x-y vlak bevinden. Het optimalisatiedoel is het maximaliseren van de som van de communicatiesnelheid onder restricties op de doelwit-sensingsnelheden (SNR), het totale energiebudget en de minimale antenne-afstand.
MDP-formulering: Het optimalisatieprobleem wordt geformuleerd als een Markov Decision Process (MDP).
- State Space: Vertegenwoordigt de systeemtopologie als een tijdvariërende heterogene graaf met knopen voor antennes, gebruikers en doelwitten, evenals randen die communicatie-, sensing- en interferentie-relaties vertegenwoordigen.
- Action Space: Een continue vector bestaande uit antenne-verplaatsingen, TDMA-gewichten en vermogensallocatie.
- Reward Function: Ontworpen om de som van de communicatiesnelheid te maximaliseren, terwijl overtredingen van de sensing SNR-drempels en fysieke restricties (bijv. antenne-afstand) worden bestraft.
HGRL Algoritme: De kernoplossing is een HGRL-framework gebruikmakend van het Advantage Actor-Critic (A2C) algoritme.
- Heterogene Graafrepresentatie: In tegenstelling tot homogene graafbenaderingen, codeert de voorgestelde methode expliciet verschillende typen knopen (antenne, gebruiker, doelwit) en relatietypes (communiceert, sens, interferentie) met behulp van een Heterogeneous GNN (HGNN) encoder. Dit maakt een nauwkeurige modellering van ISAC-specifieke interacties mogelijk.
- Policy en Value Networks: De gecodeerde graaf-embeddings worden gevoed aan een actor-netwerk (voor actiekeuze) en een critic-netwerk (voor waardeschatting) om de optimale policy voor beamforming en resource-allocatie gezamenlijk te leren.

Belangrijkste Bijdragen

3D Implementatieschema: Het artikel stelt een 3D pinching antenne-configuratie voor en analyseert deze met behulp van drie orthogonale golfgeleiders. Dit breidt bestaande ISAC-studies uit voorbij 1D/2D lay-outs, wat volledige ruimtelijke beam steering en extra ruimtelijke vrijheidsgraden biedt om communicatie- en sensing-beams te ontkoppelen.
HGRL Framework: De auteurs ontwikkelen het eerste heterogene GNN-gebaseerde RL-framework specifiek voor 3D pinching antenne-ondersteunde ISAC. Deze benadering maakt schaalbare optimalisatie mogelijk over graafgestructureerde staten en gemengde continue actieruimtes, waarmee de beperkingen van conventionele RL bij het afhandelen van complexe topologische relaties worden aangepakt.
Gezamenlijke Optimalisatieformulering: De studie formuleert een uitgebreid gezamenlijk optimalisatieprobleem voor antennepositionering, tijdtoewijzing en vermogensregeling, waarbij fijnmazige resourcecontrole onder realistische restricties wordt vastgelegd.

Simulatie-resultaten
Numerieke experimenten werden uitgevoerd in een gesimuleerde omgeving met 6 gebruikers en 1 doelwit, waarbij 1D, 2D en 3D implementatiestrategieën werden vergeleken onder verschillende vermogensrestricties ( $p=0.1$ W en $p=0.02$ W).

Algoritme Prestaties: Het voorgestelde HGRL-algoritme vertoonde superieure prestaties vergeleken met baselines (standaard A2C, homogene GRL en willekeurige configuratie). Hoewel HGRL iets langzamere convergentie vertoonde vanwege de complexe hiërarchische redenering, bereikte het de hoogste uiteindelijke reward en stabiliteit, wat de effectiviteit van de heterogene relationele modellering valideert.
Vergelijking van Implementaties: De 3D-implementatie presteerde consistent beter dan de 1D en 2D tegenhangers in termen van de som van de communicatiesnelheid.
- Onder hoog vermogen ($0.1$W) bereikte de 3D-implementatie een gemiddelde snelheid van 7.13 bps/Hz, vergeleken met 6.37 bps/Hz (2D) en 6.21 bps/Hz (1D).
- Onder strikte vermogensrestricties ($0.02$W) werd het voordeel van de 3D-implementatie duidelijker. De 3D-methode bereikte 4.70 bps/Hz, terwijl 1D en 2D respectievelijk 3.80 en 4.50 bps/Hz behaalden.
Resource Efficiëntie: De resultaten geven aan dat de 3D-implementatie het systeem in staat stelt om dichter bij de sensing SNR-restrictiedrempel te werken (bijv. 5.41 dB versus de vereiste 5 dB), waardoor onnodig energieverbruik voor sensing wordt verminderd en meer vermogen aan communicatie kan worden toegewezen. In tegen tegenstelling hiertoe resulteerden 1D en 2D implementaties in aanzienlijk hogere sensing SNRs, wat wijst op inefficiënt energiegebruik dat de communicatiedoorvoersnelheid beperkte.

Betekenis
Het artikel claimt dat de voorgestelde 3D pinching antenne-configuratie, geoptimaliseerd via HGRL, een superieur evenwicht biedt tussen sensing- en communicatieprestaties, met name in vermogensbeperkte scenario's. Door gebruik te maken van de ruimtelijke diversiteit van tri-axiale golfgeleiders, bereikt het systeem flexibele beam steering en efficiënte beam scheiding. De studie concludeert dat de 3D-structuur de communicatiesnelheden maximaliseert terwijl de sensing-capaciteiten nabij de vereiste drempel worden gehouden, wat de potentie ervan benadrukt voor de volgende generatie, door middelen beperkte ISAC-toepassingen.