Technische Samenvatting: Deep Learning-gebaseerde driestapsoplossing voor ISAC-beamformingoptimalisatie

1. Probleemstelling

Het artikel behandelt de uitdaging van het optimaliseren van beamforming in een Full-Duplex (FD) Integrated Sensing and Communication (ISAC) systeem. In dit scenario communiceert een basisstation (BS) uitgerust met Uniform Linear Arrays (ULA's) gelijktijdig met meerdere single-antenna gebruikers en voert radar-sensing uit op meerdere doelwitten met behulp van dezelfde tijd-frequentiebronnen.

Het kernobjectief is het maximaliseren van de som van de communicatiesnelheid van alle gebruikers, terwijl er wordt voldaan aan twee cruciale beperkingen:

1. Transmissiekrachtbeperking: Het totale vermogensbudget mag een maximale limiet ($P_{max}$) niet overschrijden.
2. Sensing-snelheidsbeperking: Elk doelwit moet een minimale sensing-snelheid ($\Gamma_{sen}^{req}$) bereiken, wat dient als een proxy voor de detectiekans van het doelwit.

De auteurs identificeren beperkingen in bestaande Deep Learning (DL) benaderingen voor beamforming. Directe mapping van Channel State Information (CSI) naar beamforming-vectoren lijdt aan:

• Hoge dimensionaliteit: De optimalisatievariabele-ruimte groeit snel met het aantal antennes en gebruikers, wat de computationele complexiteit en de moeilijkheid van training verhoogt.
• Gebrek aan interpreteerbaarheid: Het direct optimaliseren van vectoren maakt het moeilijk om het onderliggende beamforming-gedrag (bijv. directionaliteit en interferentiepatronen) te begrijpen of te controleren.
• Complexiteit: Traditionele convexe optimalisatiemethoden worden computationeel onhaalbaar in hoog-dimensionale, niet-convexe scenario's.

2. Methodologie: Het driestapsframework

Om deze beperkingen te overwinnen, stellen de auteurs een driestapsoplossing voor die de beamforming-optimalisatie deelt op in drie afzonderlijke submodules. Dit framework transformeert het probleem van directe vectoroptimalisatie naar een gestructureerder proces dat bestaat uit feature extractie, beampattern optimalisatie en vectorreconstructie.

Module 1: Unsupervised Learning-gebaseerde CSI Feature Extractie

• Doel: Om hoog-dimensionale, variabele CSI-data te comprimeren naar vaste grootte latent features terwijl essentiële informatie behouden blijft.
• Techniek: Een Autoencoder (AE) wordt ingezet.
  • Input: De CSI-dataset bevat downlink-kanalen ($h_k$), uplink-kanalen ($g_{l,t}$), radar-kanalen ($g_{l,r}$) en residuele zelfinterferentie-kanalen ($H_{SI}$). Deze complexe matrices worden gevectoriseerd en gescheiden in reële en imaginaire delen om een real-valued inputvector te vormen.
  • Proces: De encoder brengt de hoog-dimensionale CSI in kaart naar een laag-dimensionale latent feature vector ($f$). De decoder probeert de originele CSI te reconstrueren vanuit $f$.
  • Training: Het netwerk wordt ongesuperviseerd getraind door de Mean Square Error (MSE) tussen de originele en gereconstrueerde CSI te minimaliseren.
  • Gebruik: Tijdens de test-/optimalisatiefase wordt alleen de encoder gebruikt om features te extraheren uit nieuwe CSI-inputs.

Module 2: Reinforcement Learning (RL) gebaseerde Beampattern Optimalisatie

• Doel: Om de optimale beampattern (vermogensverdeling over hoeken) te zoeken op basis van de geëxtraheerde features, in plaats van direct te zoeken naar beamforming-vectoren.
• Techniek: Een Advantage Actor-Critic (A2C) algoritme wordt gebruikt.
  • Toestand ($s_t$): Bestaat uit de geëxtraheerde CSI-features ($f_t$) en de som van de communicatiesnelheden uit de vorige tijdstap ($R_{com}^{t-1}$).
  • Actie ($a_t$): In plaats van complexe beamforming-vectoren te produceren, geeft de agent beampattern samples uit. De actieruimte bestaat uit $A$ discrete winstwaarden gesampled over het hoekdomein (-90° tot 90°) voor drie specifieke beampatterns:
    1. Communicatie beampattern ($p_w$)
    2. Sensing beampattern ($p_v$)
    3. Ontvangst beampattern ($p_u$)
  • Beloning ($r$): Een piecewise functie die de som van de communicatiesnelheden beloont als zowel de communicatie- als de sensing-snelheidsbeperkingen worden nagekomen. Het wijst 0 toe als sensing is voldaan maar communicatie niet, en -1 als een van beide beperkingen wordt geschonden.
  • Voordeel: Optimalisatie in het beampattern-domein reduceert de omvang van de actieruimte (vastgesteld op $A$), ongeacht het aantal antennes of gebruikers, wat de trainingsstabiliteit en generalisatie verbetert.

Module 3: Supervised Learning-gebaseerde Beamforming Reconstructie

• Doel: Om de werkelijke zend- en ontvangst beamforming-vectoren te reconstrueren vanuit de geoptimaliseerde beampatterns gegenereerd door de RL-agent.
• Techniek: Een gesuperviseerd Deep Neural Network (DNN) benadert de inverse functie $G^{-1}$.
  • Proces: Omdat de analytische inverse van de beampattern-naar-vector mapping onhandelbaar is (vanwege de complexe respons-oppervlakte), wordt een DNN getraind om deze mapping te leren.
  • Dataset: Genereren door willekeurig beamforming-vectoren te creëren, ze te normaliseren om aan de krachtbeperkingen te voldoen, de bijbehorende beampatterns te berekenen en ze te koppelen als (Input: Beampattern, Output: Beamforming Vector).
  • Gebruik: In de testfase neemt het getrainde reconstructienetwerk de beampattern-output van de RL-agent en genereert direct de corresponderende beamforming-vectoren voor implementatie.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

1. Probleemformulering: Een gezamenlijk optimalisatieprobleem wordt geformuleerd voor een full-duplex ISAC-systeem om de som van de communicatiesnelheid te maximaliseren onder sensing-snelheid en krachtbeperkingen. Het probleem wordt getransformeerd van beamforming-vectoroptimalisatie naar beampattern-optimalisatie via array response vectoren.
2. Driestapsframework: Het ontwerp van een nieuw framework dat het probleem deelt op in:
   • Unsupervised CSI feature extractie (met behulp van AE).
   • RL-gebaseerde beampattern optimalisatie (met behulp van A2C).
   • Supervised beamforming reconstructie (met behulp van DNN).
3. Prestaties en Interpreteerbaarheid: De voorgestelde oplossing verbetert de generalisatie door feature extractie, verbetert de trainingsstabiliteit door optimalisatie in het beampattern-domein, en biedt een betere interpreteerbaarheid vergeleken met directe vectoroptimalisatie.

4. Numerieke Resultaten

Simulaties werden uitgevoerd in een scenario met $N_t = N_r = 4$ antennes, $K=2$ gebruikers en $L=1$ doelwit. De resultaten benadrukken:

• Feature Grootte: Een latent feature grootte van 16 bood de beste afweging tussen compressie en prestaties. Kleinere grootten (bijv. 4) veroorzaakten informatieverlies, terwijl grotere grootten (bijv. 64) leidden tot overfitting of tragere convergentie.
• Beampattern Resolutie: Een sample grootte van 720 punten leverde de hoogste prestaties, hoewel 360 een goede balans bood tussen convergentiesnelheid en beloning.
• Ablatieonderzoek:
  • Geval 0 (Baseline): Directe RL op CSI naar beamforming-vectoren. Convergeerde rond 170 episodes met een beloning van ~800.
  • Geval 1 (Alleen Feature Extractie): Convergeerde sneller (~130 episodes) met vergelijkbare prestaties, wat de efficiëntie van de feature compressie bewijst.
  • Geval 2 (Alleen Beampattern Optimalisatie): Leerde langzamer maar overtrof uiteindelijk de baseline (beloning >850), wat valideert dat beampatterns intuïtiever zijn voor RL-agents om te optimaliseren.
  • Geval 3 (Volledige Drie-staps): Bereikte de beste prestaties (beloning >900), waarbij de efficiëntie van feature extractie werd gecombineerd met de structurele voordelen van beampattern optimalisatie.

5. Betekenis en Claims

Het artikel concludeert dat de voorgestelde driestapsoplossing de baseline RL-algoritmen die direct beamforming-vectoren optimaliseren, overtreft. De betekenis ligt in de verschuiving van het optimaliseren van hoog-dimensionale, niet-interpreteerbare vectoren naar het optimaliseren van gestructureerde, intuïtieve beampatterns. Door de optimalisatie van de beampattern te ontkoppelen van de generatie van de beamforming-vectoren, bereikt het framework:

• Verminderde Complexiteit: Lagere dimensionaliteit in de RL-actieruimte.
• Verbeterde Stabiliteit: Stabielere trainingsdynamiek.
• Interpreteerbaarheid: De tussenliggende beampattern-representatie maakt een beter begrip van het ruimtelijke filtergedrag van het systeem mogelijk.

De auteurs stellen dat deze aanpak bijzonder voordelig is naarmate het aantal antennes en gebruikers toeneemt, waarbij traditionele convexe optimalisatie te complex wordt en directe DL-mapping moeilijk te trainen en te interpreteren is.