🔢 mathematics

Robust Beam Codebooks for mmWave/THz Systems: Toward a Stochastic RL Approach

Dit artikel introduceert een robuust multi-agent reinforcement learning-framework dat, met name via de Soft Actor-Critic-algoritme, adaptieve beamcodeboeken leert voor mmWave/THz-systemen die superieur presteren in niet-zichtlijn-scenario's en onder hardware-beperkingen zonder voorafgaande kanaalkennis.

Oorspronkelijke auteurs: Anouar Nechi, Rainer Buchty, Mladen Berekovic, Saleh Mulhem

Gepubliceerd 2026-03-23

📖 4 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anouar Nechi, Rainer Buchty, Mladen Berekovic, Saleh Mulhem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, futuristische radiozender hebt die berichten moet sturen naar honderden telefoons in een drukke stad. Dit is wat er gebeurt in de wereld van mmWave en THz (zeer snelle, toekomstige internettechnologie).

Het probleem? De signalen zijn zo zwak en kwetsbaar dat ze makkelijk vastlopen tegen gebouwen, bomen of zelfs regen. Om dit op te lossen, gebruiken deze systemen een soort "schijnwerper" (een antenne-array) die het signaal in een straal richt naar de gebruiker.

Maar hier zit de knoop:

De oude manier: De zender heeft een vaste lijst met kant-en-klare richtingen (een "codeboek"). Het is alsof je een kompas hebt met alleen de 8 hoofdstreken (Noord, Zuid, Oost, West...). Als je gebruiker net tussen Noord en Noord-Noord-Oost staat, mis je de beste hoek. In een stad met veel obstakels (geen directe lijn van zicht) werkt dit slecht.
De nieuwe manier (RL): In plaats van een vaste lijst, leert de zender zelf waar de beste hoek is door te "proberen en te voelen". Het is alsof een leerling die blindelings een deur probeert te vinden door de muur af te tasten.

Maar wat als de leerling een slecht kompas heeft?
In de echte wereld zijn de apparaten niet perfect. De elektronica trilt, de batterij is oud, en de feedback van de telefoon (hoe goed het signaal is) is soms ruisig of foutief. De vraag van dit onderzoek is: Welke leerling blijft het beste presteren als de apparatuur niet perfect is en de informatie ruisig?

De auteurs hebben drie verschillende "leerlingen" (algoritmen) getest:

DDPG & TD3 (De Deterministen): Dit zijn leerlingen die heel vastberaden zijn. Ze denken: "Ik ga precies deze hoek kiezen, want dat is de beste." Als de wereld een beetje verschuift (door hardware-fouten), blijven ze koppig vasthouden aan hun oude plan en zakken ze snel in prestatie. Ze vertrouwen te veel op één specifiek antwoord.
SAC (De Stochastische Dromer): Dit is een slimme leerling die niet één antwoord kiest, maar een wolk van mogelijke antwoorden. Hij denkt: "De beste hoek ligt ergens in dit gebied, dus ik probeer een paar hoeken in de buurt." Hij is flexibel.

De Grote Vergelijking: De Schermutseling in de Stad

De auteurs hebben een simulatie gedaan, alsof ze een virtuele stad bouwden met twee soorten omgevingen:

De Open Veld (LoS): Alles is duidelijk, je ziet de zender.
De Druke Stad (NLoS): Veel gebouwen, signalen kaatsen tegen muren, het is chaotisch.

Ze hebben de "leerlingen" getest onder drie zware omstandigheden:

Ruisige feedback: De telefoon schreeuwt soms "Goed!" terwijl het signaal slecht is (en andersom).
Slechte hardware: De schijnwerper zelf is niet perfect afgesteld (de lens zit een beetje scheef).
Onbekende omgeving: De leerling weet niet waar de gebruiker precies zit.

Wat bleek eruit?

De SAC-leerling (de flexibele dromer) won het met gemak, vooral in de drukke stad en als de apparatuur slecht was.

Waarom? Omdat SAC niet vastloopt op één punt. Als de feedback ruisig is, "middelt" hij de ruis eruit door te kijken naar het patroon van de hele wolk van mogelijkheden. Hij is als een roeier die niet op één punt in het water duwt, maar een vloeiende beweging maakt die ook werkt als de stroming verandert.
De Deterministen (DDPG/TD3) vielen vaak uit elkaar. Als de feedback eenmaal een foutje gaf, dachten ze dat een slechte hoek de beste was, en konden ze niet meer herstellen. Ze waren te star.

De Grootste Les

Dit onderzoek laat zien dat voor de toekomst van supersnel internet (in de stad, met imperfecte apparatuur), we niet moeten zoeken naar de "perfecte, starre oplossing". We moeten kiezen voor systemen die flexibel en een beetje "onzeker" zijn.

Het is alsof je in een storm een boot bestuurt:

De starre kapitein probeert de koers exact vast te houden en zinkt als de golven te hoog worden.
De flexibele kapitein (SAC) laat de boot een beetje wiebelen, past zich continu aan de golven aan en komt veilig aan, zelfs als de kompasnaald een beetje trilt.

Kortom: Om robuust internet te bouwen in de echte, rommelige wereld, hebben we kunstmatige intelligentie nodig die weet hoe het moet "dromen" in plaats van alleen maar starre regels te volgen.

Probleemstelling

Millimeter-golf (mmWave) en terahertz (THz) massive MIMO-systemen zijn essentieel voor hoge datasnelheden, maar ze kampen met aanzienlijke uitdagingen in niet-lijn-van-zicht (NLoS) omgevingen en bij gebruik van beperkte hardware.

Suboptimale Codebooks: Bestaande systemen vertrouwen vaak op vooraf gedefinieerde beamforming-codebooks. Deze zijn statisch, vereisen hoge trainingskosten voor volledige dekking en presteren slecht in NLoS-scenario's omdat ze multipath-diversiteit niet optimaal benutten.
Hardware-beperkingen: Analoge beamforming is gevoelig voor hardware-impairments zoals fase-ruis, kwantisatiefouten in faseverschuivers en onnauwkeurige kalibratie. Traditionele methoden vereisen perfecte kennis van het kanaal (CSI) en de array-geometrie, wat in dynamische omgevingen onpraktisch is.
Kwetsbaarheid van RL: Hoewel Reinforcement Learning (RL) een veelbelovende, datagedreven oplossing biedt om beamcodebooks aan te passen zonder expliciete CSI, is de robuustheid van deze algoritmen tegenover hardware-impairments en ruis in de feedback nog onvoldoende onderzocht.

Methodologie

De auteurs stellen een robust multi-agent RL-framework voor dat beamcodebooks direct leert uit omgevingsfeedback, zonder voorafgaande kanaalkennis.

MDP Formulering:
- Het probleem wordt gemodelleerd als een Markov Decision Process (MDP).
- State: De fase-waarden van de $M$ faseverschuivers.
- Action: Fase-aanpassingen, gekwantiseerd via K-Nearest Neighbors (KNN) om de discrete hardware te respecteren.
- Reward: Een ternaire beloningssysteem ( $\{-1, 0, +1\}$ ) dat werkt op relatieve verbeteringen in plaats van absolute waarden. Dit fungeert als een hoogdoorlaatfilter voor statische ruis en voorkomt straffen voor het niet direct vinden van het globale maximum.
Multi-Agent Architectuur:
- Om de hoge dimensionaliteit van het codebook-probleem te beheersen, worden gebruikers met vergelijkbare ruimtelijke kenmerken geklust (gebaseerd op hoekkenmerken via sensiebeams, ongeacht padverlies).
- Elke cluster wordt toegewezen aan een onafhankelijke RL-agent die parallel leert.
Algoritme Vergelijking:
Drie off-policy algoritmen worden geëvalueerd:
- DDPG & TD3: Deterministische beleidsalgoritmen. Ze voegen externe ruis toe voor exploratie, maar zijn kwetsbaar voor Q-waarde overschatting en kunnen vastlopen in lokale optima bij hardware-afwijkingen.
- SAC (Soft Actor-Critic): Een stochastisch algoritme dat een kansverdeling over acties leert in plaats van één deterministische actie. Het maximaliseert zowel de verwachte beloning als de entropie van het beleid.
Robuustheidsframework:
De auteurs introduceren een stress-test framework dat twee realistische storingen simuleert:
- Ruis in Feedback: Toegevoegde White Gaussian Noise (AWGN) die schaalt met het signaalsterkte.
- Hardware Impairments: Onbekende, vaste fase-mismatches ( $\Delta\theta$ ) in de antenne-elementen.

Belangrijkste Bijdragen

Systematische Robuustheidsanalyse: Het paper vult een cruciale leemte door de prestaties van RL-algoritmen onder realistische fysieke beperkingen (hardware-impairments en ruis) te kwantificeren.
Voorkeur voor Stochastische Beleid: Het bewijst dat stochastische beleidsalgoritmen (SAC) superieur zijn aan deterministische methoden (DDPG, TD3) in onzekere omgevingen. De entropie-regularisatie in SAC zorgt ervoor dat het agent een "wolk" van hoge prestaties leert in plaats van te instorten op één punt, wat robuustheid biedt tegen fase-mismatches.
Gedetailleerde Stress-test: Er wordt een benchmark opgezet die laat zien dat het systeem zelfs bij 40% ruis in de feedback nog steeds hoge beamforming-winsten behoudt.

Resultaten

De simulaties zijn uitgevoerd op het DeepMIMO-dataset voor zowel LoS (60 GHz) als NLoS (28 GHz) scenario's.

Prestaties in Ideale Omstandigheden: SAC presteert consistent beter dan DDPG en TD3. In het NLoS-scenario met 16 beams bereikt SAC 80,0% van de theoretische Equal Gain Combining (EGC) bovengrens, vergeleken met 78,5% voor DDPG.
Robuustheid tegen Hardware-impairments: Bij toenemende fase-mismatch (tot 0,20 rad) blijft de prestatie van alle algoritmen stabiel, maar SAC behoudt de hoogste winst. De stochastische aard van SAC stelt het in staat zich beter aan te passen aan hardware-irregulariteiten.
Robuustheid tegen Feedback Ruis:
- In het NLoS-scenario met 40% ruis in de feedback, behoudt SAC ongeveer 78% van zijn ruisvrije prestatie.
- DDPG daarentegen verliest bijna 36% van zijn initiële winst. Deterministische methoden lijden onder Q-waarde overschatting door ruispieken, terwijl SAC door zijn probabilistische benadering de ruis effectief "uitmiddelt".
Adaptieve Exploratie: SAC past zijn entropie-temperatuur ( $\alpha$ ) automatisch aan (verlaagt deze snel bij stabilisatie), wat een adaptief mechanisme biedt dat deterministische methoden met vaste ruis-schedules (Ornstein-Uhlenbeck) missen.

Betekenis en Conclusie

Dit paper demonstreert dat Stochastic Reinforcement Learning (met name SAC) een kritieke technologie is voor de toekomst van robuuste mmWave/THz massive MIMO-systemen.

Het biedt een oplossing voor systemen met imperfecte hardware en onbetrouwbare feedback, zonder de noodzaak voor dure kalibratie of complexe kanaalschatting.
De bevindingen suggereren dat voor praktische implementaties in dynamische en ruisgevoelige omgevingen, stochastische RL-methoden de voorkeur moeten krijgen boven deterministische benaderingen om communicatie-resilience te garanderen.
Dit werk legt de basis voor "hardware-agnostische" beamforming, waarbij het systeem zelf leert omgaan met fysieke beperkingen in plaats van ze te modelleren.