Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off

Dit artikel presenteert een veilingmechanisme voor de toewijzing van herconfigureerbare intelligente oppervlakken (RIS) in multi-cellulaire netwerken, waarbij deep reinforcement learning wordt ingezet om de biedstrategieën van basisstations te optimaliseren en zo een flexibel evenwicht tussen netwerkprestaties en kosten te bereiken.

De kern

Stel je voor dat we in de toekomst (zoals 6G) een wereld hebben waar mobiele netwerken overal perfect moeten werken, zelfs op plekken waar het signaal normaal gesproken slecht is, zoals aan de randen van een stad of in een drukke straat.

Om dit op te lossen, gebruiken wetenschappers een slimme technologie genaamd RIS (Reconfigurable Intelligent Surfaces). Je kunt je een RIS voorstellen als een magische spiegel die op gebouwen wordt gemonteerd. Deze spiegel kan het mobiele signaal van de zendmast "vangen" en precies in de juiste richting "kaatsen" naar jouw telefoon, zodat je een sterkere verbinding krijgt.

Maar hier is het probleem: er zijn maar een paar van deze magische spiegels, en er zijn veel zendmasten (base stations) die ze allemaal willen gebruiken. Wie krijgt welke spiegel? En hoeveel mag het kosten?

Dit artikel beschrijft een slimme manier om dit probleem op te lossen, met behulp van een veiling en kunstmatige intelligentie.

1. De Veiling: Een veiling voor spiegels

In plaats dat de overheid de spiegels toewijst of ze vast aan één mast hangt, laten de auteurs een veiling toe.

• De Spiegels: Een onafhankelijke eigenaar bezit de RIS-spiegels.
• De Kopers: De zendmasten zijn de kopers. Ze willen de spiegels huren om hun klanten een betere verbinding te geven.
• Het Proces: Het is een "oplopende veiling". De prijs begint laag en gaat elke ronde een beetje omhoog. Elke zendmast moet beslissen: "Wil ik deze spiegel kopen voor deze prijs?"

2. De Dilemma's: Te gulzig of te zuinig?

Hier komt het lastige deel. Als een zendmast te gulzig is, geeft hij te veel geld uit en heeft hij later geen budget meer voor andere belangrijke spiegels. Als hij te zuinig is, mist hij de beste spiegels en hebben zijn klanten een slechte verbinding.

De auteurs vergelijken dit met een boer die een markt bezoekt:

• Hij wil de beste appels (spiegels) kopen.
• Maar hij heeft een beperkt portemonnee (budget).
• Als hij te veel koopt, is hij failliet. Als hij te weinig koopt, heeft hij geen appels om te verkopen.

3. De Oplossing: Een Slimme Robot (AI)

De auteurs hebben een oplossing bedacht waarbij elke zendmast een kunstmatige intelligentie (AI) heeft die als een slimme robot fungeert. Deze robot leert door ervaring (dit heet Deep Reinforcement Learning).

• Hoe leert de robot? De robot speelt duizenden keren de veiling na. Soms wint hij, soms verliest hij, en soms geeft hij te veel geld uit.
• De Beloning: Als de robot een goede deal sluit (goede verbinding voor weinig geld), krijgt hij een "punten" (beloning). Als hij te veel uitgeeft, krijgt hij een "straf".
• Het Resultaat: Na veel oefenen leert de robot precies hoe hij moet bieden. Hij leert niet alleen te kijken naar de prijs, maar ook naar hoe belangrijk een spiegel is voor zijn specifieke klanten.

4. De "Drukknop" voor agressiviteit

Een van de coolste dingen in dit onderzoek is dat ze een knop hebben toegevoegd (genaamd $\beta$) die de "agressiviteit" van de robot regelt.

• Knop op laag: De robot is heel voorzichtig. Hij koopt alleen de allerbeste spiegels als ze heel goedkoop zijn. Resultaat: Hij geeft weinig geld uit, maar de verbinding is misschien niet perfect.
• Knop op hoog: De robot is agressief. Hij wil de beste verbindingen voor zijn klanten, ook als het meer kost. Resultaat: De verbinding is fantastisch, maar het kost veel geld.

Dit geeft de netwerkbeheerders de controle: willen we nu meer kwaliteit of meer besparing? Ze kunnen de knop gewoon draaien.

Samenvatting in een metafoor

Stel je voor dat je een groep vrienden bent die samen een feestje willen geven (het mobiele netwerk).

• Er zijn maar een paar luidsprekers (de RIS-spiegels) die het geluid overal goed kunnen laten horen.
• Iedereen wil de beste luidspreker voor zijn favoriete muziek.
• In plaats van ruzie te maken, doen ze een veiling.
• Elke vriend heeft een slimme assistent (de AI) die voor hem bidt.
• Deze assistent weet precies hoeveel geld hij mag uitgeven en welke luidspreker het beste bij de muziek past.
• Dankzij de assistent krijgen ze allemaal een geweldig feestje, zonder dat iemand failliet gaat.

Conclusie:
Dit onderzoek laat zien dat het combineren van een veiling (voor eerlijkheid) en slimme robots (voor efficiëntie) de beste manier is om deze nieuwe "magische spiegels" in toekomstige netwerken te gebruiken. Het zorgt voor een betere verbinding voor iedereen, zonder dat het de bank breekt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off" in het Nederlands.

Titel: Veilinggebaseerde RIS-toewijzing met DRL: Het beheersen van de afweging tussen kosten en prestaties

1. Probleemstelling

In de zoektocht naar 6G-netwerken zijn Reconfigurable Intelligent Surfaces (RIS) een veelbelovende technologie om de radio-omgeving te manipuleren en de dekking te verbeteren, vooral in moeilijke propagatieomstandigheden. Een fundamentele uitdaging is echter hoe deze RIS-eenheden, die vaak aan de rand van cellen worden geplaatst, efficiënt en eerlijk worden toegewezen wanneer meerdere basistations (BS) om controle over dezelfde schaarse middelen concurreren.

De auteurs stellen een scenario voor waarin RIS-eenheden eigendom zijn van een onafhankelijke operator en dynamisch worden verhuurd aan de hoogste bieder. Het probleem ligt in het vinden van een mechanisme dat:

• Een eerlijke en efficiënte toewijzing garandeert tussen concurrerende basistations.
• De complexe interacties tussen agents (basistations) en de veranderende veilingomgeving in overweging neemt.
• Een optimale afweging realiseert tussen de netwerkprestaties (spectrale efficiëntie) en de kosten (budget van de basistations).

Traditionele combinatorische allocatiemethoden zijn vaak te complex voor schaalbare netwerken, terwijl statische toewijzingen geen rekening houden met dynamische netwerkomstandigheden.

2. Methodologie

Het voorstel combineert een marktdreven aanpak (veiling) met kunstmatige intelligentie (Deep Reinforcement Learning).

A. Systeemmodel en Kanaal

• Netwerktopologie: Meerdere basistations (BS) bedienen gebruikers in een multi-cell omgeving. RIS-eenheden bevinden zich aan de celranden.
• Kanaalmodellen:
  • Directe link (BS-Gebruiker): Non-Line-of-Sight (NLOS), sterk geshadowed.
  • RIS-geassisteerde link: Bestaat uit een BS-RIS link (sterke Line-of-Sight, LOS) en een RIS-Gebruiker link (Rician kanaal met LOS en NLOS componenten).
  • De RIS wordt gemodelleerd als een diagonale faseverschuivingsmatrix. De fase wordt geoptimaliseerd om het signaal te versterken voor de toegewezen gebruiker.
• Schatting: Omdat perfecte kanaalstate-informatie (CSI) niet beschikbaar is voordat de RIS wordt geconfigureerd, gebruiken de basistations macroscopische kanaalparameters (zoals afstand en path loss) om de SINR (Signal-to-Interference-plus-Noise Ratio) en de verwachte nuttigheid te schatten.

B. Veilingmechanisme

• Er wordt gebruikgemaakt van een gelijktijdig oplopende veiling ("Japanese forward auction").
• De veilinghouder verhoogt in elke ronde de prijs van elke RIS met een vast bedrag ($\Delta p$).
• Basistations bieden op individuele RIS-eenheden. Een RIS wordt toegewezen aan de enige bieder; bij meerdere bieders gaat de veiling door.
• Een activiteitsregel zorgt ervoor dat een basestation niet opnieuw kan bieden als het in de vorige ronde niet heeft geboden.

C. Biedstrategieën
De kern van het onderzoek ligt in hoe basistations beslissen op welke RIS ze bieden:

1. Heuristische Strategieën (Basis):
   • Gierig (Greedy): Bieden op de RIS met de hoogste geschatte meerwaarde, binnen het beschikbare budget.
   • Afstand-gebaseerd: Bieden op basis van de fysieke afstand tot de RIS (proximaliteit).
2. Deep Reinforcement Learning (DRL) Strategie:
   • Elke basestation heeft een onafhankelijke DRL-agent (gebaseerd op Proximal Policy Optimization - PPO).
   • Observatie: De agent ziet de huidige prijs, het resterende budget, en de geschatte meerwaarde ($V$) van elke beschikbare RIS.
   • Actie: Een binaire vector die aangeeft op welke RIS-eenheden wordt geboden.
   • Beloning (Reward): De beloningsfunctie is ontworpen om de totale waarde van de biedingen te maximaliseren terwijl het budget wordt gerespecteerd.
     • $R_1$: Waarde van de geboden RIS.
     • $R_2$: Straf voor de totale kosten (gebaseerd op biedintensiteit parameter $\beta$).
     • $R_3$: Zware straf voor overschrijding van het budget.
   • De agent leert om strategisch te bieden zonder expliciete coördinatie met andere agents.

3. Belangrijkste Bijdragen

• Integratie van DRL in RIS-veilingen: Het is de eerste studie die DRL-agenten toepast om biedstrategieën te optimaliseren in een dynamische veilingomgeving voor RIS-toewijzing.
• Macroscopische Nuttigheidsschatting: Het ontwikkelen van een schaalbaar mechanisme waarbij basistations RIS-waarde schatten op basis van macroscopische parameters (afstand, path loss) in plaats van complexe, real-time CSI, wat de overhead drastisch verlaagt.
• Regelbare Biedintensiteit ($\beta$): Introduceert een tunable parameter $\beta$ in de beloningsfunctie. Dit stelt netwerkbeheerders in staat om de "agressiviteit" van de agents te regelen, waardoor een flexibele afweging mogelijk is tussen hoge prestaties (agressief bieden) en kostenbesparing (conservatief bieden).
• Superieure Prestaties: Demonstreert dat DRL-strategieën heuristische methoden overtreffen door betere oplossingen te vinden (hogere som-rate bij lagere kosten).

4. Resultaten

De simulaties zijn uitgevoerd in een twee-cell scenario met geclusterde gebruikers en RIS-eenheden aan de celrand (26 GHz, 50 antennes per BS, 10 RIS-eenheden).

• Schatting Nauwkeurigheid: De macroscopische SINR-schatting wordt nauwkeuriger naarmate het aantal antennes per basestation toeneemt (wet van de grote aantallen).
• Convergentie: De DRL-agenten convergeren stabiel naar een optimaal beleid na ongeveer $3 \cdot 10^6$ stappen.
• Kosten-Prestatie Afweging:
  • DRL-strategieën presteren significant beter dan heuristieken. Ze behalen een hogere som-rate voor dezelfde kosten, of dezelfde rate voor lagere kosten.
  • Heuristieken neigen tot te agressief bieden, wat leidt tot hogere kosten zonder evenredig winst in prestaties.
• Invloed van Parameter $\beta$:
  • Een hoge $\beta$ maakt agents conservatiever: ze bieden alleen op zeer waardevolle RIS-eenheden, wat leidt tot lagere kosten maar ook minder toegewezen RIS-eenheden.
  • Een lage $\beta$ maakt agents agressiever: ze bieden op meer RIS-eenheden (ook met lagere waarde), wat de prestaties verhoogt maar de kosten doet stijgen.
  • Dit bevestigt dat $\beta$ een effectieve knop is om de trade-off te sturen.

5. Significatie

Dit onderzoek biedt een robuust kader voor het beheer van RIS-middelen in toekomstige 6G-netwerken. De belangrijkste implicaties zijn:

• Schaalbaarheid: Door te vertrouwen op macroscopische schattingen en lokale DRL-beslissingen, vermijdt het systeem de enorme signaalsoverhead die nodig zou zijn voor centrale coördinatie of perfecte CSI.
• Economische Efficiëntie: Het veilingmechanisme zorgt ervoor dat RIS-eenheden naar de gebruikers gaan waar ze de grootste meerwaarde bieden, terwijl de DRL-agenten leren om niet te verspillen aan onrendabele biedingen.
• Flexibiliteit: De mogelijkheid om de biedagressiviteit in te stellen via $\beta$ maakt het systeem aanpasbaar aan verschillende bedrijfsmodellen (bijv. kostenminimatie versus maximale dekking).

Kortom, de combinatie van marktmechanismen en adaptieve AI biedt een veelbelovende route naar een efficiënt en eerlijk gebruik van Reconfigurable Intelligent Surfaces in complexe, multi-operator netwerken.