Metasurfaces-Integrated Wireless Neural Networks for Lightweight Over-The-Air Edge Inference

Probleemstelling

De opkomst van de zesde generatie (6G) mobiele netwerken en het Internet of Things (IoT) vereist ultra-lage latentie en energie-efficiënte Edge Inference (EI). Traditionele digitale hardware voor Machine Learning (ML), zoals Deep Neural Networks (DNN's) uitgevoerd op GPU's, is echter zeer energievretend en complex. Dit vormt een belemmering voor de implementatie van ML op lichtgewicht IoT-apparaten.
Daarnaast worden communicatiekanalen traditioneel gezien als passieve media die ongewenste effecten (zoals fading en ruis) introduceren, die door zender en ontvanger moeten worden gecompenseerd. Er is behoefte aan een nieuw paradigma waarbij de communicatie-infrastructuur zelf actief bijdraagt aan de computationele taken, in plaats van alleen data te transporteren.

Methodologie: Metasurfaces-Integrated Neural Networks (MINN)

Het artikel introduceert het concept van Metasurfaces-Integrated Neural Networks (MINN). Dit is een fysieke laag (PHY)-geactiveerd deep learning-framework dat de draadloze kanaalruimte gebruikt om computationele taken uit te voeren. Het systeem wordt opgevat als een End-to-End (E2E) Deep Neural Network dat bestaat uit drie modules:

1. Encoder (Zender): Bevindt zich bij de multi-antenne zender (TX). Deze module voert initiële feature-extractie, compressie en modulatie uit. Deze kan worden geïmplementeerd als een conventionele digitale DNN of als een analoge laag.
2. Channel (Het Kanaal): Dit is het kerninnovatiepunt. Het kanaal bestaat uit twee delen:
   • Een oncontroleerbaar deel (de natuurlijke draadloze propagatie en thermische ruis).
   • Een programmeerbaar deel bestaande uit Stacked Intelligent Metasurfaces (SIM). Deze zijn gestapelde lagen van metamaterialen met instelbare elektromagnetische responsen.
   • In het MINN-framework worden de responsen van deze metasurfaces behandeld als trainbare gewichten van een DNN-laag. De signaalvoortplanting in de lucht (Over-The-Air of OTA) voert lineaire transformaties uit die analoog zijn aan een volledig verbonden neurale laag.
3. Decoder (Ontvanger): Bevindt zich bij de ontvanger (RX). Deze module verzamelt het signaal en voert feature-extractie uit om het inferentie-resultaat te genereren, zonder dat de exacte invoerdata hoeft te worden gereconstrueerd.

Training en Optimalisatie:
Het systeem wordt getraind met behulp van backpropagation (Stochastic Gradient Descent). Omdat het hele systeem (Encoder + Kanaal + Decoder) differentieerbaar is, kunnen de gewichten van de digitale lagen en de responsen van de metasurfaces gezamenlijk worden geoptimaliseerd.

• Statische responses: De metasurfaces worden zo geprogrammeerd dat ze een vaste, geoptimaliseerde respons hebben voor een bepaald kanaalstatistiek.
• Dynamische responses: Voor veranderende kanalen kunnen de metasurfaces dynamisch worden aangepast, hoewel dit meer controle-overhead vereist.

Het artikel bespreekt twee specifieke architectuurvariaties:

• All-MSs Variatie: Alle lagen (Encoder, Channel, Decoder) worden grotendeels uitgevoerd door metasurfaces, wat zeer lichtgewicht eindapparaten mogelijk maakt.
• XL-MIMO Variatie (Extreme Learning Machine): Gebruik maakt van een extreem groot aantal antennes (XL-MIMO) waarbij het oncontroleerbare kanaal fungeert als een willekeurige projectie-laag, en de ontvanger niet-lineaire activeringen toepast.

Belangrijkste Bijdragen

• Conceptuele Innovatie: Het introduceren van MINN als een framework dat computationele taken verplaatst van energie-intensieve digitale processors naar de elektromagnetische golffronten zelf via programmeerbare metasurfaces.
• E2E-Optimalisatie: Het tonen aan dat een heterogeen systeem (digitale zender/ontvanger + analoge/wave-domein kanaal) als één enkel DNN kan worden getraind en geoptimaliseerd.
• Energie-efficiëntie: Het demonstreren dat de berekeningen in de golffronten met de lichtsnelheid plaatsvinden en dat metasurfaces (vaak passief of met nanoWatt-verbruik) veel minder energie verbruiken dan GPU's.
• Flexibiliteit: Het bieden van verschillende implementaties, variërend van volledig analoge wave-domain netwerken tot hybride systemen die gebruikmaken van XL-MIMO en niet-lineaire RF-componenten.

Resultaten

De auteurs hebben de prestaties van MINN geëvalueerd via simulaties op verschillende datasets (MNIST, Parkinson's, WBCD, SECOM):

• Prestatie: MINN-systemen met voldoende lagen van metasurfaces (SIM) en een hoog Signaal-Ruisverhouding (SNR) bereiken een nauwkeurigheid die vergelijkbaar is met volledig digitale DNN's.
• Invloed van SIM-lagen: Het verhogen van het aantal metamaterialen en lagen in de SIM verbetert de nauwkeurigheid aanzienlijk. Zonder SIM (alleen digitale DNN's) is de prestatie lager, wat aantoont dat het kanaal actief bijdraagt aan de berekening.
• Energiebesparing: Door power control te integreren in de training, kan MINN vergelijkbare nauwkeurigheid behalen met een transmissie-energieverbruik dat meerdere ordes van grootte lager is dan systemen zonder deze optimalisatie.
• XL-MIMO en ELM: De "MINN-ELM" variant (gebaseerd op Extreme Learning Machines) toont aan dat zelfs zonder programmeerbare lagen in het kanaal, het gebruik van een groot aantal antennes en niet-lineaire activeringen aan de ontvanger leidt tot universele benaderingsvermogens die vergelijkbaar zijn met digitale tegenhangers.
• Semantische Uitlijning: Het artikel toont aan dat MINN kan worden gebruikt om semantisch uitgelijnde coderingsruimtes tussen verschillende zender-ontvangerparen te creëren, wat essentieel is voor doelgerichte communicatie.

Betekenis en Toekomstperspectief

Deze paper markeert een paradigmaverschuiving in draadloze communicatie en machine learning.

• Duurzaamheid: Het biedt een weg naar "groene" AI voor IoT, waarbij de zware rekenlast wordt verplaatst naar de infrastructuur (de "slimme omgeving") in plaats van naar de eindapparaten.
• 6G Visie: Het realiseert het visioen van 6G waarbij de fysieke laag en de applicatielaar (inference) geïntegreerd zijn, wat leidt tot ultra-lage latentie en hoge energie-efficiëntie.
• Uitdagingen: Het artikel identificeert ook belangrijke uitdagingen voor toekomstig onderzoek, waaronder:
  • Hardware: Het ontwerp van niet-lineaire, programmeerbare metamaterialen en het beheer van quantisatie-effecten.
  • Architectuur: Het implementeren van geavanceerde netwerken (zoals convolutie- of recurrente lagen) in de golffronten.
  • Training: Het ontwikkelen van methoden voor "OTA-training" (waarbij de gradiënten ook via de lucht worden berekend) en het schalen naar gedistribueerde netwerken.

Kortom, MINN biedt een veelbelovende, lichtgewicht oplossing voor de toekomstige edge-inference, waarbij de draadloze omgeving zelf wordt omgetoverd tot een krachtige, energiezuinige rekenmachine.