Adjustment of Cluster-Then-Predict Framework for Multiport Scatterer Load Prediction

Titel: Aanpassing van het Cluster-Then-Predict Framework voor de Voorspelling van Belastingen in Multiport-Scatterers

1. Probleemstelling

Het voorspellen van onderling afhankelijke belastingwaarden (impedanties) in multiport-scatterers is een uitdagend probleem in de ontwerpfase van communicatie- en meetsystemen (zoals Reconfigurable Intelligent Surfaces - RIS). De moeilijkheid ontstaat door:

• Hoge dimensionaliteit: De relatie tussen S-parameters (verstrooiingsparameters) en de bijbehorende impedantieladingen is complex en niet-lineair.
• Afname van nauwkeurigheid: Bestaande AI-modellen (zoals Gradient Boosting) vertonen een significante daling in voorspellingsnauwkeurigheid bij multi-load scenario's in vergelijking met single-load scenario's. Dit wordt toegeschreven aan de voorkeur van algoritmen voor variabelen met hoge variantie, waardoor minder sterke maar relevante kenmerken worden onderdrukt.
• Eisen voor real-time toepassing: Voor systemen met dynamische parameterupdates (zoals RIS) zijn zowel hoge voorspellingsnauwkeurigheid als lage latentie (voorspellingstijd) cruciaal.

2. Methodologie

De auteurs stellen een tweestaps "Cluster-Then-Predict" raamwerk voor, gebaseerd op een "Divide-and-Conquer"-strategie.

• Stap 1: Clustering (Verdeling):
  Het trainingsdataset wordt opgesplitst in kleinere, meer onderling correlerende subsets voordat regressie wordt toegepast. Dit vermindert de variabiliteit binnen de subdatasets.

  • Er worden twee clustering-methoden vergeleken: K-means en Optimal Transport (OT) K-means. OT K-means biedt een globalere optimalisatie maar is rekenkundig duurder.
  • De kwaliteit van de clusters wordt beoordeeld met de Silhouette-score.

• Stap 2: Predictie (Verovering):
  Voor elke cluster wordt een apart regressiemodel getraind. Tijdens de inferentie (testfase) wordt een nieuwe steekproef toegewezen aan de dichtstbijzijnde cluster (op basis van kwadratische Euclidische afstand), waarna het bijbehorende regressiemodel de impedantiewaarden voorspelt.

  • Gebruikte regressie-algoritmen: Gradient Boosting (GB) en k-Nearest Neighbors (KNN).
  • Het proces wordt beschreven in twee algoritmes: één voor training (Dataset splitsen en modellen trainen) en één voor inferentie (Toewijzen en voorspellen).

• Nieuwe Evaluatiemetric: Real-world Unified Index (RUI):
  Omdat er een afweging nodig is tussen tegenstrijdige doelen (bijv. RMSE minimaliseren vs. voorspellingstijd minimaliseren vs. clusterkwaliteit maximaliseren), introduceren de auteurs de RUI.

  • Dit is een samengestelde metric die normalisatie toepast op verschillende schalen en doelen.
  • De RUI combineert gewogen waarden voor Silhouette-score, RMSE en voorspellingstijd om de optimale configuratie voor real-world implementatie te bepalen.

3. Experimenteel Opzet

• Dataset: Een synthetische dataset van $10^6$ samples, gebaseerd op een multiport-systeem met drie lagen van gekoppelde dipolen (vergelijkbaar met eerdere studies [11]).
• Doel: Voorspelling van drie impedantiewaarden op basis van S-parameters gemeten vanuit vier richtingen.
• Implementatie: Gebruik van GPU-versnelde bibliotheken (cuML, POT, XGBoost) voor een eerlijke vergelijking.
• Vergelijking: Baseline-modellen (zonder clustering) worden vergeleken met de Cluster-Then-Predict varianten voor verschillende aantallen clusters (5 tot 200).

4. Belangrijkste Resultaten

• Verbetering van Gradient Boosting (GB):
  De toepassing van clustering leidde tot een totale vermindering van de Root Mean Square Error (RMSE) met 46% voor GB. De $R^2$-score steeg van 0,55 naar 0,87. Dit bewijst dat het opsplitsen van de data de complexiteit voor het regressiemodel effectief verlaagt.
• Gedrag van KNN:
  Voor KNN was de verbetering minder dramatisch (soms zelfs een lichte daling in nauwkeurigheid), omdat clustering de lokale nabuurschapsstructuur die KNN nodig heeft, kan verstoren. Echter, KNN behaalde de beste resultaten in termen van voorspellingstijd en stabiliteit.
• Optimale Configuratie:
  Op basis van de RUI (waarbij gewicht wordt gegeven aan clusterkwaliteit, nauwkeurigheid en snelheid) werd de combinatie K-means + KNN geïdentificeerd als de optimale setup.
  • Deze configuratie bereikte een lokale RUI van 0,998.
  • Voorspellingstijd: slechts 0,4 seconden.
• K-means vs. OT K-means:
  Standaard K-means presteerde beter in termen van clusteringkwaliteit (Silhouette-score) en rekentijd dan OT K-means, hoewel OT K-means theoretisch een betere data-decompositie biedt.

5. Bijdragen en Significantie

• Technische Innovatie: Het artikel valideert dat een "Divide-and-Conquer"-benadering (Cluster-Then-Predict) de prestaties van machine learning-modellen voor inverse verstrooiingsproblemen aanzienlijk kan verbeteren, vooral bij hoge dimensionaliteit.
• Nieuwe Metric (RUI): De introductie van de Real-world Unified Index biedt een robuust kader voor het evalueren van systemen waar meerdere, tegenstrijdige prestatie-indicatoren een rol spelen. Dit is essentieel voor de praktische toepasbaarheid in dynamische systemen zoals RIS.
• Praktische Toepassing: De gevonden optimale configuratie (K-means + KNN) biedt een balans tussen hoge nauwkeurigheid en extreem lage latentie, wat direct toepasbaar is voor real-time aanpassing van scatterers in communicatiesystemen.
• Generaliseerbaarheid: De methode bleek consistent verbeteringen te leveren voor diverse regressiemodellen (inclusief Lineaire Regressie, Lasso, SVR), behalve voor KNN-varianten waar de verbetering marginaal was.

Conclusie:
De studie toont aan dat het vooraf clusteren van data een krachtige strategie is om de complexiteit van multiport-impedantievoorspelling te beheersen. Hoewel Gradient Boosting de grootste nauwkeurigheidswinst boekte, bleek de combinatie van K-means en KNN de meest efficiënte oplossing voor real-world scenario's, gezien de uitstekende balans tussen snelheid en nauwkeurigheid.