TransfoREM: Transformer aided 3D Radio Environment Mapping

Technische Samenvatting: TransfoREM – Transformer-ondersteunde 3D Radio Environment Mapping

Probleemstelling
Het bieden van betrouwbare cellulaire connectiviteit aan Unmanned Aerial Vehicles (UAV's) blijft een aanzienlijke uitdaging omdat bestaande terrestrische netwerken zijn geoptimaliseerd voor dekking op grondniveau. Op grotere hoogtes ervaren UAV's complexe propagatieomstandigheden, waaronder gelijktijdige line-of-sight (LOS) naar meerdere basisstations (BS's) en variërende antennepatronen veroorzaakt door de neerwaartse kanteling van terrestrische BS's. Traditionele netwerkplanning vertrouwt op deterministische propagatiemodellen die vaak niet in staat zijn om real-world afwijkingen zoals multipath en diffractie te vangen. Bovendien vereisen puur datagedreven technieken voor Radio Environment Map (REM) reconstructie vaak een hoge dichtheid aan bemonsteringsfrequenties, wat in 3D-ruimte moeilijk te bereiken is. Er is behoefte aan een methode die proactief een spatio-temporele database van de Radio Frequency (RF) omgeving kan onderhouden om interferentie te beheren, middelenallocatie te optimaliseren en dynamische spectrumtoegang te ondersteunen, met name voor luchtgebruikers.

Methodologie
De auteurs stellen TransfoREM voor, een hybride 3D REM-generatieframework dat deterministische kanaalmodellen combineert met real-world data met behulp van een Transformer-architectuur. De kerninnovatie ligt in het herformuleren van radio-propagatiemodellering als een sequentievoorspellingstaak binnen een sferisch coördinatenstelsel, wat aansluit bij de fysieke aard van uitwaartse straling en antennedirectiviteit.

De methodologie verloopt via de volgende stappen:

1. Coördinatentransformatie: 3D ruimtelijke coördinaten $[x, y, z]$ worden getransformeerd naar sferische coördinaten $[\rho, \phi, \theta]$ ten opzichte van de BS. De radiale afstand $\rho$ wordt gediscretiseerd in bins, waardoor een sequentie van signaalsterktes ontstaat die vanuit de BS uitstraalt.
2. Feature Encoding: Voor elk ruimtelijk punt wordt een feature-sequentie $\Gamma_i$ geconstrueerd. Deze vector codeert de 3D ruimtelijke richting en bevat logaritmische radiale stappen, hoekcoördinaten en Cartesiaanse coördinaten langs de specifieke hoekrichting.
3. Twee-fasen Hybride Training:
   • Fase 1 (Model-gebaseerde Pre-training): De Transformer-encoder wordt voorgetraind op gesynthetiseerde data gegenereerd vanuit een Free Space Path Loss (FSPL) model met gekarakteriseerde antenne-gainpatronen. Deze fase leert het model de fundamentele inverse kwadratenwet van signaalverzwakking en antennedirectiviteit. Tijdens deze fase wordt willekeurige masking toegepast op de input-sequenties.
   • Fase 2 (Datagedreven Fine-tuning): Het model wordt gefinetuned met beperkte real-world Received Signal Received Power (RSRP) metingen. In deze fase wordt de masking aangepast om alleen de specifieke bin die overeenkomt met het meetpunt te onthullen, terwijl de rest van de sequentie verborgen blijft. Het model leert zich aan te passen aan locatie-specifieke afwijkingen, zoals werkelijke beam patterns en shadow fading, met behulp van een Smooth L1 loss functie om ruis en fase-mismatches in de real-world data op te vangen.

Belangrijkste Bijdragen
Het artikel beschrijft drie primaire bijdragen:

1. Sequentie-gebaseerde Propagatiemodellering: Radio-propagatie wordt geformuleerd als een sequentie-estimatietaak in sferische coördinaten, waarbij gebruik wordt gemaakt van de inherente radiale aard van draadloze signaalstraling.
2. Toepassing van Transformers voor REMs: De auteurs demonstreren dat een Transformer-model, gebruikmakend van technieken voor gemaskeerde sequentievertaling geleend uit de natuurlijke taalverwerking, radio-propagatie nauwkeurig kan voorspellen. Deze aanpak blijkt effectief te zijn, zelfs wanneer real-world data schaars is.
3. 3D REM Framework: De voorgestelde methode genereert een echte 3D REM die kan extrapoleren van zowel 2D sample metingsvlakken als 3D ruimtelijke data. Het is ontworpen voor holistische integratie op het niveau van individuele Basisstations om lokale radio-footprints te leren.

Experimentele Resultaten
De auteurs evalueerden TransfoREM met twee datasets: de AERPAW-dataset (RSRP-metingen van 30m tot 110m hoogte) en een dataset uit eerder werk [2] die LTE KPI's bevat.

• Prestatieverbetering: Op de AERPAW-dataset verbeterde de twee-fasen trainingsaanpak de nauwkeurigheid aanzienlijk. De Root Mean Square Error (RMSE) nam af van 7,49 dB (Fase 1) naar 4,57 dB (Fase 2), en de Coëfficiënt van Determinatie ($R^2$) verbeterde van 0,33 naar 0,77.
• Vergelijking met Kriging: Wanneer het wordt vergeleken met het Kriging-algoritme (een standaard interpolatiemethode), demonstreerde TransfoREM superieure extrapolatiecapaciteiten over verschillende hoogtes. De Transformer-gebaseerde aanpak behaalde een gemiddelde verbetering van 1,5 dB in Median Absolute Error ten opzichte van Kriging bij het testen op disjuncte hoogte-subsets.
• Vergelijking met TripleLayerML: In een casestudy tegen een "TripleLayerML"-aanpak (die lineaire regressie, ensemble-methoden en Gaussian Process Regressie gebruikt), behaalde TransfoREM vergelijkbare prestaties na Fase 2 (RMSE van 1,29 dB versus 1,27 dB voor TripleLayerML). Echter, TransfoREM wordt opgemerkt minder complex te zijn, omdat het de $O(N^3)$ computationele complexiteit vermijdt die geassocieerd wordt met de Gaussian Process laag in de TripleLayerML-aanpak.

Betekenis en Claims
Het artikel claimt dat TransfoREM een robuuste oplossing biedt voor het construeren van 3D REM's door effectief de kloof te overbruggen tussen theoretische propagatiemodellen en schaarse real-world metingen. Door het probleem te behandelen als een sequentievoorspellingstaak, vangt de methode ruimtelijke afhankelijkheden effectiever op dan traditionele interpolatietechnieken zoals Kriging.

De auteurs benadrukken dat het framework is ontworig voor implementatie op het niveau van het Basisstation, wat continu en online leren van lokale radio-propagatieomgevingen mogelijk maakt. Deze capaciteit is bedoeld om verbeterde middelenallocatie, interferentiebeheer en ruimtelijke spectrumbenutting te ondersteunen, met name voor het bedienen van luchtgebruikers in dynamische 3D-ruimtes. Het werk onderscheidt zich als een "physics-inspired" techniek die fundamentele modelkennis leert voordat het zich aanpast aan meetdata, in plaats van enkel te vertrouwen op datagedreven reconstructie of puur deterministische modellering.