Attention-Enhanced Learning for Sensing-Assisted Long-Term Beam Tracking in mmWave Communications

Technische Samenvatting: Aandachtsversterkt Leren voor Sensoring-ondersteunde Langetermijn Beam-tracking in mmWave-communicatie

Probleemstelling
In millimetergolf (mmWave) communicatie brengt beam training aanzienlijke overhead met zich mee wat betreft signalering, latentie en energieverbruik vanwege snel tijdvariërende kanalen en gevoeligheid voor blokkades en mobiliteit. Sensing-ondersteunde communicatie (ISAC) is als oplossing naar voren gekomen door gebruik te maken van modaliteiten zoals GNSS, LiDAR, radar en visie, maar bestaande benaderingen kampen met twee primaire beperkingen:

1. Complexiteit: Het effectief fuseren van kenmerken uit meerdere sensing-modaliteiten vereist vaak complexe machine learning (ML)-modellen (bijv. meerdere Transformer-architecturen), wat praktische implementatie belemmert.
2. Temporele reikwijdte: De meeste bestaande werken richten zich alleen op het voorspellen van de huidige beam op basis van huidige of voorgaande data. Dit vereist frequente inferentie bij elke tijdstap, wat een hoge overhead in stand houdt. Hoewel langetermijn beam-voorspelling (het voorspellen van meerdere toekomstige slots) dit kan verlichten, blijft dit grotendeels onontgonnen. Bestaande methoden voor langetermijnvoorspelling vertrouwen vaak op kostbare LiDAR of vereisen grote modellen om ruwe beelden te verwerken.

Methodologie
De auteurs stellen een efficiënt, laag-complex, aandacht-versterkt ML-framework voor voor langetermijn beam-tracking met behulp van visiedata. Het systeem beschouwt een downlink mmWave-scenario waarbij een basisstation (BS) uitgerust met een Uniform Linear Array (ULA) en een RGB-camera een mobiele User Equipment (UE) bedient.

• Probleemformulering: Het beam-tracking probleem wordt geformuleerd als een sequence-to-sequence classificatietaak. Gegeven een vooraf gedefinieerde beamformer codebook $\mathcal{V}$, is het doel om de optimale beam-indices voor de huidige tijdstap $t$ en $J$ toekomstige tijdstappen ($t+1, \dots, t+J$) te voorspellen op basis van een sequentie van voorgaande en huidige RGB-beelden ($L$ tijdstappen). Het doel is om de spectrale efficiëntie (of ontvangen signaalvermogen in scenario's met een lage SNR) te maximaliseren zonder dat Channel State Information (CSI) vereist is.
• Modelarchitectuur: Het voorgestelde model bestaat uit drie componenten:
  1. Efficiënte Beeldvoorverwerking & CNN: In plaats van zware pre-trained modellen zoals ResNet of objectdetectienetwerken (bijv. YOLOv4) te gebruiken, maken de auteurs gebruik van een specifieke vijflaagse Convolutionele Neurale Netwerk (CNN). Dit netwerk gebruikt standaard PyTorch-modules (Conv2d, BatchNorm2d, ReLU, MaxPool2d) om compacte ruimtelijke kenmerken uit de invoerbeeldsequentie te extraheren. Achtergrondinterferentie wordt onderdrukt via naburige frame-aftrekking en bewegingsmaskers.
  2. Temporele Modellering (GRU): De geëxtraheerde feature vectoren worden ingevoerd in Gated Recurrent Unit (GRU) netwerken. De GRU's leggen temporele afhankelijkheden stap voor stap vast, waarbij de verborgen toestanden (hidden states) worden bijgewerkt om een contextvector te produceren die de invoersequentie samenvat.
  3. Temporele Aandacht (MHA): Een residuele Multihead Attention (MHA) module wordt na de GRU geïntegreerd. Dit mechanisme stelt het model in staat om gelijktijdig naar alle posities in de sequentie te kijken, waardoor globale temporele afhankelijkheden worden gevangen die GRU's mogelijk missen (omdat deze zich meer op lokale afhankelijkheden richten). Dit verbetert het vermogen van het model om beams voor verre toekomstige tijdstappen te voorspellen.
• Trainingsstrategie: Het model wordt getraind met een focal loss functie om klasse-onbalans in de beam-index distributie aan te pakken (waarbij optimale beams niet-uniform verdeeld zijn). De training minimaliseert de som van de focal losses over de $J+1$ tijdstappen.

Belangrijkste Bijdragen

1. Langetermijn Voorspellingsframework: Het artikel introduceert een leerframework dat direct het langetermijn beam-tracking probleem oplost door de optimale beams voor de huidige en zes toekomstige tijdstappen gelijktijdig te voorspellen, in plaats van het probleem op te splitsen in single-step voorspellingen.
2. Laag-complexe Architectuur: Door zware pre-trained netwerken te vervangen door een aangepaste, lichte CNN en door GRU's met MHA te integreren, bereiken de auteurs een model met ongeveer $1,8 \times 10^6$ trainbare parameters.
3. Aandachtsmechanisme voor Temporele Afhankelijkheden: De integratie van de MHA-module richt zich specifiek op het verbeteren van de voorspellingsnauwkeurigheid voor verre toekomstige tijdstappen (bijv. $t_5$). Dit adresseert de degradatie van de prestaties naarmate de voorspellingshorizon zich uitbreidt.

Numerieke Resultaten
De voorgestelde methode werd geëvalueerd met de DeepSense 6G dataset (Scenario 9), met $L=8$ voorgaande beelden en $J=6$ toekomstige slots.

• Nauwkeurigheid: Het voorgestelde model met MHA bereikte een Top-5 beam voorspellingsnauwkeurigheid van meer dan 90% over zowel de huidige als de toekomstige tijdstappen. Specifiek bereikte het een Top-5 nauwkeurigheid van 93,35% vergeleken met 92,31% zonder MHA.
• Vergelijking met State-of-the-Art: Het model bereikte 97% van de prestaties van het optimale schema (en het schema in [19]) in termen van Average Distance-Based Accuracy (ADBA), maar met slechts 3% van de computationele complexiteit (aantal parameters).
• Impact van Aandacht: De MHA-module leverde significante winst op voor verre toekomstige slots (bijv. $t_5$). Vergeleken met de architectuur zonder MHA, verbeterde het aandacht-versterkte model de Top-1 nauwkeurigheid met 6,34 procentpunt en de Top-3 nauwkeurigheid met 6,59 procentpunt bij $t_5$.
• Efficiëntie: Het ontwerp vermindert de overhead die gepaard gaat met sensing en verwerking voor beam training aanzienlijk.

Betekenis en Claims
Het artikel beweert dat het voorgestelde aandacht-versterkte ontwerp een praktische oplossing biedt voor langetermijn beam-tracking in mmWave-communicatie. Door gebruik te maken van visiedata en een laag-complex ML-model, vermindert het de signaleringsoverhead, latentie en het energieverbruik die gewoonlijk gepaard gaan met frequente beam-training aanzienlijk. De auteurs stellen dat hun ontwerp een vergelijkbare nauwkeurigheid bereikt als state-of-the-art methoden, terwijl het de computationele vereisten drastisch verlaagt, wat het geschikt maakt voor praktische implementatie.

De auteurs merken bescheiden op dat het huidige ontwerp beperkt wordt door datasetbeperkingen en laag-complexe vereisten, wat de generalisatie onder domeinverschuivingen en robuustheid in multi-user scenario's kan beïnvloeden. Deze aspecten worden geïdentificeerd als onderwerpen voor toekomstig onderzoek in plaats van huidige prestaties.