Attention-Enhanced Learning for Sensing-Assisted Long-Term Beam Tracking in mmWave Communications

Résumé Technique : Apprentissage enrichi par l'attention pour le suivi de faisceaux à long terme assisté par détection dans les communications mmWave

Énoncé du problème
Dans les communications à ondes millimétriques (mmWave), l'entraînement des faisceaux (beam training) engendre un surcoût important en termes de signalisation, de latence et de consommation d'énergie en raison des canaux hautement variables dans le temps et de la sensibilité aux blocages et à la mobilité. Les approches assistées par détection (ISAC) sont apparues comme une solution utilisant des modalités telles que le GNSS, le LiDAR, le radar et la vision, mais les approches existantes font face à deux limitations principales :

1. Complexité : Fusionner efficacement les caractéristiques de plusieurs modalités de détection nécessite souvent des modèles d'apprentissage automatique (ML) à haute complexité (par exemple, des architectures Transformer multiples), ce qui entrave la mise en œuvre pratique.
2. Étendue temporelle : La plupart des travaux existants se concentrent sur la prédiction du faisceau actuel à partir de données présentes ou passées. Cela nécessite une inférence fréquente à chaque pas de temps, maintenant ainsi un surcoût élevé. Bien que la prédiction de faisceaux à long terme (prédire plusieurs créneaux futurs) puisse atténuer cela, elle reste largement inexplorée. Les méthodes de prédiction à long terme existantes reposent souvent sur des LiDAR coûteux ou nécessitent des modèles volumineux pour traiter des images brutes.

Méthodologie
Les auteurs proposent un cadre d'apprentissage enrichi par l'attention, efficace et à faible complexité, pour le suivi de faisceaux à long terme utilisant des données de vision. Le système considère un scénario de liaison descendante (downlink) mmWave où une station de base (BS) équipée d'un réseau linéaire uniforme (ULA) et d'une caméra RGB sert un équipement utilisateur (UE) mobile.

• Formulation du problème : Le problème de suivi de faisceaux est formulé comme une tâche de classification séquence-à-séquence. Étant donné un codebook de formateurs de faisceaux $\mathcal{V}$ prédéfini, l'objectif est de prédire les indices de faisceaux optimaux pour le créneau temporel actuel $t$ et pour $J$ créneaux futurs ($t+1, \dots, t+J$) basés sur une séquence d'images RGB passées et présentes ($L$ pas de temps). L'objectif est de maximiser l'efficacité spectrale (ou la puissance du signal reçu dans les scénarios à faible SNR) sans nécessiter d'information sur l'état du canal (CSI).
• Architecture du modèle : Le modèle proposé se compose de trois composants :
  1. Prétraitement d'image efficace et CNN : Au lieu d'utiliser des modèles pré-entraînés lourds comme ResNet ou des réseaux de détection d'objets (ex. YOLOv4), les auteurs emploient un réseau neuronal convolutif (CNN) dédié à cinq couches. Ce réseau utilise des modules PyTorch standards (Conv2d, BatchNorm2d, ReLU, MaxPool2d) pour extraire des caractéristiques spatiales compactes de la séquence d'images d'entrée. L'interférence de l'arrière-plan est supprimée via une soustraction d'images adjacentes et des masques de mouvement.
  2. Modélisation temporelle (GRU) : Les vecteurs de caractéristiques extraits sont injectés dans des réseaux d'unités récurrentes à porte (GRU). Les GRU capturent les dépendances temporelles étape par étape, mettant à jour les états cachés pour produire un vecteur de contexte résumant la séquence d'entrée.
  3. Attention temporelle (MHA) : Un module d'attention multi-têtes (MHA) résiduel est intégré après le GRU. Ce mécanisme permet au modèle de prêter attention à toutes les positions de la séquence simultanément, capturant les dépendances temporelles globales que les GRU pourraient manquer (lesquels se concentrent davantage sur les dépendances locales). Cela améliore la capacité du modèle à prédire les faisceaux pour des créneaux futurs lointains.
• Stratégie d'entraînement : Le modèle est entraîné à l'aide d'une fonction de perte focale (focal loss) pour traiter le déséquilibre des classes dans la distribution des indices de faisceaux (où les faisceaux optimaux sont distribués de manière non uniforme). L'entraînement minimise la somme des pertes focales sur les $J+1$ créneaux temporels.

Contributions clés

1. Cadre de prédiction à long terme : L'article introduit un cadre d'apprentissage qui résout directement le problème de suivi de faisceaux à long terme, prédisant simultanément les faisceaux optimaux pour le créneau actuel et les six créneaux futurs, plutôt que de décomposer le problème en prédictions à étape unique.
2. Architecture à faible complexité : En remplaçant les réseaux pré-entraînés lourds par un CNN personnalisé et léger et en intégrant des GRU avec un MHA, les auteurs obtiennent un modèle avec environ $1,8 \times 10^6$ paramètres entraînables.
3. Mécanisme d'attention pour les dépendances temporelles : L'intégration du module MHA cible spécifiquement l'amélioration de la précision de la prédiction pour les créneaux futurs lointains, traitant la dégradation des performances à mesure que l'horizon de prédiction s'étend.

Résultats numériques
La méthode proposée a été évaluée avec le jeu de données DeepSense 6G (Scénario 9), avec $L=8$ images passées et $J=6$ créneaux futurs.

• Précision : Le modèle proposé avec MHA a atteint une précision de prédiction de faisceau Top-5 supérieure à 90 % pour les créneaux actuels et futurs. Plus précisément, il a atteint une précision Top-5 de 93,35 % contre 92,31 % sans MHA.
• Comparaison avec l'état de l'art : Le modèle a atteint 97 % de la performance du schéma optimal (et du schéma de [19]) en termes de précision moyenne basée sur la distance (ADBA), mais avec seulement 3 % de la complexité computationnelle (nombre de paramètres).
• Impact de l'attention : Le module MHA a apporté des gains significatifs pour les créneaux futurs lointains (par exemple, $t_5$). Comparé à l'architecture sans MHA, le modèle enrichi par l'attention a amélioré la précision Top-1 de 6,34 points de pourcentage et la précision Top-3 de 6,59 points de pourcentage à $t_5$.
• Efficacité : La conception réduit considérablement le surcoût associé à la détection et au traitement pour l'entraînement des faisceaux.

Signification et affirmations
L'article affirme que la conception proposée, enrichie par l'attention, offre une solution pratique pour le suivi de faisceaux à long terme dans les communications mmWave. En exploitant les données de vision et un modèle de ML à faible complexité, elle réduit considérablement la signalisation, la latence et la consommation d'énergie typiquement associées à un entraînement fréquent des faisceaux. Les auteurs soutiennent que leur conception atteint une précision comparable aux méthodes de pointe tout en réduisant drastiquement les exigences de calcul, ce qui la rend adaptée à une mise en œuvre pratique.

Les auteurs notent modestement que la conception actuelle est contrainte par les limites du jeu de données et les exigences de faible complexité, ce qui peut affecter la généralisation sous des changements de domaine et la robustesse dans des scénarios multi-utilisateurs. Ces aspects sont identifiés comme des sujets d'études futures plutôt que des accomplissements actuels.