FGGM: Formal Grey-box Gradient Method for Attacking DRL-based MU-MIMO Scheduler

1. Problématique

Les systèmes de communication mobile 5G reposent sur la technologie MU-MIMO (Multi-User Multiple-Input Multiple-Output) pour améliorer l'efficacité spectrale. Le défi central réside dans l'allocation des ressources : la station de base (BS) doit sélectionner un sous-ensemble d'utilisateurs pour la transmission de données afin de maximiser l'efficacité spectrale tout en garantissant l'équité. Ce problème est NP-difficile et est souvent formulé comme un programme linéaire en nombres entiers (ILP).

Pour résoudre ce problème en temps réel, des méthodes basées sur l'Apprentissage par Renforcement Profond (DRL) ont été proposées. Cependant, ces systèmes souffrent d'un « problème de sécurité intrinsèque » : ils utilisent des informations d'état de canal (CSI) brutes et non nettoyées provenant des utilisateurs pour prendre des décisions.

Le problème de sécurité :
Des utilisateurs malveillants peuvent falsifier leurs CSI pour dégrader le débit des utilisateurs légitimes (victimes).

• Limitation des travaux existants : La plupart des attaques précédentes supposent que l'attaquant connaît les valeurs exactes des CSI des victimes (modèle "boîte blanche" complète ou écoute du retour en clair).
• Réalité du terrain : Dans les systèmes LTE/5G en liaison montante (uplink), la station de base estime le CSI elle-même. Les attaquants ne peuvent pas connaître les valeurs exactes des CSI des victimes car ils sont situés à des endroits différents et ne peuvent pas intercepter les estimations de la BS.
• Objectif de l'article : Développer une attaque efficace même sans connaître les valeurs exactes des observations des victimes, en exploitant uniquement les bornes de ces observations.

2. Méthodologie : FGGM (Formal Grey-box Gradient Method)

Les auteurs proposent une nouvelle approche d'attaque nommée FGGM, qui opère dans un modèle de menace Grey-box (mi-chemin entre boîte blanche et boîte noire).

A. Modèle de Menace Grey-box

• Connaissance de l'attaquant : L'attaquant possède le modèle DRL entraîné (politique et réseau critique) et les statistiques de normalisation des observations (moyenne et variance utilisées pendant l'entraînement).
• Incertitude : L'attaquant ne connaît pas les CSI exacts des victimes, mais peut estimer leurs bornes inférieure et supérieure en utilisant les statistiques de normalisation ($\mu \pm \delta\sigma$).
• Hypothèse : Les attaquants collaborent via un "chef de cluster" qui calcule une seule séquence de CSI falsifiés à appliquer tout au long de la simulation, sans recalcul à chaque pas de temps.

B. Principe de l'Algorithme FGGM

L'objectif est de trouver un vecteur de CSI malveillant ($o_{adv}$) qui minimise la probabilité que les victimes soient sélectionnées, et ce, pour toutes les valeurs possibles des CSI des victimes dans leurs bornes estimées.

1. Abstraction Polyédrique (Polytope) :

   • Au lieu de traiter les observations des victimes comme des points fixes, FGGM les traite comme des intervalles (domaines abstraits).
   • La méthode utilise la technique de vérification de réseaux de neurones (DNN) basée sur les polytopes (ex: DeepPoly) pour propager ces intervalles à travers les couches du réseau DRL (acteur et critique).
   • Cela permet de calculer des bornes supérieures et inférieures (over-approximation) des sorties du réseau (les actions proto et les valeurs Q) pour l'ensemble des scénarios possibles des victimes.

2. Formulation de l'Optimisation :

   • Le problème est formulé comme une minimisation de la borne supérieure de la valeur Q ($Q_{max}$) pour toutes les actions contenant une victime.
   • En minimisant la borne supérieure, on garantit que même dans le pire des cas (pour l'attaquant) concernant les CSI des victimes, la probabilité de sélection sera faible.
   • Fonction objectif : Minimiser $q$ (borne supérieure de Q) sous contraintes des bornes d'entrée des attaquants.

3. Résolution :

   • Puisque l'abstraction polyédrique est différentiable, le problème est résolu par Descente de Gradient Stochastique (SGD).
   • L'algorithme redémarre plusieurs fois à partir de différentes initialisations pour éviter les minima locaux.

3. Contributions Clés

1. Modèle de Menace Réaliste : Introduction d'un modèle Grey-box pour les planificateurs MU-MIMO basés sur DRL, combinant la connaissance du modèle (boîte blanche) et l'incertitude sur les observations des victimes (éléments de boîte noire).
2. Algorithme FGGM : Proposition d'une méthode utilisant l'abstraction par polytopes pour générer des attaques adverses robustes qui fonctionnent sur tout l'intervalle des observations possibles des victimes, sans nécessiter de recalcul en temps réel.
3. Performance Supérieure : Démonstration que FGGM surpasse les attaques par boîte noire (bruit aléatoire) et les attaques basées sur l'échantillonnage (PGD/SPGD) en termes de réduction de la probabilité d'accès et du débit.
4. Impact Destructeur :
   • Un seul attaquant peut réduire le débit des victimes de 9,5 %.
   • Avec 50 % d'utilisateurs malveillants, le débit des victimes peut chuter jusqu'à 70 %.
5. Généralisation : La méthode est applicable à d'autres problèmes d'allocation de ressources basés sur DRL (ex: problème du sac à dos).

4. Résultats Expérimentaux

Les expériences ont été menées sur un simulateur de réseau MU-MIMO avec des canaux réalistes (QuaDRiGa) et un planificateur DRL (SAC avec architecture Wolpertinger).

• Comparaison des méthodes : FGGM a systématiquement obtenu une probabilité de sélection des victimes plus faible que les méthodes de référence (Bruit, SPGD - Projected Gradient Descent sur échantillons).
• Impact de l'espace de recherche : FGGM est particulièrement efficace lorsque l'espace de recherche des attaquants est de taille moyenne ($\delta_{adv} \approx 2.0$).
• Impact du nombre d'attaquants : Plus le nombre d'attaquants est élevé, plus l'incertitude sur les entrées diminue, permettant à FGGM de calculer des bornes Q plus précises et d'augmenter l'efficacité de l'attaque.
• Scénario critique (50% d'attaquants) :
  • Dans une configuration à 8 utilisateurs, le débit des victimes est passé de 88,5 MB/s (sans attaque) à 26,6 MB/s (avec FGGM), soit une réduction de 70 %.
  • L'attaque FGGM a également dégradé l'indice d'équité de Jain, montrant une perturbation sévère de la répartition des ressources.

5. Signification et Conclusion

Cet article met en lumière une vulnérabilité critique des systèmes de communication 5G/6G basés sur l'IA. Il démontre qu'il n'est pas nécessaire de connaître les données exactes des victimes pour mener une attaque réussie ; la simple connaissance des statistiques de normalisation et l'utilisation de techniques de vérification formelle (abstraction de domaine) suffisent à créer des perturbations massives.

Implications :

• Les planificateurs DRL actuels ne sont pas robustes face à des attaques ciblées exploitant les intervalles d'incertitude.
• Il est impératif d'intégrer des mécanismes de défense (comme l'entraînement robuste ou la vérification formelle) dans la conception des algorithmes d'allocation de ressources pour les réseaux mobiles de nouvelle génération.
• FGGM offre un cadre méthodologique pour évaluer la robustesse de tout système de décision automatisé face à des entrées partiellement observables.