⚡ electrical engineering

MultiPathFormer: Towards a Foundation Model for Multipath Wireless Propagation

Le document présente MultiPathFormer, un modèle de fondation sans fil qui exploite la propagation multi-trajets comme objectif de pré-entraînement central à travers une prédiction de chemin suivant autorégressive et des mécanismes de recherche sensibles à l'environnement, atteignant une performance supérieure en localisation, en prédiction de faisceau et en estimation de canal par rapport aux approches basées sur le canal existantes.

Auteurs originaux : Blessed Guda, Kayley Sze, Carlee Joe-Wong

Publié 2026-08-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Blessed Guda, Kayley Sze, Carlee Joe-Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de comprendre une pièce bondée en écoutant simplement le bourdonnement total des voix, sans pouvoir distinguer les interlocuteurs individuels. C'est à peu près ainsi que les réseaux sans fil traditionnels ont tenté de comprendre les ondes radio : ils regardent le « canal », qui est un mélange désordonné et emmêlé de toutes les ondes radio ricochant sur les murs, les voitures et les personnes. Pendant des décennies, les scientifiques ont essayé de construire des « modèles de fondation » — des cerveaux d'IA ultra-intelligents entraînés sur des quantités massives de données — pour prédire comment ces signaux se comportent. Ces modèles sont comme les « GPT » du monde sans fil, conçus pour aider à des tâches telles que la localisation de votre position, la connexion de votre téléphone au faisceau de signal le plus rapide, ou la détermination de si vous êtes en ligne de vue directe avec une tour. Mais il y a un piège : ces modèles ont essayé d'apprendre le « bourdonnement » plutôt que les « interlocuteurs ». Ils traitent le signal comme une grille de chiffres géante et déroutante, ignorant le fait que le signal est en réalité composé de chemins distincts, comme des faisceaux de lumière individuels se réfléchissant sur des miroirs.

C'est ici que l'histoire devient intéressante. Les chercheurs de l'Université Carnegie Mellon se sont posé une question simple : Et si nous arrêtions d'essayer de mémoriser le bourdonnement désordonné pour commencer à enseigner à l'IA à comprendre les chemins individuels ? Ils ont réalisé que les ondes radio n'apparaissent pas simplement ; elles voyagent, rebondissent et se diffusent de manières spécifiques. En traitant chaque chemin comme un personnage distinct dans une histoire, ils espéraient construire un modèle qui comprenne la physique de la pièce, et non seulement la mathématique du bruit. Cela importe car, à mesure que notre monde se densifie avec les réseaux 5G et 6G, nous avons besoin de signaux plus intelligents, plus rapides et plus précis pour naviguer dans des environnements complexes comme les villes ou les stades.

Entrez en scène MultiPathFormer, un nouveau type de modèle de fondation d'IA qui change les règles du jeu. Au lieu de regarder le signal sans fil comme un immense tableur emmêlé, les auteurs ont décidé de le traiter comme une histoire. Imaginez que vous êtes une onde radio voyageant d'une tour de téléphonie cellulaire vers votre téléphone. Vous ne suivez pas seulement une ligne droite ; vous pouvez rebondir sur un bâtiment en verre, effleurer le haut d'une voiture ou vous diffracter autour d'un coin de rue. Chacun de ces rebonds est un « chemin ». Le modèle MultiPathFormer regarde une connexion entre une tour et un téléphone et ne la voit pas comme un bloc de données, mais comme une liste ordonnée de ces chemins, classés du plus fort au plus faible.

Le modèle est entraîné à l'aide d'une technique appelée « prédiction du chemin suivant » (next-path prediction). Pensez à un jeu de « Mad Libs » ou à un jeu de complétion d'histoire. L'IA se voit présenter les premiers chemins (les plus forts) et doit deviner quel sera le chemin suivant dans la séquence. Elle doit déterminer : Combien de temps cela a-t-il pris pour arriver ? Quelle est la force du signal ? A-t-il rebondi sur un mur ou s'est-il diffusé à travers une fenêtre ? Pour ce faire, le modèle utilise une « colonne vertébrale » spéciale (un type de réseau neuronal appelé transformer) qui est excellente pour comprendre les séquences, de la même manière que les modèles de langage comprennent les phrases.

Cependant, les auteurs ont réalisé que deviner le chemin suivant ne suffit pas ; l'IA doit connaître la « scène ». Si vous êtes dans une ville, les chemins seront différents de ceux d'une forêt. Pour résoudre cela, ils ont ajouté deux astuces ingénieuses. Premièrement, ils ont construit un système de « RAG environnemental ». C'est comme donner à l'IA une carte et une liste d'objes à proximité. Avant de deviner le chemin suivant, elle consulte la géométrie spécifique de la zone — où se trouvent les bâtiments, leur hauteur et leur composition — pour faire une supposition plus intelligente. Deuxièmement, ils ont ajouté un « Codebook du premier chemin ». Puisque le tout premier chemin est généralement le plus fort et le plus important (comme le personnage principal d'une histoire), ils ont créé un guide de référence. Ce codebook regroupe les utilisateurs en grappes basées sur leur emplacement et le type de signal qu'ils reçoivent habituellement, aidant ainsi l'IA à faire une supposition très précise pour ce premier chemin, le plus critique, avant de compléter le reste des détails.

Les résultats de cette approche sont assez impressionnants, du moins dans les simulations réalisées par les auteurs. Ils ont entraîné MultiPathFormer sur des données provenant de 27 environnements différents, utilisant plus de 23 millions de jetons de chemin (path tokens). Lorsqu'ils l'ont testé, le modèle ne s'est pas contenté de deviner ; il a appris les règles sous-jacentes du mouvement des ondes radio.

En termes de précision, le modèle a montré qu'il pouvait prédire le délai et la puissance de ces chemins bien mieux que les méthodes précédentes. Plus précisément, la combinaison de la carte environnementale et du guide de référence du premier chemin a réduit l'erreur de prédiction du délai du signal d'environ 38,7 % et l'erreur de prédiction de la puissance du signal d'un colossal 59,2 % par rapport aux modèles n'utilisant pas ces astuces.

Mais le véritable test consistait à savoir si ce cerveau « basé sur les chemins » pouvait réellement aider pour des tâches du monde réel. Les chercheurs ont mis MultiPathFormer à l'épreuve sur quatre défis différents :

Prédiction de faisceau (Beam Prediction) : Déterminer la direction vers laquelle pointer l'antenne pour obtenir le meilleur signal. MultiPathFormer a trouvé les trois meilleurs faisceaux dans 91,4 % des cas, surpassant les meilleurs modèles précédents.
Localisation : Déterminer l'emplacement exact d'un utilisateur. Le modèle a présenté une erreur moyenne de seulement 5,57 mètres, ce qui est une améliure énorme par rapport aux erreurs de 68 à 82 mètres observées avec d'autres modèles.
Classification de la ligne de visée (Line-of-Sight Classification) : Déterminer si l'utilisateur a une vue directe de la tour ou si quelque chose bloque le passage. Le modèle a été correct 99,4 % du temps.
Estimation de canal (Channel Estimation) : Reconstruire l'image complète du signal à partir de données partielles. Le modèle a obtenu un score de 0,561, surpassant les modèles standards.

Les auteurs ont également constaté que ce modèle est très flexible. Même lorsqu'ils lui ont présenté un environnement totalement nouveau qu'il n'avait jamais vu, il a pu rester performant, surtout si on lui accordait un peu d'entraînement supplémentaire (fine-tuning) pour ce lieu spécifique. Il était également rapide, effectuant des prédictions en seulement quelques millisecondes, ce qui est suffisant pour une utilisation en temps réel.

L'article suggère qu'en se concentant sur les « chemins » individuels plutôt que sur le « canal » désordonné dans son ensemble, nous pouvons construire une IA sans fil plus interprétable, plus précise et plus apte à comprendre le monde physique. Les auteurs notent que bien que ces résultats soient basés sur des simulations de haute fidélité (utilisant des logiciels de lancer de rayons ou ray-tracing pour imiter les ondes radio réelles), l'étape suivante consistera à voir si ces gains se maintiennent dans la réalité désordonnée et imprévisible des rues de la ville. Pour l'instant, cependant, MultiPathFormer offre une nouvelle voie prometteuse pour apprendre aux machines à écouter le monde invisible qui nous entoure.

Résumé Technique : MultiPathFormer

Énoncé du Problème

Les modèles de fondation sans fil actuels reposent généralement sur la Modélisation de Canal Masqué (MCM - Masked Channel Modelling) comme objectif de préentraînement. Dans ce paradigme, les modèles sont entraînés pour reconstruire les éléments masqués d'un tenseur de canal (couvrant les sous-porteuses, les antennes ou le temps). Les auteurs soutiennent que le tenseur de canal est un objet de préentraînement sous-optimal car il s'agit d'une superposition de chemins de propagation entrelacés avec des réponses de réseaux, l'échantillonnage des sous-porteuses et des configurations système. Cet « effondrement » des phénomènes physiques occulte la structure sous-jacente dépendante de l'environnement, limitant l'interprétabilité du modèle et sa capacité à distinguer des utilisateurs ayant des canaux agrégés similaires mais des localisations physiques différentes.

De plus, les formulations MCM standards peinent à capturer la physique fondamentale de la propagation sans fil, qui est régie par un nombre variable de chemins à valeurs continues (caractérisés par le délai, la puissance, la phase et les angles) plutôt que par une grille fixe de jetons discrets.

Méthodologie : MultiPathFormer

Le papier propose MultiPathFormer, un modèle de fondation autorégressif qui déplace l'objet de préentraînement du tenseur de canal vers le processus de propagation multi-trajets.

1. Formulation Centrale

Représentation au niveau du chemin : Chaque liaison émetteur-récepteur (tx-rx) est modélisée comme une séquence ordonnée de jetons de chemin à valeurs continues. Un jeton de chemin $\pi$ inclut la puissance ( $\rho$ ), le délai ( $\tau$ ), la phase ( $\phi$ ), les angles d'arrivée/départ (azimut/élévation) et un vecteur d'interaction multi-hot (Ligne de visée, Réflexion, Diffraction, Diffusion).
Prédiction Autorégressive : Le modèle est préentraîné en utilisant un objectif de prédiction du chemin suivant, analogue à la prédiction du jeton suivant dans les modèles de langage, mais adapté à la régression continue.
- Ordonnancement : Les chemins sont triés par puissance décroissante pour créer une séquence déterministe.
- Terminaison : Au lieu d'un jeton spécial de fin de séquence, le modèle prédit explicitement le nombre total de chemins ( $L$ ) pour déterminer quand arrêter la génération.
Architecture : L'épine dorsale est un transformeur encodeur-décodeur.
- Encodeur : Traite les positions tx-rx et les caractéristiques environnementales pour prédire la longueur totale des chemins et générer des représentations ancrées dans l'environnement.
- Décodeur : Génère de manière autorégressive les paramètres des chemins conditionnés par les chemins précédents et la représentation environnementale de l'encodeur.

2. Innovations Architecturales Clés

Pour répondre aux défis de la régression continue et de la dominance du premier chemin, les auteurs introduisent deux mécanismes spécifiques :

Génération Augmentée par Récupération Environnementale (RAG - Environmental Retrieval Augmented Generation) :
- Reconnaissant que la formation des chemins dépend de la géométrie locale et des objets le long du corridor de propagation, le modèle récupère un contexte de scène spécifique plutôt qu'un descripteur global grossier.
- Stratégie de Récupération : Il récupère trois types de caractéristiques :
  1. Local Dense : Top- $K$ objets proches de l'émetteur et du récepteur.
  2. Corridor Dense : Top- $K$ objets situés près de la ligne de propagation tx-rx.
  3. Sparse Multi-scale : Statistiques agrégées (comptages, hauteurs maximales) sur des rayons et des classes de corridors croissants pour capturer la densité de l'encombrement global.
- Ces caractéristiques récupérées sont concaténées pour former un vecteur de contexte spécifique à la paire.
Codebook de Cluster du Premier Chemin :
- Le premier chemin (chemin dominant) est critique car les erreurs ici se propagent à travers toute la génération autorégressive.
- Les auteurs observent que les récepteurs proches d'un émetteur fixe partagent un délai et une puissance de premier chemin similaires en raison d'une géométrie à grande échelle partagée.
- Mécanisme : Un codebook K-Means est entraîné sur la puissance/le délai du premier chemin des utilisateurs d'entraînement. À l'inférence, un récepteur est assigné à un centroïde de cluster basé sur sa proximité avec les utilisateurs d'entraînement.
- Apprentissage Résiduel : Le modèle utilise ce centroïde comme une initialisation forte et ne prédit que la correction résiduelle pour le premier chemin. Les chemins suivants ( $t \ge 2$ ) sont prédits via une autorégression standard.

Contributions Clés

Formulation Autorégressive au Niveau du Chemin : Le premier modèle de fondation sans fil traitant la propagation multi-trajets comme une séquence ordonnée de jetons continus, allant au-delà du masquage de tenseur de canal.
RAG Environnemental & Codebook : L'intégration d'un mécanisme de récupération pour la géométrie spécifique à la paire et d'un a priori de cluster pour le chemin dominant, ce qui stabilise considérablement la génération et améliore l'estimation des paramètres physiques.
Transférabilité : Démonstration que le modèle apprend des représentations réutilisables qui se transfèrent aux utilisateurs non vus dans les environnements d'entraînement et s'adaptent efficacement à de nouveaux environnements via le fine-tuning.
Performance sur Tâches Aval : Validation à travers quatre tâches : prédiction de faisceau (beam prediction), localisation d'utilisateur, classification de la ligne de visée (LoS) et estimation de canal.

Résultats Expérimentaux

Le modèle a été préentraîné sur 27 environnements du jeu de données DeepMIMO (23,9 millions de jetons multi-trajets) et évalué sur 31 scénarios.

Qualité de la Génération Multi-trajets

Précision : Comparé à une ligne de base autorégressive directe, le modèle complet (+RAG) a réduit l'MAE du Délai de 38,7 % et l'MAE de la Puissance de 59,2 %.
Classification d'Interaction : Amélioration de la précision du type d'interaction de 0,870 à 0,925 et du F1 de 0,786 à 0,890.
Efficacité des Données : Le modèle maintient des taux d'erreur faibles même avec seulement 10 % des utilisateurs d'entraînement, démontrant la robustesse du a priori du codebook.

Performance sur les Tâches Aval

MultiPathFormer a surpassé les modèles de fondation basés sur le canal (WiFo, LWM) et les lignes de base spécifiques aux tâches :

Prédiction de Faisceau : A atteint une précision Top-3 de 0,914 (contre 0,648 pour LWM).
Localisation d'Utilisateur : A atteint une erreur moyenne de 5,57 m (contre 68,79 m pour WiFo).
Classification LoS : A atteint une précision de 0,994 (contre 0,978 pour LWM).
Estimation de Canal : A atteint un NMSE de 0,561 (contre 1,321 pour WiFo).

Coût d'Inférence

Le modèle fonctionne avec une faible latence (environ 3,45 ms par inférence pour la variante complète +RAG), les modules RAG et codebook ajoutant un surcoût négligeable (< 1 ms) et une augmentation minimale de paramètres.

Signification et Revendications

Le papier affirme que le préentraînement au niveau du chemin est une approche supérieure pour les modèles de fondation sans fil car il apprend explicitement la structure physique de la propagation (délai, angles, interactions) plutôt que le tenseur de canal entrelacé.

Interprétabilité : Les mécanismes d'attention du modèle s'alignent sur l'intuition physique ; le décodeur porte attention aux positions globales pour les premiers chemins (LoS) et à des jetons d'objets spécifiques pour les trajets ultérieurs.
Réutilisabilité : Les représentations apprises ne sont pas liées à des configurations spécifiques d'antennes ou de sous-porteuses, permettant un transfert entre différents utilisateurs et environnements.
Fondation pour la 6G : En capturant la physique sous-jacente des trajets multiples, le modèle fournit un point de départ réutilisable pour diverses tâches aval comme la sélection de faisceaux et la localisation, qui sont critiques pour les déploiements mmWave et massive MIMO.

Les auteurs concluent que bien que les résultats actuels soient basés sur des simulations de lancer de rayons (ray-tracing), le cadre établit un nouveau paradigme pour les modèles de fondation sans fil qui privilégie l'interprétabilité physique et la cohérence géométrique.