🤖 machine learning

KOALA: Koopman Operator Learning for WiFi-Based Anticipatory Hum

KOALA est un nouveau cadre qui permet une prédiction robuste du mouvement humain à horizons multiples directement à partir de signaux CSI WiFi bruités en projetant les séquences de poses dans un espace latent de Koopman appris où la dynamique non linéaire est linéarisée, évitant ainsi l'accumulation d'erreurs typique des méthodes autorégressives tout en introduisant des composants architecturaux spécifiques pour résoudre les pièges dynamiques courants.

Auteurs originaux : Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de regarder un film dans une pièce où les lumières sont éteintes, où les murs sont épais et où la caméra est en panne. C'est la réalité quotidienne de nombreux systèmes intelligents qui dépendent des caméras pour comprendre le mouvement humain. Les caméras nécessitent une ligne de visée dégagée, elles peinent dans l'obscurité et elles soulèvent de sérieuses préoccupations en matière de vie privée lorsqu'elles sont placées dans des foyers ou des hôpitaux. Pendant des années, les scientifiques ont cherché un meilleur moyen de voir sans réellement voir. Ils ont trouvé un candidat prometteur dans les ondes invisibles des signaux Wi-Fi qui remplissent nos maisons. Ces signaux rebondissent sur tout, y compris sur les personnes, et la façon dont ils changent lorsqu'une personne se déplace porte une signature cachée de ce mouvement. Si les chercheurs ont déjà trouvé comment utiliser ces signaux pour deviner où une personne se trouve actuellement, une question bien plus difficile restait en suspens : un ordinateur pourrait-il prédire où cette personne sera avant même qu'elle n'y arrive ?

Une nouvelle étude publiée dans les Transactions on Machine Learning Research présente un système appelé KOALA, conçu pour répondre à cette question. Les chercheurs, travaillant avec des données provenant de deux grands ensembles de données de détection par Wi-Fi, ont développé une méthode qui prend les signaux bruyants et saccadés d'un routeur Wi-Fi et les transforme en une prévision fiable du mouvement humain. Contrairement aux tentatives précédentes qui essayaient de deviner l'instant suivant en se basant sur le précédent, un processus qui mène souvent à une cascade d'erreurs, KOALA utilise une approche mathématique qui traite l'avenir entier comme un seul chemin linéaire. Le système prédit avec succès les postures humaines jusqu'à deux secondes dans le futur avec un niveau de précision qui dépasse largement les méthodes existantes, prouvant que le Wi-Fi peut faire plus que simplement connecter des appareils ; il peut anticiper l'action humaine.

Le défi de la prédiction du mouvement à partir du Wi-Fi est fondamentalement différent de celui réalisé avec une caméra vidéo. Lorsqu'une caméra enregistre une personne, elle capture une image nette et détaillée de son squelette. Le Wi-Fi, cependant, voit le monde à travers un brouillard d'interférences. À mesure qu'une personne se déplace, les parties de son corps réfléchissent et dispersent les ondes radio, créant un motif complexe de changements de signaux qui sont souvent incomplets et pleins de statique. Les systèmes précédents traitaient cela comme un problème simple consistant à deviner la position actuelle basée sur le signal, mais ils échouaient à modéliser comment cette position change au fil du temps. Lorsque les chercheurs ont tenté d'appliquer les techniques de prédiction vidéo standard à ces signaux Wi-Fi désordonnés, les erreurs se sont accumulées rapidement. Si un système devine mal l'étape suivante, cette erreur devient le point de départ de la prédiction suivante, et la prédiction part rapidement dans tous les sens.

KOALA résout ce problème en changeant la façon dont l'ordinateur aborde la question. Au lieu d'essayer de prédire la pose suivante étape par étape, le système élève toute la séquence de mouvements dans un espace mathématique spécial où les règles du mouvement deviennent simples et droites. Dans cet espace, le chemin complexe et sinueux d'un corps humain peut être décrit par une règle unique et immuable qui s'applique à chaque instant du futur. Les chercheurs ont construit un réseau neuronal capable d'apprendre à traduire les signaux Wi-Fi désordonnés en cet espace propre, d'appliquer la règle pour sauter en avant dans le temps, puis de traduire le résultat en une posture humaine. Parce que le système n'a pas besoin de deviner une étape à la fois, il évite l'accumulation d'erreurs qui frappe les autres méthodes. Il peut observer le signal actuel et calculer instantanément où la personne sera dans une seconde, deux secondes, ou même plus tard, sans que la prédiction ne se dégrade.

Pour y parvenir, l'équipe a dû surmonter un problème spécifique où le système se contentait de copier la pose actuelle et faisait semblant que rien ne changerait, une solution qui fonctionne pour des temps très courts mais échoue pour des durées plus longues. Ils ont corrigé cela en concevant le système pour qu'il ne prédise que la différence entre la pose actuelle et la pose future, plutôt que la pose elle-même. Ils ont également ajouté une méthode d'entraînement spéciale qui force le système à rester cohérent à travers différentes échelles de temps, garantissant que la règle mathématique apprise reflète réellement la façon dont les humains se déplacent. Le résultat est un modèle qui reste stable même lorsque le signal Wi-Fi est bruité ou que l'environnement change.

Les chercheurs ont testé KOALA sur deux grands ensembles de données contenant des milliers d'exemples de personnes se déplaçant dans différentes pièces et effectuant diverses actions. Dans un test impliquant un mouvement en deux dimensions, le système a prédit les postures avec une erreur moyenne de seulement 26,14 millimètres à un dixième de seconde dans le futur, et de 27,28 millimètres à une seconde. Il s'agit d'une amélioration significative par rapport à la meilleure méthode suivante, qui était environ 19 % moins précise. Dans un test plus difficile impliquant un mouvement en trois dimensions, le système a surpassé toutes les autres approches de loin, réduisant l'erreur d'un facteur de plus de six par rapport à la meilleure méthode concurrente à l'échelle de temps la plus courte. Crucialement, à mesure que le temps de prédiction augmentait, l'erreur ne croissait que lentement et régulièrement, alors que les autres méthodes voyaient leurs erreurs exploser ou stagner d'une manière suggérant qu'elles ne faisaient que deviner la position moyenne plutôt que de suivre un mouvement réel.

Les conclusions suggèrent que les signaux Wi-Fi contiennent suffisamment d'informations non seulement pour localiser une personne, mais aussi pour prévoir ses mouvements futurs avec une grande précision. Cette capacité pourrait transformer la façon dont les environnements intelligents interagissent avec les gens, permettant une assistance proactive dans les foyers, une collaboration homme-robot plus sûre dans les usines, et une intervention précoce dans la surveillance de la santé. Le système fonctionne sans nécessiter que la personne porte des capteurs ou soit vue par une caméra, offrant une alternative respectueuse de la vie privée qui est toujours active et toujours à l'écoute. Bien que la version actuelle du système soit conçue pour une seule personne et suppose que l'environnement reste relativement stable, le succès de cette approche ouvre la porte à des applications plus complexes. Les chercheurs notent que les travaux futurs pourraient étendre cela pour prédire les mouvements de plusieurs personnes à la fois ou gérer des changements de comportement plus soudains, mais l'accomplissement central demeure : une machine a appris à voir l'avenir dans la statique d'un signal Wi-Fi.

Résumé Technique : KOALA – Apprentissage de l'Opérateur de Koopman pour la Prédiction Anticipative du Mouvement Humain basée sur le WiFi

1. Énoncé du Problème

L'article traite du défi de la prédiction anticipative du mouvement humain en utilisant l'Information sur l'État du Canal (CSI) WiFi. Bien que le CSI WiFi offre une alternative respectueuse de la vie privée et sans infrastructure par rapport à la détection par caméra pour l'estimation de la pose humaine, les approches existantes traitent l'inférence de la pose comme un problème de régression instantanée. Elles échouent à modéliser la dynamique temporelle, rendant la prédiction de mouvements futurs irréalisable.

L'application directe de méthodes de prédiction basées sur la vision aux poses dérivées du CSI est inefficace car :

Amplification du Bruit : Les poses dérivées du CSI sont intrinsèquement bruitées et incomplètes en raison de la fading multi-trajets et des interférences environnementales. Les déploiements autorégressifs amplifient ces erreurs à chaque étape.
Instabilité Temporelle : Contrairement aux séquences de capture de mouvement propres, les dynamiques temporelles extraites du CSI sont moins stables et plus difficiles à modéliser.
Accumulation d'Erreurs : La prédiction multi-horizon nécessite de maintenir la cohérence sur de longues séquences, une tâche où les stratégies autorégressives standards souffrent de biais d'exposition et d'accumulation d'erreurs.

Le problème central est de prévoir les états squelettiques futurs à partir de signaux WiFi bruités sans dépendre de l'itération autorégressive ou de l'accumulation d'erreurs au fil du temps.

2. Méthodologie : Le Cadre KOALA

Les auteurs proposent KOALA (Koopman Operator with Attentive Lifting Architecture), un cadre unifié qui élève les séquences de poses dérivées du CSI bruyantes dans un espace latent de Koopman appris. Dans cet espace, les dynamiques non linéaires sont transformées en dynamiques linéaires, permettant une prédiction multi-horizon via de simples produits matrice-vecteur.

2.1 Aperçu de l'Architecture

Le cadre opère en quatre étapes séquentielles :

Encodage CSI :
- Un encodeur basé sur Mamba traite les tenseurs CSI bruts ( $X \in \mathbb{R}^{T \times S \times A}$ ) pour extraire des caractéristiques par trame et un vecteur de contexte global ( $c$ ).
- L'architecture Mamba est choisie pour son traitement en temps linéaire, adapté aux corrélations à longue portée des signaux CSI lorsqu'un corps traverse des zones de Fresnel.
- Le contexte global $c$ conditionne exclusivement l'opérateur de Koopman, implémentant le biais inductif selon lequel le CSI module la manière dont le mouvement évolue plutôt que ce qu'est la pose.
Estimation de la Pose Intégrée et Encodage :
- Module HPE : Un module d'Estimation de la Pose Humaine (HPE) basé sur Mamba récupère les coordonnées de joints 3D estimées à partir des caractéristiques CSI. Il utilise un raffinement temporel conditionné par les articulations, des plongements anatomiques et une auto-attention biaisée par le squelette.
- Détachement de Gradient : Crucialement, les poses estimées sont détachées du graphe de calcul avant d'entrer dans le module de dynamique. Cela isole l'objectif de localisation de la pose de l'objectif de prédiction, empêchant la perte de prédiction de dégrader la précision géométrique de la pose.
- Encodeur de Squelette : Convertit les poses estimées en caractéristiques compactes et cinématiquement structurées via un encodeur conscient du squelette avec des plongements de types anatomiques partagés.
Fusion à Double Flux et Dynamique de Koopman :
- Fusion : Les caractéristiques dérivées de la pose et les caractactéristiques CSI sont combinées via une fusion résiduelle additive. Cela garantit que le module de dynamique reçoit une information CSI directe, empêchant les estimations de pose inexactes de dominer la représentation.
- Élévation (Lifting) : Un réseau de neurones ( $\phi$ ) projette les caractéristiques fusionnées dans un espace latent de Koopman de dimension supérieure ( $z_t \in \mathbb{R}^{D_z}$ ) où $D_z > d$ .
- Opérateur Résiduel Conditionné par le CSI : L'innovation centrale est un opérateur de Koopman résiduel ( $K_{eff}$ $K_{e f f}$ ) défini comme :
  $K_{eff} = I + B + \gamma U(c)V(c)^\top$
  - $I + B$ : Capture les dynamiques de base partagées.
  - $\gamma U(c)V(c)^\top$ : Un terme de rang faible qui adapte la dynamique en fonction du contexte CSI global ( $c$ ), tenant compte des effets de trajets multiples spécifiques à l'environnement.
  - Cette formulation résout le problème de l'attracteur d'identité (où les opérateurs s'effondrent vers la matrice identité $I$ ) en intégrant l'identité directement dans l'architecture plutôt qu'en l'imposant via l'initialisation.
Décodage Basé sur l'Ancre :
- Au lieu de prédire des poses absolues, le modèle prédit des deltas de pose par rapport à une pose ancre (la dernière pose observée).
- L'état futur est propagé via $z_{T+k} = K_{eff} z_{T+k-1}$ (un seul produit matrice-vecteur par étape).
- La prédiction finale est $\hat{p}_{T+h} = \bar{p} + \Delta_\theta(z_{T+h})$ . Cette formulation "ancre-delta" élimine le raccourci dégénéré consistant à copier la pose actuelle sur tous les horizons.

2.2 Fonction de Perte

L'objectif d'entraînement ( $L$ ) combine trois termes, évitant le besoin de pertes contrastives, spectrales ou auxiliaires distinctes :

Perte de Prédiction ( $L_{pred}$ ) : Pénalise l'erreur dans l'espace des poses à tous les horizons, avec un poids accentué pour les horizons longs.
Perte de Latence Ancrée de Koopman (KAL) ( $L_{KAL}$ ) : Une perte novatrice opérant dans l'espace des caractéristiques de l'encodeur temporel. Elle exige que les déploiements de l'opérateur correspondent aux caractéristiques que le modèle produirait s'il observait les trames futures.
- Elle inclut un terme de reconstruction ( $k=0$ ) et des termes de prédiction pondérés par l'horizon ( $k>0$ ).
- Les horizons courts dominent le gradient KAL pour assurer la stabilité, tandis que la supervision des horizons longs est gérée par $L_{pred}$ .
- Cette perte impose la cohérence dynamique et empêche les réseaux d'élévation et de reconstruction de s'effondrer en une solution dégénérée où la norme de l'opérateur croît de façon illimitée.
Perte d'Estimation de la Pose ( $L_{est}$ ) : Supervise le module HPE en utilisant les poses observées de vérité terrain.

3. Contributions Clés

Cadre Novateur : KOALA est le premier cadre unifié pour la prédiction de la pose humaine multi-horizon directement à partir du CSI WiFi, faisant le pont entre la détection RF et la compréhension anticipative du mouvement.
Opérateur Résiduel Conditionné par le CSI : Introduit une paramétrisation résiduelle qui résout le problème de l'attracteur d'identité inhérent aux méthodes Koopman précédentes, couplée à une formulation de prédiction ancre-delta pour prévenir l'effondrement vers la pose moyenne.
Perte de Latence Ancrée de Koopman (KAL) : Subsume les objectifs de reconstruction, de linéarité et de stabilité en un seul terme de prédiction dans l'espace des caractéristiques, supprimant le besoin de pertes contrastives ou spectrales complexes.
Performance Robuste : Démontre une supériorité constante sur les lignes de base à travers des horizons courts et longs sur des jeux de données standards.

4. Résultats Expérimentaux

Les auteurs ont évalué KOALA sur deux jeux de données : WiPose (poses 2D) et MM-Fi (poses 3D, grande échelle, multi-sujets, multi-environnements).

WiPose (2D) : KOALA a obtenu les MPJPE et PA-MPJPE les plus bas à tous les horizons (ex: 26,14 mm à 100 ms, 27,28 mm à 1000 ms). Il a amélioré la ligne de base la plus forte (VMRNN) d'environ 19 %. Crucialement, la dégradation de l'erreur à travers les horizons a été minimale (seulement 1,14 mm), indiquant l'absence d'accumulation d'erreurs significative.
MM-Fi (3D) : KOALA a surpassé toutes les lignes de base (y compris les méthodes spécifiques au WiFi comme MetaFi++ et les modèles spatio-temporels comme VMRNN) par une marge substantielle.
- À 100 ms, KOALA a atteint un MPJPE de 52,1 mm, soit environ 6,4 fois inférieur à la meilleure méthode concurrente (SwinLSTM à 332,6 mm).
- Le PCK@10 a atteint 73,9 %, alors qu'aucune ligne de base n'a dépassé 18,1 %.
- Le modèle a maintenu des performances élevées dans des configurations inter-sujets et inter-environnements, la croissance de l'erreur étant modérée plutôt qu'exponentielle.

5. Signification et Revendications

L'article affirme que KOALA établit un nouveau paradigme pour la prédiction du mouvement humain à partir de signaux sans fil. Sa signification réside dans :

Surmonter le Bruit : Modéliser avec succès les dynamiques temporelles à partir de données CSI intrinsèquement bruitées sans l'accumulation d'erreurs typique des méthodes autorégressives.
Linéarisation de la Non-linéarité : Exploiter la théorie de Koopman pour transformer le mouvement humain complexe et non linéaire en un espace latent linéaire, permettant une prédiction multi-étapes efficace et non itérative.
Vie Privée et Ubiquité : Fournir une alternative de haute précision et respectueuse de la vie privée aux systèmes basés sur la caméra pour des applications dans les maisons intelligentes, la santé et la collaboration homme-robot.

Limites et Travaux Futurs :
Les auteurs reconnaissent modestement les limites actuelles :

La formulation actuelle gère des scénarios à personne unique et ne traite pas la superposition de signaux dans des environnements multi-occupants.
L'opérateur conditionné par le CSI n'a pas été validé pour un transfert zero-shot entre sites.
Le modèle produit une prédiction déterministe unique, manquant la capacité de capturer la distribution complète des mouvements futurs possibles.
L'hypothèse de dynamiques invariantes dans le temps peut être rompue lors de transitions d'actions abruptes.

Il est suggéré, pour les travaux futurs, d'étendre KOALA à la prédiction probabiliste et de traiter les transitions abruptes via des extensions de mélange d'opérateurs ou de commutation de mode.