Résumé Technique : Dywave : Tokenisation Dynamique Alignée sur les Événements pour les Signaux de Capteurs IoT Hétérogènes

1. Énoncé du Problème

Les systèmes de l'Internet des Objets (IoT) génèrent des flux continus de signaux de capteurs hétérogènes (par exemple, IMU, ECG, acoustique) pour soutenir des applications telles que la reconnaissance d'activités humaines (HAR) et la surveillance environnementale. Contrairement au langage naturel (mots) ou à la vision (patches spatiaux), ces signaux manquent d'unités sémantiques discrètes et intuitives. Ils sont intrinsèquement non stationnaires, multi-échelles et hétérogènes dans le temps, l'information étant encodée dans les transitions entre événements physiques plutôt que dans des intervalles uniformes.

Les approches actuelles de l'état de l'art reposent sur un fenêtrage uniforme (découpage en patches de taille fixe) pour tokeniser ces signaux. Cette méthode présente trois limitations critiques :

1. Désalignement Sémantique : Les limites fixes s'alignent rarement avec les transitions intrinsèques des événements physiques, entraînant une fragmentation des événements et l'occultation des sémantiques sous-jacentes.
2. Inefficacité : Le patching uniforme alloue des ressources de calcul égales aux intervalles redondants et quiescents ainsi qu'aux bursts dynamiques saillants, gonflant les longueurs d'entrée en tokens et les coûts de calcul sans ajouter d'information.
3. Sensibilité aux Hyperparamètres : Les tailles de patches et les pas optimaux sont spécifiques à l'application et nécessitent un réglage par domaine extensif et chronophage, sans configuration universellement efficace.

Cela crée un « fossé de tokenisation » où les signaux bruts de capteurs ne peuvent être traités efficacement par des modèles de séquence à grande échelle sans perdre la cohérence physique ou encourir une latence excessive.

2. Méthodologie : Dywave

Les auteurs proposent Dywave, un cadre de tokenisation dynamique qui construit des représentations d'entrée compactes alignées sur les structures temporelles intrinsèques et les événements physiques sous-jacents. Dywave fonctionne comme un préprocesseur modulaire compatible avec les encodeurs principaux (par exemple, Transformers, Mamba2) sans modifications architecturales. Le pipeline se compose de quatre étapes :

2.1. Extraction Hiérarchique d'Embeddings

Dywave exploite la Transformée en Ondelettes Discrète à Recouvrement Maximal (MODWT) pour décomposer les signaux bruts en représentations temps-fréquence multi-résolutions. Contrairement à la DWT standard, la MODWT est non décimée, préservant la longueur de la séquence originale.

• Flux de Détails : Capture les transitoires haute fréquence à l'aide de couches de convolution légères.
• Flux de Contexte : Encode les tendances lentes et à longue portée en utilisant un transformer en forme d'horloge léger avec un sous-échantillonnage adaptatif.
• Fusion : Ces flux sont concaténés pour former un embedding hiérarchique unifié ($E_F$) qui capture à la fois les transitoires fins et le contexte global.

2.2. Formation d'Ancres Temporelles

Au lieu d'un découpage fixe, Dywave identifie de manière adaptative des ancres temporelles aux transitions sémantiques.

• Estimation de Saillance : Le modèle estime la saillance des événements ($P_t$) en mesurant le changement de représentation entre les pas de temps adjacents, en utilisant la similarité cosinus entre les vecteurs clés et requêtes projetés des embeddings hiérarchiques. Une forte saillance indique des changements de représentation abrupts (événements).
• Sélection d'Ancres : Pour éviter le bruit et la sur-allocation, Dywave applique une Suppression Non Maximale (NMS) temporelle suivie d'une sélection Top-K pour extraire un ensemble compact d'ancres ($A$). Le nombre d'ancres est borné par un taux de compression $\tau$.

2.3. Fusion Dynamique d'Informations Temporelles

Une fois les ancres identifiées, Dywave agrège les pas de temps voisins en tokens alignés sur les ancres.

• Formation de Clusters : Chaque pas de temps est assigné à son ancre la plus proche en fonction de la proximité temporelle.
• Pooling Pondéré par Saillance : Les embeddings au sein de chaque cluster sont agrégés en utilisant les scores de saillance comme poids. Cela priorise les transitions informatives tout en compressant les intervalles stables et redondants.
• Sortie : Le résultat est une séquence compacte de tokens ($E$) dont la longueur s'adapte à la complexité sémantique plutôt qu'à la durée brute du signal.

2.4. Objectif d'Entraînement

Pour garantir que les tokens compressés conservent les informations multi-échelles, Dywave emploie une perte de reconstruction auxiliaire. Un décodeur léger reconstruit les coefficients d'ondelettes originales à partir des embeddings fusionnés. La perte totale est une combinaison de la perte de la tâche en aval et de la perte de reconstruction ($L = L_{task} + \lambda_{rec} \cdot L_{rec}$). Cela régularise la compression pour préserver à la fois les transitoires haute fréquence et les tendances basse fréquence.

3. Contributions Clés

1. Identification du Fossé de Tokenisation : L'article met en évidence l'absence d'unités sémantiques intuitives pour l'humain dans les signaux de capteurs physiques et le désalignement du patching uniforme avec la dynamique des événements physiques.
2. Cadre Dywave : Un module de tokenisation dynamique novateur qui convertit les signaux bruts en tokens compacts et alignés sur les événements, utilisant une décomposition hiérarchique basée sur les ondelettes et une sélection d'ancres pilotée par la saillance.
3. Validation Empirique : Une évaluation approfondie sur cinq ensembles de données réels (couvrant la HAR, l'évaluation du stress et la détection d'objets) démontre des performances et une efficacité supérieures.

4. Résultats Expérimentaux

Dywave a été évalué sur cinq ensembles de données (Ego4D, MOD, PAMAP2, RWHAR, WESAD) en utilisant les backbones Transformer et Mamba2.

• Précision : Dywave surpasse les méthodes de l'état de l'art (PatchTST, MedFormer, DropPatch, etc.) d'une marge allant jusqu'à 12 % en précision sur les tâches HAR, en particulier lors de l'utilisation de backbones Mamba2.
• Efficacité : Il réduit les longueurs d'entrée en tokens d'une marge allant jusqu'à 75 % sur les modèles de séquence principaux, diminuant considérablement la surcharge de calcul.
• Distribution des Tokens : Contrairement aux méthodes à patches fixes où le nombre de tokens est corrélé linéairement à la longueur du signal, le nombre de tokens de Dywave est régi par la structure sémantique. Par exemple, sur Ego4D (séquences de 30s), Dywave utilise significativement moins de tokens que PatchTST tout en atteignant une précision supérieure.
• Robustesse :
  • Décalage de Domaine : Dywave maintient une précision plus élevée lors de la généralisation inter-domaine (par exemple, sismique vers audio) et du fine-tuning uniquement sur la tête, là où les méthodes à patches fixes subissent une dégradation sévère.
  • Bruit : Dywave présente une plus grande robustesse à l'injection de bruit gaussien, avec une dégradation des performances plus progressive que les modèles de référence.
  • Longueur de Séquence : Il se généralise bien sur des longueurs de séquence variables (de 5s à 30s) sans réajustement des hyperparamètres, tandis que les méthodes à patches fixes nécessitent des recherches extensives sur grille.
• Décomposition Micro-Activité : L'analyse qualitative sur Ego4D montre que Dywave peut décomposer automatiquement les activités grossières (par exemple, « nettoyage ») en micro-activités fines (par exemple, « atteindre », « essuyer »), en alignant les limites sur les changements de mouvement perceptibles.

5. Importance et Revendications

Les auteurs affirment que Dywave répond à un goulot d'étranglement fondamental dans la détection centrée sur l'humain : l'incapacité des schémas de tokenisation actuels à respecter la structure physique des données de capteurs. En passant de fenêtres statiques et uniformes à une tokenisation dynamique et alignée sur les événements, le cadre permet :

• Représentations Fondées sur la Physique : Les tokens correspondent à des événements physiques distincts plutôt qu'à des tranches de temps arbitraires.
• Efficacité Adaptative : Les ressources de calcul sont allouées en fonction de la densité d'information, réduisant la latence et l'utilisation de la mémoire sur les appareils de périphérie.
• Amélioration de la Généralisation : La méthode apprend des représentations transférables moins dépendantes du réglage des hyperparamètres spécifiques au domaine.

L'article conclut que des représentations d'entrée adaptatives et informées par la physique sont essentielles pour un apprentissage évolutif et sémantiquement significatif dans les systèmes IoT. Il positionne Dywave non seulement comme un boosteur de performances, mais comme une approche principielle pour combler le fossé entre les flux continus de capteurs et les entrées discrètes d'apprentissage profond. Les auteurs notent que, bien que Dywave introduise une surcharge de prétraitement, celle-ci est amortie par des réductions substantielles du calcul du backbone, le rendant particulièrement adapté aux scénarios de détection de longue durée contraints par les ressources.