⚡ electrical engineering

VCR: Learning Valid Contextual Representation for Incomplete Wearable Signals

Le papier propose VCR, un cadre auto-supervisé qui exploite une tokenisation orthogonale pour dissocier les sémantiques partagées des résidus spécifiques à la modalité, permettant ainsi une surveillance robuste de la santé à partir de signaux portables incomplets en ne reconstruisant que les composantes partagées inférables afin d'éviter les hallucinations.

Auteurs originaux : Yuxuan Weng, Wenhan Luo, Qijia Shao

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxuan Weng, Wenhan Luo, Qijia Shao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre la santé d'une personne en écoutant un chœur. Ce chœur compte quatre chanteurs : l'un chante le battement de cœur (PPG), l'un chante les niveaux de transpiration (EDA), l'un chante le mouvement (ACC), et l'un chante la température corporelle (TEMP).

Dans un monde parfait, les quatre chanteurs sont toujours présents et vous pouvez entendre l'intégralité du chant. Mais dans le monde réel, les choses tournent mal. Peut-être que le capteur de transpiration tombe en panne, ou que l'utilisateur désactive le moniteur cardiaque pour économiser la batterie, ou encore que le capteur de mouvement se desserre. Soudain, vous essayez de comprendre le chant avec seulement trois, deux, ou même un seul chanteur restant.

La plupart des modèles d'IA actuels tentent de « combler les blancs » en devinant à quoi les chanteurs manquants auraient pu ressembler. Le problème ? Ils devinent souvent faux. Ils peuvent inventer des détails qui n'ont jamais existé (comme une note aiguë spécifique que le chanteur de la transpiration n'a jamais réellement chantée), ce qui confond l'IA et la rend moins fiable. C'est ce qu'on appelle l'hallucination.

L'article présente VCR (Représentation Contextuelle Valide), une nouvelle méthode pour entraîner l'IA à écouter ces wearables de santé sans se confondre lorsque des chanteurs disparaissent.

Voici comment VCR fonctionne, en utilisant des analogies simples :

1. Le « Bibliothécaire Strict » (Tokeniseur Orthogonal)

Imaginez que le cerveau de l'IA est une bibliothèque. Lorsque le chœur chante, l'IA doit trier les notes en deux piles séparées :

Pile A (Secrets Partagés) : Des notes sur lesquelles tous les chanteurs sont d'accord. Par exemple, si le cœur bat vite, que le corps bouge et que la transpiration augmente, c'est un signal partagé de « stress ».
Pile B (Actes en Solo) : Des notes uniques à un seul chanteur. Par exemple, le « bruit statique » spécifique du capteur de transpiration ou le rythme unique du capteur de mouvement.

Les anciens modèles d'IA tentaient de garder ces piles mélangées. VCR utilise un « Bibliothécaire Strict » (appelé Tokeniseur Orthogonal) pour séparer physiquement ces piles. Il utilise un tour de géométrie (comme une règle rigide) pour s'assurer que la pile des « Secrets Partagés » et celle des « Actes en Solo » ne se touchent jamais. Elles sont mathématiquement garanties comme étant indépendantes.

2. Le « Jeu de Devinettes Intelligent » (Éviter les Hallucinations)

Voici le tour de magie. Lorsqu'un chanteur manque (par exemple, le chanteur de la transpiration est parti) :

Ancienne IA : Tente de deviner l'intégralité du chant, y compris les « Actes en Solo » uniques du chanteur manquant. Elle invente de fausses données de transpiration. C'est mauvais car l'IA devine des choses qu'elle ne peut pas connaître.
VCR : Connaît les règles. Il dit : « Je ne peux pas deviner le bruit unique de la transpiration car ce chanteur est parti. Mais je peux deviner les « Secrets Partagés » car les autres chanteurs (Battement de cœur, Mouvement, Température) continuent de chanter ces parties. »

VCR tente uniquement de reconstruire les Secrets Partagés qui sont déductibles à partir des chanteurs restants. Il refuse de deviner les « Actes en Solo » du chanteur manquant. Cela empêche l'IA d'inventer de fausses données (hallucinations) et maintient sa compréhension ancrée dans la réalité.

3. L'« Équipe Flexible » (Colonne Vertébrale MoE Consciente des Manques)

Une fois les notes triées, elles sont envoyées à un « cerveau » composé d'un Mélange d'Experts (MoE). Imaginez cela comme une équipe de spécialistes.

Si les chanteurs du Battement de cœur et du Mouvement sont présents, un spécialiste spécifique prend la tête.
Si le chanteur de la Température manque, un autre spécialiste intervient, celui qui sait travailler sans cette entrée.

Au lieu de forcer un seul cerveau géant à tout faire en même temps (ce qui le confond lorsque des données manquent), VCR utilise un routeur pour envoyer la tâche à l'expert spécifique le mieux adapté à la combinaison actuelle de capteurs disponibles.

Pourquoi cela compte (Les Résultats)

Les auteurs ont testé VCR sur des données réelles de santé pour des tâches telles que :

Détection des émotions : Savoir si quelqu'un est stressé ou heureux.
Reconnaissance d'activité : Savoir si quelqu'un marche, court ou dort.
Stades de sommeil : Déterminer si quelqu'un est en sommeil profond ou en sommeil léger.
Prédiction de VO2 : Estimer la quantité d'oxygène que le corps consomme.

Ils ont constaté que VCR fonctionne mieux que toutes les méthodes précédentes, même lorsque :

Tous les capteurs fonctionnent : Il reste le plus précis.
Un capteur manque : Il perd à peine en performance.
Plusieurs capteurs manquent : Il reste robuste tandis que les autres modèles échouent complètement.

La Conclusion

VCR est comme un auditeur intelligent qui sait exactement ce qu'il peut et ne peut pas entendre. Au lieu d'inventer une histoire pour combler le silence, il se concentre uniquement sur les faits qui restent audibles. Cela en fait un outil beaucoup plus fiable pour les dispositifs portables de santé, garantissant que même si un capteur tombe en panne ou si un utilisateur en désactive un, les informations de santé restent précises et dignes de confiance.

Résumé Technique : VCR : Apprentissage d'une Représentation Contextuelle Valide pour des Signaux de Wearables Incomplets

1. Énoncé du Problème

Les dispositifs portables offrent une surveillance de la santé continue et non invasive grâce à des signaux multimodaux (par exemple, PPG, EDA, ACC, TEMP). Cependant, leur déploiement dans le monde réel est entravé par deux défis couplés :

Rareté des Étiquettes : Les tâches de santé en aval (reconnaissance des émotions, stades de sommeil, reconnaissance d'activité) souffrent d'un manque de données étiquetées.
Absence de Modalités : Les capteurs tombent fréquemment en panne en raison de contraintes matérielles, du comportement de l'utilisateur (par exemple, désactivation du PPG pour économiser l'énergie) ou des limitations du dispositif. Cela se traduit par une « absence structurelle », où une modalité entière est absente pour une fenêtre de temps donnée.

Les approches d'apprentissage auto-supervisé (SSL) existantes supposent souvent la disponibilité complète des modalités pendant le préentraînement. Lorsqu'elles sont adaptées à des scénarios d'absence, les méthodes actuelles tentent généralement de reconstruire le signal absent entier. Les auteurs soutiennent que cela est erroné car les détails spécifiques à la modalité (par exemple, des motifs de bruit spécifiques ou des dérives physiologiques uniques) sont souvent non identifiables à partir des capteurs restants. Forcer un modèle à reconstruire ces détails inobservables encourage l'« hallucination » — la génération de données plausibles mais non fondées qui injectent du bruit dans les représentations apprises, dégradant ainsi la robustesse.

2. Méthodologie : Le Cadre VCR

Les auteurs proposent VCR (Représentation Contextuelle Valide), un cadre auto-supervisé en deux étapes conçu pour apprendre des représentations robustes à l'absence de modalités sans halluciner de détails inobservables.

A. Tokeniseur Orthogonal (Étape 1)

La première étape se concentre sur le désenchevêtrement. L'hypothèse centrale est que l'information latente de n'importe quelle modalité peut être séparée en :

Sémantiques Partagées ( $s$ ) : Informations corrélées entre les modalités (par exemple, des motifs de fréquence cardiaque visibles à la fois dans le PPG et l'ACC).
Résidus Spécifiques à la Modalité ( $p$ ) : Informations uniques non inférables à partir d'autres capteurs (par exemple, une dérive de l'impédance cutanée dans l'EDA).

Pour imposer une séparation stricte et prévenir les fuites d'information, VCR emploie un Tokeniseur Géométriquement Orthogonal :

Rectification et Blanchiment : Un adaptateur résiduel léger rectifie les embeddings de l'encodeur, suivi d'un processus de blanchiment pour approximer une matrice de covariance identité.
Projection Orthogonale : Une matrice de paramètres apprenable subit une décomposition QR pour former une base orthonormée. Cette base définit un opérateur de projection $P$ qui sépare strictement l'embedding en un sous-espace partagé ($s = Ph$) et un sous-espace résiduel spécifique ( $p = (I-P)h$ ).
Indépendance Statistique : Sous l'hypothèse de représentations latentes distribuées selon une loi gaussienne, cette orthogonalité géométrique assure l'indépendance statistique ( $I(s; p) \approx 0$ ).
Optimisation Hybride : Le tokeniseur est entraîné en utilisant :
- Perte de Contraste Inter-Modalité : Appliquée uniquement à $s$ pour aligner les sémantiques partagées entre les modalités.
- Reconstruction Intra-Modalité : Appliquée uniquement à $p$ pour préserver les détails uniques.
- Régularisation de Blanchiment : Pour maintenir la condition d'indépendance.

B. Épine Dorsale MoE Sensible à l'Absence (Étape 2)

La deuxième étape traite les tokens du tokeniseur pour apprendre des représentations contextuelles sous des schémas de disponibilité variables.

Architecture : Une épine dorsale Mélange d'Experts (MoE) parcimonieuse. Des embeddings de partition apprenables sont injectés pour identifier explicitement l'origine de la modalité et le type de composant ( $s$ vs $p$ ) de chaque token.
Routage : Le routeur active dynamiquement différents experts en fonction de l'ensemble des modalités observées, permettant au modèle de se spécialiser dans des combinaisons spécifiques de modalités sans interférence des données manquantes.
Objectifs d'Entraînement (Reconstruction Masquée) :
- Masquage Aléatoire : Masquage standard de patches sur les modalités disponibles pour reconstruire à la fois $s$ et $p$ .
- Masquage Structurel : Des modalités entières sont supprimées. Crucialement, l'objectif de reconstruction est conscient de la validité :
  - Si une modalité est manquante, le modèle reconstruit uniquement son composant partagé ( $s$ ), excluant explicitement le composant spécifique non inférable ( $p$ ).
  - Si plusieurs modalités sont manquantes, la reconstruction pour ces modalités est entièrement ignorée, car même les composants partagés peuvent être non inférables.
- Cette conception empêche le modèle d'être forcé à halluciner des détails inobservables.

3. Contributions Clés

Apprentissage Conscient de la Validité : L'introduction d'un tokeniseur orthogonal qui désenchevêtre structurellement les composants partagés et spécifiques. Cela permet un objectif de reconstruction qui ne cible que les informations inférables, atténuant efficacement les complétions de type hallucination.
Épine Dorsale MoE Sensible à l'Absence : Une architecture parcimonieuse avec des embeddings de partition apprenables qui adapte le calcul à divers schémas de disponibilité des modalités, évitant le bruit introduit par le remplissage par zéro ou les tokens spéciaux.
Préservation de l'Information en Deux Étapes : Une stratégie d'entraînement qui préserve d'abord l'intégrité de l'information via le désenchevêtrement et l'alignement contrastif, puis apprend des sémantiques contextuelles robustes via une reconstruction latente masquée, évitant la domination par des modalités à forte variance.

4. Résultats Expérimentaux

VCR a été évalué sur une référence complète couvrant quatre jeux de données (WESAD, DaLiA, AAUWSS, WEEE) et quatre tâches (détection des émotions, reconnaissance d'activité, stades de sommeil, prédiction de VO2).

Performance en Modalité Complète : VCR a surpassé les bases de référence supervisées (ResNet, ViT, FlexMoE) et les bases de référence auto-supervisées préentraînées (SimCLR, LSM, LSM-2, etc.) sur toutes les tâches, démontrant que la robustesse à l'absence ne se fait pas au détriment des performances lorsque tous les capteurs sont disponibles.
Absence d'une Seule Modalité : Dans les scénarios où un capteur a été retiré, VCR a obtenu les meilleures ou deuxièmes meilleures performances sur 65 des 88 métriques rapportées. Notamment, lorsque des capteurs critiques comme l'ACC étaient manquants, VCR a maintenu des performances nettement supérieures aux bases de référence, montrant une dégradation gracieuse par rapport aux chutes brutales observées dans d'autres méthodes.
Absence de Plusieurs Modalités : VCR est resté robuste sur toutes les combinaisons de 2 ou 3 modalités manquantes, se classant constamment dans le Top-1 ou Top-2 par rapport aux bases de référence.
Analyse de l'Hallucination : Une étude de cas comparant VCR à LSM-2 (qui reconstruit des signaux bruts complets) a montré que LSM-2 induisait des décalages de représentation plus importants et des incohérences sémantiques lors de la reconstruction de données manquantes. La séparation stricte de $s$ et $p$ par VCR a empêché ces décalages, confirmant que l'évitement de la reconstruction de détails non inférables préserve la validité de la représentation.
Vérification du Désenchevêtrement : Une analyse quantitative utilisant le Critère d'Indépendance de Hilbert-Schmidt (HSIC) a montré que VCR a atteint une dépendance significativement plus faible entre $s$ et $p$ par rapport aux bases de référence à contraintes douces comme FOCAL.

5. Signification et Revendications

L'article revendique que VCR établit une nouvelle norme pour le préentraînement de modèles portables multimodaux en priorisant la validité de la représentation. Les auteurs soutiennent que la pratique courante de reconstruire des signaux manquants entiers est fondamentalement erronée car elle force les modèles à deviner des détails inobservables, conduisant à des hallucinations qui dégradent les performances en aval.

En imposant un désenchevêtrement géométrique strict et en limitant les objectifs de reconstruction aux composants partagés inférables, VCR fournit une fondation structurelle pour un apprentissage robuste. Le cadre est présenté comme une solution à usage général qui reste efficace à travers diverses tâches de surveillance de la santé et configurations de capteurs, comblant le fossé critique entre l'entraînement idéalisé avec capteurs complets et la réalité des données de wearables incomplets. Les auteurs notent que si l'évaluation actuelle se concentre sur un seul type de dispositif (Empatica E4), la nature agnostique des modalités du cadre suggère un potentiel de généralisation plus large, ce qui reste une direction pour les travaux futurs.