🤖 AI

NeuroRVQ: Multi-Scale Biosignal Tokenization for Generative Foundation Models

L'article présente NeuroRVQ, un tokenizer multi-échelle et adaptatif aux modalités qui exploite des convolutions spécifiques aux fréquences, des dictionnaires RVQ hiérarchiques et une fonction de perte sensible à la phase pour atteindre une reconstruction de signaux biologiques haute fidélité, permettant ainsi aux modèles de base de surpasser les approches spécifiques aux modalités existantes dans les tâches en aval.

Auteurs originaux : Konstantinos Barmpas, Na Lee, Dimitrios Chalatsis, William Raftery, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Alexandros Koliousis, Dario Farina, Stefanos Zafeiriou

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Konstantinos Barmpas, Na Lee, Dimitrios Chalatsis, William Raftery, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Alexandros Koliousis, Dario Farina, Stefanos Zafeiriou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Transformer les Signaux Corporels en un « Langage »

Imaginez que votre corps parle constamment une langue complexe. Votre cerveau, votre cœur et vos muscles envoient des signaux électriques (comme l'EEG, l'ECG et l'EMG) qui racontent une histoire sur ce que vous pensez, ressentez ou faites.

Pendant longtemps, les ordinateurs ont eu du mal à comprendre cette langue. Ils sont comme des élèves essayant de lire un livre écrit dans un alphabet étranger qu'ils ne maîtrisent pas entièrement. Ils manquent souvent les détails subtils ou se perdent dans le bruit.

Ce papier présente un nouvel outil appelé NeuroRVQ. Imaginez NeuroRVQ comme un traducteur sur-intelligent qui convertit ces ondes électriques désordonnées et continues en un « dictionnaire » propre et organisé de jetons numériques (comme des mots). Une fois que l'ordinateur possède ces « mots », il peut apprendre à comprendre les signaux du corps beaucoup mieux.

Le Problème : Les Anciens Traducteurs Manquaient les Détails

Les tentatives précédentes pour traduire ces signaux présentaient deux défauts majeurs :

Ils étaient trop simples : Ils tentaient de résumer tout le signal avec un seul « dictionnaire », manquant ainsi les détails aigus et rapides (comme un soubresaut musculaire soudain ou une petite irrégularité cardiaque).
Ils se trompaient sur le « rythme » : Les signaux ont une phase (un cycle temporel). Si vous essayez de mesurer la différence entre 179 degrés et -179 degrés, une formule mathématique standard pense qu'ils sont très éloignés (presque 360 degrés de différence), alors qu'en réalité, ils sont pratiquement voisins. Cela confondait l'ordinateur.

La Solution : Comment NeuroRVQ Fonctionne

Les auteurs ont construit un traducteur avec trois caractéristiques spéciales pour résoudre ces problèmes :

1. L'Oreille Multi-échelle (Écouter Différentes Fréquences)

Imaginez écouter un orchestre. Vous devez entendre les basses profondes (battements de cœur lents), les violons médiums (ondes cérébrales normales) et les flûtes aigües (étincelles musculaires rapides).

Ancienne méthode : Une seule oreille essayant d'entendre tout en même temps.
Méthode NeuroRVQ : Elle utilise plusieurs « oreilles » (branches temporelles) simultanément. Une oreille écoute les motifs lents et longs, tandis qu'une autre écoute les éclats rapides et courts. Elle décompose le signal en bandes de fréquences spécifiques pour que rien ne soit perdu.

2. Le Dictionnaire Hiérarchique (Les Carnets de Codes RVQ)

Une fois le signal décomposé, l'ordinateur doit le transformer en « jetons » (mots numériques).

Ancienne méthode : Essayer de choisir le mot parfait dans un seul, gigantesque dictionnaire.
Méthode NeuroRVQ : Elle utilise un système de dictionnaire en couches (Quantification Vectorielle Résiduelle).
- Étape 1 : Elle choisit le mot « le mieux adapté » pour la forme générale du signal.
- Étape 2 : Elle examine ce qui a été laissé de côté (l'erreur) et choisit un deuxième mot pour corriger les détails.
- Étape 3 : Elle continue d'ajouter des couches de mots pour affiner l'image jusqu'à ce qu'elle soit presque parfaite.
- Analogie : C'est comme dessiner un portrait. D'abord, vous tracez le contour. Ensuite, vous ajoutez le nez et les yeux. Enfin, vous ajoutez les ombres et les petites taches de rousseur. Chaque couche ajoute plus de fidélité.

3. La Mathématique du « Cercle » (Perte Consciente de la Phase)

C'est l'ingrédient secret du papier. Rappelez-vous le problème avec 179° et -179° ?

La Correction : Au lieu de traiter le timing du signal comme une ligne droite, NeuroRVQ le traite comme un cercle. Il convertit le timing en une paire de nombres (sinus et cosinus) qui se situent sur un cercle.
Pourquoi c'est important : Sur un cercle, 179° et -179° sont juste à côté l'un de l'autre. Cela empêche l'ordinateur de se confondre avec l'effet de « boucle », garantissant que le signal reconstruit ressemble exactement à l'original.

Les Résultats : Une Meilleure Fondation

Les auteurs n'ont pas seulement construit le traducteur ; ils ont construit un Modèle de Fondation (une IA à usage général) dessus. Ils ont testé cela sur trois types de signaux :

EEG (Cerveau) : Utilisé pour détecter les stades de sommeil, les émotions et les mouvements.
ECG (Cœur) : Utilisé pour diagnostiquer des conditions cardiaques.
EMG (Muscle) : Utilisé pour reconnaître les gestes de la main.

Les Constats :

Meilleure Reconstruction : Lorsque NeuroRVQ a essayé de reconstruire le signal original à partir de ses « mots », il a fait un travail bien meilleur que les méthodes précédentes, capturant à la fois les rythmes lents et les pics rapides.
Meilleure Performance en Aval : Lorsqu'ils ont utilisé cette « traduction » de haute qualité pour entraîner une IA à des tâches spécifiques (comme dire si une personne dort ou si elle a une arythmie cardiaque), l'IA a performé significativement mieux que les modèles de l'état de l'art existants.
Efficacité : Surprenamment, les modèles NeuroRVQ étaient souvent plus petits et plus simples que leurs concurrents, pourtant ils ont gagné. Cela prouve qu'avoir un meilleur traducteur (tokeniseur) est plus important que de simplement rendre l'IA plus grande et plus complexe.

Résumé

Le papier soutient que pour construire une grande IA pour les signaux de santé, nous ne devrions pas nous concentrer uniquement sur le fait de rendre l'IA plus grande. Au lieu de cela, nous devons nous concentrer sur comment nous traduisons les données brutes. NeuroRVQ est un nouveau traducteur haute fidélité qui écoute toutes les fréquences, utilise un dictionnaire en couches et comprend la nature circulaire du timing. En utilisant ce traducteur, les ordinateurs peuvent enfin « parler » la langue du corps humain avec beaucoup plus de clarté et de précision.

Résumé Technique : NeuroRVQ : Tokenisation Multi-Échelle des Biosignaux pour les Modèles de Fondation Génératifs

Énoncé du Problème

Les biosignaux tels que l'électroencéphalographie (EEG), l'électrocardiographie (ECG) et l'électromyographie (EMG) encodent l'activité physiologique à travers diverses échelles temporelles et spectrales. Bien que les modèles de fondation entraînés par apprentissage masqué auto-supervisé aient montré des promesses dans l'apprentissage de représentations généralisables, leur efficacité est limitée par la qualité du tokeniseur. Les tokeniseurs existants peinent souvent à préserver les informations structurelles complètes, en particulier les dynamiques haute fréquence et les caractéristiques morphologiques subtiles, qui sont critiques pour une modélisation masquée générative robuste. Les approches actuelles reposent fréquemment sur des architectures mono-échelle ou des codebooks uniques qui échouent à capturer la nature multi-échelle des biosignaux, ou elles utilisent des fonctions de perte d'entraînement qui ne respectent pas les propriétés du traitement du signal (par exemple, la topologie circulaire de la phase de Fourier) des cibles de reconstruction. Par conséquent, les tokens générés manquent souvent de la fidélité requise pour des performances efficaces dans les tâches en aval.

Méthodologie

Les auteurs introduisent NEURORVQ, une famille de tokeniseurs de biosignaux adaptatifs aux modalités, conçue pour une reconstruction de signal haute fidélité. L'architecture et la stratégie d'entraînement sont définies par trois composants principaux :

1. Architecture Temporelle Multi-Échelle

NEURORVQ décompose les biosignaux bruts en représentations spécifiques aux fréquences avant la discrétisation.

Génération de Patchs : Les séries temporelles multivariées d'entrée sont segmentées en patchs temporels de longueur $w$ .
Encodeur Multi-Échelle : Un module de style Inception traite chaque patch à travers $S$ branches temporelles distinctes. Chaque branche utilise des convolutions temporelles 1-D avec des tailles de noyaux variables ( $K_{temporal}$ ) pour capturer des caractéristiques à différentes résolutions.
Intégration de Transformateurs : Des embeddings temporels et spatiaux entraînables sont ajoutés aux caractéristiques multi-échelles, qui sont ensuite traitées par des couches de transformateur partagées pour produire des représentations de patchs multi-échelles.
RVQ Hiérarchique : Au lieu d'un codebook unique, le modèle emploie $S$ codebooks de Quantification Vectorielle Résiduelle (RVQ), un par branche temporelle. Chaque branche quantifie itérativement le résidu de la représentation du patch, produisant une séquence de tokens neuronaux ( $z_1, \dots, z_N$ ) qui reconstruisent collectivement le patch. Cette approche hiérarchique permet une préservation détaillée des détails fins.

2. Fonction de Perte Sensible à la Phase

Pour répondre à l'instabilité et à la sous-optimalité de la reconstruction directe des formes d'onde brutes ou des phases, NEURORVQ opère dans le domaine de Fourier avec une fonction de perte novatrice comprenant trois composantes :

Perte de Phase : Au lieu de minimiser l'Erreur Quadratique Moyenne (MSE) sur les angles de phase bruts (qui souffre de discontinuité aux limites $\pm\pi$ ), le modèle prédit les composantes sinus et cosinus ( $\hat{c}, \hat{s}$ ) de la phase. La perte est calculée via la similarité cosinus entre le vecteur prédit $(\hat{c}, \hat{s})$ et le vecteur unitaire cible $(\cos \phi, \sin \phi)$ . Cela respecte la topologie circulaire de la phase et assure des gradients continus.
Perte de Log-Amplitude : Le modèle reconstruit $\log(1 + A)$ plutôt que l'amplitude brute $A$ . Cette échelle logarithmique comprime la plage dynamique et met un accent plus grand sur les composantes haute fréquence.
Régularisation Temporelle : Une perte MSE dans le domaine temporel est appliquée à la forme d'onde reconstruite (dérivée du spectre prédit) pour fournir une guidance supplémentaire dans le domaine temporel.

3. Configuration Adaptative aux Modalités

Bien que l'architecture soit unifiée, les hyperparamètres sont ajustés par modalité pour correspondre aux caractéristiques spectro-temporelles :

EEG : Rééchantillonné à 200 Hz ; longueur de patch $w=1$ s ; 4 branches ; 8 codebooks RVQ par branche.
ECG : Rééchantillonné à 200 Hz ; longueur de patch $w=200$ ms (pour isoler les complexes QRS) ; 4 branches ; 8 codebooks RVQ par branche.
EMG : Rééchantillonné à 1000 Hz (pour capturer le contenu large bande jusqu'à 500 Hz) ; longueur de patch $w=200$ ms ; 4 branches ; 16 codebooks RVQ par branche.

Contributions Clés

Tokeniseur Multi-Échelle Adaptatif aux Modalités : Une architecture novatrice qui décompose les biosignaux en représentations spécifiques aux fréquences via des convolutions temporelles et les encode dans des codebooks RVQ hiérarchiques, permettant une reconstruction haute fidélité à travers l'EEG, l'ECG et l'EMG.
Fonction de Perte Sensible à la Phase : Un objectif d'entraînement qui reconstruit le spectre de Fourier en utilisant une perte de log-amplitude et une perte de phase basée sur la similarité cosinus, gérant efficacement la topologie circulaire des angles de phase et mettant l'accent sur le contenu haute fréquence.
Modèles de Fondation NEURORVQ-FM : L'entraînement de modèles de fondation simples à tokens masqués pour chaque modalité en utilisant les tokeniseurs proposés. Ces modèles démontrent que la tokenisation haute fidélité, plutôt que l'échelle massive du modèle ou la complexité architecturale, est le principal moteur des performances en aval.

Résultats

Les auteurs valident NEURORVQ à travers des métriques de reconstruction de signal et des performances de tâches en aval :

Fidélité de Reconstruction : NEURORVQ atteint des performances de reconstruction de l'état de l'art. Les études d'ablation montrent que la combinaison de l'architecture multi-échelle et de la perte sensible à la phase entraîne des réductions dramatiques de l'erreur de reconstruction (par exemple, une réduction de 43 $\times$ de la MSE EEG par rapport à une base simple). NEURORVQ surpasse les tokeniseurs existants basés sur des codebooks (LaBraM, BrainOmni) sur toutes les bandes de fréquences.
Performances en Aval :
- EEG : NEURORVQ-EEG atteint la plus haute précision équilibrée moyenne sur cinq tâches de classification (Moteur, ERP, Mémoire, Sommeil, Yeux), surpassant le modèle suivant de +4,2 points de pourcentage.
- ECG : Sur le benchmark PTB-XL, NEURORVQ-ECG double la précision équilibrée de HuBERT-ECG sur la tâche de classification fine et difficile à 43 classes.
- EMG : NEURORVQ-EMG surpasse les modèles de fondation existants (PhysioWave, TinyMyo) sur quatre benchmarks de classification (Gestes Discrets, EPN-612, NinaPro DB5, UCI-EMG).
Efficacité : Les modèles NEURORVQ-FM atteignent ces résultats avec des architectures compactes (par exemple, ~5,9M de paramètres pour l'EEG/EMG, ~264K pour l'ECG), nettement plus petits que les modèles concurrents comme NeuroGPT (79,5M) ou ECGFounder (30,7M).

Importance et Revendications

L'article postule que la tokenisation haute fidélité est un ingrédient critique pour des modèles de fondation de biosignaux efficaces. Les auteurs affirment que le succès de la modélisation masquée générative dans ce domaine dépend moins de l'augmentation de l'échelle du modèle ou de la complexité architecturale que de la capacité du tokeniseur à préserver les informations structurelles complètes du signal, y compris les dynamiques haute fréquence et les relations de phase.

En démontrant qu'une architecture simple de modèle de fondation, lorsqu'elle est associée à un tokeniseur haute fidélité, peut surpasser des modèles existants plus grands et plus complexes, ce travail suggère un nouveau principe de conception pour l'IA des biosignaux : prioriser la qualité de la représentation discrète (la « grammaire » du signal) par rapport à la taille du modèle génératif. Les auteurs concluent que NEURORVQ ouvre la voie à une utilisation plus large et plus efficace des modèles de fondation dans l'espace des biosignaux.