🤖 AI

NeuroRVQ: Multi-Scale Biosignal Tokenization for Generative Foundation Models

Het artikel introduceert NeuroRVQ, een multi-schaal, modaal-adaptieve tokenizer die gebruikmaakt van frequentiespecifieke convoluties, hiërarchische RVQ-codeboeken en een fasebewuste verliesfunctie om hoogwaardige reconstructie van biosignalen te bereiken, waardoor fundamentele modellen betere prestaties leveren dan bestaande modality-specifieke benaderingen in downstream-taken.

Oorspronkelijke auteurs: Konstantinos Barmpas, Na Lee, Dimitrios Chalatsis, William Raftery, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Alexandros Koliousis, Dario Farina, Stefanos Zafeiriou

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Konstantinos Barmpas, Na Lee, Dimitrios Chalatsis, William Raftery, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Alexandros Koliousis, Dario Farina, Stefanos Zafeiriou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Omzetten van Lichaamssignalen in een "Taal"

Stel je voor dat je lichaam constant een complexe taal spreekt. Je hersenen, hart en spieren sturen elektrische signalen (zoals EEG, ECG en EMG) uit die een verhaal vertellen over hoe je denkt, voelt of beweegt.

Lange tijd hebben computers moeite gehad om deze taal te begrijpen. Ze zijn als studenten die proberen een boek te lezen dat is geschreven in een vreemd schrift dat ze niet volledig doorgronden. Ze missen vaak de subtiele details of raken in de war door ruis.

Dit paper introduceert een nieuw hulpmiddel genaamd NeuroRVQ. Denk aan NeuroRVQ als een super-slimme vertaler die deze rommelige, continue elektrische golven omzet in een schone, georganiseerde "woordenlijst" van digitale tokens (zoals woorden). Zodra de computer deze "woorden" heeft, kan het de signalen van het lichaam veel beter leren begrijpen.

Het Probleem: De Oude Vertalers Misten Details

Eerdere pogingen om deze signalen te vertalen hadden twee grote gebreken:

Ze waren te simpel: Ze probeerden het hele signaal samen te vatten met slechts één "woordenlijst", waardoor ze de hoogfrequente, snelle details misten (zoals een plotselinge spiertrekking of een kleine hartonregelmatigheid).
Ze kregen het "ritme" verkeerd: Signalen hebben een fase (een tijdcyclus). Als je probeert het verschil te meten tussen 179 graden en -179 graden, denkt een standaard wiskundige formule dat ze ver uit elkaar liggen (bijna 360 graden), terwijl ze in feite buren zijn. Dit verwarde de computer.

De Oplossing: Hoe NeuroRVQ Werkt

De auteurs bouwden een vertaler met drie speciale kenmerken om deze problemen op te lossen:

1. Het Multi-Schaal Oor (Luisteren naar Verschillende Frequenties)

Stel je voor dat je naar een orkest luistert. Je moet de diepe bas (trage hartslagen), de middenregio-violijnen (normale hersengolven) en de hoge fluiten (snelle spierflitsen) horen.

Oude manier: Één oor dat probeert alles tegelijk te horen.
NeuroRVQ-methode: Het gebruikt meerdere "oren" (temporale takken) tegelijkertijd. Één oor luistert naar trage, lange patronen, terwijl een ander luistert naar snelle, korte uitbarstingen. Het splitst het signaal op in specifieke frequentiebanden zodat niets verloren gaat.

2. De Hiërarchische Woordenlijst (De RVQ Codeboeken)

Zodra het signaal is opgesplitst, moet de computer het omzetten in "tokens" (digitale woorden).

Oude manier: Proberen het perfecte woord te kiezen uit één enkele, gigantische woordenlijst.
NeuroRVQ-methode: Het gebruikt een gelagen woordenlijstsysteem (Residual Vector Quantization).
- Stap 1: Het kiest het "beste passende" woord voor de algemene vorm van het signaal.
- Stap 2: Het kijkt naar wat er overbleef (de fout) en kiest een tweede woord om de details te corrigeren.
- Stap 3: Het blijft lagen van woorden toevoegen om het beeld te verfijnen tot het bijna perfect is.
- Analogie: Het is als het schetsen van een portret. Eerst teken je de omtrek. Dan voeg je de neus en ogen toe. Tot slot voeg je de schaduwen en kleine sproeten toe. Elke laag voegt meer fideliteit toe.

3. De "Cirkel"-Wiskunde (Fase-bewuste Verliesfunctie)

Dit is het geheim van het paper. Herinner je het probleem met 179° en -179°?

De Oplossing: In plaats van de timing van het signaal als een rechte lijn te behandelen, behandelt NeuroRVQ het als een cirkel. Het converteert de timing naar een paar getallen (sinus en cosinus) die op een cirkel liggen.
Waarom dit belangrijk is: Op een cirkel liggen 179° en -179° direct naast elkaar. Dit voorkomt dat de computer in de war raakt door het "wrap-around"-effect, waardoor het gereconstrueerde signaal er precies hetzelfde uitziet als het origineel.

De Resultaten: Een Betere Basis

De auteurs bouwden niet alleen de vertaler; ze bouwden er een Fundamentmodel (een algemeen doel AI) bovenop. Ze testten dit op drie soorten signalen:

EEG (Hersenen): Gebruikt voor het detecteren van slaapkampen, emoties en beweging.
ECG (Hart): Gebruikt voor het diagnosticeren van hartziektes.
EMG (Spier): Gebruikt voor het herkennen van handgebaren.

De Bevindingen:

Betere Reconstructie: Toen NeuroRVQ probeerde het originele signaal te herbouwen vanuit zijn "woorden", deed het een veel betere baan dan eerdere methoden, waarbij het zowel de trage ritmes als de snelle pieken vastlegde.
Betere Prestaties in Toepassingen: Toen ze deze hoogwaardige "vertaling" gebruikten om AI te trainen voor specifieke taken (zoals bepalen of iemand slaapt of een hartritmestoornis heeft), presteerde de AI significant beter dan bestaande state-of-the-art modellen.
Efficiëntie: Verrassend genoeg waren de NeuroRVQ-modellen vaak kleiner en simpeler dan de concurrenten, toch wonnen ze. Dit bewijst dat het hebben van een betere vertaler (tokenisator) belangrijker is dan het AI-model gewoon groter en complexer maken.

Samenvatting

Het paper betoogt dat we, om geweldige AI voor gezondheidssignalen te bouwen, niet alleen moeten focussen op het groter maken van de AI. In plaats daarvan moeten we ons richten op hoe we de ruwe data vertalen. NeuroRVQ is een nieuwe, hoogwaardige vertaler die luistert naar alle frequenties, een gelaagde woordenlijst gebruikt en de circulaire aard van timing begrijpt. Door deze vertaler te gebruiken, kunnen computers eindelijk de taal van het menselijk lichaam met veel meer helderheid en nauwkeurigheid "spreken".

Technische Samenvatting: NeuroRVQ: Multi-Schaal Tokenisatie van Biosignalen voor Generatieve Fundamentele Modellen

Probleemstelling

Biosignalen zoals elektro-encefalografie (EEG), elektro-cardiografie (ECG) en elektro-myografie (EMG) coderen fysiologische activiteit over diverse temporale en spectrale schalen. Hoewel fundamentele modellen die zijn getraind met zelf-superviserende gemaskerde leermethodes veelbelovend zijn gebleken in het leren van generaliseerbare representaties, wordt hun effectiviteit geblokkeerd door de kwaliteit van de tokenizer. Bestaande tokenizers worstelen vaak met het behouden van complete structurele informatie, met name hoogfrequente dynamiek en subtiele morfologische kenmerken, die cruciaal zijn voor robuuste generatieve gemaskerde modellering. Huidige benaderingen vertrouwen vaak op enkel-schaal architecturen of enkele codeboeken die niet in staat zijn de multi-schaal aard van biosignalen vast te leggen, of ze maken gebruik van trainingsverliezen die geen rekening houden met de signaalverwerkings eigenschappen (bijvoorbeeld de circulaire topologie van Fourier-fase) van de reconstructiedoelen. Bijgevolg missen gegenereerde tokens vaak de vereiste fideliteit voor effectieve prestaties in downstream taken.

Methodologie

De auteurs introduceren NEURORVQ, een modaal-adapterende familie van biosignal-tokenizers ontworpen voor hoog-fideliteit signaalreconstructie. De architectuur en trainingsstrategie worden gedefinieerd door drie kerncomponenten:

1. Multi-Schaal Temporele Architectuur

NEURORVQ decomposeert ruwe biosignalen naar frequentie-specifieke representaties voordat discretisatie plaatsvindt.

Patch Generatie: Invoer multi-variabele tijdreeksen worden gesegmenteerd in temporale patches van lengte $w$ .
Multi-Schaal Encoder: Een inception-stijl module verwerkt elke patch via $S$ distincte temporale takken. Elke tak gebruikt 1-D temporale convoluties met variërende kernelgroottes ( $K_{temporal}$ ) om kenmerken op verschillende resoluties vast te leggen.
Transformer Integratie: Trainbare temporale en ruimtelijke embeddings worden toegevoegd aan de multi-schaal kenmerken, die vervolgens worden verwerkt door gedeelde transformerlagen om multi-schaal patch-representaties te produceren.
Hiërarchische RVQ: In plaats van een enkel codeboek, maakt het model gebruik van $S$ Residual Vector Quantization (RVQ) codeboeken, één per temporale tak. Elke tak quantiseert iteratief het residu van de patch-representatie, waardoor een reeks neurale tokens ( $z_1, \dots, z_N$ ) ontstaat die gezamenlijk de patch reconstrueren. Deze hiërarchische aanpak staat fijnkorrelige detailbehoud toe.

2. Fase-bewust Trainingsverlies

Om de instabiliteit en sub-optimale reconstructie van ruwe golfvormen of fasen direct aan te pakken, werkt NEURORVQ in het Fourier-domein met een novel verliesfunctie bestaande uit drie componenten:

Fase Verlies: In plaats van het minimaliseren van de Mean Squared Error (MSE) op ruwe fasehoeken (wat lijdt aan discontinuïteit bij $\pm\pi$ grenzen), voorspelt het model sinus- en cosinus-componenten ( $\hat{c}, \hat{s}$ ) van de fase. Het verlies wordt berekend via cosine-similariteit tussen de voorspelde vector $(\hat{c}, \hat{s})$ en de doel-unitvector $(\cos \phi, \sin \phi)$ . Dit respecteert de circulaire topologie van fase en zorgt voor continue gradiënten.
Log-Amplitude Verlies: Het model reconstrueert $\log(1 + A)$ in plaats van ruwe amplitude $A$ . Deze logaritmische schaling comprimeert het dynamische bereik en legt meer nadruk op hoogfrequente componenten.
Temporele Regularisatie: Een temporeel-domein MSE-verlies wordt toegepast op de gereconstrueerde golfvorm (afgeleid van het voorspelde spectrum) om aanvullende tijd-domein begeleiding te bieden.

3. Modaal-Adapterende Configuratie

Hoewel de architectuur unificerend is, worden hyperparameters per modus afgestemd om te matchen met spectro-temporale kenmerken:

EEG: Herbemonsterd naar 200 Hz; patchlengte $w=1$ s; 4 takken; 8 RVQ-codeboeken per tak.
ECG: Herbemonsterd naar 200 Hz; patchlengte $w=200$ ms (om QRS-complexen te isoleren); 4 takken; 8 RVQ-codeboeken per tak.
EMG: Herbemonsterd naar 1000 Hz (om breedbandinhoud tot 500 Hz vast te leggen); patchlengte $w=200$ ms; 4 takken; 16 RVQ-codeboeken per tak.

Belangrijkste Bijdragen

Modaal-Adapterende Multi-Schaal Tokenizer: Een novel architectuur die biosignalen decomposeert in frequentie-specifieke representaties via temporale convoluties en deze codeert in hiërarchische RVQ-codeboeken, waardoor hoog-fideliteit reconstructie mogelijk is over EEG, ECG en EMG.
Fase-bewuste Verliesfunctie: Een trainingsdoel dat het Fourier-spectrum reconstrueert met behulp van een log-amplitude verlies en een op cosine-similariteit gebaseerd faseverlies, wat effectief omgaat met de circulaire topologie van fasehoeken en nadruk legt op hoogfrequente inhoud.
NEURORVQ-FM Fundamentele Modellen: Het trainen van eenvoudige gemaskerde-token fundamentele modellen voor elke modus met de voorgestelde tokenizers. Deze modellen tonen aan dat hoog-fideliteit tokenisatie, eerder dan enorme modelgrootte of architecturale complexiteit, de primaire drijver is van downstream prestaties.

Resultaten

De auteurs valideren NEURORVQ via signaalreconstructie-metrics en prestaties van downstream taken:

Reconstructie Fideliteit: NEURORVQ bereikt state-of-the-art reconstructieprestaties. Ablatiestudies tonen aan dat de combinatie van multi-schaal architectuur en het fase-bewuste verlies dramatische reducties in reconstructiefout oplevert (bijvoorbeeld een 43 $\times$ reductie in EEG MSE vergeleken met een eenvoudige baseline). NEURORVQ presteert beter dan bestaande codeboek-gebaseerde tokenizers (LaBraM, BrainOmni) over alle frequentiebanden.
Downstream Prestaties:
- EEG: NEURORVQ-EEG bereikt de hoogste gemiddelde gebalanceerde nauwkeurigheid over vijf classificatietaken (Motor, ERP, Geheugen, Slaap, Ogen), en presteert +4,2 procentpunten beter dan het op één na beste model.
- ECG: Op de PTB-XL-benchmark verdubbelt NEURORVQ-ECG de gebalanceerde nauwkeurigheid van HuBERT-ECG op de uitdagende 43-klasse fijnkorrelige classificatietaken.
- EMG: NEURORVQ-EMG presteert beter dan bestaande fundamentele modellen (PhysioWave, TinyMyo) over vier classificatiebenchmarks (Discrete Gebaren, EPN-612, NinaPro DB5, UCI-EMG).
Efficiëntie: De NEURORVQ-FM-modellen bereiken deze resultaten met compacte ruggengraten (bijvoorbeeld ~5,9M parameters voor EEG/EMG, ~264K voor ECG), aanzienlijk kleiner dan concurrerende modellen zoals NeuroGPT (79,5M) of ECGFounder (30,7M).

Betekenis en Claims

Het artikel stelt dat hoog-fideliteit tokenisatie een kritiek ingrediënt is voor effectieve biosignal-fundamentele modellen. De auteurs beweren dat het succes van generatieve gemaskerde modellering in dit domein minder afhankelijk is van het vergroten van modelgrootte of architecturale complexiteit, en meer van het vermogen van de tokenizer om de volledige structurele informatie van het signaal te behouden, inclusief hoogfrequente dynamiek en fase-relaties.

Door aan te tonen dat een eenvoudige fundamentele modelarchitectuur, wanneer gekoppeld aan een hoog-fideliteit tokenizer, betere prestaties kan leveren dan grotere, complexere bestaande modellen, suggereert dit werk een nieuw ontwerpprincipe voor biosignal-AI: prioriteit geven aan de kwaliteit van de discrete representatie (de "grammatica" van het signaal) boven de grootte van het generatieve model. De auteurs concluderen dat NEURORVQ de weg effent voor bredere en efficiënter gebruik van fundamentele modellen in de biosignal-ruimte.