⚡ electrical engineering

A comprehensive evaluation of pretraining strategies for channel-agnostic contrastive self-supervision of biosignals

Dit artikel introduceert Contrastive Random Lead Coding (CRLC), een kanaal-onafhankelijke pretrainingstrategie die positieve paren creëert met behulp van willekeurige kanaalsubsets om effectief te generaliseren over variabele biosignaalconfiguraties, waarbij bestaande methoden worden overtroffen in EEG-taken en vergelijkbare resultaten worden behaald in ECG-taken.

Oorspronkelijke auteurs: Thea Brüsch, Mikkel N. Schmidt, Tommy S. Alstrøm

Gepubliceerd 2026-05-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thea Brüsch, Mikkel N. Schmidt, Tommy S. Alstrøm

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren verschillende soorten muziek te herkennen. In de wereld van computer vision (het leren van robots om te zien) leren we ze meestal door dezelfde afbeelding twee keer te tonen, maar met lichte wijzigingen – zoals het bijsnijden, draaien of het toevoegen van wat ruis. De robot leert dat "dit nog steeds een kat is", zelfs als de afbeelding er een beetje anders uitziet.

Maar biosignalen (zoals hersengolven of hartslagen) zijn lastig. Je kunt een hartslag niet zomaar "draaien" of een hersengolf "bijsnijden" zonder de betekenis te breken. Bovendien zijn medische apparaten inconsistent: één ziekenhuis gebruikt misschien 6 sensoren op het hoofd van een patiënt, een ander 20, en een derde slechts 2. Als je een robot traint om hartslagen te herkennen met precies 12 sensoren, kan hij in de war raken wanneer hij een patiënt ziet met slechts 6 sensoren.

Dit artikel gaat over het leren van een robot om deze rommelige, variabele medische signalen te begrijpen zonder in de war te raken door het aantal aangesloten sensoren.

Het Grote Probleem: De "Sensor-Discrepantie"

Stel je een biosignaaldataset voor als een koor.

De Uitdaging: Soms heeft het koor 4 zangers (kanalen), soms 12, en soms 20.
De Oude Manier: De meeste AI-modellen zijn als dirigenten die alleen weten hoe ze een koor van precies 12 zangers moeten leiden. Als je een koor van 6 meebrengt, moeten ze doen alsof de ontbrekende 6 er zijn (stilte). Als je een koor van 24 meebrengt, moeten ze de extra 12 negeren. Dit verspillen informatie.
Het Doel: De auteurs wilden een "universele dirigent" bouwen (een kanaal-agnostisch model) die een koor van elke grootte kan leiden, waarbij het de muziek zelf leert in plaats van het aantal zangers te memoriseren.

De Oplossing: Drie Manieren om "Positieve Paren" Te Maken

Om de robot te leren zonder menselijke labels (zelftoezichtend leren), gebruiken de onderzoekers een spel genaamd Contrastief Leren. De robot krijgt twee versies van hetzelfde signaal getoond (een "positief paar") en krijgt te horen: "Dit is hetzelfde lied, dus ze zouden in mijn hersenen op elkaar moeten lijken."

Het artikel test drie verschillende manieren om deze "zelfde lied"-paren te creëren:

De "Tijd-Splitsing" Methode (CSC):
- De Analogie: Stel je voor dat je naar een 10-seconden lied luistert. Je snijdt het in tweeën. Je vertelt de robot: "De eerste 5 seconden en de tweede 5 seconden zijn hetzelfde lied."
- De Aanname: Het lied verandert niet veel in de tijd.
De "Augmentatie" Methode (CAC):
- De Analogie: Je neemt het lied en voegt wat ruis toe, verandert het volume, of verschuift het lichtjes. Je vertelt de robot: "Deze ruizige versie is hetzelfde lied als de schone versie."
- De Aanname: Het lied is hetzelfde, zelfs als het een beetje ruig klinkt.
De "Willekeurige Lead" Methode (CRLC) - De Ster van de Show:
- De Analogie: Stel je een koor voor met 20 zangers. Je splitst ze in twee groepen: Groep A (zangers 1–10) en Groep B (zangers 11–20). Je vertelt de robot: "Hoewel Groep A en Groep B verschillende delen zingen, zingen ze op hetzelfde moment het zelfde lied."
- De Aanname: Alle sensoren registreren hetzelfde onderliggende gebeurtenis (zoals een hartslag), dus elke subset van hen zou op elke andere subset moeten lijken.

Het Experiment: Synthetisch en Reëel

De auteurs testten dit eerst op nepdata (gesimuleerde signalen) waarbij ze de regels kenden.

Resultaat: Als de nepdata zo was ontworpen dat de "Tijd-Splitsing" methode zinvol was, werkte die methode het beste. Als de data zo was ontworpen dat "Willekeurige Leads" zinvol waren, won die methode.
Les: Je moet de juiste leermethode kiezen op basis van de aard van de data.

Vervolgens testten ze op reële medische data:

EEG (Hersengolven): Deze zijn erg rommelig. Verschillende ziekenhuizen gebruiken verschillende aantallen sensoren.
- Resultaat: De Willekeurige Lead (CRLC) methode was de duidelijke winnaar. Het versloeg de huidige "state-of-the-art" modellen (zoals BENDR).
- Waarom het werkte: Door de robot te dwingen te leren dat "Sensoren 1–5" en "Sensoren 6–10" hetzelfde lied zingen, leerde de robot de kernritmiek van de hersenactiviteit, en negeerde hij de specifieke sensoropstelling. Hij kon vervolgens moeiteloos omgaan met een nieuwe patiënt met 2 sensoren of 20 sensoren.
ECG (Hartslagen): Deze worden meestal opgenomen met een standaard 12 sensoren.
- Resultaat: Een gigantisch, complex model (de "State-of-the-Art" referentie) won overall nog steeds, waarschijnlijk omdat het enorm was en getraind op een enorme hoeveelheid data. Echter, onder de kleinere, flexibele modellen die de auteurs bouwden, was de Willekeurige Lead (CRLC) methode nog steeds de beste.
- Nuance: De auteurs merkten op dat voor hartslagen de "Tijd-Splitsing" methode (CSC) soms ook goed werkte, maar CRLC was over het algemeen robuuster.

De Geheime Ingrediënt: Het "Message Passing" Netwerk

Hoe maakten ze de robot in staat om met verschillende aantallen sensoren om te gaan?
Ze gebruikten een speciaal onderdeel genaamd een Message Passing Neural Network (MPNN).

De Analogie: Stel je een ronde tafel voor waar iedereen (elke sensor) met iedereen kan praten. Zelfs als 2 mensen de tafel verlaten of 5 nieuwe mensen zich aansluiten, gaat het gesprek door omdat iedereen gewoon deelt wat hij weet met zijn buren.
Dit liet het model toe om te leren van 6 sensoren, en vervolgens direct te werken op een dataset met 20 sensoren zonder opnieuw getraind te hoeven worden of "nep"-sensoren toe te voegen.

De Conclusie

Het artikel concludeert dat Contrastief Willekeurig Lead Coding (CRLC) de beste strategie is om AI te leren biosignalen te begrijpen wanneer het aantal sensoren varieert.

Voor Hersengolven (EEG): Het is een enorm succes, het verslaat bestaande topmodellen en stelt de AI in staat om te werken met elk aantal sensoren.
Voor Hartslagen (ECG): Het is het beste van de flexibele modellen, hoewel een massief, star model overall nog steeds de toppositie inneemt.

De belangrijkste les is simpel: Om een AI te leren biologische signalen te begrijpen over verschillende machines heen, laat haar niet alleen hetzelfde signaal twee keer zien; laat haar verschillende groepen sensoren zien die hetzelfde gebeurtenis op hetzelfde moment registreren. Dit leert de AI om naar de muziek te luisteren, niet naar de instrumenten.

Technische Samenvatting: Een Omvattende Evaluatie van Pretrainingsstrategieën voor Kanaalagnostische Contrastieve Zelftoezicht op Biosignalen

Probleemstelling
Zelftoezichtend leren (SSL), en met name contrastief leren, heeft aanzienlijke successen geboekt in computer vision en natuurlijke taalverwerking door gebruik te maken van ongelabelde data om generaliseerbare representaties te leren. Het toepassen van deze methoden op multivariate biomedische tijdreeksen, zoals elektro-encefalografie (EEG) en elektrocardiografie (ECG), stelt echter unieke uitdagingen. Ten eerste is het ontwerpen van effectieve data-augmentaties voor tijdreeksen niet triviaal en vereist dit vaak specifieke domeinkennis. Ten tweede, en nog kritischer, varieert het aantal ingangskanalen aanzienlijk tussen verschillende toepassingen en datasets (bijvoorbeeld slaaponderzoeken met 2 kanalen versus klinische opstellingen met 20+ kanalen). Bestaande zelftoezichtende modellen vertrouwen vaak op vaste kanaalconfiguraties, wat nul-vulling (zero-padding) of het verwerpen van kanalen tijdens fine-tuning vereist, hetgeen hun overdraagbaarheid en generalisatievermogen over diverse kanaalopstellingen beperkt.

Methodologie
De auteurs stellen een kanaalagnostisch kader voor dat een convolutie-encoder voor één kanaal combineert met een Message Passing Neural Network (MPNN). Deze architectuur stelt het model in staat om variabele aantallen ingangskanalen te verwerken zonder structurele wijzigingen, waardoor effectief inter-kanaalinformatie wordt geëxtraheerd tijdens zowel pretraining als fine-tuning.

Het kernonderzoek richt zich op het identificeren van optimale strategieën voor het creëren van positieve paren in contrastief leren voor multivariate tijdreeksen. Het artikel evalueert drie distincte strategieën:

Contrastive Random Lead Coding (CRLC): Creëert positieve paren door de ingangskanalen op te splitsen in twee willekeurige, niet-overlappende subsets binnen hetzelfde tijdvenster. Dit gaat ervan uit dat verschillende kanalen die gelijktijdig worden opgenomen, gemeenschappelijke onderliggende inhoud delen.
Contrastive Segment Coding (CSC): Creëert positieve paren door een enkel tijdvenster op te splitsen in twee sequentiële segmenten. Dit gaat uit van de stationariteit van de signaalinhoud over de tijd binnen het venster.
Contrastive Augmented Coding (CAC): Creëert positieve paren door diverse data-augmentaties (bijvoorbeeld schaling, masking, ruis toevoegen, tijdsverschuiving) toe te passen op hetzelfde ingangsvenster.

De modellen worden gepretraind met twee contrastieve verliesfuncties: NT-Xent en TS2Vec. De evaluatie vindt plaats in twee fasen:

Synthetische Data: Een aangepaste simulator genereert multivariate tijdreeksen op basis van lineaire menging van bronnen. Er worden twee instellingen gecreëerd: één waarbij kanalen informatie delen (bevoordelend voor CRLC) en één waarbij informatie stationair is over de tijd maar distinct tussen kanalen (bevoordelend voor CSC).
Biomedische Data: Het kader wordt getest op real-world EEG-datasets (Physionet Challenge 2018, SleepEDFx, MASS) en ECG-datasets (Physionet Challenge 2021). De modellen worden gepretraind op grote ongelabelde datasets en gefine-tuned op downstream classificatietaken (slaapstaging voor EEG, aritmie-classificatie voor ECG) met variërende aantallen ingangskanalen.

Belangrijkste Bijdragen

Introductie van CRLC: Een nieuwe strategie voor het genereren van positieve paren door willekeurig subsets van ingangskanalen te bemonsteren, specifiek ontworpen voor multivariate tijdreeksen waarbij kanalen gemeenschappelijke bronnen delen.
Synthetische Benchmark: Het creëren van een synthetische dataset die is ontworpen om de aannames onderliggend aan verschillende pretrainingsstrategieën (kanaaldeling versus temporele stationariteit) rigoureus te testen.
Kanaalagnostische Architectuur: Een demonstratie van een op MPNN gebaseerde architectuur die naadloze overdracht mogelijk maakt tussen datasets met verschillende kanaalconfiguraties zonder nul-vulling of het verwerpen van data.
Omvattende Evaluatie: Een grondige vergelijking van pretrainingsstrategieën (CRLC, CSC, CAC) en verliesfuncties (NT-Xent, TS2Vec) over twee distincte biomedische domeinen.

Resultaten

Synthetische Data: De studie bevestigt dat de alignatie tussen de pretrainingsstrategie en het data-generatieproces kritiek is. Pretraining met een strategie die niet overeenkomt met de data-karakteristieken (bijvoorbeeld CSC toepassen op niet-stationaire, kanaal-delende data) levert representaties op die slechts marginaal beter zijn dan willekeur.
EEG-prestaties: De CRLC-strategie presteerde consistent beter dan CSC en CAC over alle steekproefgroottes en verliesfuncties. Opmerkelijk is dat de CRLC-gepretrainde modellen de state-of-the-art BENDR-referentiemodels overtroffen op zowel de SleepEDFx (2 kanalen) als de MASS (20 kanalen) datasets. Dit onderstreept het vermogen van het model om te generaliseren vanuit een pretrainingsopstelling met 6 kanalen naar downstream-taken met aanzienlijk verschillende kanaalaantallen.
ECG-prestaties: Hoewel de voorgestelde op MPNN gebaseerde modellen over het algemeen onderpresteerden ten opzichte van een groter, state-of-the-art referentiemodel (W2V+CMSC+RLM) dat een vaste 12-kanaals invoer en masking gebruikt, bleef de CRLC-strategie de superieure aanpak onder de geteste contrastieve strategieën wanneer gecombineerd met de TS2Vec-verliesfunctie. De superioriteit van het referentiemodel wordt toegeschreven aan het grotere aantal parameters en specifieke op masking gebaseerde pretraining, hoewel het de kanaalagnostische flexibiliteit van de voorgestelde methode mist.
Ablatiestudies: Het aantal rondes voor message passing ( $K$ ) had een minimaal effect op de EEG-prestaties, maar toonde lichte voordelen voor ECG bij grotere steekproefgroottes, wat suggereert dat de keuze van vorming van positieve paren en verliesfunctie belangrijker is dan de aggregatiediepte.

Betekenis en Claims
Het artikel claimt dat voor kanaalagnostisch zelftoezichtend leren van biosignalen de methode van het vormen van positieve paren een beslissende factor is in de modelprestaties. Specifiek wordt Contrastive Random Lead Coding (CRLC) geïdentificeerd als de meest effectieve strategie voor EEG-data, waardoor modellen in staat zijn representaties te leren die generaliseren over variabele kanaalopstellingen waar traditionele modellen met vaste kanalen falen.

De auteurs benadrukken dat terwijl grote foundation-modellen met vaste invoer goed presteren wanneer kanaalaantallen stabiel zijn, de voorgestelde kanaalagnostische aanpak essentieel is voor scenario's waarbij kanaalconfiguraties aanzienlijk variëren tussen pretraining en implementatie. Het werk suggereert dat het gebruik van groepen kanalen als positieve weergaven het model helpt om de onderliggende gemeenschappelijke signalen die nuttig zijn voor classificatie te ontrafelen en te extraheren. Hoewel de huidige op MPNN gebaseerde modellen de grootste referentiemodellen met vaste invoer in ECG-taken nog niet overtreffen, biedt de CRLC-strategie een robuuste basis voor toekomstige kanaalagnostische modellen, met name in domeinen zoals EEG waar kanaalvariabiliteit de norm is.

Het Grote Probleem: De "Sensor-Discrepantie"

De Oplossing: Drie Manieren om "Positieve Paren" Te Maken

Het Experiment: Synthetisch en Reëel

De Geheime Ingrediënt: Het "Message Passing" Netwerk

De Conclusie

Meer zoals dit