🤖 machine learning

Structured Prototype-Guided Adaptation for EEG Foundation Models

Dit artikel stelt SCOPE voor, een gestructureerd, op vertrouwen gebaseerd, prototype-geleid raamwerk dat de uitdagingen van het aanpassen van EEG-funderingsmodellen aan label-beperkte omgevingen aanpakt door oververzekerd verkeerd gekalibreerde resultaten en representatiedrift te verminderen via cohort-niveau supervisie en een lichtgewicht, prototype-geconditioneerde adapter.

Oorspronkelijke auteurs: Jingying Ma, Feng Wu, Yucheng Xing, Qika Lin, Tianyu Liu, Chenyu Liu, Ziyu Jia, Mengling Feng

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingying Ma, Feng Wu, Yucheng Xing, Qika Lin, Tianyu Liu, Chenyu Liu, Ziyu Jia, Mengling Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Te Enthousiaste Student"

Stel je een briljante student (een EEG Foundation Model) voor die elk boek in de bibliotheek heeft gelezen. Ze weten alles over hersengolven omdat ze zijn getraind op enorme hoeveelheden data. Dit is geweldig!

Echter, in een echt ziekenhuis heeft een arts slechts een paar patiënten met bevestigde diagnoses (gelabelde data) en duizenden patiënten zonder aantekeningen (ongelabelde data).

Wanneer je probeert deze briljante student te onderwijzen met alleen die paar bevestigde gevallen, gaat er iets mis. In plaats van de nieuwe specifieke regels te leren, wordt de student te zelfverzekerd. Ze beginnen wild te gokken op basis van de paar voorbeelden die ze hebben, en negeren hun uitgebreide algemene kennis. Ze "overfitten", wat betekent dat ze de paar voorbeelden perfect uit het hoofd leren maar volledig falen wanneer ze een nieuwe patiënt zien. Het is als een student die de antwoorden op drie oefenvragen uit het hoofd leert, maar faalt op het echte examen omdat ze het concept niet hebben begrepen.

De Oplossing: SCOPE

De auteurs hebben een nieuwe methode bedacht genaamd SCOPE (Structured COnfidence-aware Prototype-guided adaptation). Denk aan SCOPE als een slimme tutor die de student helpt leren van de paar bevestigde gevallen zonder hen hun algemene kennis te laten vergeten of wild te laten gokken op de onbekende gevallen.

SCOPE werkt in twee hoofdfasen:

Fase 1: Het Bouwen van een "Kaart" en een "Vertrouwensfilter"

Voordat de student begint met het bestuderen van de nieuwe gevallen, bouwt de tutor een leidraad.

Het Maken van een "Kaart" (Gestructureerde Prototypen):
Stel je voor dat de verschillende soorten hersentoestanden (zoals "slaap", "wakker", "angstig") verschillende steden zijn op een kaart. Normaal gesproken, wanneer je zeer weinig voorbeelden hebt, wordt de kaart rommelig en vloeien de steden in elkaar over.
SCOPE tekent eerst een duidelijke, gestructureerde kaart. Het gebruikt wiskunde om ervoor te zorgen dat de "steden" (klassen) gelijkmatig gespreid zijn en dat er duidelijke wijken binnen elke stad zijn om verschillende variaties te hanteren. Deze kaart fungeert als een persistent leidraad zodat de student weet waar ze moeten zijn, zelfs als de data ruis bevat.
Het "Vertrouwensfilter" (Vertrouwensbewuste Pseudo-Labeling):
De tutor kijkt naar de duizenden patiënten zonder aantekeningen. In plaats van blind te gokken wat hun aandoening is, stelt de tutor twee verschillende vragen:
- "Op basis van de algemene kaart, wat is dit?"
- "Op basis van de specifieke wijken, wat is dit?"
  Als beide antwoorden overeenkomen, zegt de tutor: "Oké, dit lijkt betrouwbaar." Als ze het niet eens zijn, zegt de tutor: "Ik weet het niet zeker, laten we deze voor nu negeren." Dit voorkomt dat de student leert van slechte gokken.

Fase 2: De "Lichte Bril" (ProAdapter)

Nu is het tijd voor de student om te studeren.

Het Probleem met Oude Methoden: Meestal, om een nieuwe taak te leren, zeg je tegen de student dat ze hun hele hersenen moeten herschrijven (Volledige Fine-Tuning). Dit is gevaarlijk omdat ze alle kennis die ze hebben opgedaan door de bibliotheek te lezen, kunnen wissen.
SCOPE's Aanpak: In plaats van de hersenen te herschrijven, zet SCOPE een paar gespecialiseerde brillen op de student. Deze worden ProAdapters genoemd.
- De hoofdheren van de student (het Foundation Model) blijven bevroren en onaangeroerd.
- De bril is lichtgewicht en past alleen de allerbovenste lagen van het denken van de student aan.
- Cruciaal: deze bril is geconditioneerd op de Kaart. Ze dwingen de student om de nieuwe data te bekijken door de lens van de gestructureerde leidraad die in Fase 1 is gebouwd.

Waarom Dit Beter Werkt

Het paper testte dit op zes verschillende hersentaken (zoals slaapstadiëring en emotiedetectie) en vijf verschillende soorten AI-modellen.

Het Resultaat: SCOPE sloeg consequent de oude methoden.
De Analogie: Terwijl andere methoden probeerden de student te dwingen de paar voorbeelden uit het hoofd te leren (wat leidde tot verwarring), gaf SCOPE de student een duidelijke kaart en een filter om slechte gokken te negeren, terwijl de oorspronkelijke bibliotheekkennis intact bleef.
Efficiëntie: Dit deed het door slechts een klein deel van de parameters van het model aan te passen (zoals het aanpassen van de bril in plaats van de hersenen te herbouwen), waardoor het snel en goedkoop is om uit te voeren.

Samenvatting

Kortom, SCOPE lost het probleem op van het onderwijzen van krachtige AI-hersenenmodellen wanneer je niet genoeg gelabelde data hebt door:

Het bouwen van een gestructureerde kaart van hoe de data er zou moeten uitzien.
Het gebruik van een vertrouwensfilter om alleen te leren van hoogwaardige gokken.
Het zetten van lichtgewicht brillen op de AI om haar denken te sturen zonder haar bestaande kennis te breken.

Dit stelt de AI in staat om zich betrouwbaar aan te passen aan nieuwe, real-world klinische situaties, zelfs wanneer een arts slechts een handvol bevestigde gevallen heeft om mee te werken.

Technische Samenvatting: SCOPE – Gestructureerde Prototypen-Gestuurde Adaptatie voor EEG-Grondmodellen met Beperkte Labels

1. Probleemstelling

Elektro-encefalografie (EEG)-grondmodellen (EFM's) hebben sterke prestaties getoond wanneer ze volledig worden gefine-tuned op overvloedige gelabelde data. In realistische klinische settings zijn echter betrouwbare annotaties op subjectniveau schaars, waardoor vaak slechts een klein deel van de subjecten gelabeld is (bijvoorbeeld 30% of minder), naast een overvloed aan ongelabelde opnames.

De auteurs identificeren dat standaard volledige fine-tuning onder deze label-beperkte omstandigheden faalt, niet enkel door onvoldoende data, maar door een structurele mismatch tussen ruisbehaftte, beperkte supervisie en de zeer plastische parameter ruimte van EFM's. Empirische analyse onthult drie kritieke faalmodi:

Onbetrouwbare Zelf-Gidsing: EFM's vertonen oververtrouwen maar onnauwkeurigheid onder beperkte supervisie, waardoor zelftraining (die vertrouwt op modelvertrouwen) vatbaar is voor foutversterking.
Predictie-Collaps: Pseudo-labeling-strategieën falen vaak vanwege ambiguïteit in klassengrenzen bij continue hersentoestanden en class-imbalance, wat leidt tot vooringenomen leren naar dominante modi.
Kwetsbaarheid Parameter Ruimte: Volledige fine-tuning veroorzaakt significante representatie-drift over lagen, waarbij ruisbehaftte gradiënten overdraagbare voorgeprende representaties overschrijven, wat leidt tot irreversibele optimalisatie-drift.

Bestaande parameter-efficiënte fine-tuning (PEFT)-methodes en generieke semi-supervised learning-aanpakken (zoals FixMatch, FineSSL) zijn onstabiel of suboptimaal gebleken wanneer ze direct worden toegepast op EFM's in cross-subject, label-beperkte scenario's.

2. Methodologie: SCOPE Framework

De auteurs stellen SCOPE (Structured COnfidence-aware Prototype-guided adaptation) voor, een tweestapsframework ontworpen om EFM's aan te passen zonder voorgeprende kennis te overschrijven.

Stap I: Constructie van Externe Gestructureerde Supervisie

In plaats van te vertrouwen op de eigen voorspellingen van de EFM voor zelftraining, bouwt SCOPE externe supervisie op met een lichtgewicht Task-Prior Network (TPN) dat uitsluitend wordt getraind op de kleine gelabelde set.

Cohort-niveau Gestructureerde Prototypen:
- Inter-Klasse Geometrie: De TPN maakt gebruik van een Task-Prior Network met een Equiangular Tight Frame (ETF) regularisator. Dit dwingt maximale hoekseparatie af tussen klassengewichten, wat zorgt voor klassen-scheidbare embeddings.
- Intra-Klasse Variabiliteit: Om diverse patronen binnen een klasse te hanteren, leert het framework meerdere gebalanceerde prototypen per klasse met Sinkhorn-Knopp-optimalisatie. Dit zorgt voor een gebalanceerde toewijzing van samples aan prototypen en voorkomt collaps naar dominante modi.
Vertrouwensbewuste Sample-niveau Pseudo-labeling:
- Pseudo-labels worden alleen gegenereerd wanneer de task-prior voorspelling (met nadruk op inter-klassenseparatie) overeenkomt met de prototype-gebaseerde voorspelling (die intra-klassenvariatie vastlegt).
- Een Dempster-Shafer-fusiemechanisme combineert deze twee bewijsbronnen om betrouwbaarheid te kwantificeren.
- Samples worden geselecteerd voor adaptatie alleen als hun gefuseerde vertrouwensscore een vooraf gedefinieerde drempel overschrijdt, waardoor onbetrouwbare signalen worden gefilterd.

Stap II: Prototype-Geconditioneerde Adaptatie (ProAdapter)

Om de kwetsbaarheid van de parameter ruimte van de EFM aan te pakken, bevriest SCOPE de backbone en introduceert een lichtgewicht ProAdapter die wordt ingevoegd in de laatste $L$ lagen van het netwerk.

Mechanisme: De adapter gebruikt feature-wise modulatie (schaling $\alpha$ en verschuiving $\beta$ ) geconditioneerd op de similariteitsvector van het sample met de geleerde prototypen.
Architectuur:
- Het genereert basismodulatieparameters uit de eigen statistieken van de laag (zelf-conditioning).
- Het genereert een extra modulatieterm vanuit de prototype-similariteitsvector, expliciet afgeschermd en begrensd om stabiele adaptatie te waarborgen.
- Hierdoor kan de gestructureerde geometrie van de externe supervisie de adaptatie van intermediate features sturen zonder de voorgeprende gewichten te wijzigen.

Trainingsstrategie

SCOPE hanteert een warm-up adaptatie strategie. Training begint met supervised updates op de gelabelde set, waarna geleidelijk ongelabelde data wordt opgenomen met behulp van vertrouwens-gewogen pseudo-labels. Dit voorkomt dat ruisbehaftte supervisie de vroege trainingsfasen domineert.

3. Belangrijkste Bijdragen

Externe Cohort-niveau Gestructureerde Prototypen: Het eerste framework dat persistente, geometrie-geregulariseerde prototypen construeert (via ETF en Sinkhorn-Knopp) om stabiele externe gidsing te bieden voor EFM's, waarmee het probleem van klassenmixing en mode-collaps wordt aangepakt.
Vertrouwensbewuste Sample-niveau Pseudo-labeling: Een nieuwe labelstrategie die task-prior en prototype-voorspellingen fuseert met Dempster-Shafer theorie om onzekere samples te filteren, waarmee de oververtrouwdheid van EFM's wordt mitigerend.
Prototype-Geconditioneerde Adaptatie (ProAdapter): Een lichtgewicht adapter die prototype-geometrie injecteert in bevroren EFM's via feature-modulatie, waardoor voorgeprende representaties behouden blijven terwijl ze worden aangepast aan specifieke taken.
Uitgebreide Evaluatie: Een systematische studie over 6 EEG-taken, 5 grondmodel backbones (inclusief Transformer en State-Space Model architecturen), en variërende label-ratio's (5%–50%).

4. Experimentele Resultaten

De auteurs evalueerden SCOPE op zes publieke datasets (ISRUC, SEED, Mental Arithmetic, PhysioNet-MI, SHU-MI, CHB-MIT) met behulp van vijf verschillende EFM backbones (LaBraM, CBraMod, CSBrain, EEGMamba, CodeBrain).

Prestaties: SCOPE presteerde consistent beter dan baselines, waaronder volledige fine-tuning, bevroren backbones, LoRA, en bestaande semi-supervised methoden (FixMatch, FineSSL).
- Op de ISRUC dataset met 30% gelabelde subjecten verbeterde SCOPE de Kappa met +7,61 (LaBraM) en +10,92 (CodeBrain) in vergelijking met bevroren backbones.
- Het toonde robuustheid over verschillende architectuurfamilies (Transformer versus SSM) en datasets waar andere methoden faalden of collapsten.
Efficiëntie: De methode bereikt deze winsten met slechts 2–5% trainbare parameters en aanzienlijk minder trainingstijd en GPU-geheugen in vergelijking met volledige fine-tuning.
Ablatie Studies:
- Het verwijderen van de supervisie-constructiemodule veroorzaakte de grootste prestatiedalingen (5–7%), wat bevestigt dat zelftraining onvoldoende is voor EFM's.
- Het verwijderen van ProAdapter leidde tot significante degradatie (tot 10% op SSM backbones), wat de noodzaak van prototype-geconditioneerde modulatie onderstreept.
- Vertrouwens-gewichting en warm-up strategieën bleken cruciaal voor stabiliteit.

5. Betekenis en Claims

Het artikel claimt de eerste systematische studie te zijn over het aanpassen van EEG-grondmodellen onder label-beperkte praktische implementatievoorwaarden.

De auteurs betogen dat de onbetrouwbaarheid van volledige fine-tuning in regimes met weinig labels voortkomt uit een structurele mismatch, niet enkel uit data-schaarste. Door over te stappen van zelftraining en sample-niveau pseudo-labels naar externe cohort-niveau gestructureerde supervisie en geconditioneerde adaptatie, biedt SCOPE een betrouwbaardere en data-efficiëntere weg voor het implementeren van EFM's in realistische klinische scenario's waar expertannotaties beperkt zijn. Het werk suggereert dat het behoud van voorgeprende representaties via lichtgewicht, geometrie-gestuurde modulatie superieur is aan directe parameterupdates in deze settings.