Lightweight Transformer for EEG Classification via Balanced Signed Graph Algorithm Unrolling

Deze paper introduceert een lichtgewicht en interpreteerbare transformer-achtige architectuur voor EEG-classificatie, gebaseerd op het ontwarren van een spectrale denoising-algoritme voor gebalanceerde getekende grafen, die vergelijkbare prestaties levert als diepe leermethoden maar met aanzienlijk minder parameters.

De kern

Stel je voor dat je hersenen een enorm drukke stad zijn. In deze stad sturen miljoenen kleine boodschappers (de neuronen) voortdurend berichten naar elkaar. Soms werken ze samen en zingen ze in koor (positieve correlatie), maar soms schreeuwt de ene boodschapper de andere tegen (negatieve correlatie). Bij een gezond persoon is dit een harmonieus orkest, maar bij iemand met epilepsie wordt het plotseling een chaos van schreeuwende stemmen.

Deze wetenschappers hebben een slimme, nieuwe manier bedacht om te luisteren naar dit hersen-orkest en te zeggen: "Aha! Dit is chaos (epilepsie) of dit is harmonie (gezond)." En het beste van alles? Hun oplossing is niet een enorme, dure supercomputer, maar een lichtgewicht, begrijpbaar apparaatje dat precies weet hoe het werkt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Zwarte Doos"

Vroeger gebruikten artsen simpele regels om epilepsie te detecteren. Later kwamen er enorme kunstmatige intelligenties (zoals "Transformers") die heel goed waren, maar ze waren als een zwarte doos. Je gooide er hersenscans in en er kwam een diagnose uit, maar niemand wist waarom de computer dat besliste. Bovendien waren deze zwarte dozen zo zwaar en groot dat ze niet op een klein medisch apparaatje pasten.

2. De Oplossing: Een "Ontvouwde" Algorithmische Dans

De auteurs van dit papier hebben een slimme truc bedacht. In plaats van een zwarte doos te bouwen, hebben ze een wiskundig algoritme (een stappenplan) bedacht dat al bekend was, en ze hebben dit algoritme "ontvouwd" tot een neuraal netwerk.

• De Analogie: Stel je voor dat je een ingewikkeld recept hebt om een taart te maken. In plaats van een robot te bouwen die blindelings de taart bakt, bouw je een keuken waar elke stap van het recept een eigen bakker is. Je ziet precies wat er gebeurt: eerst deeg, dan eieren, dan bakken. Je kunt de taart zien ontstaan. Dat is wat "ontvouwen" betekent: het maken van een transparant systeem.

3. De Magische Kaart: De Gebalanceerde Signatuur

Het hart van hun systeem is een speciale kaart van de stad (de hersenen).

• Positieve lijnen: Twee boodschappers die samenwerken.
• Negatieve lijnen: Twee boodschappers die ruzie maken.

De meeste oude systemen negeerden de ruzie (de negatieve lijnen) of maakten er een rommel van. Deze auteurs gebruiken een wiskundige regel (het Cartwright-Harary-theorema) om te zorgen dat de kaart in evenwicht is.

• De Analogie: Denk aan een groep vrienden. Als A en B vrienden zijn, en B en C zijn vrienden, dan moeten A en C ook vrienden zijn. Als A en B vrienden zijn, maar B en C vijanden, dan moet A en C ook vijanden zijn. Als deze regels kloppen, is de groep "in balans". De auteurs zorgen ervoor dat hun kaart van de hersenen altijd in dit perfecte evenwicht zit, zelfs als er ruzie is. Dit maakt het mogelijk om de "muziek" van de hersenen (de frequenties) te analyseren, zelfs als er negatieve geluiden zijn.

4. Het Filter: De "Geluidsdempende Koptelefoon"

Zodra ze deze perfecte kaart hebben, gebruiken ze een slim filter.

• De Analogie: Stel je voor dat je in een drukke café zit en je wilt alleen de stem van je vriend horen. Je draait een koptelefoon op die alle achtergrondruis (de hoge, chaotische frequenties) wegdempt en alleen de rustige, belangrijke stemmen laat horen.
• In hun systeem is dit een "laagdoorlaatfilter". Het filtert het ruisende hersensignaal en houdt alleen de belangrijke patronen over. Ze hebben dit filter zo slim gemaakt dat het zichzelf aanpast aan de data, zonder dat ze de hele kaart hoeven te herberekenen (dat zou te lang duren).

5. De Twee Detectives

Om te bepalen of iemand epilepsie heeft, trainen ze twee detectives (twee netwerken):

1. Detective Gezond: Deze leert hoe een gezond hersen-orkest klinkt.
2. Detective Epilepsie: Deze leert hoe een epileptisch hersen-orkest klinkt.

Wanneer er een nieuw hersensignaal binnenkomt, laten ze het door beide detectives.

• Als Detective Gezond het signaal heel goed kan "herbouwen" (het klinkt als zijn eigen muziek), maar Detective Epilepsie er een rommel van maakt, dan is de persoon gezond.
• Is het andersom? Dan heeft de persoon epilepsie.

Waarom is dit zo speciaal?

• Lichtgewicht: Het systeem is extreem klein. Het gebruikt minder dan 1% van de "geheugenruimte" van de grootste, bekendste AI-modellen. Je kunt dit dus op een klein apparaatje dragen.
• Verstaanbaar: Omdat het gebaseerd is op een duidelijk stappenplan (de ontvouwing), weten artsen precies waarom de diagnose wordt gesteld. Geen magie, alleen wiskunde.
• Snel: Het is veel sneller in het trainen en het voorspellen dan de zware modellen.

Kortom: Deze onderzoekers hebben een slimme, transparante en lichte manier bedacht om naar het hersen-orkest te luisteren. Ze gebruiken een speciale kaart om ruzie en samenwerking in balans te brengen, en twee detectives om te horen of de muziek gezond of ziek is. Het is een enorme stap voorwaarts voor draagbare medische apparatuur.

Technische samenvatting

Probleemstelling

Het classificeren van EEG-signalen om epilepsiepatiënten te onderscheiden van gezonde proefpersonen is een kritieke taak. Hoewel diepe leermodellen (Deep Learning - DL), zoals CNN's en Transformers, state-of-the-art (SOTA) resultaten hebben geboekt (soms tot 90% nauwkeurigheid), hebben deze modellen twee grote nadelen:

1. Hoge parameteraantallen: Ze zijn rekenkundig zwaar en ongeschikt voor resource-beperkte apparaten (zoals draagbare EEG-sensoren).
2. Gebrek aan interpretatie: Ze fungeren als "black boxes", wat het vertrouwen en de toepasbaarheid in medische contexten beperkt.

Bestaande methoden modelleren vaak alleen positieve correlaties tussen signalen, terwijl EEG-data inherent anti-correlaties (negatieve relaties) bevat die slecht worden gemodelleerd door traditionele positieve grafieken.

Methodologie

De auteurs stellen een nieuwe aanpak voor die algoritme-unrolling combineert met grafische signaalverwerking (GSP) op een gebalanceerde tekensignaalgrafiek (balanced signed graph).

1. Gebalanceerde Tekensignaalgrafiek (Balanced Signed Graph)

• Concept: In plaats van alleen positieve kanten, gebruiken ze een grafiek met zowel positieve als negatieve kanten om respectievelijk positieve en negatieve correlaties tussen EEG-sensoren te modelleren.
• Balans: Een grafiek is "gebalanceerd" als er geen cycli zijn met een oneven aantal negatieve kanten. Dit is cruciaal omdat het toelaat om de frequenties van de grafiek wiskundig goed te definiëren.
• Transformatie: Via de stelling van Cartwright-Harary wordt aan elke knoop een polariteit ($\beta_i \in \{1, -1\}$) toegewezen. Hierdoor kan de Laplace-matrix van de tekensignaalgrafiek ($L_B$) via een gelijkenis-transformatie worden omgezet in de Laplace-matrix van een equivalente positieve grafiek ($L_+$). Hierdoor kunnen bestaande filters voor positieve grafieken worden gebruikt.

2. Signaalontruiming en Unrolling

• Doel: Het model traint twee "denoisers" (ontruimers), één voor gezonde subjecten en één voor epilepsiepatiënten. Dit fungeert als een pretext-taak.
• Ideale Laagdoorlaatfilter (LP): Op de equivalente positieve grafiek wordt een ideale laagdoorlaatfilter toegepast om ruis te verwijderen. De cutoff-frequentie ($\omega$) wordt geleerd uit de data.
• Efficiëntie: In plaats van dure eigenwaarde-decompositie ($O(N^3)$), gebruiken de auteurs de Lanczos-approximatie. Dit maakt het mogelijk om het filter in lineaire tijd ($O(N)$) te implementeren.
• Neuraal Netwerk: Het iteratieve proces van "grafiek leren" (bijwerken van kanten en polariteiten) en "filteren" wordt "ontrollen" (unrolled) tot een feed-forward netwerk.
  • Self-Attention: De auteurs tonen aan dat hun module voor het leren van grafieken (met genormaliseerde kanten) functioneert als een self-attention mechanisme, vergelijkbaar met Transformers, maar dan veel lichter.

3. Classificatie Strategie

• Twee specifieke denoisers ($\Psi_0$ en $\Psi_1$) worden getraind om de posteriori-verdelingen van respectievelijk de gezonde en epileptische klasse te leren.
• Voor classificatie wordt een nieuwe ingangssignaal $y$ door beide denoisers gevoerd.
• De klasse wordt bepaald door de reconstructiefout te vergelijken:
  $$c^* = \arg \min_{c \in \{0,1\}} \|y - \Psi_c(y)\|^2$$
  De klasse waarbij de reconstructiefout het kleinst is, wordt als de juiste klasse gekozen.
• Verliesfunctie: Om de discriminatie te verbeteren, gebruiken ze een contrastive loss die ervoor zorgt dat de denoiser voor klasse 0 ook probeert de reconstructiefout voor klasse 1-data te maximaliseren (binnen een bepaalde marge).

Belangrijkste Bijdragen

1. Uitbreiding naar Tekensignaalgrafieken: Voor het eerst wordt een unrolled transformer gebouwd op basis van een gebalanceerde tekensignaalgrafiek, wat het mogelijk maakt om anti-correlaties in EEG-data expliciet te modelleren terwijl de frequentie-theorie behouden blijft.
2. Efficiënte Implementatie: Het gebruik van Lanczos-approximatie maakt het toepassen van ideale laagdoorlaatfilters mogelijk zonder eigenwaarde-decompositie, wat de complexiteit drastisch verlaagt.
3. Interpreteerbaarheid: Het model is een "white-box transformer". Elke laag correspondeert met een iteratie van een wiskundig geoptimaliseerd algoritme, waardoor het proces volledig interpreteerbaar is.
4. Parameter-efficiëntie: Het model bereikt SOTA-prestaties met extreem weinig parameters (minder dan 1% van de parameters van vergelijkbare Transformer-modellen).

Resultaten

De methode is getest op het Turkish Epilepsy EEG Dataset (121 deelnemers, 10.356 opnames).

• Default Setting (80/10/10 split):
  • Nauwkeurigheid: 97.57% ( vergeleken met 85.12% voor een grote Transformer en 99.20% voor een zware CNN, maar dan met veel minder parameters).
  • Parameters: Slechts 14.787 parameters.
  • Vergelijking: De methode presteert vergelijkbaar met of beter dan grote modellen (zoals STFT+CNN met 11,5 miljoen parameters), maar is veel lichter.
• Leave-One-Subject-Out (LOSO):
  • Testte generalisatie naar nieuwe, onbekende patiënten.
  • Nauwkeurigheid: 90.06% en F1-score van 92.59%. Dit is significant beter dan andere grafiekgebaseerde methoden (zoals DGCNN, GIN, EEGNet).
• Ablatiestudies:
  • Een gebalanceerde tekensignaalgrafiek presteerde aanzienlijk beter dan een puur positieve grafiek (84.30%) of een ongebalanceerde tekensignaalgrafiek (78.87%). Dit bevestigt het belang van het modelleren van anti-correlaties én het handhaven van grafische balans.
  • Het gebruik van contrastive loss verbeterde de prestaties aanzienlijk ten opzichte van standaard MSE-loss.

Betekenis en Conclusie

Dit werk toont aan dat het combineren van grafische signaalverwerking en algoritme-unrolling een krachtige route is voor medische signaalclassificatie.

• Efficiëntie: Het biedt een oplossing voor resource-beperkte apparaten door een model te bieden dat minder dan 1% van de parameters van bestaande SOTA-modellen gebruikt, maar wel vergelijkbare of betere resultaten behaalt.
• Interpretatie: Het doorbreekt de "black box" van Transformers door een wiskundig onderbouwde architectuur te bieden die de onderliggende fysische eigenschappen van EEG-data (zoals anti-correlaties) expliciet modelleert.
• Toekomst: Hoewel het momenteel beperkt is tot binaire classificatie, biedt het een fundament voor het bouwen van meer complexe, interpreteerbare classificatiebomen voor medische diagnostiek.