Graph Neural Networks in EEG-based Emotion Recognition: A Survey

Deze survey biedt een overzicht en richtlijnen voor het gebruik van Graph Neural Networks in EEG-gebaseerde emotieherkenning, waarbij een unificerend raamwerk voor grafconstructie wordt gepresenteerd om bestaande methoden te categoriseren en toekomstige uitdagingen te schetsen.

De kern

Hier is een uitleg van dit wetenschappelijke artikel, vertaald naar eenvoudig Nederlands met creatieve analogieën.

🧠 De Emotie-Map: Een Reis door de Hersenen met AI

Stel je voor dat je hersenen een enorme, drukke stad zijn. In deze stad wonen miljarden mensen (neuronen) die constant met elkaar praten. Wanneer je een emotie voelt – zoals blijdschap, angst of boosheid – is het alsof er een speciaal festival plaatsvindt in bepaalde wijken van deze stad. Sommige wijken dansen samen, andere wijken sturen boodschappen naar elkaar, en weer andere wijken blijven stil.

Het probleem:
Om te begrijpen wat iemand voelt, kijken we vaak naar hun gezicht of stem. Maar die kunnen liegen. Je kunt glimlachen terwijl je verdrietig bent. De enige manier om de echte waarheid te zien, is door rechtstreeks naar de "stad" te kijken. Dat doen we met EEG (een hoofdband met elektroden die de elektrische signalen van de hersenen opvangt).

De uitdaging:
Deze signalen zijn een enorme chaos van ruis en data. Het is alsof je probeert een gesprek te volgen in een drukke metrostation waar iedereen tegelijk praat. Hoe vind je de belangrijke gesprekken tussen de verschillende wijken (hersengebieden) die echt te maken hebben met emotie?

Hier komt GNN (Graph Neural Networks) om de hoek kijken.

---

🕸️ Wat is een GNN? (Het Netwerk van Vrienden)

Stel je voor dat je de hersenen niet ziet als een wirwar van draden, maar als een sociaal netwerk.

• De knooppunten (Nodes): Dit zijn de elektroden op je hoofd (de "mensen" in het netwerk).
• De lijnen (Edges): Dit zijn de vriendschappen of gesprekken tussen die elektroden.

Een GNN is een slimme AI die dit netwerk bestudeert. In plaats van alleen te kijken naar wat één persoon zegt, kijkt hij naar wie met wie praat. Als de "frontale wijk" (voorhoofd) en de "temporale wijk" (tijdelijk) plotseling heel intens met elkaar communiceren, weet de AI: "Aha! Dit is waarschijnlijk blijdschap!"

Dit artikel is een gids (survey) voor onderzoekers. Het zegt: "Kijk, er zijn veel manieren om dit sociale netwerk te bouwen, maar niemand heeft ooit een duidelijke handleiding geschreven. Laten we dat nu doen."

---

🏗️ De Bouwhandleiding: Hoe bouw je een Emotie-Netwerk?

De auteurs zeggen dat het bouwen van zo'n slim netwerk uit drie stappen bestaat. Laten we ze vergelijken met het bouwen van een gigantisch spoorwegnetwerk.

Stap 1: De Stations kiezen (Node-level)

Voordat je treinen kunt laten rijden, moet je beslissen welke stations je gebruikt.

• Eenvoudige stations: Je kiest één type informatie, bijvoorbeeld alleen de snelheid van de trein (tijdsdomein) of alleen de frequentie van de fluit (frequentiedomein). Dit is zoals alleen kijken naar de snelheid van de trein.
• Gemengde stations: Je combineert snelheid én frequentie én geluid. Dit geeft een completer beeld, maar is moeilijker te bouwen.

Stap 2: De Sporen leggen (Edge-level)

Nu je stations hebt, moet je beslissen welke stations verbonden zijn. Hoe weet je wie met wie praat?

• De vaste kaart (Model-onafhankelijk): Je gebruikt een oude, bekende kaart van de stad. Je weet dat station A fysiek dicht bij station B ligt, dus je legt daar een spoor. Dit is gebaseerd op anatomie, niet op wat er nu gebeurt.
• De slimme GPS (Model-afhankelijk): De AI leert zelf welke sporen belangrijk zijn. Als station A en station B vaak samen "opwinden" tijdens een blij moment, legt de AI daar een nieuw spoor aan. Dit is flexibeler, maar kost meer rekenkracht.

Stap 3: De Netwerkstructuur (Graph-level)

Hoe ziet het hele systeem eruit?

• Meerlagig netwerk (Multi-graph): Je bouwt niet één spoorlijn, maar meerdere tegelijk. Eén lijn voor de snelheid, één voor de frequentie, één voor de lokale buurt. Alles wordt samengevoegd voor een super-beslissing.
• Hiërarchisch netwerk: Je groepeert stations. Eerst kijken we naar de wijk, dan naar de stad, dan naar het hele land. Dit helpt om te begrijpen hoe kleine groepen samenwerken in een groter geheel.
• Tijdsgebonden netwerk: Emoties veranderen in de tijd. Soms is een gesprek kort, soms lang. Dit netwerk kijkt naar hoe de verbindingen veranderen van seconde tot seconde.
• Het dunne netwerk (Sparse graph): In een drukke stad zijn niet alle wegen even belangrijk. Dit netwerk verwijdert alle onbelangrijke wegen en houdt alleen de snelste, meest directe routes over. Zo vermijd je ruis.

---

🔮 De Toekomst: Waar gaan we heen?

De auteurs geven ook een blik in de kristallen bol. Wat kunnen we nog beter doen?

1. De Tijd-Reis (Temporal fully-connected graph):
   Nu kijken we vaak alleen naar wat dezelfde elektrode deed in de vorige seconde. Maar wat als elektrode A nu reageert op wat elektrode B een seconde geleden deed? Dat is een vertraagde reactie in de hersenen. Een "tijds-fully-connected" netwerk zou die complexe, vertraagde gesprekken tussen alle delen van de stad kunnen volgen.

2. De Samenvatting (Graph condensation):
   Soms is het netwerk te groot en rommelig. Het is alsof je een hele encyclopedie moet lezen om één zin te begrijpen. "Graph condensation" is het samenvatten van die encyclopedie tot een korte, krachtige samenvatting. Je houdt alleen de essentie over en gooit de ruis weg. Dit maakt de AI sneller en slimmer.

3. Het Brede Netwerk (Heterogeneous graph):
   Emoties zijn niet alleen in de hersenen. Als je bang bent, gaat je hart sneller slaan en zweten je handpalmen. Nu kijken we alleen naar de hersenen. Een "heterogeen netwerk" zou de hersenen kunnen verbinden met het hart en de huid. Het zou zeggen: "De hersenen sturen een signaal, en het hart reageert daarop." Dit geeft een veel vollediger beeld van emotie.

4. De Levende Stad (Dynamic graph):
   Een stad verandert. Verkeerslichten gaan aan en uit, wegen worden afgesloten. Emoties zijn net zo dynamisch. Een "dynamisch netwerk" verandert zijn structuur elke seconde mee met de emotie, in plaats van een statische kaart te gebruiken.

🎯 Conclusie

Kortom: Dit artikel is de bouwmeester die zegt: "We hebben de tools (GNNs) om de emoties in je hoofd te lezen, maar we moeten ze op de juiste manier bouwen. Hier is de handleiding, hier zijn de beste methoden, en hier is waar we in de toekomst naartoe moeten."

Het doel is om computers zo slim te maken dat ze niet alleen zien wat je zegt, maar echt voelen wat je voelt, puur door naar de elektrische dans van je hersenen te kijken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Graph Neural Networks in EEG-based Emotion Recognition: A Survey" in het Nederlands.

Titel: Graph Neural Networks in EEG-based Emotieherkenning: Een Overzicht

1. Probleemstelling

Emotieherkenning is een cruciale taak binnen Brain-Computer Interfaces (BCI) en de diagnose van mentale stoornissen. Hoewel emoties op verschillende manieren tot uiting komen (zoals gezichtsuitdrukkingen of stem), worden EEG-signalen (ElectroEncephaloGram) beschouwd als de meest objectieve en directe maatstaf, omdat ze de gecoördineerde neurale activiteit in de hersenen weergeven.

De kernuitdaging bij EEG-gebaseerde emotieherkenning ligt in het modelleren van de complexe afhankelijkheden en interacties tussen verschillende hersenregio's. Traditionele methoden missen vaak het vermogen om deze ruimtelijke en temporale connectiviteit effectief vast te leggen. Hoewel Graph Neural Networks (GNN's) een krachtig hulpmiddel zijn geworden voor het modelleren van dergelijke afhankelijkheden, ontbreekt er tot nu toe een gestructureerd overzicht. Bestaande methoden variëren sterk in hun aanpak, en er is geen unified framework dat de verschillen in grafconstructie (knooppunten, randen en grafstructuur) systematisch categoriseert. Daarnaast hebben afhankelijkheden in emotionele EEG-data specifieke fysiologische basisprincipes die ze onderscheiden van andere tijdreeks-toepassingen.

2. Methodologie: Het Unified Framework

De auteurs stellen een unificerend raamwerk voor voor het construeren van GNN's voor EEG-emotieherkenning. In plaats van methoden te categoriseren op basis van het specifieke model, splitsen ze het proces op in drie fundamentele stadia die elk een kritieke vraag beantwoorden:

1. Node-level Stage (Knooppuntniveau): Welke kenmerken worden geselecteerd als knooppunten?

   • Univariate knooppunten: Gebruik van één type kenmerk. Dit omvat:
     • Tijdsdomein: Meestal Differential Entropy (DE), populair vanwege datasets zoals SEED.
     • Frequentiedomein: Power Spectral Density (PSD) via Fourier-transformatie.
     • Rauwe signalen: Directe EEG-gegevens (minst gebruikelijk door individuele variatie en hoge dimensie, maar ideaal voor end-to-end training).
   • Hybride knooppunten: Fusie van meerdere kenmerken (bijv. tijd en frequentie samen) om complementariteit te benutten, wat echter het risico op overfitting verhoogt.

2. Edge-level Stage (Randniveau): Hoe worden de relaties (randen) tussen de knooppunten berekend?

   • Model-onafhankelijke randen: Berekening zonder modelparameters, gebaseerd op fysiologische kennis of signaalverwerking.
     • Prior: Gebaseerd op fysieke afstand tussen elektroden (10-20 systeem) of bekende hersenregio-connectiviteit.
     • Afstand: Vectorafstanden (Euclidisch, Cosine) of faseverschillen (Phase Lag Index).
     • Similariteit: Correlatiecoëfficiënten (Pearson), Mutual Information of Phase Locking Value.
   • Model-afhankelijke randen: Randen die dynamisch worden bijgewerkt tijdens het trainen via backpropagation.
     • Parametrisch: Directe leerbare matrix.
     • Gewogen: Product van knooppuntrelaties en leerbare gewichten.
     • Bias: Toevoegen van een bias-term aan de relatie.
     • Subspace: Projectie van knooppunten naar een subspace (vergelijkbaar met Attention-mechanismen) om complexe relaties te vangen.

3. Graph-level Stage (Grafniveau): Welke grafstructuur wordt gebruikt?

   • Multi-graph: Gelijktijdige constructie van meerdere grafen om verschillende afhankelijkheden te vangen (bijv. horizontaal/verticaal, tijd/frequentie, lokaal/globaal).
   • Hiërarchische grafen: Groepering van kanalen om zowel inter-regionale als intra-regionale afhankelijkheden te modelleren. Dit kan dynamisch zijn (aanpasbaar per subject) of vooraf bepaald (gebaseerd op fysiologische kennis).
   • Tijdreeks-grafen (Time series graphs): Modellering van temporale afhankelijkheden door signalen in tijdsschijven te splitsen. Dit gebeurt via een temporaal graf (waarbij tijdsschijven als knooppunten fungeren) of een temporale encoder (zoals LSTM of Transformer).
   • Sparse grafen: Het filteren van irrelevante connecties om alleen de essentiële, emotioneel relevante verbindingen over te houden (via drempelwaarden of sparse weights).

3. Belangrijkste Bijdragen

• Eerste systematische survey: Dit is, voor zover bekend, het eerste en enige overzichtswerk dat zich specifiek richt op GNN's voor EEG-gebaseerde emotieherkenning.
• Novel Categorisatie: De auteurs introduceren een nieuwe taxonomie gebaseerd op het unified framework (Node-, Edge- en Graph-level). Dit biedt een duidelijke leidraad voor onderzoekers om GNN's te ontwerpen en te vergelijken.
• Fysiologische Context: Het artikel benadrukt het onderscheid tussen GNN's in dit domein en andere tijdreeks-domeinen, met name door de focus op de fysiologische basis van hersenconnectiviteit.
• Toekomstperspectieven: Het identificeert open uitdagingen en richtlijnen voor toekomstig onderzoek.

4. Resultaten en Analyse

Hoewel het artikel een survey is en geen nieuwe experimentele resultaten presenteert, biedt het een diepgaande analyse van bestaande methoden:

• Univariate vs. Hybride: Univariate knooppunten (vooral DE) zijn het meest gebruikelijk en robuust, maar hybride knooppunten bieden potentieel voor een vollediger beeld van de afhankelijkheden.
• Randconstructie: Model-onafhankelijke randen bieden stabiliteit en fysiologische plausibiliteit, terwijl model-afhankelijke randen complexere, datagestuurde relaties kunnen leren, maar meer rekenkracht vereisen.
• Grafstructuren: Multi-graph en hiërarchische structuren blijken effectief om de complexe ruimtelijke dynamiek van de hersenen te vangen. Sparse grafen helpen ruis te verminderen door irrelevante connecties te verwijderen.
• Tijdsafhankelijkheid: Bestaande methoden missen vaak de "hetero-electrode" relaties over tijdsschijven heen (d.w.z. hoe elektrode A op tijdstip t-1 beïnvloedt elektrode B op tijdstip t), wat een beperking is in huidige tijdreeks-modellering.

5. Significantie en Toekomstige Richtingen

De survey is significant omdat het de versnipperde literatuur op een gestructureerde manier samenvoegt, wat de ontwikkeling van nieuwe methoden versnelt. De auteurs schetsen vier veelbelovende richtingen voor de toekomst:

1. Temporal Fully-Connected Graph: Het modelleren van volledige connectiviteit over tijdsschijven heen, inclusief relaties tussen verschillende elektroden over de tijd, om asynchrone hersenreacties beter te vangen.
2. Graph Condensation: Het comprimeren van grote, complexe grafen tot compacte representaties om trainings-efficiëntie te verhogen en ruis te verminderen, zonder de essentiële emotionele informatie te verliezen.
3. Heterogene Grafen: Het integreren van verschillende fysiologische signalen (bijv. hartslag, huidgeleiding) naast EEG in één graf, om de complexe interactie tussen verschillende organen en het brein tijdens emotieregulatie te modelleren.
4. Dynamische Grafen: Het ontwikkelen van grafen waarvan de structuur niet alleen tijdens training leert, maar dynamisch verandert over de tijd (tijd- en structuurafhankelijkheid), om de voortdurende veranderingen in hersenactiviteit tijdens een emotie beter weer te geven.

Concluderend biedt deze survey een essentieel kompas voor onderzoekers in het veld van BCI en affectieve computing, door een helder kader te bieden voor het ontwerp van geavanceerde GNN-architecturen voor emotieherkenning.