MVGT: A Multi-view Graph Transformer Based on Spatial Relations for EEG Emotion Recognition

Dit artikel introduceert MVGT, een multi-view graph transformer die op ruimtelijke relaties is gebaseerd en door het integreren van temporele, frequentie- en ruimtelijke domeinen de prestaties van EEG-gebaseerde emotieherkenning verbetert ten opzichte van bestaande methoden.

De kern

De "Super-Geheugen" voor Emoties: Hoe een Nieuwe AI Emoties in Je Hersenen Leest

Stel je voor dat je hersenen een enorm drukke stad zijn. Overal rijden autootjes (elektrische signalen) rond, en elke wijk (een deel van je hersenen) heeft zijn eigen ritme. Als je blij bent, dansen de autootjes in de 'blijheidswijk' anders dan wanneer je verdrietig bent.

Vroeger probeerden computers om te raden hoe je je voelt door naar één straatje te kijken of alleen te luisteren naar het geluid van de autootjes op één specifiek moment. Dat is alsof je probeert een heel boek te begrijpen door alleen één zin te lezen. Het werkt niet goed, want emoties zijn complex: ze veranderen in de tijd, ze hebben een bepaalde 'toon' (frequentie) en ze gebeuren in verschillende delen van de stad tegelijk.

De auteurs van dit paper, Yan-Jie Cui en zijn team, hebben een slimme nieuwe uitvinding bedacht: MVGT. Laten we uitleggen wat dit is, alsof het een super-krachtig detective-team is.

1. Het Probleem: De Verkeerde Bril

Bestaande methoden kijken vaak door één soort bril:

• De Tijd-Bril: Kijkt alleen naar hoe de signalen veranderen, maar mist de locatie.
• De Frequentie-Bril: Luistert alleen naar de 'toonhoogte' van de signalen, maar mist de context.
• De Ruimte-Bril: Kijkt alleen naar welke delen van de hersenen samenwerken, maar mist de dynamiek.

Het resultaat? De computer ziet de details, maar mist het grote plaatje.

2. De Oplossing: De MVGT (De Meester-Detective)

De MVGT is een nieuw soort computerprogramma dat drie brillen tegelijk draagt. Het combineert alles tot één perfect beeld.

A. De Tijd: De "Film" in plaats van de "Foto"
Stel je voor dat je een foto maakt van een danser. Je ziet een pose, maar je weet niet of hij springt of stil staat.

• Oude methode: Kijkt naar één moment (een foto).
• MVGT methode: Kijkt naar een heel filmpje (een tijdsegment). Het neemt een stukje van de film, verpakt dat als één blokje, en laat een slimme AI (een "Feed-Forward Netwerk") kijken naar hoe de danser zich beweegt binnen dat filmpje. Zo begrijpt het de flow van de emotie, niet alleen het moment.

B. De Frequentie: De "Muziekstijl"
Hersensignalen hebben verschillende snelheden, net als muziek: van langzame, diepe bas (dromen) tot snelle, hoge fluittonen (spanning).

• De MVGT gebruikt een slimme techniek genaamd Differential Entropy. Denk hierbij aan het analyseren van de "ruis" in de muziek. Het weet precies welke muziekstijl (frequentieband) op dat moment het belangrijkst is voor de emotie. Het is alsof de detective weet dat "blijheid" vaak klinkt als een snelle, lichte fluit, terwijl "verdriet" meer op een zware bas lijkt.

C. De Ruimte: De "Stadskaart" met Speciale Codes
Dit is het meest creatieve deel. De hersenen zijn geen willekeurige brij; ze hebben een strakke structuur.

• Hersengebieden (Brain Region Encoding): De detective heeft een kaart van de stad. Hij weet dat de "voorhoofdswijk" (frontaal) belangrijk is voor geluk en angst, en dat de linkerkant anders werkt dan de rechterkant. Hij geeft elk district een label, zodat de computer weet: "Ah, dit signaal komt uit de gelukswijk!"
• Centrality (Belangrijkheid): Net als in een stad waar sommige kruispunten drukker zijn dan andere, weet de MVGT welke hersendelen de "hoofdpunten" zijn in een gesprek.
• Geometrische Structuur: De detective kijkt ook naar de fysieke afstand. Signalen die dicht bij elkaar zitten, hebben vaak een hechte band. De MVGT gebruikt wiskundige formules (Gaussische functies) om deze afstanden te vertalen naar "aandacht". Het zegt: "Kijk, deze twee signalen zitten heel dicht bij elkaar, ze moeten zeker met elkaar praten!"

3. Hoe werkt het samen? (De Transformer)

Alle deze stukjes informatie (tijd, muziekstijl, en stadskaart) worden samengevoegd in een Graph Transformer.
Stel je voor dat dit een vergadertafel is waar alle detectives zitten.

• Ze gebruiken een mechanisme genaamd Attention (Aandacht). Dit is alsof ze tijdens het gesprek zeggen: "Luister, dit stukje informatie uit de linkerkant van de hersenen is nu het belangrijkst!"
• Ze doen dit niet één keer, maar ze "recyclen" hun eigen antwoorden. Ze kijken naar hun eigen conclusies, verbeteren ze, en kijken nog eens. Dit is als een team dat een raadsel oplost, even pauzeert, en dan met frisse blik nog eens kijkt om zeker te zijn.

4. Het Resultaat: Een Nieuw Wereldrecord

De auteurs hebben hun detective getest op twee grote databases (SEED en SEED-IV), waar mensen naar films keken terwijl hun hersenen werden gemeten.

• De uitkomst: De MVGT was de beste in de klas. Hij haalde een nauwkeurigheid van 96,55% op de ene dataset en 94,03% op de andere.
• Dat is beter dan alle vorige methoden. Hij kon zelfs heel goed onderscheid maken tussen "positief" en "negatief", en begreep dat emoties vaak een samenwerking zijn tussen verschillende delen van de hersenen, niet alleen één klein stukje.

Conclusie

Kortom: De MVGT is als een slimme detective die niet alleen luistert naar wat er gezegd wordt (de signalen), maar ook kijkt naar wie het zegt (de locatie), hoe het gezegd wordt (de frequentie) en in welke volgorde het gebeurt (de tijd). Door deze drie perspectieven te combineren met een slimme kaart van de hersenen, kan hij je emoties veel beter begrijpen dan ooit tevoren.

Dit is een grote stap vooruit in het maken van computers die echt "voelen" wat wij voelen, wat later misschien helpt bij het begrijpen van mentale gezondheid of het besturen van machines met je gedachten.

Technische samenvatting

Probleemstelling

Elektro-encefalografie (EEG) is een cruciale techniek voor affectief computing en emotionele herkenning vanwege de hoge tijdsresolutie en de directe relatie met mentale toestanden. Echter, het volledig benutten van de multi-domein kenmerken van EEG-signalen blijft een grote uitdaging. Traditionele analyses missen vaak de complexe wisselwerking tussen drie dimensies:

1. Temporaal: De dynamiek van de tijdreeks.
2. Frequentie: Eigenschappen uit verschillende frequentiebanden.
3. Ruimtelijk: De relaties tussen verschillende kanalen (elektroden) op het hoofd.

Bestaande methoden gebruiken vaak slechts één perspectief of hebben beperkingen, zoals het over-squashing (verlies van informatie) bij Graph Neural Networks (GNNs) of het niet kunnen paralleliseren bij Recurrente Neural Networks (RNNs). Daarnaast worden de geometrische en anatomische structuren van de hersenen vaak onvoldoende benut.

Methodologie: MVGT

De auteurs stellen MVGT (Multi-view Graph Transformer) voor, een model dat gebaseerd is op ruimtelijke relaties en informatie integreert uit de drie bovengenoemde domeinen. De architectuur bestaat uit de volgende kerncomponenten:

1. Frequentiedomein: Differentiële Entropie (DE)

In plaats van ruwe signalen, gebruikt het model Differentiële Entropie (DE) als kenmerkrepresentatie. DE is bewezen effectief voor het onderscheiden van patronen tussen hoge en lage energie in EEG-signalen. De features worden berekend voor vijf frequentiebanden: $\delta$, $\theta$, $\alpha$, $\beta$ en $\gamma$.

2. Temporaal Domein: Inverted Temporal Embedding

In tegenstelling tot traditionele methoden die elk tijdstip als een token behandelen, introduceert MVGT een "inverted" aanpak (geïnspireerd door [17]):

• Het model behandelt hele continue tijdssegmenten (via een overvliegende schuifvenster) als tokens.
• Dit breidt het receptieve veld uit en laat Feed-Forward Neural Networks (FFN) toe om temporele patronen onafhankelijk voor elk kanaal te extraheren, wat beter presteert dan zelf-attention voor tijdreeksen.

3. Ruimtelijk Domein: Multi-view Graph Encoding

Om de complexe ruimtelijke relaties tussen EEG-kanalen te modelleren zonder de nadelen van traditionele GNNs, worden drie soorten Spatial Encodings geïntegreerd in een Graph Transformer:

• Brain Region Encoding (BRE): Gebaseerd op neurowetenschappelijk onderzoek, worden elektroden toegewezen aan specifieke hersengebieden. Het model ondersteunt vier schalen van indeling: LOBE (lobes), GENERAL (fijne indeling), FRONTAL (symmetrie frontaal) en HEMISPHERE (hemisferen).
• Centrality Encoding (CE): Berekent de relatieve belangrijkheid van een knooppunt binnen het netwerk op basis van de cumulatieve gewichten van verbindingen.
• Geometric Structure Encoding (GSE): Modellering van de 3D-afstanden tussen elektroden als een volledig verbonden gerichte graaf. Afstanden worden gecodeerd met Gaussische basisfuncties en fungeren als een bias-term in de Softmax-attention mechanisme. Dit stelt het model in staat om adaptief te leren welke kanalen sterk met elkaar correleren, zonder vooraf gedefinieerde symmetrische adjacentiematrixen.

4. Architectuur en Training

• Het model gebruikt een Pre-LN (Pre-Layer Normalization) structuur voor stabielere gradiënten.
• Iteratieve verfijning ("Recycling"): De output van het model wordt herhaaldelijk teruggevoerd in dezelfde modules om de discriminatie van gecodeerde informatie en het begrijpen van emotionele patronen te verfijnen.
• De attention-mechanismen gebruiken de geometrische encoding als bias om de interactie tussen kanalen te sturen.

Belangrijkste Bijdragen

1. Multi-view Integratie: Een uniek kader dat temporele, frequentie- en ruimtelijke informatie simultaan verwerkt via een Graph Transformer.
2. Innovatieve Temporele Tokenisatie: De "Inverted" methode die continue segmenten als tokens behandelt, wat de tijdsafhankelijkheid beter vastlegt dan punt-voor-punt benaderingen.
3. Geometrische Ruimtelijke Encoding: Het gebruik van Gaussische basisfuncties voor afstandsencoding als bias in de attention, wat over-squashing voorkomt en complexe ruimtelijke relaties (zoals inter-hemisferische correlaties) beter modelleert.
4. Neurowetenschappelijke Validatie: De implementatie van verschillende hersengebied-indelingen die direct gekoppeld zijn aan bestaand neurologisch onderzoek over emotionele verwerking.

Resultaten

Het model werd geëvalueerd op twee publieke datasets: SEED en SEED-IV.

• Prestatie: MVGT presteerde significant beter dan state-of-the-art baselines (zoals DGCNN, RGNN, EmoGT).
  • Op de SEED-dataset bereikte de FRONTAL-variant een nauwkeurigheid van 96,55% (een verbetering van 1,23% ten opzichte van de beste baseline).
  • Op de SEED-IV-dataset bereikte de GENERAL-variant 94,03% (een verbetering van 1,21%).
• Ablatiestudies: Deze toonden aan dat elke component (Centrality, BRE, GSE, en de Inverted temporele embedding) bijdraagt aan de prestaties. De Geometrische Structure Encoding (GSE) had het grootste individuele effect.
• Visuele Analyse: De visualisatie van de attention-weights bevestigde dat emotionele activiteit verspreid is over meerdere hersengebieden (bijv. sterke correlaties tussen linker- en rechterhemisferen en specifieke verbindingen in het frontale en pariëtale gebied), wat overeenkomt met bestaande neurowetenschappelijke bevindingen.

Betekenis en Conclusie

MVGT demonstreert dat het systematisch benutten van multi-domein informatie, gecombineerd met een geavanceerde ruimtelijke encoding in een Transformer-architectuur, de staat van de kunst voor EEG-gebaseerde emotionele herkenning aanzienlijk verbetert.

De studie benadrukt dat emotionele hersenactiviteit niet geïsoleerd plaatsvindt in specifieke gebieden, maar voortkomt uit gecoördineerde interacties binnen een gedistribueerd netwerk. De methode biedt een robuust kader voor toekomstige affectieve computing-systemen en laat zien hoe neurowetenschappelijke kennis (zoals hersenlob-indeling en asymmetrie) effectief kan worden vertaald naar diep leermethoden.