Decoding Motor Action Timing and Metacognitive Signals from Single-Trial EEG Using a Transformer-Based Model (EEG-ViT)

Dit onderzoek toont met behulp van een transformer-model op EEG-data aan dat metacognitieve evaluatie van motorische tijdsbepaling een computationeel distinct proces is dat gelijktijdige integratie van theta-, alpha- en bèta-bandactiviteit vereist, in plaats van een directe aflezing van de eerste-orde prestatiesignalen.

De kern

Titel: Hoe je brein zijn eigen werk controleert: Een nieuwe kijk op tijd en zelfbewustzijn

Stel je voor dat je brein een super-geavanceerd orkest is. De musici spelen een stukje muziek (dat is je handeling, bijvoorbeeld het indrukken van een knop op het juiste moment). Maar er is ook een dirigent die luistert en zegt: "Hé, dat was net iets te snel!" of "Perfect, precies op tijd!"

De vraag die wetenschappers al jaren stellen, is: Is die dirigent gewoon een luisteraar die alleen naar de musici kijkt? Of is het een heel aparte, slimme manager die zijn eigen notities maakt, onafhankelijk van wat de musici doen?

Dit onderzoek, gedaan door Sena Bilgin en haar team, probeert dit antwoord te vinden door te kijken naar de elektrische signalen in het brein (EEG) terwijl mensen een tijds-taak uitvoeren. Ze gebruiken een heel moderne technologie, een AI-model dat werkt als een "Vision Transformer" (een soort super-intelligente scanner die patronen ziet die mensen over het hoofd zien).

Hier is de uitleg in simpele taal:

1. De Proef: Het "2-seconden Spel"

Deelnemers moesten een knop indrukken, wachten tot ze dachten dat er precies 2 seconden voorbij waren, en dan weer indrukken.

• De Taak (1e orde): Hoe goed was hun gevoel voor tijd? (Was het 1,8 of 2,2 seconden?)
• De Zelfcontrole (2e orde): Direct daarna moesten ze zeggen: "Hoe fout was ik?" en "Hoe zeker was ik daarover?"

De slimme truc: Ze kregen geen feedback van de computer. Ze moesten het zelf weten. Dit heet "temporale foutmonitoring".

2. De AI als "Tijds-Detective"

De onderzoekers gebruikten hun AI om te kijken of ze, puur op basis van de hersengolven tijdens het wachten, konden voorspellen:

1. Of de deelnemer de tijd goed had geraakt (Kort, Lang, of Perfect).
2. Of de deelnemer zich bewust was van hun eigen fout (de "metacognitie").

Ze keken naar drie soorten "muziek" in het brein:

• Theta (θ): De snelle, trillende golven (zoals een snelle trommel).
• Alpha (α): De rustige, regelmatige golven (zoals een gitaar).
• Beta (β): De krachtige, diepe golven (zoals een basgitaar).

3. De Grote Ontdekking: Twee Verschillende Manieren van Denken

Het onderzoek vond twee heel verschillende patronen:

A. Het "Eerste Niveau" (De Taak uitvoeren)
Om te voorspellen of iemand de tijd goed had geraakt, hoefde de AI maar naar één soort hersengolf te kijken. Of het nu de snelle, de rustige of de krachtige golven waren; ze konden allemaal het antwoord voorspellen.

• Analogie: Het is alsof je kunt zeggen of een auto snel rijdt door alleen naar de wielen te kijken, of alleen naar de uitlaat, of alleen naar de brandstofmeter. Het werkt allemaal.

B. Het "Tweede Niveau" (Zich bewust zijn van de fout)
Dit was de verrassing! Om te voorspellen of iemand zich bewust was van hun fout, moest de AI alle drie de soorten golven tegelijkertijd combineren. Als je maar één soort golf keek, kon de AI het niet voorspellen.

• Analogie: Het is alsof je niet kunt zeggen of een orkest goed heeft gespeeld door alleen naar de trompetten te kijken. Je moet de trompetten, de violen én de drums tegelijk horen om te begrijpen of het ensemble in harmonie was.

4. Wat betekent dit voor de "Dirigent"?

Dit resultaat is een klap voor de oude theorie dat "zelfbewustzijn" gewoon een afspiegeling is van hoe goed je het doet.

• Oude theorie: Als je brein goed werkt, weet je automatisch dat je het goed doet. (De dirigent is gewoon een luisteraar).
• Nieuwe bevinding: Zelfbewustzijn is een apart proces. Je brein moet extra werk doen: het moet verschillende soorten signalen samenvoegen om te begrijpen wat er misging.

Bovendien ontdekten ze iets fascinerends: Mensen wier hersensignalen het beste voorspelden of ze een fout hadden gemaakt, waren ook echt beter in het zeggen van hun fout. Maar dit had niets te maken met hoe goed ze de tijd zelf hadden geraakt. Je kunt dus een slechte tijd hebben, maar je brein weet het precies (en andersom).

5. Conclusie: Het Brein is een Meester van Integratie

Dit onderzoek toont aan dat ons vermogen om over onszelf na te denken (metacognitie) niet zomaar een "bijproduct" is van wat we doen. Het is een eigen, complexe machine in ons hoofd die verschillende signalen moet samenvoegen om een oordeel te vellen.

Het is alsof je brein niet alleen de film draait (de taak), maar ook een aparte, slimme recensent heeft die de film bekijkt en zegt: "Ik zag die scène net niet goed, en ik weet precies waarom." En die recensent heeft een heel ander team nodig dan de filmprojector.

Kortom: Je bewustzijn van je eigen fouten is geen simpele echo van je handelingen, maar een hoogwaardig, samengesteld proces dat de hele bandbreedte van je brein nodig heeft.

Technische samenvatting

Probleemstelling

De kernvraag in de cognitieve neurowetenschap is of metacognitie (het vermogen om eigen cognitieve processen en prestaties te monitoren) werkt als een directe aflezing van eerste-orde prestatiesignalen of als een computatieel onafhankelijk proces dat aparte neurale representaties vereist.

• Eerste-orde theorieën (Single-process): Stel dat vertrouwen en prestatie voortkomen uit dezelfde interne beslissingsvariabele (bijv. een drift-diffusiemodel).
• Hoger-orde theorieën (Higher-Order Representation - HOR): Stel dat metacognitie een actief, herrepresentatief proces vereist dat computatieel gescheiden is van de oorspronkelijke taakuitvoering.

Bestaand onderzoek heeft vaak gebruikgemaakt van gemiddelde data, wat het onmogelijk maakt om te bepalen of deze mechanismen op het niveau van een enkele trial (proef) gedeeld of gescheiden zijn. Dit onderzoek richt zich specifiek op temporale foutbewaking (TEM): het vermogen om de grootte en richting van een timingfout te evalueren zonder externe feedback.

Methodologie

1. Experimenteel Ontwerp:

• Deelnemers: 29 proefpersonen (na filtering 28) voerden een motorische tijdsproductietaken uit. Ze moesten een interval van 2 seconden reproduceren door een muisknop in te drukken en weer los te laten.
• Metacognitie: Direct na de actie gaven deelnemers twee oordelen: een schatting van de tijdsfout (richting en grootte) en een vertrouwensscore in die schatting.
• Data: EEG werd opgenomen met 64 kanalen (63 gebruikt na uitsluiting van stimulatie-elektroden) tijdens de uitvoering en de evaluatie.

2. Data-voorbereiding en Preprocessing:

• Denoising: Gebruik van MNE-Python voor artifact-rejectie (ICA voor oog- en spierbewegingen), bandpass-filtering (1–120 Hz) en notch-filtering (50 Hz).
• PCA (Principal Component Analysis): Om de dimensie te reduceren en dominante temporele patronen te extraheren, werden de EEG-signalen gefilterd in drie frequentiebanden: $\theta$ (4–7 Hz), $\alpha$ (8–12 Hz) en $\beta$ (13–30 Hz). PCA werd toegepast om de belangrijkste temporele componenten (PC1 en PC2) te vinden die correleren met de gedragsuitkomst.
• Selectie: Alleen trials en kanalen met de sterkste correlatie met deze dominante componenten (top 30%) werden gebruikt voor modellering om het signaal-ruisverhouding te maximaliseren.

3. Het EEG-ViT Model (Vision Transformer):

• Architectuur: De auteurs pasten een Vision Transformer (ViT) aan voor EEG-data. In plaats van beelden, werden EEG-tijdreeksen behandeld als "temporale afbeeldingen".
• Patching: De tijdreeks (0–1,2 s na start) werd opgedeeld in patches (4 patches van 30 tijdspunten).
• Encoder: Een stack van 6 transformer-encoderlagen met multi-head self-attention (6 heads) om zowel lokale als globale temporele afhankelijkheden te leren.
• Classificatie: Een [CLS] token werd gebruikt om trial-niveau informatie te aggregeren, gevolgd door een MLP-kop voor classificatie.
• Doelstellingen: Het model werd getraind om drie dingen te voorspellen op basis van EEG-data voordat de actie werd beëindigd:
  1. TP (Time Production): Was de geproduceerde tijd te kort, correct of te lang? (Eerste-orde).
  2. MI (Metacognitive Inference): Was de subjectieve foutschatting accuraat in relatie tot de daadwerkelijke prestatie? (Tweede-orde).
  3. Vertrouwen: Hoe zeker was de deelnemer?

Belangrijkste Bijdragen

1. Toepassing van Transformers op Single-Trial EEG: Dit is een van de eerste studies die een Vision Transformer succesvol toepast op ruwe, enkel-trial EEG-data voor het decoderen van complexe cognitieve toestanden (timing en metacognitie) zonder externe feedback.
2. Dissociatie van Mechanismen: Het biedt direct bewijs op trial-niveau dat eerste-orde timing en tweede-orde metacognitie verschillende neurale vereisten hebben.
3. Frequentie-Integratie: Het toont aan dat metacognitie afhankelijk is van de integratie van meerdere frequentiebanden, terwijl eerste-orde prestaties door individuele banden kunnen worden gedecodeerd.

Resultaten

1. Decoding van Eerste-orde Timing (TP):

• De categorie van de tijdsproductie (kort/correct/lang) kon betrouwbaar worden gedecodeerd uit elke individuele frequentieband ($\theta$, $\alpha$, of $\beta$).
• De $\beta$-band (geassocieerd met post-movement rebound) leverde de sterkste signalen, maar $\theta$ en $\alpha$ waren ook informatief.
• Combinatie van banden verbeterde de prestatie niet significant ten opzichte van de beste individuele band, wat suggereert dat er sprake is van gedeelde, maar voldoende informatie in elke band.

2. Decoding van Metacognitie (MI):

• In tegenstelling tot TP, kon MI alleen betrouwbaar worden gedecodeerd wanneer alle drie de frequentiebanden ($\theta + \alpha + \beta$) gelijktijdig werden geïntegreerd.
• Geen enkele individuele band was voldoende voor betrouwbare decoding van metacognitie. Dit ondersteunt de hypothese dat metacognitie een geïntegreerd, hoger-orde proces vereist.

3. Relatie tussen Neurale Decoding en Gedrag:

• TP-Decoding: De nauwkeurigheid waarmee het model de eerste-orde prestatie kon voorspellen, voorspelde niet de nauwkeurigheid van de deelnemer in het monitoren van hun eigen fouten. Dit weerlegt single-process theorieën die een sterke correlatie tussen beide voorspellen.
• MI-Decoding: Deelnemers wier neurale activiteit (voordat de actie eindigde) nauwkeuriger het metacognitieve proces (MI) decodeerde, toonden een sterkere correlatie tussen hun objectieve prestatie en hun subjectieve foutschatting. Ze hadden een kleinere "metacognitive distance".
• Conclusie: Hoe beter het brein metacognitieve toestanden kan representeren (geïntegreerde $\theta$-$\alpha$-$\beta$ signalen), hoe beter de deelnemer zijn eigen fouten kan monitoren, onafhankelijk van hoe goed ze de tijd zelf kunnen meten.

4. Temporele Dynamiek:

• Metacognitieve signalen waren al detecteerbaar tijdens de uitvoering van de beweging (voordat de knop werd losgelaten), maar piekten tijdens de evaluatiefase. Dit suggereert dat evaluatie continu plaatsvindt en niet alleen post-decisief.

Significantie en Conclusie

Deze studie levert sterk empirisch bewijs voor de Higher-Order Representation (HOR) theorie. De bevindingen tonen aan dat metacognitie geen passieve aflezing is van eerste-orde prestatiesignalen, maar een computatieel onafhankelijk proces dat specifieke neurale mechanismen vereist:

• Het vereist de synchronisatie en integratie van meerdere oscillatoire banden ($\theta$, $\alpha$, $\beta$).
• Het is gedecoupeerd van de mechanismen die de motorische uitvoering zelf sturen.

Technisch gezien demonstreert de studie de kracht van Transformer-architecturen (ViT) om complexe, niet-lineaire patronen in EEG-data te decoderen die traditionele methoden missen. De bevindingen hebben implicaties voor het begrijpen van neuropsychiatrische aandoeningen waarbij metacognitie verstoord is (zoals schizofrenie of dwangstoornissen) en suggereren dat therapeutische interventies gericht moeten zijn op het verbeteren van deze kruis-frequentie integratie in plaats van alleen de eerste-orde prestatie.