Stimulus identity rather than emotion drives EEG classification on the FACED dataset

Technische Samenvatting: Stimulusidentiteit in plaats van Emotie drijft EEG-classificatie op de FACED-dataset aan

Probleemstelling
Betrouwbare benchmark-datasets zijn fundamenteel voor de vooruitgang van EEG-gebaseerde emotieherkenning. De Finer-grained Affective Computing EEG Dataset (FACED), momenteel de grootste publiekelijk beschikbare EEG-emotiedataset bestaande uit 123 proefpersonen en negen emotiecategorieën, is een breed geadopteerde benchmark geworden. Dit artikel identificeert echter een kritiek gebrek in de bruikbaarheid van de dataset: classificatieprestaties op FACED lijken de stimulusidentiteit te reflecteren in plaats van echte emotie. De studie betoogt dat huidige evaluatieprotocollen op FACED vatbaar zijn voor verwarrende variabelen (confounds) voortvloeiend uit specifieke ontwerpkeuzes, wat leidt tot opgeblazen of misleidende nauwkeurigheidsmetingen die niet generaliseren naar echte emotionele decodering.

Methodologie
De auteurs hanteerden een vergelijkende analyse met behulp van twee verschillende classificatiebenaderingen: een lineaire classifier (LinearSVC) en een deep learning-model (CLISA). Om de drijfveren van de classificatieprestaties te isoleren, voerde de studie drie specifieke experimentele manipulaties uit op de FACED-data:

1. Feeling vs. Non-Feeling Analyse: De auteurs vergeleken de classificatieprestaties op trials waarbij proefpersonen expliciet rapporteerden de toegewezen emotie te voelen, tegenover trials waarbij zij dat niet deden.
2. Labelvervanging: De studie verving de oorspronkelijke aan de stimulus toegewezen labels (de emotie die de video bedoeld was op te wekken) door individuele zelfrapportages van de emotie die de proefpersoon daadwerkelijk voelde, en evalueerde vervolgens opnieuw de classificatienauwkeurigheid.
3. Stimulusreductie: De auteurs reduceerden de dataset tot één video per emotiecategorie, waardoor effectief twee derde van de data werd weggegooid, om te testen of de nauwkeurigheid standhield wanneer de stimulusvariabiliteit werd geminimaliseerd.

Belangrijkste Resultaten
De experimentele resultaten leverden drie primaire bevindingen op die de geldigheid van FACED als benchmark voor emotieherkenning in twijfel trekken:

• Onderscheideloze Prestaties: De classificatieprestaties bleven vergelijkbaar, ongeacht of proefpersonen de beoogde emotie rapporteerden te voelen of niet, wat suggereert dat het model niet de emotionele toestanden leert, maar eerder stimuluskenmerken.
• Prestatiedegradatie bij Zelfrapportages: Wanneer de aan de stimulus toegewezen labels werden vervangen door individuele zelfrapportages, daalde de classificatienauwkeurigheid aanzienlijk. Dit geeft aan dat de modellen getraind op de oorspronkelijke labels er niet in slagen de subjectieve emotionele ervaring van de deelnemers te vangen.
• Nauwkeurigheidstoename via Stimulusreductie: In tegenstelling tot de verwachting dat minder data de prestaties zou schaden, nam de nauwkeurigheid toe toen de dataset werd gereduceerd tot één video per emotie. Dit contra-intuïtieve resultaat bevestigt dat de modellen gebruikmaken van stimulusidentiteit (specifieke visuele of auditieve kenmerken uniek voor een video) in plaats van de emotiecategorie zelf.

Oorzaakanalyse
Het artikel schrijft deze bevindingen toe aan drie specifieke ontwerpkeuzes die inherent zijn aan FACED:

1. Weinig Stimuli per Categorie: Het beperkte aantal unieke video's per emotiecategorie creëert een sterke correlatie tussen de stimulus en het label.
2. Aan de Stimulus Toegewezen Labels: De afhankelijkheid van de beoogde emotie van de video in plaats van de werkelijke gerapporteerde beleving van de proefpersoon introduceert een probleem van labelruis.
3. Binnen-Video Temporele Splitsingen: Het gebruik van temporele splitsingen voor kruisvalidatie (het splitsen van data van dezelfde video in trainings- en testsets) stelt het model in staat om temporele autocorrelatie en specifieke stimuluskenmerken te leren, die vervolgens perfect generaliseren naar de testset zonder de onderliggende emotie te leren.

Betekenis en Aanbevelingen
Het artikel concludeert dat huidige benchmarks op FACED waarschijnlijk het vermogen meten om specifieke videoclips te herkennen in plaats van emotionele toestanden te decoderen. Om toekomstig onderzoek te sturen en deze confounds te voorkomen, stellen de auteurs vijf specifieke aanbevelingen voor het ontwerp van emotiedecoderingsstudies voor:

• Vergroot de stimulusdiversiteit om meerdere unieke stimuli per emotiecategorie te waarborgen.
• Implementeer temporele onafhankelijkheid in de dataspelts om lekkage van stimulus-specifieke kenmerken te voorkomen.
• Geef prioriteit aan labelvalidatie door gebruik te maken van zelfrapportages in plaats van uitsluitend te vertrouwen op de aan de stimulus toegewezen labels.
• (Impliciet) Ontwerp experimenten die expliciet testen op en mitigeren van stimulusidentiteit-confounds.

De betekenis van dit werk ligt in de oproep tot een herwaardering van de validiteit van veelgebruikte benchmarks. Door de vatbaarheid van FACED voor stimulusidentiteit-confounds bloot te leggen, beoogt het artikel de gemeenschap te sturen naar meer rigoureuze experimentele ontwerpen die de EEG-gebaseerde emotieherkenning werkelijk vooruithelpen.