🤖 AI

From Clever Hans to Scientific Discovery: Interpreting EEG Foundational Transformers with LRP

Dit artikel toont aan dat het uitbreiden van Layer-wise Relevance Propagation (LRP) naar EEG-foundationmodellen hun besluitvorming effectief verifieert door artefacten zoals 'Clever Hans'-gedrag bloot te leggen en nieuwe, biologisch plausibele hypothesen over patronen van hersenactiviteit genereert.

Oorspronkelijke auteurs: Justus Meyer zu Bexten, Nico Scherf, Bogdan Franczyk, Simon M. Hofmann

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Justus Meyer zu Bexten, Nico Scherf, Bogdan Franczyk, Simon M. Hofmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Zwarte Doos"-Probleem

Stel je voor dat je een superslimme robot hebt die hersengolven (EEG) kan bekijken en kan raden wat een persoon denkt of voelt. Deze robot is een "Fundamenteel Model", wat betekent dat het getraind is op een enorme hoeveelheid data – meer dan een menselijk expert ooit zou kunnen zien.

Het probleem is dat deze robot een zwarte doos is. Hij geeft je een antwoord (zoals "Deze persoon is boos" of "Ze verbeelden dat ze hun hand bewegen"), maar hij vertelt je niet waarom. Het is als een goochelaar die een konijn uit een hoed haalt; je ziet het resultaat, maar je kent de truc niet.

In de wetenschap en geneeskunde kunnen we niet zomaar het antwoord vertrouwen; we moeten de truc kennen om zeker te weten dat de robot niet bedriegt of fouten maakt. Dit artikel gaat over het leren hoe we in de hoed kunnen kijken om het konijn te zien.

Het Gereedschap: LRP (De "Markeerstift")

De auteurs gebruiken een techniek genaamd Layer-wise Relevance Propagation (LRP). Denk aan LRP als een magische markeerstift.

Wanneer de robot een beslissing neemt, gaat LRP terug door het brein van de robot en markeert precies welke delen van de hersengolfdata het belangrijkst waren voor die beslissing.

Als de robot zegt "De persoon is opgewonden", markeert LRP misschien een specifieke plek op de achterkant van het hoofd.
Als de robot zegt "De persoon beweegt zijn hand", markeert LRP misschien het gebied bij het oor.

De auteurs namen deze markeerstift, die eerder werd gebruikt op eenvoudigere robots, en leerden hem hoe hij moest werken op deze nieuwe, complexe "Transformer"-robots.

De Experimenten: Drie Tests om de Robot te Controleren

De onderzoekers voerden drie verschillende tests uit om te zien of hun markeerstift werkte en wat het onthulde.

1. De Hartslag-test (De "Waarheid"-Check)

De Taak: Ze vroegen de robot om hartslagen te vinden die verborgen zaten in de hersengolfdata.
Waarom? Hartslagen veroorzaken een kleine elektrische rimpeling in de hersengolven in de buurt van de onderkant van het hoofd. Wetenschappers weten al precies waar deze rimpeling zou moeten zitten.
Het Resultaat: De robot vond de hartslag, en de markeerstift wees precies naar de onderkant van het hoofd waar het hartsignaal het sterkst is.
De Les: De markeerstift werkt! Het kan correct identificeren waar de robot naar kijkt wanneer het antwoord bekend is.

2. De "Slimme Hans"-test (De "Bedrog"-Check)

De Taak: Ze vroegen de robot om te raden of een persoon verbeelde dat hij zijn linker hand of rechter hand bewoog.
Het Probleem: In dit experiment toonde het computerscherm een marker aan de linkerkant of rechterkant om de persoon te vertellen welke hand hij moest bewegen.
De Ontdekking: De markeerstift onthulde dat veel versies van de robot bedrogen. In plaats van te kijken naar de hersensignalen voor handbeweging, keek de robot naar de ogen.
- Analogie: Stel je een student voor die een toets maakt. In plaats van de wiskundeproblemen op te lossen, kijkt hij gewoon naar welke kant de leraar wijst. De robot deed precies hetzelfde: hij zag de marker op het scherm, gokte dat de persoon in die richting keek, en ging ervan uit dat dit "linkerhand" of "rechterhand" betekende.
- Dit wordt "Slimme Hans"-gedrag genoemd (vernoemd naar een beroemd paard dat leek te kunnen rekenen, maar eigenlijk gewoon de lichaamstaal van de leraar las).
De Les: De markeerstift onthulde dat de robot vertrouwde op een afkorting (oogbeweging) in plaats van het daadwerkelijke hersensignaal dat het zou moeten leren.

3. De Emotie-test (De "Ontdekking"-Check)

De Taak: Ze vroegen de robot om te raden of een persoon "hoge opwinding" (opgewonden/geagiteerd) of "lage opwinding" (kalm) voelde terwijl hij naar een virtual reality-film keek.
De Ontdekking: De markeerstift vond een consistent patroon voor "hoge opwinding". Het lichtte een specifieke cluster van sensoren op in het centrum van het hoofd (de motorische cortex).
De Hypothese: De auteurs suggereren dat dit een nieuwe aanwijzing zou kunnen zijn. Het zou kunnen betekenen dat wanneer mensen opgewonden raken, hun hersenen "klaar" worden om te bewegen (zoals een atleet aan de startlijn), zelfs als ze niet daadwerkelijk bewegen.
De Les: De markeerstift bevestigde niet alleen de robot; het hielp de wetenschappers een nieuw idee te bedenken over hoe het brein werkt.

Het Nadeel: Het Is Niet Altijd Duidelijk

Het artikel geeft toe dat het lezen van deze "gemarkeerde" kaarten niet altijd makkelijk is.

De Analogie: Stel je voor dat je kijkt naar een hittekaart van een stad. Je ziet een felrode vlek. Is dat een brand? Een drukke kruising? Een concert? Zonder de stad goed te kennen, is het moeilijk om 100% zeker te zijn.
Bij de emotie-test markeerde de robot gebieden bij het gezicht en de nek. Dit zou hersenactiviteit kunnen zijn, of het zou spierspanning kunnen zijn (zoals op elkaar bijten van de kaak wanneer men opgewonden is). De markeerstift laat zien waar de robot keek, maar soms is het nog steeds moeilijk om precies te zeggen wat hij zag.

Samenvatting

Dit artikel is een handleiding voor het gebruik van een nieuwe "flitslicht" (LRP) om te schijnen op de donkere, verwarrende hersenen van geavanceerde AI-modellen.

Het werkt: Het flitslicht vond correct bekende signalen (hartslagen).
Het vangt bedriegers: Het onthulde dat sommige modellen bedrogen door te kijken naar oogbewegingen in plaats van hersengolven.
Het geeft ideeën: Het vond een nieuw patroon in het centrum van de hersenen gerelateerd aan opwinding, dat wetenschappers nu verder kunnen bestuderen.

De auteurs concluderen dat hoewel we nog steeds menselijke experts nodig hebben om de beelden te interpreteren, dit instrument essentieel is om ervoor te zorgen dat deze krachtige AI-modellen eigenlijk leren wat we denken dat ze leren.

Technische Samenvatting: Interpreteren van EEG-Foundational Transformers met LRP

Probleemstelling

De invoering van Foundation Models (FMs) in elektro-encefalografie (EEG) biedt een potentiële oplossing voor data-schaarste in diep-lerende diagnostiek en brain-computer interfaces (BCI's). De "ondoorzichtige" aard van deze modellen, met name die gebaseerd op Transformer-architecturen, belemmert echter hun bredere adoptie en klinisch vertrouwen. Hoewel methoden voor feature-attribution zoals Layer-wise Relevance Propagation (LRP) met succes zijn toegepast op convolutionele neurale netwerken (CNN's) en multi-layer perceptrons (MLP's) in EEG, blijft hun toepassing op moderne Transformer-gebaseerde EEG-FMs onontgonnen terrein. De kernuitdaging is om te bepalen of LRP de besluitvormingsprocessen van deze complexe modellen effectief kan onderzoeken om hun validiteit te verifiëren of spurious leerverbintenissen (bijvoorbeeld "Clever Hans"-effecten) bloot te leggen, zonder te vertrouwen op ground-truth labels voor elke taak.

Methodologie

De auteurs stellen de toepassing van attention-aware LRP [8] voor op het LaBraM-model [2], een prominente EEG Foundation Model. De methodologie omvat drie hoofdbestanddelen:

Modelconfiguratie: De studie evalueert LaBraM onder drie configuraties om pretraining-effecten te isoleren:
- Finetuned: Standaardbenadering waarbij het hele model wordt aangepast.
- Frozen: De voorgetrainde backbone is bevroren, met uitsluitend een traineerbare classificatiekop.
- From Scratch: Random initialisatie zonder pretraining.
  Elke configuratie wordt vijf keer getraind om variabiliteit in dropout, initialisatie en datasampling te compenseren.
Attributie en Visualisatie:
- LRP wordt toegepast om relevantiescores te genereren voor elk invoerelement (tijdstap en kanaal) voor elke classificatiebeslissing.
- Om de hoge dimensionaliteit van EEG-gegevens ( $n_{channels} \times t_{in}$ ) en de omvang van de gegenereerde scores te beheren, hanteren de auteurs een aggregatiestrategie. Ze aggregeren attributies over de tijd om ruimtelijke patronen (topografie) te analyseren en over kanalen om temporele patronen te analyseren.
- Ruimtelijke visualisaties maken gebruik van discrete Voronoi-celkleuring om de elektrodetopologie te behouden, waardoor vervorming door rechthoekige heatmaps wordt vermeden.
Experimentele Paradigma's:
- R-Peak Detectie (Validatie): Een binaire classificatietak die cardiale veldartefacten (CFA) in ruwe EEG voorspelt. Dit dient als ground-truth validatie omdat de fysiologische bron (hart) en de verwachte elektrodelocatie (Iz) bekend zijn.
- PhysioMI L/R (Gevestigd Paradigma): Een motor imagery/executietak (linker- versus rechtervuist) met behulp van de PhysioNet-dataset. Dit test het vermogen van het model om te generaliseren en onthult potentiële shortcut learning.
- AffectiveVR (Exploratief): Een naturalistisch paradigma dat subjectieve arousal en valentie voorspelt tijdens een VR-ervaring. Deze taak mist duidelijke ground truth en dient als testomgeving voor exploratieve hypothesevorming.

Belangrijkste Bijdragen

Het artikel levert drie specifieke bijdragen:

Validatie van LRP op EEG-FMs: Het toont voor het eerst aan dat attention-aware LRP plausibele attributies produceert op foundational EEG-Transformers. Dit wordt gevalideerd aan de hand van de R-Peak-detectietak, waarbij de relevantie correct concentreert op de Iz-elektrode, de locatie die het dichtst bij het hart ligt.
Detectie van Spurious Gedrag: De methode identificeert met succes "Clever Hans"-gedrag in motor imagery-modellen. Het onthult dat modellen met slechte generalisatie zwaar vertrouwen op oculaire (oogbeweging) artefacten in plaats van signalen van de motorcortex, waarschijnlijk door visuele aanwijzingen uit het experimentele ontwerp te exploiteren.
Verkenning van Nieuwe Hypothesen: Bij gebrek aan gevestigde intuïtie voor complexe affectieve toestanden, karakteriseren de auteurs het unieke potentieel en de beperkingen van LRP. Ze identificeren een terugkerend, biologisch plausibel patroon van relevantie van centrale elektroden (C2, Cz, FC2, CP2) in arousalvoorspelling, wat wijst op een nieuwe sensorimotorische signatuur van arousal die verschilt van valentie.

Resultaten

Prestaties:
- R-Peak Detectie: De gefinetunteerde LaBraM behaalde een gebalanceerde nauwkeurigheid (BAC) van ~75%, wat bevestigt dat het model het juiste fysiologische signaal leert.
- PhysioMI L/R: De prestaties waren gemengd. Twee van de vijf gefinetunteerde runs behaalden >70% BAC, terwijl anderen presteerden in de buurt van willekeurig gissen. Cruciaal onderscheidden de attributiekarten deze groepen: succesvolle runs toonden gelateraliseerde temporo-frontale patronen, terwijl mislukte runs zich richtten op oculaire regio's.
- AffectiveVR: Alle modellen (finetuned, from scratch, frozen) en de CSP-LDA-baseline presteerden vergelijkbaar, met BAC's rond de 55% (iets boven de 50% willekeurige baseline voor median-split binaire classificatie).
Attributiepatronen:
- Signinversie: Patronen waren consistent in ruimtelijke structuur, maar soms met omgekeerd teken (omgekeerde kleuring), wat de grootte van de relevantie niet beïnvloedt.
- Motor Imagery: Succesvolle modellen toonden gelateraliseerde patronen, maar zelfs deze richtten zich op temporale elektroden dichter bij oogbewegingsregio's dan bij hand-motorregio's, wat wijst op een afhankelijkheid van taak-gecorreleerde oogbewegingen in plaats van pure neurale motorische signatuur.
- Arousal versus Valence: Arousalvoorspelling benadrukte consequent een cluster van centrale elektroden (sensorimotorische cortex), mogelijk gekoppeld aan bereidheidspotentialen die worden gemoduleerd door emotionele context. Dit patroon ontbrak in valentievoorspelling, wat de hypothese ondersteunt dat het een arousal-specifieke signatuur is in plaats van een algemeen motorisch decoderingsartefact.
- Valentievoorspelling: Patronen waren minder consistent met gevestigde literatuur en toonden ambiguïteit, wat de moeilijkheid benadrukt van het interpreteren van heatmaps in domeinen met weinig intuïtie waar spurious artefacten (bijvoorbeeld EMG van gezichtsspieren) moeilijk te onderscheiden zijn van neurale signalen.

Betekenis en Claims

Het artikel positioneert LRP als een tweeledig hulpmiddel voor EEG-FMs: verificatie en exploratie.

Verificatie: LRP kan valideren dat modellen de beoogde fysiologische signalen leren (zoals gezien bij R-Peak-detectie) en blootleggen of overfitting of shortcut learning (zoals gezien bij de oculaire afhankelijkheid van mislukte motor imagery-modellen). Dit is cruciaal in EEG, waar signalen niet direct interpreteerbaar zijn en shortcut learning historisch onderzoekslijnen heeft ongeldig verklaard.
Exploratie: Door geleerde representaties te vertalen naar neurowetenschappelijke hypothesen, kan LRP nieuwe, biologisch plausibele relaties aan het licht brengen (bijvoorbeeld de centrale sensorimotorische signatuur bij arousal). De auteurs stellen dat dit EEG-FM-onderzoek verlegt van pure voorspellende prestatie naar het begrijpen van hersen-gedragsrelaties.

Beperkingen en Bescheidenheid:
De auteurs erkennen expliciet drie kanttekeningen:

Interpreteerbaarheid: Heatmap-interpretatie in EEG blijft subjectief en vereist domeinkennis; nonsensische strategieën zijn moeilijker te identificeren dan bij natuurlijke afbeeldingen.
Methodologische Basis: De keuze voor LRP is gebaseerd op vergelijkingen die zijn uitgevoerd op niet-Transformer-modellen; verdere maatstaven voor trouw (bijvoorbeeld AOPC) op EEG-FMs zijn nodig.
Modelcapaciteit: Het gebrek aan consistente prestatiewinst ten opzichte van "from scratch" of gespecialiseerde modellen (zoals CSP-LDA) suggereert dat huidige EEG-FMs hun "onderliggend begrip" van EEG nog niet volledig hebben benut. Bijgevolg is het ontdekkingspotentieel van LRP momenteel beperkt door de capaciteiten van de onderliggende modellen.

Het artikel concludeert dat hoewel LRP een krachtig hulpmiddel is voor de traject van EEG-FM-ontwikkeling, zijn bruikbaarheid voor klinische inzet of definitieve ontdekking momenteel wordt begrensd door de volwassenheid van de foundation-modellen zelf.