🤖 AI

From Clever Hans to Scientific Discovery: Interpreting EEG Foundational Transformers with LRP

Dieser Artikel zeigt, dass die Erweiterung der Layer-wise Relevance Propagation (LRP) auf EEG-Foundation-Modelle deren Entscheidungsfindung wirksam verifiziert, indem sie Artefakte wie „Clever Hans"-Verhalten aufdeckt, und gleichzeitig neue, biologisch plausible Hypothesen zu Mustern der Gehirnaktivität generiert.

Ursprüngliche Autoren: Justus Meyer zu Bexten, Nico Scherf, Bogdan Franczyk, Simon M. Hofmann

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Justus Meyer zu Bexten, Nico Scherf, Bogdan Franczyk, Simon M. Hofmann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Black-Box"-Problem

Stellen Sie sich einen superschlauen Roboter vor, der Gehirnwellen (EEG) betrachten und erraten kann, was eine Person denkt oder fühlt. Dieser Roboter ist ein „Foundation Model", was bedeutet, dass er auf einer riesigen Datenmenge trainiert wurde – mehr, als jeder menschliche Experte je sehen könnte.

Das Problem ist, dass dieser Roboter eine Black Box ist. Er liefert Ihnen eine Antwort (wie „Diese Person ist wütend" oder „Sie stellt sich vor, ihre Hand zu bewegen"), sagt Ihnen aber nicht, warum. Es ist wie ein Zauberer, der ein Kaninchen aus einem Hut zieht; Sie sehen das Ergebnis, kennen aber den Trick nicht.

In Wissenschaft und Medizin können wir uns nicht einfach auf die Antwort verlassen; wir müssen den Trick kennen, um sicherzustellen, dass der Roboter nicht schummelt oder Fehler macht. Dieses Papier handelt davon, uns beizubringen, wie wir in den Hut spähen können, um das Kaninchen zu sehen.

Das Werkzeug: LRP (Der „Textmarker")

Die Autoren verwenden eine Technik namens Layer-wise Relevance Propagation (LRP). Stellen Sie sich LRP als einen magischen Textmarker vor.

Wenn der Roboter eine Entscheidung trifft, geht LRP durch das Gehirn des Roboters zurück und markiert genau, welche Teile der Gehirnwellendaten für diese Entscheidung am wichtigsten waren.

Wenn der Roboter sagt „Die Person ist aufgeregt", könnte LRP eine bestimmte Stelle am Hinterkopf hervorheben.
Wenn der Roboter sagt „Die Person bewegt ihre Hand", könnte LRP den Bereich in der Nähe des Ohrs hervorheben.

Die Autoren haben diesen Textmarker, der zuvor bei einfacheren Robotern eingesetzt wurde, so weiterentwickelt, dass er nun auch bei diesen neuen, komplexen „Transformer"-Robotern funktioniert.

Die Experimente: Drei Tests, um den Roboter zu prüfen

Die Forscher führten drei verschiedene Tests durch, um zu sehen, ob ihr Textmarker funktioniert und was er aufdeckt.

1. Der Herzschlag-Test (Der „Wahrheits"-Check)

Die Aufgabe: Sie forderten den Roboter auf, Herzschläge zu finden, die in den Gehirnwellendaten versteckt waren.
Warum? Herzschläge erzeugen eine winzige elektrische Welle in den Gehirnwellen nahe dem unteren Teil des Kopfes. Wissenschaftler wissen genau, wo diese Welle sein sollte.
Das Ergebnis: Der Roboter fand den Herzschlag, und der Textmarker zeigte genau auf den unteren Teil des Kopfes, wo das Herzsignal am stärksten ist.
Die Lehre: Der Textmarker funktioniert! Er kann korrekt identifizieren, wonach der Roboter schaut, wenn die Antwort bekannt ist.

2. Der „Clever Hans"-Test (Der „Schummel"-Check)

Die Aufgabe: Sie forderten den Roboter auf, zu erraten, ob eine Person vorstellte, ihre linke oder rechte Hand zu bewegen.
Das Problem: In diesem Experiment zeigte der Computerbildschirm einen Marker auf der linken oder rechten Seite an, um der Person zu sagen, welche Hand sie bewegen soll.
Die Entdeckung: Der Textmarker enthüllte, dass viele Versionen des Roboters schummelten. Anstatt die Gehirnsignale für die Handbewegung zu betrachten, schaute der Roboter auf die Augen.
- Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Anstatt das Matheproblem zu lösen, schaut er nur, wohin der Lehrer zeigt. Der Roboter tat dasselbe: Er sah den Marker auf dem Bildschirm, vermutete, dass die Person in diese Richtung schaute, und ging davon aus, dass dies „linke Hand" oder „rechte Hand" bedeutete.
- Dies wird als „Clever Hans"-Verhalten bezeichnet (benannt nach einem berühmten Pferd, das scheinbar Mathe konnte, aber eigentlich nur die Körpersprache des Lehrers las).
Die Lehre: Der Textmarker legte offen, dass der Roboter sich auf einen Abkürzungsweg (Bewegung der Augen) verließ, anstatt auf das eigentliche Gehirnsignal, das er lernen sollte.

3. Der Emotionstest (Der „Entdeckungs"-Check)

Die Aufgabe: Sie forderten den Roboter auf, zu erraten, ob eine Person „hohe Erregung" (aufgeregt/unruhig) oder „niedrige Erregung" (ruhig) empfand, während sie einen Virtual-Reality-Film ansah.
Die Entdeckung: Der Textmarker fand ein konsistentes Muster für „hohe Erregung". Er leuchtete eine bestimmte Gruppe von Sensoren in der Mitte des Kopfes (dem motorischen Kortex) auf.
Die Hypothese: Die Autoren vermuten, dass dies ein neuer Hinweis sein könnte. Es könnte bedeuten, dass sich die Gehirne von Menschen, wenn sie aufgeregt sind, „bereit" machen zu bewegen (wie ein Läufer an der Startlinie), auch wenn sie sich nicht tatsächlich bewegen.
Die Lehre: Der Textmarker bestätigte nicht nur den Roboter; er half den Wissenschaftlern, eine neue Idee darüber zu entwickeln, wie das Gehirn funktioniert.

Der Haken: Es ist nicht immer klar

Das Papier gibt zu, dass das Lesen dieser „markierten" Karten nicht immer einfach ist.

Die Analogie: Stellen Sie sich vor, Sie schauen auf eine Wärmebildkarte einer Stadt. Sie sehen einen hellroten Fleck. Ist das ein Feuer? Eine belebte Kreuzung? Ein Konzert? Ohne die Stadt gut zu kennen, ist es schwer, zu 100 % sicher zu sein.
Beim Emotionstest markierte der Roboter Bereiche in der Nähe von Gesicht und Hals. Dies könnte Gehirnaktivität sein, oder es könnte Muskelspannung sein (wie das Zusammenbeißen der Kiefer, wenn man aufgeregt ist). Der Textmarker zeigt, wo der Roboter hinschaute, aber manchmal ist es immer noch schwer zu sagen, genau was er sah.

Zusammenfassung

Dieses Papier ist ein Leitfaden für die Verwendung eines neuen „Taschenlampe" (LRP), um auf die dunklen, verwirrenden Gehirne fortschrittlicher KI-Modelle zu scheinen.

Es funktioniert: Die Taschenlampe fand korrekt bekannte Signale (Herzschläge).
Es fängt Schummler: Sie enthüllte, dass einige Modelle schummelten, indem sie auf Augenbewegungen statt auf Gehirnwellen schauten.
Es regt zu Ideen an: Sie fand ein neues Muster in der Mitte des Gehirns, das mit Aufregung zusammenhängt, das Wissenschaftler nun weiter untersuchen können.

Die Autoren kommen zu dem Schluss, dass wir zwar weiterhin menschliche Experten benötigen, um die Bilder zu interpretieren, dieses Werkzeug aber unverzichtbar ist, um sicherzustellen, dass diese leistungsstarken KI-Modelle tatsächlich das lernen, was wir glauben, dass sie lernen.

Technische Zusammenfassung: Interpretation von EEG-Grundlagen-Transformern mit LRP

Problemstellung

Die Einführung von Grundlagenmodellen (Foundation Models, FMs) in der Elektroenzephalographie (EEG) bietet eine potenzielle Lösung für die Datenknappheit in der Deep-Learning-Diagnostik und bei Brain-Computer-Interfaces (BCIs). Die „undurchsichtige" Natur dieser Modelle, insbesondere solcher, die auf Transformer-Architekturen basieren, behindert jedoch ihre breitere Akzeptanz und das klinische Vertrauen. Während Methoden zur Feature-Attribution wie die Layer-wise Relevance Propagation (LRP) erfolgreich auf Convolutional Neural Networks (CNNs) und Multi-Layer Perceptrons (MLPs) im EEG-Kontext angewendet wurden, bleibt ihre Anwendung auf moderne, Transformer-basierte EEG-FMs unerforscht. Die Kernherausforderung besteht darin, zu bestimmen, ob LRP die Entscheidungsprozesse dieser komplexen Modelle effektiv untersuchen kann, um ihre Validität zu verifizieren oder zufällige Lernstrategien (z. B. „Clever Hans"-Effekte) aufzudecken, ohne sich auf Ground-Truth-Labels für jede Aufgabe verlassen zu müssen.

Methodik

Die Autoren schlagen die Anwendung einer aufmerksamkeitssensitiven LRP [8] auf das LaBraM-Modell [2], ein prominentes EEG-Grundlagenmodell, vor. Die Methodik umfasst drei Hauptkomponenten:

Modellkonfiguration: Die Studie bewertet LaBraM unter drei Konfigurationen, um Pretraining-Effekte zu isolieren:
- Feinabgestimmt (Finetuned): Standardansatz, bei dem das gesamte Modell angepasst wird.
- Eingefroren (Frozen): Der vortrainierte Backbone ist eingefroren, nur ein trainierbarer Klassifikationskopf ist aktiv.
- Von Grund auf (From Scratch): Zufällige Initialisierung ohne Pretraining.
  Jede Konfiguration wird fünfmal trainiert, um die Variabilität durch Dropout, Initialisierung und Datensampling zu berücksichtigen.
Attribution und Visualisierung:
- LRP wird angewendet, um Relevanzwerte für jedes Eingabeelement (Zeitpunkt und Kanal) für jede Klassifikationsentscheidung zu generieren.
- Um die hohe Dimensionalität von EEG-Daten ( $n_{channels} \times t_{in}$ ) und das Volumen der generierten Scores zu bewältigen, wenden die Autoren eine Aggregationsstrategie an. Sie aggregieren die Attributionen über die Zeit hinweg, um räumliche Muster (Topographie) zu analysieren, und über die Kanäle hinweg, um zeitliche Muster zu analysieren.
- Räumliche Visualisierungen nutzen eine diskrete Voronoi-Zellen-Färbung, um die Elektroden-Topologie zu erhalten und die Verzerrung durch rechteckige Heatmaps zu vermeiden.
Experimentelle Paradigmen:
- R-Peak-Erkennung (Validierung): Eine binäre Klassifikationsaufgabe zur Vorhersage von kardialen Feldartefakten (CFA) im rohen EEG. Dies dient als Ground-Truth-Validierung, da die physiologische Quelle (Herz) und die erwartete Elektrodenposition (Iz) bekannt sind.
- PhysioMI L/R (Etabliertes Paradigma): Eine Aufgabe zur Motorimagery/-ausführung (linke vs. rechte Faust) unter Verwendung des PhysioNet-Datensatzes. Dies testet die Fähigkeit des Modells zur Generalisierung und deckt potenzielles Shortcut-Learning auf.
- AffectiveVR (Explorativ): Ein naturalistisches Paradigma zur Vorhersage subjektiver Erregung und Valenz während einer VR-Erfahrung. Diese Aufgabe fehlt es an klarem Ground Truth und dient als Testumgebung für die generierung explorativer Hypothesen.

Hauptbeiträge

Die Arbeit leistet drei spezifische Beiträge:

Validierung von LRP auf EEG-FMs: Sie zeigt erstmals, dass aufmerksamkeitssensitive LRP plausible Attributionen auf foundationalen EEG-Transformern erzeugt. Dies wird anhand der R-Peak-Erkennungsaufgabe validiert, bei der sich die Relevanz korrekt auf die Iz-Elektrode konzentriert, dem der Herzposition am nächsten gelegenen Punkt.
Detektion von Scheinverhalten: Die Methode identifiziert erfolgreich „Clever Hans"-Verhalten in Motorimagery-Modellen. Sie zeigt, dass Modelle mit schlechter Generalisierung stark auf okulare (Augenbewegungs-)Artefakte statt auf Signale des motorischen Kortex angewiesen sind, wobei sie wahrscheinlich visuelle Hinweise aus dem experimentellen Design ausnutzen.
Erkundung neuer Hypothesen: In Abwesenheit etablierter Intuition für komplexe affektive Zustände charakterisieren die Autoren das einzigartige Potenzial und die Grenzen von LRP. Sie identifizieren ein wiederkehrendes, biologisch plausibles Muster zentraler Elektrodenrelevanz (C2, Cz, FC2, CP2) bei der Vorhersage von Erregung, was auf eine neuartige sensorimotorische Signatur der Erregung hindeutet, die sich von der Valenz unterscheidet.

Ergebnisse

Leistung:
- R-Peak-Erkennung: Das feinabgestimmte LaBraM erreichte eine ausgeglichene Genauigkeit (BAC) von ca. 75 %, was bestätigt, dass das Modell das korrekte physiologische Signal lernt.
- PhysioMI L/R: Die Leistung war gemischt. Zwei von fünf feinabgestimmten Läufen erreichten >70 % BAC, während andere nahe am zufälligen Raten lagen. Entscheidend war, dass die Attributionskarten diese Gruppen unterschieden: Erfolgreiche Läufe zeigten lateralisierte temporo-frontale Muster, während erfolglose Läufe sich auf okulare Regionen konzentrierten.
- AffectiveVR: Alle Modelle (feinabgestimmt, von Grund auf, eingefroren) und die CSP-LDA-Baseline performten ähnlich, mit BAC-Werten um 55 % (leicht über der 50 %-Zufallsbasislinie für Median-Split-Binärklassifikation).
Attributionsmuster:
- Vorzeicheninversion: Die Muster waren in ihrer räumlichen Struktur konsistent, zeigten jedoch gelegentlich eine Vorzeicheninversion (umgekehrte Färbung), was die Größe der Relevanz nicht beeinflusst.
- Motorimagery: Erfolgreiche Modelle zeigten lateralisierte Muster, doch selbst diese konzentrierten sich auf temporale Elektroden, die näher an Augenbewegungsregionen als an Handmotorregionen lagen, was auf eine Abhängigkeit von aufgabenkorrelierten Augenbewegungen statt von reinen neuronalen motorischen Signaturen hindeutet.
- Erregung vs. Valenz: Die Vorhersage der Erregung hob konsistent einen Cluster zentraler Elektroden (sensorimotorischer Kortex) hervor, der möglicherweise mit Bereitschaftspotenzialen zusammenhängt, die durch emotionalen Kontext moduliert werden. Dieses Muster fehlte bei der Valenzvorhersage, was die Hypothese stützt, dass es sich um eine erregungsspezifische Signatur und nicht um ein Artefakt der allgemeinen motorischen Dekodierung handelt.
- Valenzvorhersage: Die Muster waren weniger konsistent mit etablierter Literatur und zeigten Ambiguität, was die Schwierigkeit der Interpretation von Heatmaps in Domänen mit geringer Intuition unterstreicht, in denen zufällige Artefakte (z. B. EMG von Gesichtsmuskeln) schwer von neuronalen Signalen zu unterscheiden sind.

Bedeutung und Behauptungen

Die Arbeit positioniert LRP als zweckdienliches Werkzeug für EEG-FMs: Verifizierung und Exploration.

Verifizierung: LRP kann validieren, dass Modelle die intendierten physiologischen Signale lernen (wie bei der R-Peak-Erkennung gesehen) und Overfitting oder Shortcut-Learning aufdecken (wie bei der okulären Abhängigkeit gescheiterter Motorimagery-Modelle gesehen). Dies ist im EEG-Kontext kritisch, wo Signale nicht direkt interpretierbar sind und Shortcut-Learning historisch Forschungsstränge ungültig gemacht hat.
Exploration: Durch die Übersetzung gelernter Repräsentationen in neurowissenschaftliche Hypothesen kann LRP neue, biologisch plausible Beziehungen zutage fördern (z. B. die zentrale sensorimotorische Signatur bei der Erregung). Die Autoren behaupten, dass dies die EEG-FM-Forschung über die reine Vorhersageleistung hinaus in Richtung des Verständnisses von Gehirn-Verhaltens-Beziehungen führt.

Einschränkungen und Zurückhaltung:
Die Autoren erkennen explizit drei Vorbehalte an:

Interpretierbarkeit: Die Interpretation von Heatmaps im EEG bleibt subjektiv und erfordert Domänenexpertise; unsinnige Strategien sind schwerer zu identifizieren als bei natürlichen Bildern.
Methodische Basis: Die Wahl von LRP basiert auf Vergleichen, die an Nicht-Transformer-Modellen durchgeführt wurden; weitere Maßzahlen für die Treue (z. B. AOPC) an EEG-FMs sind erforderlich.
Modellfähigkeit: Das Fehlen konsistenter Leistungsgewinne gegenüber Modellen „von Grund auf" oder spezialisierten Modellen (wie CSP-LDA) deutet darauf hin, dass aktuelle EEG-FMs ihr „tiefes Verständnis" von EEG noch nicht voll ausgeschöpft haben. Folglich ist das Entdeckungspotenzial von LRP derzeit durch die Fähigkeiten der zugrundeliegenden Modelle eingeschränkt.

Die Arbeit schließt, dass LRP zwar ein mächtiges Werkzeug für den Verlauf der EEG-FM-Entwicklung ist, aber sein Nutzen für den klinischen Einsatz oder definitive Entdeckungen derzeit durch die Reife der Grundlagenmodelle selbst begrenzt ist.