Lightweight Transformer for EEG Classification via Balanced Signed Graph Algorithm Unrolling

Die vorgestellte Arbeit entwickelt einen leichten und interpretierbaren Transformer-ähnlichen Klassifikator für EEG-Signale, der durch das Entfalten eines spektralen Denoising-Algorithmus auf balancierten Vorzeichen-Graphen Epilepsiepatienten von gesunden Probanden mit vergleichbarer Genauigkeit wie tiefe neuronale Netze, jedoch bei deutlich geringerem Parametervolumen, unterscheidet.

Das Wesentliche

Das große Rätsel: Wie man das Gehirn "hört"

Stellen Sie sich vor, Ihr Gehirn ist wie ein riesiges, belebtes Orchester. Wenn Sie gesund sind, spielen die Musiker (die Neuronen) harmonisch zusammen. Wenn jemand an Epilepsie leidet, entsteht plötzlich ein chaotisches, lautes Geräusch – ein "Fehlschlag" im Orchester.

Die Aufgabe der Forscher war es, ein kleines, schlaueres Gerät zu bauen, das dieses Orchester anhört und sofort sagen kann: "Das ist ein gesundes Konzert" oder "Achtung, hier ist ein epileptischer Anfall!".

Das Problem: Die alten Riesen

Bisher haben Computer-Experten riesige, schwerfällige "Super-Computer" (tiefe neuronale Netze) benutzt, um diese Signale zu analysieren. Das ist wie der Versuch, ein kleines Problem mit einem riesigen Bagger zu lösen. Diese Bagger sind extrem genau, aber sie brauchen:

1. Unmengen an Energie (sie sind langsam und teuer).
2. Keine Erklärung (sie funktionieren wie eine "Black Box": Man gibt Daten rein, bekommt ein Ergebnis raus, weiß aber nicht, warum).

Das ist schlecht für tragbare Geräte (wie eine kleine Kopfbedeckung), die direkt am Patienten getragen werden sollen.

Die neue Lösung: Ein schlauer Dirigent mit einem besonderen Notizbuch

Die Forscher von der Universität Peking und anderen haben einen neuen Weg gefunden. Sie nennen es einen "leichten Transformer". Aber was ist das eigentlich?

Stellen Sie sich vor, Sie wollen ein verrauschtes Foto reinigen. Ein normaler Computer würde versuchen, jedes Pixel einzeln zu glätten. Unser neuer Ansatz ist wie ein Dirigent, der das Orchester (die Gehirnsignale) betrachtet und sagt: "Hört mal, diese beiden Musiker spielen genau gegenteilig zueinander!"

Hier kommen die drei genialen Tricks ins Spiel:

1. Das magische Notizbuch (Der "Balanced Signed Graph")

Normalerweise schauen Computer auf Beziehungen wie "Freunde" (positive Verbindung). Aber im Gehirn gibt es auch "Gegner" (negative Verbindung), die sich gegenseitig ausgleichen.

• Die Metapher: Stellen Sie sich ein Netzwerk von Freunden und Feinden vor. Wenn zwei Freunde sich streiten, ist das okay. Aber wenn zwei Feinde sich plötzlich verbünden, entsteht Chaos.
• Die Forscher haben ein mathematisches System entwickelt, das diese "Freunde" und "Feinde" (positive und negative Signale) perfekt organisiert. Sie nennen es einen "ausgewogenen Graphen". Es ist wie ein Notizbuch, in dem genau festgehalten ist, wer mit wem harmoniert und wer sich stört.

2. Der schnelle Filter (Der "Lanczos-Approximator")

Sobald das Orchester auf dem Papier steht, muss der Dirigent das Chaos filtern.

• Die Metapher: Stellen Sie sich vor, Sie haben einen riesigen Haufen Sand, und Sie wollen nur die feinen Körner behalten. Ein normaler Computer würde jeden einzelnen Sandkorn durch ein Sieb wühlen (sehr langsam).
• Unser neuer Algorithmus benutzt einen "Zaubersieb-Trick" (Lanczos-Approximation). Er weiß genau, wo er suchen muss, und filtert das Chaos in einem Bruchteil der Zeit. Er ist so effizient, dass er auf einem kleinen Chip läuft, nicht auf einem riesigen Server.

3. Der Vergleich der zwei Detektive (Klassifizierung)

Das ist der coolste Teil. Anstatt einen riesigen Computer zu bauen, der alles "auswendig lernt", bauen sie zwei kleine Detektive:

• Detektiv A hat nur gesunde Gehirne gesehen. Er lernt, wie ein gesundes Gehirn "klingt".
• Detektiv B hat nur epileptische Gehirne gesehen. Er lernt, wie ein krankes Gehirn "klingt".

Wenn ein neues, unbekanntes Signal reinkommt, fragen sie beide: "Wie gut passt dieses Signal zu deinem Muster?"

• Wenn Detektiv A sagt: "Das passt perfekt!" und Detektiv B sagt: "Das passt gar nicht!", dann ist es gesund.
• Wenn Detektiv B sagt: "Das ist genau mein Ding!", dann ist es Epilepsie.

Warum ist das so toll?

1. Es ist winzig: Der neue Algorithmus braucht weniger als 1% der Speicherplatz und Rechenleistung der bisherigen Super-Computer. Man könnte ihn theoretisch auf einem Smartwatch-Chip laufen lassen.
2. Es ist ehrlich: Man kann genau nachvollziehen, wie er zu seinem Ergebnis kommt (weil er auf den mathematischen Regeln des "Dirigenten" basiert). Es ist keine Black Box mehr.
3. Es ist genau: Trotz seiner geringen Größe ist er so genau wie die riesigen, schweren Modelle (über 97% Genauigkeit).

Fazit

Die Forscher haben es geschafft, einen riesigen, schweren Bagger in einen flinken, präzisen Drohnen-Dirigenten zu verwandeln. Sie nutzen die natürliche Struktur des Gehirns (Freunde und Feinde), um ein extrem schnelles und kleines Werkzeug zu bauen, das Epilepsie sofort erkennen kann – und das alles, ohne den Patienten mit schweren Geräten zu belasten.

Technische Zusammenfassung

1. Problemstellung

Die Klassifizierung von EEG-Signalen zur Unterscheidung zwischen epileptischen Patienten und gesunden Kontrollpersonen ist eine zentrale Aufgabe in der Neuroinformatik. Während Deep-Learning-Modelle (insbesondere CNNs und Transformer) State-of-the-Art (SOTA) Ergebnisse erzielen, leiden sie unter zwei Hauptnachteilen:

• Hoher Parameterbedarf: Transformer-Modelle sind extrem ressourcenintensiv, was ihren Einsatz auf rechenbeschränkten EEG-Geräten (Edge Devices) erschwert.
• Mangelnde Interpretierbarkeit: Diese Modelle fungieren oft als „Black Box", was die klinische Validierung und das Vertrauen in die Diagnose behindert.

Zudem weisen EEG-Signale oft Anti-Korrelationen auf (negative Beziehungen zwischen Sensoren), die in herkömmlichen Graph-Modellen, die nur positive Kanten zulassen, nicht korrekt abgebildet werden können.

2. Methodik

Die Autoren schlagen einen neuartigen Ansatz vor, der Algorithm Unrolling (das „Abwickeln" eines iterativen Optimierungsalgorithmus in ein neuronales Netz) mit Graph Signal Processing (GSP) auf balancierten signierten Graphen kombiniert.

A. Balancierte Signierte Graphen (Balanced Signed Graphs)

• Konzept: Im Gegensatz zu rein positiven Graphen modelliert ein signierter Graph sowohl positive als auch negative Kanten, um Korrelationen und Anti-Korrelationen in EEG-Daten abzubilden.
• Balancierung: Ein Graph ist „balanciert", wenn er keine Zyklen mit einer ungeraden Anzahl negativer Kanten enthält. Dies ist entscheidend, da nur für balancierte signierte Graphen Frequenzen rigoros definiert werden können.
• Transformation: Mithilfe des Cartwright-Harary-Theorems wird gezeigt, dass der Laplace-Operator $L_B$ eines balancierten signierten Graphen $G_B$ durch eine Ähnlichkeitstransformation in den Laplace-Operator $L_+$ eines äquivalenten positiven Graphen $G_+$ überführt werden kann ($L_+ = T L_B T^{-1}$).
• Vorteil: Da die Spektren (Eigenwerte/Eigenvektoren) von $L_+$ gut verstanden sind, können bewährte Filter für positive Graphen auf die Signale von $G_B$ angewendet werden.

B. Algorithm Unrolling & Netzwerkarchitektur

Das Netzwerk wird als leichter, interpretierbarer Transformer aufgebaut, indem ein iterativer Denoising-Algorithmus in Schichten umgewandelt wird:

1. Graph Learning Module (BGL): In jedem Schritt werden die Knotenpolaritäten ($\beta_i$) und die Kantengewichte basierend auf Merkmalsabständen (Mahalanobis-Distanz) gelernt.
   • Interpretierbarkeit: Dieser Schritt entspricht einer Self-Attention-Mechanik. Die normalisierten Kantengewichte fungieren als Attention-Gewichte, werden aber durch einen flachen CNN-Block und eine Metrik-Matrix berechnet, was den Parameterbedarf drastisch senkt.
2. Low-Pass Filter (LPF): Ein idealer Tiefpassfilter wird auf den transformierten positiven Graphen angewendet, um Rauschen zu entfernen.
   • Lanczos-Approximation: Um die teure Eigenwertzerlegung ($O(N^3)$) zu vermeiden, wird der Filter mittels Lanczos-Approximation in linearer Zeit ($O(N)$) approximiert.
   • Der Grenzfrequenz-Parameter ($\omega$) wird aus den Daten gelernt.
3. Wiederholung: Diese Module werden gestapelt, um ein Feed-Forward-Netzwerk zu bilden.

C. Klassifizierungsstrategie

Statt eines direkten Klassifikators werden zwei klassenspezifische Denoiser ($\Psi_0$ für gesunde Probanden, $\Psi_1$ für Epilepsie-Patienten) trainiert.

• Pretext Task: Jeder Denoiser lernt die Posterior-Wahrscheinlichkeit seiner jeweiligen Klasse, indem er versucht, das Signal in den niedrigfrequenten Unterraum des jeweiligen Graphen zu projizieren.
• Entscheidung: Für ein neues Signal $y$ wird die Rekonstruktionsfehler ($\|y - \Psi_c(y)\|^2$) für beide Denoiser berechnet. Die Klasse mit dem geringsten Rekonstruktionsfehler wird gewählt. Dies entspricht einem Maximum-Likelihood-Schätzer unter der Annahme von Gaußschem Rauschen.
• Verlustfunktion: Ein kontrastiver Loss wird verwendet, um sicherzustellen, dass der Denoiser für Klasse 0 Signale von Klasse 1 schlecht rekonstruiert (und umgekehrt).

3. Hauptbeiträge

1. Erweiterung auf signierte Graphen: Im Gegensatz zu vorherigen Arbeiten (die nur positive Graphen nutzten) wird ein Denoising-Algorithmus für balancierte signierte Graphen entwickelt und in einen Transformer unrolled. Dies ermöglicht die explizite Modellierung von Anti-Korrelationen in EEG-Daten.
2. Effiziente Implementierung: Durch die Nutzung der Lanczos-Approximation wird der ideale Tiefpassfilter ohne Eigenwertzerlegung in linearer Zeit berechnet. Nur die Grenzfrequenz muss gelernt werden.
3. Interpretierbarkeit & Effizienz: Das Modell ist zu 100% mathematisch interpretierbar (jede Schicht entspricht einem Optimierungsschritt). Es erreicht SOTA-Leistung mit weniger als 1% der Parameter im Vergleich zu großen Transformer-Modellen.
4. Neue Klassifizierungslogik: Die Verbindung von generativem Denoising (Lernen von Posterior-Wahrscheinlichkeiten) und diskriminativer Klassifizierung über Rekonstruktionsfehler wird als neuartiger Ansatz vorgestellt.

4. Ergebnisse

Die Methode wurde auf dem Turkish Epilepsy EEG Dataset (121 Probanden, 10.356 Aufzeichnungen) evaluiert:

• Standard-Setup: Erzielte eine Genauigkeit von 97,57% und einen F1-Score von 98,01% mit nur 14.787 Parametern.
  • Zum Vergleich: Ein großer Transformer (Ref. [5]) erreichte nur 85,12% Genauigkeit bei über 1,8 Millionen Parametern. Ein CNN-basierter Ansatz (Ref. [3]) erreichte 99,20% Genauigkeit, benötigte aber über 11,5 Millionen Parameter.
• Leave-One-Subject-Out (LOSO): Auch bei der Generalisierung auf unbekannte Probanden erzielte das Modell mit 90,06% Genauigkeit und 92,59% F1-Score die besten Ergebnisse unter den verglichenen Graph-basierten Methoden (DGCNN, GIN, EEGNet).
• Ablationsstudien:
  • Balancierte signierte Graphen übertrafen sowohl reine positive Graphen als auch unbalancierte signierte Graphen deutlich, was die Wichtigkeit der Balance für die Filterung unterstreicht.
  • Der kontrastive Loss verbesserte die Leistung signifikant im Vergleich zu einem reinen MSE-Loss.
• Effizienz: Das Training dauerte nur 2 Stunden 14 Minuten (vs. bis zu 22 Stunden für Baselines) und die Inferenzzeit lag bei nur 55 Sekunden.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass Interpretierbarkeit und hohe Leistung in der medizinischen Signalverarbeitung nicht gegeneinander ausgespielt werden müssen. Durch die Kombination von Graph-Signal-Verarbeitung und Algorithm Unrolling entsteht ein Modell, das:

• Die physikalischen Eigenschaften von EEG-Daten (Anti-Korrelationen) mathematisch fundiert abbildet.
• Auf ressourcenarmen Geräten einsetzbar ist.
• Transparente Entscheidungen trifft (durch Rekonstruktionsfehler und den zugrundeliegenden Optimierungsalgorithmus).

Als Limitierung wird aktuell nur die binäre Klassifizierung unterstützt. Zukünftige Arbeiten zielen darauf ab, diese Methode auf Multi-Klassen-Klassifikationsbäume zu erweitern.