🤖 AI

STAMP: Spatial-Temporal Adapter with Multi-Head Pooling

Dieser Beitrag stellt STAMP vor, einen leichten und flexiblen Spatial-Temporal Adapter mit Multi-Head Pooling, der es allgemeinen Zeitreihen-Foundation-Modellen ermöglicht, auf klinischen EEG-Aufgaben eine Leistung zu erzielen, die mit der spezialisierter EEG-Foundation-Modelle vergleichbar ist, indem univariate Embeddings genutzt werden, um räumlich-zeitliche Merkmale implizit zu erfassen.

Ursprüngliche Autoren: Brad Shook, Abby Turner, Jieshi Chen, Michał Wiliński, Mononito Goswami, Jonathan Elmer, Artur Dubrawski

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Brad Shook, Abby Turner, Jieshi Chen, Michał Wiliński, Mononito Goswami, Jonathan Elmer, Artur Dubrawski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „Universalübersetzers"

Stellen Sie sich vor, Sie haben einen brillanten, weltberühmten Übersetzer (ein Time Series Foundation Model oder TSFM), der Millionen von Büchern über Wettermuster, Aktienmärkte und Energienetze gelesen hat. Dieser Übersetzer ist unglaublich geschickt darin, Muster in Daten zu erkennen, die sich über die Zeit verändern.

Nun möchten Sie, dass dieser Übersetzer EEG-Daten liest – die elektrischen Signale aus einem menschlichen Gehirn. Das Problem ist, dass Hirndaten chaotisch und einzigartig sind. Sie haben zwei besondere Dimensionen:

Zeit: Wie sich das Signal von Sekunde zu Sekunde verändert.
Raum: Wie verschiedene Teile des Gehirns (die Elektroden auf der Kopfhaut) miteinander kommunizieren.

Wenn Sie dem Übersetzer die Hirndaten einfach so geben, ohne Hilfe, gerät er in Verwirrung. Es ist, als würde man einem Koch, der nur Suppe kochen kann, ein rohes Steak geben und erwarten, dass er es perfekt grillt, ohne jegliche Anweisungen. Das Papier stellte fest, dass, wenn man dem Übersetzer die Hirndaten einfach zuführt und nach einem einfachen Durchschnitt fragt (wie „wie ist der durchschnittliche Geschmack?"), das Ergebnis im Grunde zufälliges Raten ist.

Die Lösung: STAMP (Der spezialisierte Adapter)

Die Autoren entwickelten ein neues Werkzeug namens STAMP (Spatial-Temporal Adapter with Multi-Head Pooling). Stellen Sie sich STAMP als spezialisierten Übersetzer-Kopfhörer oder einen maßgeschneiderten Adapterstecker vor.

Anstatt den gesamten brillanten Übersetzer von Grund auf neu zu trainieren (was teuer und langsam ist), setzt STAMP auf dem bestehenden Übersetzer auf. Es nimmt das rohe „Verständnis" des Übersetzers für die Daten und fügt eine Schicht spezifischer Anweisungen hinzu, um ihm zu helfen, das einzigartige Layout des Gehirns zu verstehen.

STAMP macht drei Hauptdinge, damit der Übersetzer funktioniert:

1. Die „Namensschilder" (Positional Encodings)

Der Übersetzer weiß von Natur aus nicht, woher ein Signal stammt. Kommt es von der linken Gehirnhälfte? Ist es vor 5 Sekunden gewesen?

Die Analogie: Stellen Sie sich einen Raum voller Menschen vor, die schreien. Der Übersetzer hört das Lärm, weiß aber nicht, wer spricht oder wo sie stehen. STAMP setzt Namensschilder auf alle. Es markiert die Daten mit „Linke Gehirnhälfte", „Rechte Gehirnhälfte", „Zeit 1", „Zeit 2". Dies hilft dem Übersetzer, die Geografie und den Zeitablauf der Gehirnaktivität zu verstehen.

2. Der „Kreuz-Kanal-Mischer" (Criss-Cross GMLP)

Gehirnsignale sind komplex. Die linke Seite könnte die rechte Seite beeinflussen, und ein Signal von vor 2 Sekunden könnte auswirken, was jetzt passiert.

Die Analogie: Stellen Sie sich eine Gruppe von Musikern vor, die verschiedene Instrumente spielen. Ein Standard-Übersetzer würde vielleicht jeden Musiker einzeln hören. STAMP fungiert wie ein Dirigent, der hört, wie der Geiger mit dem Schlagzeuger spricht und wie der Trompeter von vor 10 Sekunden den Saxophonisten jetzt beeinflusst hat. Es betrachtet spezifisch, wie verschiedene Hirnstellen (Raum) und verschiedene Momente (Zeit) miteinander interagieren, anstatt sie nur isoliert zu betrachten.

3. Der „smarte Textmarker" (Multi-Head Attention Pooling)

Nachdem der Übersetzer alle Daten verarbeitet hat, müssen Sie eine endgültige Entscheidung treffen (z. B. „Schläft diese Person?" oder „Hat sie sich vorgestellt, ihre Hand zu bewegen?").

Die Analogie: Stellen Sie sich vor, Sie haben einen 100-seitigen Bericht. Ein naiver Ansatz wäre, jedes einzelne Wort zu lesen und die Bedeutung zu mitteln. STAMP ist wie ein smarter Textmarker. Er scannt den Bericht und sagt: „Hey, diese drei Sätze auf Seite 42 sind für diese Entscheidung am wichtigsten. Ignorieren Sie den Rest." Es lernt, die kritischsten Teile des Gehirnsignals zu gewichten, um die endgültige Vorhersage zu treffen.

Warum das eine große Sache ist

Das Papier testete diesen neuen Adapter an 8 verschiedenen Hirndatensätzen, die Aufgaben wie die Erkennung von Anfällen, die Identifizierung von Emotionen und die Steuerung von Gehirn-Computer-Schnittstellen umfassten.

Das Ergebnis: STAMP schnitt genauso gut ab oder besser als die fortschrittlichsten hirnspezifischen Modelle (EEG Foundation Models), die von Grund auf speziell für Gehirne entwickelt wurden.
Die Effizienz: Die „hirnspezifischen" Modelle sind wie massive Supercomputer mit Millionen von Parametern (Zahnrädern und Getrieben). STAMP ist ein leichtgewichtiges, taschengroßes Werkzeug. Es verwendet etwa 750.000 Parameter, während die spezialisierten Hirnmodelle Millionen verwenden (manchmal 29 Millionen!).
Die Flexibilität: STAMP funktioniert mit verschiedenen „Universalübersetzern" (wie MOMENT, Chronos usw.). Selbst wenn der Übersetzer zuvor nie auf Hirndaten trainiert wurde, kann STAMP ihm helfen, Gehirnsignale effektiv zu verstehen.

Was das Papier nicht behauptet

Es ist wichtig, bei dem zu bleiben, was die Autoren tatsächlich sagten:

Sie behaupteten nicht, dies sei ein Heilmittel für Alzheimer oder ein Weg, Depressionen morgen in einem Krankenhaus zu diagnostizieren. Sie testeten es nur an bestehenden, öffentlichen Datensätzen für Forschungszwecke.
Sie behaupteten nicht, es funktioniere perfekt für jede Aufgabe. Sie stellten fest, dass es bei bestimmten „Emotionserkennungs"-Aufgaben (Identifizierung komplexer Gefühle wie „Ekel" vs. „Angst") etwas Schwierigkeiten hatte, was darauf hindeutet, dass der zugrunde liegende Übersetzer möglicherweise mehr Training mit emotionalen Daten benötigt.
Sie sagten nicht, dass Sie das gesamte System neu trainieren müssen. Das „Gehirn" des Systems (das TSFM) bleibt eingefroren; nur der kleine STAMP-Adapter wird trainiert.

Zusammenfassung

STAMP ist ein cleveres, leichtgewichtiges Add-on, das einen allgemeinen KI-Experten für Zeitreihendaten nimmt und ihm beibringt, wie man Gehirnwellen liest. Dies geschieht, indem man der KI eine Karte des Gehirns (räumlich), eine Uhr (zeitlich) und eine Möglichkeit gibt, sich auf die wichtigsten Signale zu konzentrieren, alles ohne die Notwendigkeit, einen massiven neuen Computer von Grund auf zu bauen.

Technische Zusammenfassung: STAMP: Spatial-Temporal Adapter mit Multi-Head Pooling

Problemstellung

Zeitreihen-Foundation-Modelle (TSFMs), die auf diversen Domänen vortrainiert wurden, haben eine starke Leistung bei verschiedenen Modellierungsaufgaben gezeigt. Parallel dazu wurden spezifische Foundation-Modelle für Elektroenzephalographie-(EEG)-Daten (EEGFMs) entwickelt, um die einzigartigen raumzeitlichen Merkmale der elektrischen Hirnaktivität zu erfassen. Eine vergleichende Analyse zwischen allgemeinen TSFMs und EEG-spezifischen Foundation-Modellen für EEG-Aufgaben wurde jedoch noch nicht durchgeführt. Darüber hinaus integrieren EEGFMs oft komplexe Architekturen, um räumliche und zeitliche Abhängigkeiten zu modellieren, während allgemeine TSFMs Eingaben typischerweise als univariate Zeitreihen behandeln, was sie für EEG-Aufgaben, bei denen räumliche Beziehungen zwischen Kanälen und zeitliche Entwicklung entscheidend sind, von Natur aus unwirksam macht. Eine naive Anwendung von TSFMs auf EEG-Daten (z. B. unter Verwendung eines einfachen Mean Pooling) führt zu einer Leistung, die nahe dem Zufallsniveau liegt.

Methodik

Die Autoren stellen STAMP (Spatial-Temporal Adapter with Multi-Head Pooling) vor, einen leichten, flexiblen Adapter, der auf allgemeinen TSFMs aufsetzt, um eine effektive EEG-Modellierung zu ermöglichen. STAMP nutzt univariate Embeddings, die von einem eingefrorenen TSFM erzeugt werden, und modelliert implizit die raumzeitlichen Merkmale von EEG-Daten durch drei Kernkomponenten:

Positional Encodings (PEs): Um das Fehlen von räumlichem und zeitlichem Kontext in Standard-TSFM-Embeddings zu adressieren, fügt STAMP lernbare Positionseingebungen hinzu. Dazu gehören tokenweise Positionseingebungen ( $p_{ij}$ ), räumliche Eingebungen ( $s_i$ ) und zeitliche Eingebungen ( $t_j$ ). Das modifizierte Embedding wird berechnet als $\tilde{e}_{ij} = e'_{ij} + p_{ij} + s_i + t_j$ , wobei $e'_{ij}$ das dimensionsreduzierte TSFM-Embedding ist. Ablationsstudien zeigen, dass die Verwendung aller drei Eingebungstypen die beste Leistung erzielt.
Criss-Cross Gated MLP (CC-GMLP): Um Beziehungen über das raumzeitliche Gitter hinweg zu erfassen, setzt STAMP eine neuartige CC-GMLP-Architektur ein, die vom Criss-Cross Transformer (CC-TF) und Gated MLPs (GMLP) inspiriert ist. Dieses Modul trennt die Modellierung räumlicher und zeitlicher Beziehungen. Es verarbeitet das Eingabegitter $\tilde{E}$ durch eine Reihe von Blöcken, in denen zeitliche Gating-Einheiten ( $g_T$ ) und räumliche Gating-Einheiten ( $g_S$ ) unabhängig entlang ihrer jeweiligen Achsen arbeiten, bevor sie konkateniert werden. Dies ermöglicht ein parameter-effizientes Lernen von kanalübergreifenden Beziehungen, unabhängig von der spezifischen zeitlichen Entwicklung des Signals.
Multi-Head Attention Pooling (MHAP): Um die gemischten Token-Embeddings für eine endgültige Vorhersage zu aggregieren, nutzt STAMP MHAP. Dieser Mechanismus lernt, die Bedeutung jedes Tokens relativ zur endgültigen Aufgabe zu gewichten. Er projiziert Tokens in niedrigdimensionale Räume, berechnet Attention-Scores gegenüber Query-Vektoren und aggregiert die Ergebnisse. Ein abschließender Aggregationsschritt über die Queries bestimmt die Gesamtbedeutung jedes Heads und erzeugt einen Zusammenfassungsvektor. Dieser wird mit einer Residualverbindung zum Mittelwert der gemischten Token-Embeddings kombiniert, bevor eine letzte lineare Projektion erfolgt.

Der Adapter wird auf einem eingefrorenen TSFM trainiert (hauptsächlich MOMENT Large, aber auch getestet mit MOMENT Small/Base, Chronos und TSPulse). Die Gesamtzahl der trainierbaren Parameter in STAMP beträgt ungefähr 750.000, was nur einen Bruchteil der Millionen von Parametern ausmacht, die in typischen EEGFMs zu finden sind.

Hauptbeiträge

Erste vergleichende Analyse: Die Arbeit bietet die erste vergleichende Analyse von EEG-spezifischen Foundation-Modellen gegenüber allgemeinen TSFMs für EEG-spezifische Aufgaben.
Neuartige Adapter-Architektur: Die Einführung von STAMP, das erfolgreich univariate TSFM-Embeddings für multivariate raumzeitliche EEG-Daten anpasst, ohne dass das TSFM auf EEG-Daten neu trainiert werden muss.
Effizienz: STAMP erreicht eine Leistung, die mit dem Stand der Technik bei EEGFMs (wie CBraMod und LaBraM) vergleichbar ist, verwendet jedoch deutlich weniger trainierbare Parameter (ca. 0,74 M gegenüber 29 M für CBraMod und 5,8 M für LaBraM).
Umfassende Evaluation: Die Methode wurde an 8 Benchmark-EEG-Datensätzen evaluiert, die diverse klinische Aufgaben abdecken, darunter Motor Imagery, mentale Arithmetik, Emotionserkennung und Ereignisklassifikation.

Ergebnisse

Leistung im Vergleich zu Baselines: STAMP erzielt eine Leistung, die der von EEGFMs (CBraMod, LaBraM) ähnlich ist oder diese übertrifft, und übertrifft strikt nicht-Foundation-EEG-Modelle (EEG Conformer, ST-Transformer) über die meisten Datensätze hinweg.
Ablationsstudien:
- Positional Encoding: Die Einbeziehung aller drei Typen von Positional Encodings (Token, räumlich, zeitlich) verbesserte die Leistung konsistent, wobei der Ausschluss von PEs zu den schlechtesten Ergebnissen führte.
- Token Mixing: Die CC-GMLP-Architektur übertraf sowohl einfache GMLP- als auch Transformer-basierte Mixing-Strategien (B-TF, CC-TF) über die Datensätze hinweg.
- Token Aggregation: Während MHAP und Mean Pooling auf den meisten Datensätzen ähnlich performten, bot MHAP auf dem Datensatz BCIC-IV-2a eine signifikante Leistungssteigerung, was auf seine Nützlichkeit beim Erfassen komplexer Token-Beziehungen hindeutet.
TSFM-Kompatibilität: STAMP performte gut mit Embeddings verschiedener TSFMs (MOMENT, Chronos, TSPulse), selbst mit solchen, die nicht auf EEG-Daten vortrainiert wurden (Chronos, TSPulse), was die Generalisierbarkeit des Adapters demonstriert.
Limitationen: STAMP zeigte im Vergleich zu anderen Methoden eine schlechtere Leistung bei Datensätzen zur Emotionserkennung (SEED-V und FACED). Die Autoren vermuten, dass aktuelle TSFMs möglicherweise keine für die feinabgestufte Emotionserkennung relevanten Merkmale extrahieren, da sich die Leistung auch beim Wechsel zu Chronos-Embeddings nicht signifikant verbesserte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass STAMP zeigt, dass allgemeine Zeitreihen-Foundation-Modelle mit minimalen zusätzlichen trainierbaren Parametern effektiv für EEG-Aufgaben angepasst werden können. Die Autoren argumentieren, dass TSFMs zwar „out of the box" im Vergleich zu EEGFMs unterperformen mögen, aber relativ wenige Anpassungen – spezifisch die Hinzufügung von Positional Encodings und einer Token-Mixing-Strategie – ausreichen, um wettbewerbsfähige Ergebnisse zu erzielen.

Die Bedeutung liegt in der potenziellen Reduzierung der Kosten und der Zeit für die Entwicklung von EEG-Lösungen durch die Nutzung bestehender, großskalig vortrainierter TSFMs anstatt des Trainings massiver, domänenspezifischer Foundation-Modelle von Grund auf. Die Autoren stellen fest, dass zwar die Generierung initialer Embeddings Rechenressourcen erfordert, dies jedoch im Voraus und parallel erfolgen kann. Sie schließen, dass STAMP einen flexiblen, parameter-effizienten Weg zur Modellierung von EEG-Daten bietet, obwohl sie anerkennen, dass weitere Untersuchungen für Aufgaben erforderlich sind, bei denen aktuelle TSFMs Schwierigkeiten haben, wie z. B. die feinabgestufte Emotionserkennung.