Technische Samenvatting: GPT2MEG: Kwantisering van MEG voor Autoregressieve Generatie

Probleemstelling

Magnetoencefalografie (MEG) en gerelateerde elektrofysiologische opnames bieden milliseconde-resolutie metingen van grootschalige hersendynamiek, maar zijn moeilijk te modelleren vanwege de hoge dimensionaliteit, sterke temporele structuur en aanzienlijke variabiliteit tussen subjecten en opstellingen. Hoewel recente zelfgesuperviseerde foundation-modellen er succesvol in zijn geslaagd om overdraagbare representaties te leren van ongelabelde neurale data met behulp van gemaskeerde of contrastieve doelstellingen (bijv. voor classificatie of regressie), blijven autoregressieve generatieve foundation-modellen die in staat zijn om realistische, continue multichannel neurale tijdreeksen te simuleren, relatief onverkend, in het bijzonder voor MEG. Bestaande benaderingen missen vaak het vermogen om dataugmentatie, onzekerheidsbewuste decodering of mechanistische hypothesetests te ondersteunen via de realistische simulatie van taak-geëvoceerde activiteit.

Methodologie

Kernbenadering

De auteurs stellen GPT2MEG voor, een autoregressief Transformer-model dat is aangepast voor sensor-niveau MEG. De centrale uitdaging die wordt aangepakt, is het toepassen van een discrete-token taalmodelarchitectuur (GPT-2) op continue, hoogfrequente, multichannel tijdreeksen.

Kwantisering en Tokenisatie

Om de kloof tussen continue MEG-signalen en discrete taalmodelinputs te overbruggen, gebruiken de auteurs een eenvoudige kwantiseringsmethode:

1. Preprocessing: Elk kanaal wordt geschaald naar $(-1, 1)$.
2. Companding: Een $\mu$-law companding-transformatie wordt toegepast om de distributie te scheef te trekken, waarbij meer kwantiseringsniveaus worden toegewezen aan kleinere magnitudes.
3. Discretisatie: Het getransformeerde signaal wordt uniform ingedeeld in $Q=256$ discrete tokens.
   Deze discretisatie maakt het mogelijk om het model te trainen met cross-entropy loss op next-token prediction, waardoor de gemiddelde-voorspellingsbias (mean-prediction bias) die vaak bij MSE-regressie voorkomt, wordt vermeden.

Modelarchitectuur

De auteurs evalueren twee klassen van autoregressieve modellen die puur getraind zijn op next-step voorspelling:

1. Gemodificeerde Multichannel WaveNet Varianten:
   • WavenetFullChannel (WFC): Behandelt kanalen als een batch-dimensie. Een gedeelde causale gedilateerde-convolutie stack wordt onafhankelijk op elk kanaal toegepast, waarbij kanaalidentiteit wordt geleverd via per-kanaal embeddings.
   • WavenetFullChannelMix (WFCM): Voegt een geleerde mixing-projectie toe aan de skip-representatie om informatie tussen kanalen te delen.
2. GPT2MEG (Transformer):
   • Past de GPT-2 decoder-only architectuur aan.
   • Input Embeddings: Het model ontvangt getokeniseerde inputs ($X$) die worden uitgebreid met drie soorten embeddings die elementgewijs worden toegevoegd:
     • Positional Embeddings ($W_p$): Voor de temporele structuur.
     • Channel Embeddings ($W_c$): Distincte geleerde vectoren voor elk van de $C$ sensoren om kanaalspecifieke kenmerken te verwerken.
     • Subject Embeddings ($W_o$): Om het model te schalen over meerdere subjecten.
     • Task/Condition Embeddings ($W_y$): Tijd-uitgelijnde labels (bijv. stimulus identiteit) om conditionele generatie mogelijk te maken.
   • Kanaalonafhankelijkheid: Opvallend genoeg behandelt het basis GPT2MEG-model kanalen als een batch-dimensie (univariaat per kanaal) tijdens de forward pass, waarbij vertrouwd wordt op embeddings om kanalen te onderscheiden in plaats van expliciete cross-kanaal mixing-lagen, hoewel de auteurs dit erkennen als een beperking met betrekking tot het modelleren van cross-kanaal afhankelijkheden.

Evaluatiemetrieken

De auteurs beargumenteren dat één-stap voorspellingsnauwkeurigheid onvoldoende is om generatieve modellen te evalueren. In plaats daarvan leggen zij de nadruk op long-horizon generatiemetrieken:

• Spectrale Getrouwheid (Spectral Fidelity): Power Spectral Density (PSD) vergelijkingen.
• Multivariate Dynamiek: Samenvattende statistieken (fractional occupancy, mean lifetime, switching rate) van een 12-state Hidden Markov Model (HMM) die gefit is op de gegenereerde versus de echte data.
• Taak-geëvoceerde Structuur: Trial-gemiddelde geëvoceerde responsen onder taak-conditionering.
• Downstream Bruikbaarheid: Decodering prestaties wanneer classifiers getraind worden op gesimuleerde trials (transfer learning).

Belangrijkste Bijdragen

1. GPT2MEG Architectuur: Introductie van een autoregressieve Transformer voor MEG die gebruikmaakt van discrete tokenisatie gecombineerd met kanaal-, subject- en stimulus-embeddings om de conditionele generatie van realistische neurale tijdreeksen mogelijk te maken.
2. Benchmarking Voorbij Eén-Stap Nauwkeurigheid: Demonstratie dat één-stap voorspellingsnauwkeurigheid zwak informatief is voor long-horizon gedrag. Het artikel stelt vast dat hoewel diepe modellen en lineaire AR-baselines vergelijkbare één-stap nauwkeurigheid kunnen hebben, Transformers significant beter presteren in het reproduceren van langetermijn spectrale, dynamische en taak-geëvoceerde statistieken.
3. Multi-Subject Schaling: Succesvolle schaling van het model naar meerdere subjecten via subject-embeddings, wat aantoont dat een multi-subject model subject-specifieke data kan genereren die downstream decodering via transfer learning verbetert.
4. Conditionele Generatie: Validatie dat het model taak-geëvoceerde responsen kan genereren die de amplitude, timing en trial-to-trial variabiliteit van echte MEG-data nauwkeurig benaderen wanneer geconditioneerd op stimulus labels.

Resultaten

• Eén-stap Voorspelling: Alle modellen (WaveNet varianten, GPT2MEG, en lineaire AR) presteerden slechts matig beter dan een naïeve "herhaal vorige tijdstap" baseline in termen van top-1 nauwkeurigheid. Dit suggereert dat next-step voorspellingsnauwkeurigheid niet sterk correleert met de kwaliteit van long-horizon generatie.
• Spectrale Getrouwheid: GPT2MEG en WaveNet varianten reproduceerden de karakteristieke $1/f$ vorm en alpha/beta band pieken (10 Hz, 19 Hz) van echte MEG. Echter, WaveNet varianten vertoonden een verminderde power bij de 19 Hz piek vergeleken met GPT2MEG.
• Multivariate Dynamiek (HMM): GPT2MEG was superieur in het vastleggen van de distributie van HMM staat-dynamiek (bijv. switching rates, state lifetimes). Lineaire AR en WaveNetMix faalden in het produceren van data met variabele staat-statistieken, terwijl GPT2MEG de variantie en het gemiddelde van de echte datadistributies het dichtst benaderde.
• Taak-geëvoceerde Respons: GPT2MEG genereerde succesvol geëvoceerde responsen met de juiste amplitude en timing (bijv. visuele responsen op stimulus offset) die nauw aansloten bij echte data. In contrast hiermee faalden de WaveNet modellen in het vastleggen van de geëvoceerde tijdscursus-vorm.
• Transfer Learning:
  • Classifiers getraind op GPT2MEG-gegenereerde data behaalden aanvankelijk een lagere nauwkeurigheid dan die getraind op echte data.
  • Echter, het pretrainen van een decoder op GPT2MEG-gegenereerde data (40–60 trials per conditie) gevolgd door het fine-tunen op een kleine hoeveelheid echte MEG data (20 trials) verbeterde de decoderingsnauwkeurigheid aanzienlijk vergeleken met alleen trainen op echte data.
  • Elke extra 20 gegenereerde trials per conditie verbeterde de uiteindelijke decoderingsnauwkeurigheid op echte MEG validatie-trials met ongeveer 2%.
• Ablatie Studies: Het verwijderen van kanaal- of conditie-embeddings degradeerde de prestaties, wat de noodzaak ervan bevestigt. Modellen getraind met geschudde labels of enkele labels slaagden er niet in om onderscheidende geëvoceerde responsen te genereren, wat bewijst dat het model vertrouwt op de semantische inhoud van de conditionering, en niet enkel op temporele templates.

Betekenis en Claims

Het artikel claimt dat GPT2MEG een belangrijke stap vertegenwoordigt richting het bouwen van autoregressieve generatieve foundation-modellen voor MEG. Door de architectuur van taalmodellen te hergebruiken via een eenvoudige kwantiserings- en embedding-methode, demonstreren de auteurs dat Transformers de temporele, spectrale en taak-geëvoceerde statistieken van echte neurale data beter kunnen reproduceren dan WaveNet varianten of lineaire autoregressieve baselines.

De betekenis ligt in het potentieel voor dataugmentatie in scenario's met schaarse data voor decodering en het vermogen om mechanistische hypothesetests uit te voeren door realistische neurale dynamiek te simuleren. De auteurs merken bescheiden op dat hoewel hun experimenten kleinschalig zijn, het framework het potentieel heeft om te schalen naar foundation-modellen voor hersensignalen. Ze stellen expliciet dat de huidige kanaalonafhankelijke architectuur een beperking is en dat toekomstig werk de cross-kanaal afhankelijkheden en flexibelere conditionering voor diverse stimulus-modaliteiten moet aanpakken.

Erkende Beperkingen:

• De kanaalonafhankelijke aard van het GPT2MEG-model betekent dat het geen directe cross-kanaal informatie kan benutten voor single-sensor voorspellingen.
• Eén-stap voorspellingsnauwkeurigheid is een slechte proxy voor generatieve kwaliteit.
• De afhankelijkheid van categorische taaklabels beperkt de schaalbaarheid naar diverse taken zonder robuuste representatie-lering voor stimuli (bijv. afbeeldingen, audio).
• Gegenereerde data komt momenteel niet volledig overeen met de complexiteit van echte neurale data wat betreft de trial-to-trial variabiliteit in staat-activaties.