Technische Samenvatting: MedTS-TTT

Probleemstelling

Medische tijdreeks-signalen (MedTS), zoals elektro-encefalografie (EEG) en elektrokardiografie (ECG), zijn cruciaal voor klinische besluitvorming. Hoewel deep learning-modellen sterke prestaties hebben bereikt in end-to-end classificatie, worden ze geconfronteerd met een fundamentele uitdaging: substantiële heterogeniteit op subjectniveau. Deze heterogeniteit induceert distributieverschuivingen op subjectniveau, waardoor modellen die getraind zijn op vaste parametersetsets slecht generaliseren naar onbekende individuen, zelfs wanneer hetzelfde dataset en dezelfde acquisitieprotocollen worden gebruikt.

Bestaande oplossingen zoals Domain Adaptation (DA) vereisen vaak aanvullende adaptatiemodules of vertrouwen op target-batch statistieken, wat hen moeilijk inzetbaar maakt in real-world klinische workflows waar data sequentieel binnenkomen en verschuivingen op subjectniveau in de loop van de tijd evolueren. Bovendien, hoewel Test-Time Training (TTT) een veelbelovend alternatief biedt door online adaptatie mogelijk te maken van ongelabelde test-samples, vertrouwen veel representatieve TTT-methoden op iteratieve inner-loop optimalisatie. Dit iteratieve proces verhoogt de computationele overhead tijdens de testtijd, wat hen ongeschikt maakt voor latency-gevoelige medische toepassingen die efficiënte per-sample inferentie vereisen.

Methodologie

De auteurs stellen MedTS-TTT voor, een end-to-end test-time training framework ontworpen om distributieverschuivingen op subjectniveau aan te pakken zonder extra labels of architecturale wijzigingen te vereisen. Het framework bestaat uit twee primaire componenten:

1. Spatiotemporele Tokenizer

Om multi-channel medische signalen ($X \in \mathbb{R}^{B \times C \times T}$) te verwerken, zet het model deze eerst om in een token-sequentie ($H \in \mathbb{R}^{B \times L \times D}$). Dit omvat:

• Temporele Encodering: Channel-wise temporele convoluties om kortetermijndynamiek en spectrale structuren te extraheren.
• Spatiële Fusie: Channel-afhankelijke spatiële convoluties om multi-channel informatie te aggregeren.
• Patch Embedding: Het partitioneren van de temporele as en het projecteren van patches naar tokens met leerbare positionele embeddings.

2. Closed-Loop Self-Alignment Test-Time Training (CLSA-TTT)

Dit is het kernadaptatiemechanisme dat is geïntegreerd in elke backbone-laag. In tegenstelling tot traditionele TTT die iteratieve optimalisatie gebruikt, voert CLSA-TTT een single-step fast-weight update uit:

• Fast-Slow Parameterisatie: Het model behoudt "slow" parameters voor stabiele representatie en "fast" parameters ($W_{fast}$) die per sample worden bijgewerkt.
• Self-Supervised Objectief: De methode construeert een token-niveau self-supervised target. Het projecteert de input naar Query ($Q$), Key ($K$) en Value ($V$) representaties. De fast parameters transformeren $K$ naar $Z$. Het objectief minimaliseert de residu tussen de genormaliseerde getransformeerde key en het verschil tussen value en key:
  $$\mathcal{L}_{TTT} = \frac{1}{2} \| \text{LN}(Z) - (V - K) \|_2^2$$
• One-Step Update: De fast parameters worden bijgewerkt via een enkele Stochastic Gradient Descent (SGD) stap met de gradiënt van de loss met betrekking tot $Z$. Dit maakt snelle, sample-wise adaptatie mogelijk zonder iteratieve inner loops.

3. Gated Convolutional Backbone (GCB)

Om een balans te vinden tussen lokale dynamische modellering en informatie-flow controle, maakt het framework gebruik van een Gated Convolutional Backbone. Elke laag combineert:

• Short-Range Convolution: Een depthwise convolutie ($F_{dw}$) om korte termijn waveform variaties en lokale ritmische cues te vangen.
• Gated Fusion: Een gating mechanisme splitst de latente representatie in een hoofdbranch (verwerkt door convolutie en CLSA-TTT) en een gating branch. De twee worden gefuseerd via element-wise vermenigvuldiging voordat ze terug worden geprojecteerd naar de oorspronkelijke dimensie. Deze structuur stabiliseert de informatie-fusie terwijl het de CLSA-TTT module in staat stelt om one-step self-alignment uit te voeren.

Belangrijkste Bijdragen

1. MedTS-TTT Framework: Een nieuw test-time training framework specifiek ontworpen voor medische tijdreeksen dat distributieverschuivingen op subjectniveau mitigeert.
2. CLSA-TTT Mechanisme: Een closed-loop self-alignment methode die een token-niveau self-supervised target construeert en een single-step fast-weight update uitvoert. Dit elimineert de noodzaak voor iteratieve inner-loop optimalisatie, wat de test-time overhead aanzienlijk vermindert.
3. Gated Convolutional Backbone (GCB): Een sequentie modelleringsarchitectuur die CLSA-TTT integreert met gated convoluties om effectief een balans te vinden tussen lokale dynamische modellering en informatie-flow controle.
4. Empirische Validatie: Uitgebreide evaluatie op 4 publieke datasets (2 EEG, 2 ECG) die robuustheid demonstreert in subject-onafhankelijke settings.

Experimentele Resultaten

De auteurs evalueerden MedTS-TTT op vier publieke datasets (APAVA, ADFTD, PTB, en PTB-XL) met behulp van subject-onafhankelijke splits om real-world cross-subject scenario's te simuleren.

• Prestaties: MedTS-TTT behaalde 11 top-1 rangeringen uit 12 evaluaties over 9 baselines (inclusief MedFormer, MedGNN, en diverse Transformer varianten) en 3 metrieken (Accuracy, F1 score, AUROC).
• Gemiddelden: Over de vier datasets bereikte MedTS-TTT een gemiddelde Accuracy van 75,18%, F1 score van 70,20%, en AUROC van 86,86%. Dit vertegenwoordigt verbeteringen van respectievelijk 0,90%, 0,65% en 0,83% ten opzichte van de sterkste baseline (MedGNN).
• Ablatie-studies:
  • Het verwijderen van CLSA-TTT resulteerde in de grootste prestatiedaling (gemiddelde afname in accuracy van 5,04%), wat bevestigt dat test-time training de primaire bron van robuustheid is.
  • Het vervangen van CLSA-TTT door een standaard (Vanilla) TTT update verminderde de gemiddelde accuracy met 3,63%, wat de effectiviteit van de closed-loop single-step alignment valideert.
  • Het verwijderen van de GCB verminderde de gemiddelde accuracy met 4,93%, wat de complementaire rol ervan benadrukt.
• Efficiëntie: Vergeleken met Vanilla TTT verminderde CLSA-TTT de p50 en p95 latency met ongeveer 50% en verdubbelde de throughput bijna (99,90% toename), waardoor het zeer geschikt is voor latency-gevoelige toepassingen.

Betekenis en Claims

Het artikel claimt dat MedTS-TTT een praktische en efficiënte oplossing biedt voor medische tijdreeksclassificatie in real-world settings waar distributieverschuivingen op subjectniveau veel voorkomen. Door online adaptatie van ongelabelde test-samples mogelijk te maken zonder iteratieve optimalisatie, adresseert de methode de beperkingen van zowel statische modellen als computationeel dure adaptatietechnieken.

De auteurs benadrukken dat hun aanpak een consistente robuustheid biedt onder subject-onafhankelijke evaluatie, wat cruciaal is voor klinische implementatie waarbij modellen moeten generaliseren naar onbekende patiënten. De combinatie van snelle single-step adaptatie en een gespecialiseerde backbone architectuur stelt het model in staat om hoge prestaties te behouden terwijl het voldoet aan de strikte latency en computationele beperkingen van klinische omgevingen. Toekomstig werk richt zich op het verkennen van efficiëntere adaptatieregels en bredere settings, inclus\text{_}ive langer stromende sequenties en grotere multi-center cohorten.