Technische Samenvatting: Mantis: Een lichtgewicht fundatiemodel voor tijdreeksclassificatie

Probleemstelling

Hoewel fundatiemodellen revoluties hebben teweeggebracht in de computer vision en taalgebieden, blijft hun toepassing op tijdreeksclassificatie (TSC) onderbelicht. De bestaande literatuur richt zich voornelijk op tijdreeksvoorspelling (forecasting), waarbij vaak pre-training paradigma's worden gebruikt (bijv. gemaskeerde reconstructie of autoregressieve modellering) die inherent beter geschikt zijn voor imputatie of voorspelling dan voor discriminatieve taken. Hoewel tijdreeksclassificatie een fundamenteel probleem is binnen diverse domeinen zoals menselijke activiteitsherkenning, gezondheidszorg, financiën en neurowetenschappen, is er een tekort aan fundatiemodellen die specifiek voor deze taak zijn ontworpen. Bovendien vertrouwen bestaande benaderingen vaak op fine-tuning, terwijl er behoefte is aan robuuste zero-shot feature extractie capaciteiten die kunnen generaliseren zonder uitgebreide gelabelde data of parameterupdates.

Methodologie

De auteurs introduceren Mantis, een lichtgewicht, transformer-gebaseerd fundatiemodel dat uitsluitend via zelfgesuperviseerd contrastief leren is voorgetraind op synthetische data. De methodologie is gebouwd op drie kerntechnische pijlers:

1. Tijdreeks Multi-View Tokenizer

Om het Transformer-architectuur effectief aan te passen aan tijdreeksen, gebruikt Mantis een speciale Token Generator Unit die ruwe sequenties naar een vast aantal tokens (32) brengt om de attention-kosten te beheersen. Deze unit verwerkt de input via drie parallelle takken:

• Signaal-tak: Past instantienormalisatie toe, gevolgd door convolutie en mean pooling om patch-niveau kenmerken te extraheren.
• Differentiaal-tak: Past dezelfde patching-procedure toe op het eerste-orde temporele verschil van het signaal om stationariteit te stimuleren en de invloed van langetermijntrends te verminderen.
• Statistiek-tak: Splitst het ruwe (niet-genormaliseerde) signaal in niet-overlappende patches en codeert het gemiddelde en de standaarddeviatie van elke patch met een Multi-Scaled Scalar Encoder.
  Deze kenmerken worden geconcateneerd en lineair geprojecteerd naar token-embeddings.

2. Synthetische Contrastieve Pre-training

In tegenstelling tot veel fundatiemodellen die zijn voorgetraind op real-world datasets (die kunnen overlappen met evaluatiebenchmarks), is Mantis uitsluitend voorgetraind op synthetische data gegenereerd door CauKer.

• Doel: Het model wordt getraind met een zelfgesuperviseerde contrastieve InfoNCE loss. Het doel is om representaties te leren waarbij augmentaties van dezelfde tijdreeks dicht bij elkaar liggen (positieve paren), terwijl representaties van verschillende tijdreeksen ver uit elkaar liggen (negatieve paren).
• Augmentatie: De primaire augmentatiestrategie is Random Crop Resize (RCR), die een segment van de tijdreeks willekeurig afsnijdt en terug schaalt naar de oorspronkelijke lengte. Dit stimuleert invariantie tegen temporele rek en compressie, wat cruciaal is voor classificatie maar minder geschikt is voor forecasting.
• Rationale: Synthetische data bieden een hoge diversiteit en sample-efficiëntie, waardoor het model generaliseerbare representaties leert zonder dat er sprake is van data-lekken uit standaard benchmarks zoals UCR of UEA.

3. Verbeterde Test-Time Methodologie

Om het prestatieverschil tussen fundatiemodellen en gespecialiseerde benaderingen te overbruggen, stellen de auteurs een inferentie-pipeline voor die de bevroren encoder benut:

• Layer-wise Representaties: In plaats van enkel te vertrouwen op de laatste Transformer-laag, maakt het model gebruik van intermediaire laag-representaties. Experimenten tonen aan dat intermediaire lagen vaak meer discriminatieve kenmerken coderen voor classificatietaken, vooral naarmate de hoeveelheid pre-training data schaalt.
• Output-Token Aggregatie: De auteurs stellen voor om de [CLS] token te concateneren met het gemiddelde van de niet-classificatie tokens, om complementaire informatie te vangen die in standaard discriminatieve Transformers vaak verloren gaat.
• Self-Ensembling (SE): De input-tijdreeks (en het eerste-orde verschil ervan) wordt geïnterpoleerd naar meerdere sequentielengtes. Omdat het aantal tokens vaststaat, verandert het variëren van de interpolatielengte het receptieve veld en de overlap tussen tokens, wat resulteert in het genereren van complementaire embeddings die worden geconcateneerd.
• Cross-Model Embedding Fusie: De Mantis-embeddings worden gecombineerd met die van andere fundatiemodellen (bijv. visie-gebaseerde modellen zoals TiViT-H of TiConvNext) om complementaire aspecten van tijdreeksdata te benutten.

Belangrijkste Bijdragen

1. Mantis Architectuur: Een lichtgewicht Transformer-gebaseerd fundatiemodel dat specifiek is afgestemd op tijdreeksclassificatie, voorzien van een nieuwe multi-view tokenisatie strategie.
2. Synthetische Pre-training: Het aantonen dat pre-training uitsluitend op synthetische data via contrastief leren sterke zero-shot generalisatie oplevert, waarbij het beter presteert dan modellen die zijn voorgetraind op real-world data van vergelijkbare omvang.
3. Test-Time Optimalisatie: Het introduceren van een reeks inferentie-technieken (intermediaire laag selectie, token aggregatie, self-ensembling en cross-model fusie) die de zero-shot prestaties aanzienlijk verbeteren zonder dat fine-tuning nodig is.
4. State-of-the-Art Prestaties: Het vestigen van nieuwe state-of-the-art resultaten over meerdere benchmarks (UCR, UEA, HAR, EEG) in het frozen-encoder regime.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op vier diverse dataset-collecties:

• UCR Archive (128 univariate datasets): Mantis en zijn varianten (SE-Mantis, gefuseerde modellen) presteerden consistent beter dan bestaande fundatiemodellen (bijv. MOMENT, Chronos2, TiRex) en gespecialiseerde baselines (bijv. TS2Vec, Catch22+). Mantis behaalde een gemiddelde nauwkeurigheid van 0.8195 op de volledige UCR benchmark, waarmee het de op één na beste fundatiemodellen overtrof.
• UEA Archive (27 multivariate datasets): Mantis presteerde significant beter dan andere modellen met meer dan 2%, met een nauwkeurigheid van 0.7420.
• Human Activity Recognition (HAR) & EEG: Mantis demonstreerde sterke prestaties op domeinspecifieke benchmarks, inclusioneel inertiële meetgegevens en hersen-computer interface signalen, waarbij het vaak visie-gebaseerde adaptaties en andere TSFM's overtrof.
• Efficiëntie: Mantis is zeer efficiënt, met slechts 2,2 miljoen parameters (na pruning) en inferentietijden die vergelijkbaar zijn met statistische baselines zoals Catch22+, wat het geschikt maakt voor omgevingen met beperkte rekenkracht.

Betekenis en Claims

Het artikel claimt dat Mantis een nieuwe state-of-the-art vestigt voor zero-shot tijdreeksclassificatie, en het volgende aantoont:

• Taakspecifieke Pre-training is Cruciaal: Modellen die zijn voorgetraind met objectieven die zijn afgestemd op classificatie (contrastieve loss) en architecturen die zijn afgestemd op TSC, presteren beter dan algemene voorspellingsmodellen.
• Synthetische Data is Levensvatbaar: Pre-training op synthetische data is een zeer sample-efficiënte strategie die data-lekken voorkomt en robuuste out-of-distribution generalisatie afdwingt.
• Intermediaire Lagen zijn Kritiek: De "scaling laws" van pre-training in tijdreeksclassificatie worden tijdens test-time ontsloten door gebruik te maken van intermediaire laag-representaties in plaats van enkel de laatste laag.
• Lichtgewicht Implementatie: Hoge prestaties kunnen worden bereikt met lichtgewicht modellen die geen zware fine-tuning vereisen, wat de implementatie in middelen-beperkte omgevingen vergemakkelijkt.

De auteurs benadrukken dat hun werk de kloof overbrugt tussen het succes van fundatiemodellen in andere modaliteiten en de specifieke behoeften van tijdreeksclassificatie, door een robuuste, lichtgewicht en generaliseerbare oplossing te bieden voor diverse toepassingsdomeinen.