Technische Samenvatting: InstructTime++

Probleemstelling

Tijdreeksclassificatie (TSC) heeft traditioneel vertrouwd op een discriminerend modelleringsparadigma dat inputsequenties direct naar one-hot gecodeerde klassenlabels mapt. De auteurs identificeren twee inherente beperkingen in deze aanpak:

1. Exploitatie van Contextuele Kenmerken: Bestaande deep learning-methoden hebben moeite met het effectief integreren van contextuele kenmerken (bijv. leeftijd van de patiënt, geslacht bij medische diagnose), die doorgaans als discrete tekstuele gegevens worden aangeleverd.
2. Semantische Relaties: Het gebruik van one-hot labelverdelingen slaagt er niet in om de semantische relaties tussen klassen te vangen (bijv. de gelijkenis tussen "wandelen" en "joggen" versus "liggen").

Bovendien bieden Large Language Models (LM's) sterke generatieve capaciteiten, maar missen ze de inductieve bias die vereist is om impliciete temporele dynamiek en structurele patronen die inherent zijn aan ruwe numerieke tijdreeksgegevens te vatten.

Methodologie

Het paper stelt een tweestaps-framework voor: InstructTime en de uitbreiding ervan, InstructTime++.

1. InstructTime: Het herformuleren van TSC als een Multimodale Generatieve Taak

InstructTime verschuift het paradigma van discriminatieve mapping naar instructiegestuurde generatieve redenering.

• Multimodale Input: Het framework behandelt continue numerieke sequenties, discrete tekstuele kenmerken en taakspecifieke instructies als afzonderlijke modaliteiten.
• Tijdreeks Discretisatie: Om de kloof tussen modaliteiten te overbruggen tussen continue getallen en discrete tekst, gebruiken de auteurs Vector Quantized (VQ) netwerken. Ruwe tijdreeksen worden gesegmenteerd in patches en gecodeerd naar discrete temporele tokens via een leerbaar codeboek. Dit zet continue sequenties om in een formaat dat compatibel is met de tokenisatie van taalmodellen.
• Prompt Constructie: Een vast prompt-template is ontworpen met daarin:
  • Taakspecifieke instructies (bijv. "U ontvangt ECG-signalen...").
  • Contextuele kenmerken (bijv. "Leeftijd: Ouderen").
  • Discrete temporele tokens (gerepresenteerd als <TS-Tokens>).
• Hybride Codering & Alignment: Een alignment projectielaag (geïmplementeerd als een MLP) brengt de discrete temporele tokens in kaart naar de embedding space van het taalmodel.
• Trainingsstrategie:
  • Generatieve Zelf-gesuperviseerde Pre-training: Een cross-domein pre-training fase brengt de representaties van temporele tokens in lijn met natuurlijke taalwoorden, wat de domein-generalisatie versterkt.
  • Supervised Fine-Tuning (SFT): Het uitgelijnde model wordt gefinetuned op specifieke downstream taken met gelabelde data, waarbij het model tekstuele beschrijvingen van het klassenlabel genereert in plaats van een waarschijnlijkheidsverdeling over klassen te voorspellen.

2. InstructTime++: Impliciete Kenmerkverbetering

In het besef dat InstructTime leunt op expliciete kenmerken en mogelijk structurele patronen mist door het gebrek aan temporele inductieve bias in LM's, introduceert InstructTime++ een module voor Impliciete Kenmerkextractie.

• Gespecialiseerde Toolkits: Het framework maakt gebruik van externe toolkits om informatieve patronen uit ruwe tijdreeksen en contextuele inputs te minen, en vertaalt deze naar tekstuele beschrijvingen.
  • Statistische Kenmerken: Regelgestuurde extractie van distributieve statistieken (gemiddelde, variantie, scheefheid), complexiteitsmaten (sample entropy) en langetermijngedrag (trends, periodiciteit).
  • Visuele Kenmerken: Gebruik van Vision-Language Models (VLM's) om 2D-visualisaties van de tijdreeksen te analyseren, waarbij perceptie-gestuurde structurele patronen (globale trends, lokale vormen) worden geëxtraheerd.
• Kenmerkfusie: Deze geëxtraheerde impliciete kenmerken worden omgezet in gestructureerde natuurlijke taalbeschrijvingen en toegevoegd aan het prompt-template naast de expliciete kenmerken.
• Verenigde Redenering: Het taalmodel redeneert gezamenlijk over expliciete instructies, contextuele gegevens en de nieuw toegevoegde impliciete tekstuele beschrijvingen om de uiteindelijke classificatie te genereren.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Stelt voor om TSC te herformuleren als een multimodale generatieve taak, wat de natuurlijke integratie van tekstuele contextuele kenmerken en het modelleren van semantische relaties tussen klassen mogelijk maakt.
2. Modality Alignment: Introduceert een strategie voor tijdreeks-discretisatie met behulp van VQ-netwerken en een alignment projectielaag om de inconsistentie tussen numerieke en tekstuele modaliteiten op te lossen.
3. Impliciete Kenmerkmodellering: Breidt het framework uit naar InstructTime++ door gespecialiseerde toolkits te integreren voor statistische en visuele kenmerkextractie, om zo het beperkte inductieve bias van standaard LM's in het vatten van temporele dynamiek te compenseren.
4. Instructie-gestuurd Framework: Demonstreert een verenigde aanpak waarbij taakspecifieke instructies het generatieve proces sturen, wat cross-domein transfer en generalisatie vergemakkelijkt.

Experimentele Resultaten

De auteurs hebben InstructTime en InstructTime++ geëvalueerd op meerdere benchmark-datasets, waaronder EEG, ECG, Human Activity Recognition (HAR), Fault Detection (FD), Right Whale Calls (RWC), Epilepsy (EP) en Spoken Arabic Digits (SAD).

• Prestaties: InstructTime++ Adapt (die zowel cross-domein pre-training als domeinspecifieke fine-tuning met impliciete kenmerken incorporeert) behaalde state-of-the-art prestaties op de meeste datasets en presteerde beter dan discriminatieve baselines (CNN's, Transformers, TCN's) en andere generatieve benaderingen (GPT-As-Classifier).
• Ablatie-studies:
  • Cross-Domein Pre-training: Verbeterde de prestaties aanzienlijk, met name op datasets met complexe temporele dynamiek (EEG, ECG), wat de rol ervan bevestigt bij het leren van domein-invariante representaties.
  • Impliciete Kenmerken: Het verwijderen van ofwel statistische of visuele impliciete kenmerken leidde tot prestatievermindering, waarbij visuele kenmerken kritischer waren voor HAR/EEG en statistische kenmerken voor ECG/RWC. Dit bevestigt de complementaire aard van deze kenmerken.
  • Instructie Tekst: Het verwijderen van instructietekst tijdens de pre-training veroorzaakte een aanzienlijke daling in prestaties, wat de rol ervan bij het uitlijnen van numerieke representaties met semantische taken valideert.
  • Backbone Schaling: Een middelgrote backbone (Qwen3-0.6B) leverde vaak de beste balans tussen prestaties en efficiëntie, wat suggereert dat het simpelweg opschalen van de modelgrootte geen betere resultaten garandeert voor TSC.

Betekenis en Claims

Het paper claimt dat InstructTime++ de beperkingen van traditionele discriminatieve TSC-methoden effectief aanpakt door:

• De naadloze integratie van heterogene databronnen (numerieke tijdreeksen en tekstuele context) mogelijk te maken.
• Semantische relaties tussen klassen te vangen via generatieve tekstuele output in plaats van rigide one-hot vectoren.
• Het gebrek aan temporele inductieve bias van LM's te overwinnen door impliciete structurele en statistische patronen expliciet te minen en te vertalen naar de taalmodaliteit.

De auteurs concluderen dat dit werk de weg vrijmaakt voor agentic time series classification, waarbij modellen autonoom externe tools en iteratieve redenering kunnen inzetten voor meer adaptieve, contextbewuste besluitvorming. Het framework wordt gepresenteerd als taak-agnostisch, met potentiële uitbreidingen naar forecasting en anomaliedetectie.