Prompting Underestimates LLM Capability for Time Series Classification

1. Probleemstelling

De huidige consensus in de literatuur suggereert dat Large Language Models (LLMs) slecht presteren op tijdsreeksclassificatie (time-series classification) wanneer ze worden geëvalueerd via prompting (directe instructies in tekst). Dit heeft geleid tot de conclusie dat LLMs geen betekenisvolle temporale structuren in hun interne representaties coderen.

De auteurs van dit paper betogen echter dat deze conclusie een systematische mismatch weerspiegelt tussen wat de modellen intern representeren en hoe die informatie wordt opgehaald via generatie (prompting). Bestaande evaluaties verwarren de prestaties van de prompt-interface met de daadwerkelijke representatieve capaciteit van het model, vaak beïnvloed door prompt-engineering, fine-tuning of extra componenten.

2. Methodologie

Het paper introduceert een vergelijkende studie waarbij twee benaderingen naast elkaar worden getest op dezelfde interne representaties van LLMs en Vision-Language Models (vLLMs):

• Directe Prompting: Het model krijgt een prompt met de tijdsreeksdata (in tekst of als afbeelding) en moet een label genereren via tekstproductie.
• Linear Probing (Hidden Representations): In plaats van de gegenereerde tekst te gebruiken, worden de verborgen staten (hidden states) van het model geëxtraheerd. Er wordt een eenvoudige lineaire classifier (logistische regressie) getraind op deze staten om te voorspellen of de informatie in de interne representaties lineair scheidbaar is.

Data Representaties:
De auteurs testen drie modaliteiten om de input te coderen:

1. Tekst (d): Numerieke waarden worden omgezet in een digit-based tokenisatie (bijv. 1.0, 20 wordt 1 0 0 , 2 0 0 0) om tokenisatieproblemen te voorkomen.
2. Visueel (v): Tijdsreeksen worden gerenderd als lijndiagrammen of spectrogrammen.
3. Multimodaal (d + v): Een combinatie van tekstuele en visuele input.

Experimentele Opzet:

• Modellen: Verschillende LLMs en vLLMs (Llama, Mistral, Qwen, Gemma, GPT-oss).
• Datasets: Zes diverse tijdsreeksdatasets (CTU, EMG, HAD, HAR, RWC, TEE) met verschillende lengtes, variabelen en complexiteit.
• Baselines: Vergelijking met state-of-the-art tijdsreeksmodellen (zoals Moment, TS2Vec, Attend) en heuristische baselines (random, majority).
• Controles: Gebruik van een "Random-Probe" baseline (met willekeurige gewichten) om te bewijzen dat de prestaties niet puur het gevolg zijn van memorisatie door de probe.

3. Belangrijkste Bijdragen

1. Ontkoppeling van Prompt en Representatie: Voor het eerst wordt expliciet onderscheid gemaakt tussen prompt-niveau prestaties en de intrinsieke representatieve capaciteit van LLMs voor tijdsreeksen.
2. Demonstratie van Onderbenutting: Het wordt aangetoond dat eenvoudige lineaire probes consistent beter presteren dan prompting, wat aangeeft dat de relevante tijdsreeksinformatie wel aanwezig is in het model, maar niet toegankelijk is via generatie.
3. Laag-analyse: Door analyse per laag te tonen dat discriminatieve tijdsreeksinformatie al vroeg in de transformer-layers (vaak binnen de eerste 5-10 lagen) ontstaat en wordt versterkt door visuele input.

4. Resultaten

De resultaten tonen een drastisch verschil tussen prompting en probing:

• Prestatieverschil:

  • Prompting: Presteert vaak dicht bij willekeur (bijv. gemiddelde F1-score van 0.15 - 0.26).
  • Probing: Verbetert de gemiddelde F1-score aanzienlijk naar 0.61 - 0.67.
  • Voorbeeld: Bij het EMG-dataset stijgt de F1-score van Llama van 0.175 (prompting) naar 1.00 (probing).

• Vergelijking met State-of-the-Art:

  • De lineaire probes van vLLMs zijn concurrerend met, en soms superieur aan, gespecialiseerde tijdsreeksmodellen (zoals Moment en TS2Vec).
  • Op het EMG-dataset behalen Qwen en Llama met probing perfecte scores (1.00), wat beter is dan gespecialiseerde modellen.

• Invloed van Modaliteit:

  • Visuele input (v) verbetert de prestaties van zowel prompting als probing aanzienlijk, vooral bij vLLMs.
  • Tekst-only input (d) werkt verrassend goed voor probing, wat suggereert dat de tekstuele representatie zelf al significante structurele informatie bevat.

• Prompt Stabiliteit:

  • Prompting is extreem gevoelig voor kleine wijzigingen in de formulering (prompt wording). Een verandering in de prompt kan leiden tot grote schommelingen in de F1-score (gemiddelde variatie $\Delta$ van 0.088).
  • Chain-of-Thought (CoT) en few-shot voorbeelden verbeteren de prestaties niet consistent en kunnen zelfs schadelijk zijn.

• Laag-analyse:

  • Discriminatieve informatie verschijnt vroeg in het model (bijv. laag 1-2 bij Qwen, laag 5 bij Llama).
  • De prestatie van de probe blijft hoog in de diepere lagen, terwijl de random-baseline direct terugvalt, wat aantoont dat de representaties echt leerzaam zijn.

5. Betekenis en Conclusie

De kernconclusie van het paper is dat de waargenomen beperkingen van LLMs op het gebied van tijdsreeksclassificatie niet te wijten zijn aan een gebrek aan temporale representatie in het model, maar aan een tekortkoming in de decoding-interface (prompting).

• LLMs als Feature Extractors: Pre-trained LLMs fungeren als krachtige, robuuste feature-extractors voor niet-taal modaliteiten. De interne staten bevatten rijke, class-discriminerende informatie die lineair scheidbaar is.
• Herdefinitie van Evaluatie: De huidige evaluatiemethoden (alleen prompting) onderschatten systematisch de capaciteit van LLMs. Om het ware potentieel te benutten, moeten we kijken naar hoe we de interne representaties kunnen aflezen, in plaats van te vertrouwen op tekstgeneratie.
• Toekomstperspectief: Dit onderzoek suggereert dat LLMs effectief kunnen worden ingezet als "general-purpose sequence encoders" voor tijdsreeksen, mits de juiste interface (zoals probing of gespecialiseerde decoders) wordt gebruikt, in plaats van te proberen ze te forceren tot tekstuele redenering over numerieke patronen.

Kortom: LLMs begrijpen tijdsreeksen veel beter dan hun prompt-antwoorden doen; het probleem zit hem in hoe we ze vragen, niet in wat ze weten.