Technische Samenvatting: Chat-TS: Het verbeteren van multi-modale redenering over tijdreeks- en natuurlijke taalgegevens

Probleemdefinitie

Large Language Models (LLM's) worden steeds vaker ingezet in domeinen zoals de gezondheidszorg, financiën en transport, waar tijdreeksgegevens fundamenteel zijn. Huidige LLM's missen echter het vermogen om te redeneren dat tijdreeksgegevens en bijbehorende tekstuele inhoud simultaan integreert. Bestaande benaderingen zetten tijdreeksen vaak om naar tekstformaten of integreren ze in de modelgewichten, wat frequent de inherente natuurlijke taalbegrip (NLU) en redeneercapaciteiten van het model ondermijnt. Bovendien lijdt het vakgebied aan een schaarste aan multi-modale trainingsdata en een gebrek aan grootschalige benchmarks voor het evalueren van tijdreeksredenering.

Methodologie

De auteurs stellen Chat-TS voor, een framework ontworpen om LLM's in staat te stellen te redeneren over tijdreeks- en tekstgegevens zonder de kerncapaciteiten van de taal te verslechteren. De methodologie bestaat uit drie primaire componenten:

1. Vocabulaire-uitbreiding via Discrete Tokenisatie

In plaats van connectoren te gebruiken om tijdreeksrepresentaties naar tekstembeddings te mappen, breidt Chat-TS de vocabulaire van het LLM uit om tijdreeks-tokens te bevatten.

• Tokenizer: Er wordt een lichtgewicht discrete tokenizer geïntroduceerd die continue numerieke tijdreekswaarden omzet in discrete tokens. Het kwantiseert genormaliseerde tijdreeksbereiken $[-s, s]$ in $K-1$ bins (met $K=8192$) en gebruikt een speciaal token om het einde van een kanaal aan te geven.
• Voordeel: Deze aanpak maakt een bijna perfecte reconstructie van tijdreeksgegevens mogelijk (met name voor sequenties onder de 1.000 punten) zonder dat er complexe encoder-decoder architecturen getraind hoeven te worden die last kunnen hebben van out-of-distribution problemen.

2. Trainingsstrategie

Het framework maakt gebruik van een tweefasige trainingsstrategie om NLU-capaciteiten te behouden terwijl tijdreeksredeneervaardigheden worden verworven:

• Fase 1 (Pre-training): Het model wordt voorgetraind op tijdreeks-tokens. Twee initialisatiemethoden worden verkend: mean initialization (het instellen van nieuwe embeddings op het gemiddelde van bestaande tekst-tokens) en time-series pre-training (alleen de embedding en de finale lineaire lagen ontdooien).
• Fase 2 (Instruction Tuning): Een duale datasetstrategie wordt gebruikt. Het model wordt gefinetuned op een combinatie van:
  • TS-Instruct: Een multi-modale dataset die tijdreeksgegevens koppelt aan tekstuele instructies.
  • Open-Orca: Een grote corpus van pure natuurlijke taal instructiegegevens.
    Dit verweven zorgt ervoor dat het model zijn algemene taalredeneerkracht behoudt terwijl het leert instructies op te volgen die tijdreeksen betreffen.

3. Dataset Curatie

Om het tekort aan data aan te pakken, dragen de auteurs drie nieuwe datasets bij:

• TS Instruct Training Dataset: Een diverse multi-modale dataset gegenereerd met GPT-4o-mini, waarbij real-world tijdreeksen (afkomstig van LOTSA en de Time-Series Classification Archive) worden gekoppeld aan synthetische conversationele instructies die variëren van redenering, classificatie en besluitvorming tot wiskundige analyse.
• TS Instruct QA Gold Benchmark: Een door mensen gevalideerde set van 1.056 meerkeuzevragen ontworpen om multi-modale redeneercapaciteiten te evalueren.
• TS Instruct Quantitative Probing Set: Een subset voor kwantitatieve evaluatie, inclus\nuit wiskunde- en besluitvormingstaken.

Belangrijkste Bijdragen

1. Nieuwe Datasets: De release van de TS Instruct Training Dataset en de TS Instruct QA Gold Benchmark vult een kritiek gat in de literatuur met betrekking tot multi-modale tijdreeks-training en -evaluatie.
2. Architectuur: Een nieuwe aanpak die tijdreeks-tokens direct in de vocabulaire van het LLM integreert, waardoor de noodzaak voor tussenliggende connectoren wordt geëlimineerd en de oorspronkelijke tekstgeneratie- en redeneercapaciteiten van het model behouden blijven.
3. Prestaties: De voorgestelde methode bereikt state-of-the-art prestaties in multi-modale redeneertaken, terwijl de sterke natuurlijke taalvaardigheid behouden blijft.

Experimentele Resultaten

Experimenten werden uitgevoerd met behulp van het Llama 3.1-8B model als basis.

• Tijdreeksredenering: Op de TS Instruct QA Gold Benchmark behaalde Chat-TS een score van 67,22%, waarmee het de basis Llama 3.1-8B (54,22%) en andere baselines zoals Phi-3-medium-4k (64,64%) verslaat. Dit vertegenwoordigt een gemiddelde verbetering van ongeveer 13% ten opzichte van bestaande state-of-the-art baselines.
• Generalisatie: Wanneer getest op de MCQ2TS dataset (een synthetische dataset met tegenfeitelijke redeneertaken die verschillen van de trainingsdata), verbeterde Chat-TS van 36,5% (basismodel) naar 47,6%, wat aantoont dat de prestatiewinsten niet te wijten zijn aan dataset-besmetting.
• Behoud van NLU: Ablatie-studies op MMLU-Pro, Big-Bench-Hard en GPQA benchmarks toonden aan dat alle Chat-TS varianten hun prestaties binnen ±2% van het basis Llama 3.1-8B model hielden. Dit bevestigt dat het integreren van tijdreeksredenering de natuurlijke taalvaardigheden van het model niet degradeert.
• Ablatie-analyse: Modellen die uitsluitend op tijdreeksgegevens zijn getraind (zonder verweven tekst) hadden moeite met het opvolgen van instructies. De beste prestaties werden behaald door modellen die getraind zijn met een mix van Open-Orca tekstdata en TS-Instruct multi-modale data (PreOrcaTS), wat het belang van het verweven van modaliteiten benadrukt.

Betekenis en Beperkingen

Het artikel beweert dat Chat-TS een sterke baseline vestigt voor multi-modale redenering, en aantoont dat LLM's effectief kunnen worden uitgebreid voor tijdreeksanalyse zonder hun fundamentele taalvaardigheden op te offeren. Het werk biedt een verenigd framework voor het afhandelen van tekst en tijdreeksen, ondersteund door open-source modellen, datasets en code.

De auteurs erkennen specifieke beperkingen:

• Tijdreeksgeneratie: De modellen hebben momenteel moeite met nauwkeurige tijdreeksvoorspelling en -generatie, wat de toepassingen in gebieden zoals weersverwachting of financiële voorspelling beperkt.
• Zero-Shot Classificatie: De prestaties op zero-shot tijdreeksclassificatie zijn zwak en resulteren vaak in gokken of herhaling.
• Schaalbaarheid: De experimenten waren beperkt tot een 8B parameter model voor toegankelijkheid; de auteurs suggereren dat het opschalen van datavolume en modelgrootte waarschijnlijk verdere verbeteringen zal opleveren.

Het artikel concludeert dat hoewel Chat-TS de state-of-the-art in tijdreeksredenering vooruit helpt, toekomstig werk de generatiecapaciteiten en de robuustheid van classificatie moet aanpakken om het volledige potentieel van multi-modale LLM's in tijdreeksdomeinen te realiseren.