Technische Samenvatting: Chronicle

Probleemstelling

Tijdreeksdata uit de echte wereld is van nature multimodaal, vergezeld van tekstuele metadata, beschrijvingen, nieuws en rapporten. Bestaande foundation-modellen voor tijdreeksen (TSFMs) verwerken echter numerieke sequenties geïsoleerd, zonder mechanismen om deze tekstuele context te integreren. Omgekeerd lijden multimodale modellen die proberen taal en tijdreeksen te verbinden aan drie systemische beperkingen:

1. Post-hoc Aanpassing: Ze vertrekken allemaal van een vooraf getraind taalmodel (LLM) en passen dit aan voor tijdreeksen. Bijgevolg worden hun interne representaties uitsluitend gevormd door tekst, waardoor de tijdreeksmodale gedwongen wordt in een representatieruimte te passen die niet is ontworpen voor temporale data.
2. Evaluatiekloven: Deze modellen worden zelden geëvalueerd tegen state-of-the-art unimodale foundation-modellen in beide domeinen (toegewijde TSFMs of toegewijde LLMs), waardoor de noodzaak van gezamenlijke training onbewezen blijft.
3. Architecturale Opblazing: Veel modellen richten zich op conversationeel redeneren en vereisen enorme backbones (8–14B parameters), waarbij het doel van het leren van algemene temporale representaties wordt verward met het bouwen van redeneeragenten.

De centrale vraag die wordt behandeld, is of een compact model hoogwaardige representaties voor zowel tekst als tijdreeksen vanaf nul kan leren zonder catastrofale interferentie, en of gezamenlijke pretraining noodzakelijk is in vergelijking met het aanpassen van vooraf getrainde LLMs.

Methodologie

De auteurs presenteren Chronicle, een decoder-only transformer met 324M parameters die vanaf nul is getraind op natuurlijke taal en tijdreeksen binnen één geünificeerde architectuur.

Architectuur

• Gedeelde Backbone: Beide modaliteiten delen dezelfde 16-laagse transformerblokken, het attentiemechanisme en de residustroom. Modale specifieke componenten zijn beperkt tot de input- en outputinterfaces.
• Inputrepresentatie:
  • Tekst: Getokeniseerd via een BPE-vocabulaire van 131k entries met gekoppelde embeddings aan de outputkop.
  • Tijdreeksen: Volgend op PatchTST-FM en Chronos-2 worden reeksen gestandaardiseerd (alleen zichtbare waarden) en getransformeerd via de inverse hyperbolische sinus om uitschieters te onderdrukken. Ze worden opgesplitst in niet-overlappende patches ($P=32$). Elke patch wordt weergegeven door een 4P-dimensionaal featurevector dat een tijdsramp, genormaliseerde waarden, een geldigheidsmasker en een kanaalramp (voor multivariate inputs) concateneert. Deze worden geprojecteerd naar de gedeelde embeddingsdimensie ($d=1024$).
• Outputkoppen:
  • Tekst: Een gekoppelde taalmodelkop met logit soft-capping, geoptimaliseerd via cross-entropy ($L_{CE}$).
  • Tijdreeksen: Een quantilekop die 21 quantileniveaus voorspelt ($\tau \in [0.05, 0.95]$), geoptimaliseerd via gemaskeerde quantile-verlies ($L_{QL}$).
• Trainingsdoel: Het totale verlies is een gewogen som $L = w_{text}L_{CE} + w_{TS}L_{QL}$, met gewichten $w_{text}=1.0$ en $w_{TS}=2.5$ om de gradiëntbijdragen in evenwicht te brengen gezien het schaalverschil tussen de verliezen.

Trainingsstrategie

Chronicle hanteert een tweestaps pretrainingproces:

1. Fase 1 (Unimodale Pretraining): Het model wordt getraind op een 92/8-mix van alleen-tekst- en alleen-tijdreeks-batches. Dit zorgt ervoor dat de backbone robuuste representaties voor elke modale onafhankelijk leert. De tekstdata komt van FineWeb-Edu en Dolmino-mix; tijdreeksdata komt van GiftEvalPretrain, aangevuld met KernelSynth.
2. Fase 2 (Cross-modale Uitlijning): De contextlengte wordt uitgebreid naar 4096. Een klein deel (5%) van de tijdreeks-tokens wordt vervangen door verweven tekst- en tijdreekssequenties (van ChatTS en Merrill et al.) om expliciete cross-modale correspondenties tot stand te brengen. Het grootste deel van de training blijft unimodaal om modale specifieke capaciteiten te behouden.

Belangrijkste Bijdragen

1. Gezamenlijke Pretraining vanaf Nul: Chronicle is het eerste model dat tekst en tijdreeksen end-to-end leert vanuit willekeurige initialisatie binnen één gedeelde transformer-backbone, in plaats van een vooraf getrainde LLM aan te passen.
2. Rigoureuze Cross-domein Evaluatie: Het model wordt geëvalueerd tegen toegewijde foundation-modellen in beide domeinen (schaal-gelijkgestelde LLMs voor NLU en toegewijde TSFMs voor forecasting/classificatie), waarmee een langdurige kloof in de literatuur over multimodale tijdreeksen wordt aangevuld.
3. Sterke Prestaties met Bevroren Backbone: Chronicle behaalt state-of-the-art resultaten op multimodale taken zonder hertraining van de backbone per dataset, wat aantoont dat een compact model kan dienen als een algemene representatie-engine.

Resultaten

Taalbegrip (NLU)

Geëvalueerd op 19 NLU-taken (DCLM-suite), bereikt Chronicle (Fase 2) een gemiddelde nauwkeurigheid van 0,406, wat gelijkstaat aan Gemma-3-270M-PT (0,406) en beter presteert dan GPT-2 (0,324). Opmerkelijk is dat dit wordt bereikt ondanks het zien van slechts ~138B teksttokens, ongeveer 43–87 keer minder dan zijn schaal-gelijkgestelde concurrenten die alleen op tekst zijn getraind. Dit valideert dat het toewijden van ~8% van de rekenkracht aan tijdreeksen geen catastrofale interferentie veroorzaakt.

Zero-Shot Probabilistische Forecasting (GIFT-Eval)

Op de GIFT-Eval-benchmark (97 taken) bereikt Fase 1 (pure unimodale training) een MASE van 0,978 en een CRPS van 0,690, wat beter is dan diverse supervised baselines (bijv. N-BEATS, DLinear) en statistische methoden, hoewel het achterblijft bij toegewijde TSFMs zoals PatchTST-FM-r1. Fase 2 toont een lichte prestatiedaling (MASE 1,053) door de uitlijnfase, wat een afweging benadrukt tussen pure forecastprestaties en multimodale transfercapaciteit.

Downstream Multimodale Taken

• Multimodale Classificatie (TimeCAP): Chronicle presteert beter dan alle MM-TSFlib- en FM Fusion-baselines. Fase 2 met LoRA ($r=64$) bereikt de beste macro-F1 (0,613) en AUC (0,757).
• Multimodale Forecasting (Time-MMD): Chronicle Fase 2 (Linear Probe) bereikt de beste algehele genormaliseerde MAE (0,514) en gemiddelde rang (2,56), en verslaat de sterkste baselines (bijv. BERT+TNet bij 0,621).
• Tijdreeksclassificatie (UCR/UEA): Op 24 datasets zet Chronicle Fase 1 een nieuwe maatstaf voor classificatie met bevroren embeddings met 0,736 nauwkeurigheid en 0,712 F1, en presteert beter dan toegewijde TSFMs zoals Moirai-2 (0,714) en TimesFM (0,611).

Technische Nuances

• Tokenherhaling: Voor korte tijdreeks-taken (TimeCAP) verbetert het herhalen van het tijdreeks-tokenblok ($r=64$) de prestaties aanzienlijk door de ratio tekst-naar-TS-tokens in de gedeelde sequentie te herbekijken.
• Kanaalbewustzijn: Het expliciet coderen van kanaalidentiteit in multivariate inputs verbetert de classificatieprestaties gemiddeld ten opzichte van mean-channel pooling.

Betekenis en Claims

Het artikel stelt dat Chronicle aantoont dat tekst en tijdreeksen een transformer-backbone kunnen delen zonder catastrofale interferentie, wat de heersende aanname uitdaagt dat multimodale tijdreeksmodellen een vooraf getrainde LLM moeten aanpassen.

De auteurs betogen dat gezamenlijke pretraining vanaf nul een meer directe weg is naar algemene temporale representaties. Hoewel er een kloof blijft tussen Chronicle en toegewijde TSFMs in pure forecasting (toegeschreven aan toewijzing van rekenkracht en het causale next-patch-doel), verenigt het model succesvol taalbegrip en temporale representatie in een compacte architectuur van 324M parameters. De resultaten suggereren dat de voordelen van multimodaliteit niet louter een functie zijn van het toevoegen van tekst aan een bevroren LLM, maar kunnen voortkomen uit een geünificeerd trainingsparadigma waarbij beide modaliteiten de representaties vanaf het begin vormgeven.