Technische Samenvatting: Heroverweging van Post-Training Recepten voor Multimodale Tijdreeksvoorspelling (POSTTIME)

Probleemformulering

Tijdreeksfundamentmodellen (TSFMs) hebben state-of-the-art zero-shot prestaties behaald op unimodale voorspellingbenchmarks door gebruik te maken van uitgebreide corpora van historische numerieke data. Echter, real-world voorspelling is zelden unimodaal; toekomstige trajecten worden frequent gevormd door exogene, niet-numerieke factoren zoals breaking news, beleidsveranderingen en domeinspecifieke tekstuele beschrijvingen. TSFMs zijn structureel beperkt tot numerieke invoer en kunnen deze multimodale context niet direct verwerken.

Omgekeerd excelleren Large Language Models (LLMs) in het verwerken van complexe multimodale data en het uitvoeren van geavanceerde redenering, maar is aangetoond dat ze onderpresteren ten opzichte van TSFMs op ruwe numerieke voorspellingstaken. De centrale uitdaging die in dit werk wordt aangepakt, is hoe men systematisch de numerieke stabiliteit van TSFMs kan verenigen met de multimodale redeneercapaciteiten van LLMs voor robuuste voorspelling. Bestaande benaderingen proberen vaak temporele modaliteiten te converteren of modellen vanaf nul voor te trainen op multimodale corpora, maar dit artikel stelt een ander paradigma voor: post-training van kant-en-klare LLMs om te fungeren als context-gestuurde revisoren over sterke numerieke TSFM-priors.

Methodologie: Het POSTTIME-recept

De auteurs introduceren POSTTIME, een post-training recept in twee fasen dat is ontworpen om een LLM te leren context-geconditioneerde voorspellinginterventies te genereren. De kernstelling is dat de LLM niet moet fungeren als een zelfstandige voorspeller, maar eerder als een "revisor" die beslist of een basisvoorspelling gegenereerd door een TSFM (bijvoorbeeld TimesFM-2.5) op basis van multimodale context behouden, genegeerd of herzien moet worden.

1. De Rol van de LLM: Revisor boven Voorspeller

Empirische analyse toont aan dat het behandelen van de LLM als directe voorspeller (invoeren van geschiedenis en context om een voorspelling te genereren) suboptimale resultaten oplevert in vergelijking met het gebruik van de LLM als revisor (invoeren van geschiedenis, context en een TSFM-prior om een herziene voorspelling te genereren). De revisorrol vereenvoudigt de redeneertaak, waardoor de LLM zich kan richten op het integreren van tekstuele informatie en het maken van gekalibreerde aanpassingen, terwijl voorspellingen worden verankerd aan de sterke numerieke prior van de TSFM.

2. Fase Eén: Supervised Fine-Tuning (SFT) met Diverse Sporen

De SFT-fase heeft als doel de LLM effectieve revisiestrategieën te leren. De auteurs identificeren kritieke ontwerpkiezen die POSTTIME onderscheiden van standaardpraktijken:

• Generatie van Redeneersporen: In plaats van de waargenomen horizon (ground truth) te gebruiken als imitatie-doelwit – wat achteraf bias introduceert en luidruchtig is voor toekomstvoorspelling – gebruiken de auteurs een frontier LLM (Gemini-3.1-Flash-Lite) om voorspellingstijds-sporen te genereren. Deze sporen redeneren over de context zonder de toekomst te zien, en produceren meerdere "geldige" redeneerpaden waarbij geldigheid wordt gedefinieerd door of de herziene voorspelling een verbetering biedt ten opzichte van de TSFM-prior.
• Dataselectie en Moeilijke Gevallen: In tegenstelling tot praktijken die filteren op "makkelijke" samples, behoudt POSTTIME moeilijke en ambigu geval. De dataset bevat samples waar de context zwak of misleidend is, waardoor de LLM moet leren wanneer het niet moet reviseren (d.w.z. terugvallen op de TSFM-prior). Dit wordt bereikt door vijf onafhankelijke revisies per sample te genereren en sporen te behouden die het volledige spectrum van uitkomsten bestrijken: duidelijke verbeteringen, ambigu ingrijpen, en gevallen waar de prior behouden moet blijven.
• Fallback-mechanisme: Als geen enkele gegenereerde revisie de TSFM-prior verbetert, wordt een fallback-doelwit ingevoegd waarbij de LLM wordt getraind om expliciet te stellen dat de context geen revisie rechtvaardigt en de originele prior uit te geven.

3. Fase Twee: Reinforcement Learning met Verifieerbare Beloningen (RLVR)

De RL-fase verfijnt het beleid om de effectiviteit van revisies te maximaliseren.

• Ontwerp van Beloningen: Standaard RL-benaderingen gebruiken vaak absolute voorspellingnauwkeurigheid (bijvoorbeeld ExpMAE) als beloning. De auteurs betogen dat dit onvoldoende is voor een revisor, omdat het geen onderscheid maakt tussen een goede revisie en een goede prior. In plaats daarvan maakt POSTTIME gebruik van een Verbeteringsratio (ImpRatio)-beloning, die de relatieve verbetering van de herziene voorspelling ten opzichte van de basis-TSFM-prior meet.
• Voordeelen: Deze beloningsfunctie biedt sterkere voorkeursignalen, vermindert beloningsinstorting (waarbij meerdere voltooiingen vergelijkbare scores krijgen) en moedigt het model aan om te leren wanneer een revisie daadwerkelijk voordelig is versus wanneer deze schadelijk is.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het artikel pleit voor en valideert een "context-gestuurde revisor"-paradigma boven directe multimodale voorspelling, en toont aan dat LLMs het beste gepositioneerd zijn om in te grijpen op sterke TSFM-priors in plaats van voorspellingen vanaf nul te genereren.
2. POSTTIME-recept: Een nieuw post-training framework dat SFT combineert met diverse, voorspellingstijds-redeneersporen en RL met op verbetering gebaseerde beloningen.
3. Geautomatiseerde Dataconstructie: Een methodologie om hoogwaardige, geautomatiseerde redeneersporen en fallback-voorbeelden te genereren zonder menselijke tussenkomst, waarmee effectief wordt omgegaan met het spectrum van revisie-utility (van gemakkelijke tot onmogelijke gevallen).
4. Innovatie in Beloningen: De introductie van de ImpRatio-beloningsfunctie, die het RL-doel uitlijnt met de specifieke doelstelling om een prior te verbeteren in plaats van absolute nauwkeurigheid te bereiken.

Experimentele Resultaten

De auteurs hebben POSTTIME geëvalueerd op de TimesX multimodale voorspellingbenchmark met Gemma-3-4B als LLM en TimesFM-2.5 als TSFM-prior.

• Prestaties: Het POSTTIME-model (SFT + RL) presteert significant beter dan standalone TSFMs, LLM-only baselines, zero-shot LLM+TSFM-revisie en bestaande multimodale voorspellingsmodellen (inclusief TimeOmni, Aurora en ChatTS).
  • Op de In-Domain (ID) testset verbeterde POSTTIME de nMAE van TimesFM-2.5 met 6,38% en de nMSE met 12,43%.
  • Op de Out-of-Domain (OOD) testset verbeterde het de nMAE met 3,93% en de nMSE met 11,24%.
• Ablatiestudies:
  • Revisor versus Voorspeller: Het reviseren van een TSFM-prior presteerde consistent beter dan directe voorspelling over 8 verschillende LLMs.
  • Sporendiversiteit: Het opnemen van diverse redeneersporen en moeilijke gevallen (fallbacks) was kritiek; filteren op alleen "makkelijke" gevallen degradeerde de prestaties in de staart (p99-metrics).
  • Ontwerp van Beloningen: De ImpRatio-beloning verminderde beloningsinstorting significant in vergelijking met standaard ExpMAE-beloningen, wat leidde tot een stabielere en effectievere beleidsoptimalisatie.
  • Generalisatie: Het recept bleek robuust bij toepassing op verschillende basis-LLMs (bijvoorbeeld Qwen3-4B) en verschillende sporengeneratoren.

Betekenis en Claims

Het artikel claimt dat POSTTIME een schaalbaar, effectief recept biedt om de kloof tussen numerieke TSFMs en multimodale LLMs te overbruggen. Door de rol van de LLM te herdefiniëren als een context-gestuurde revisor en het post-training proces te optimaliseren met specifieke dataconstructie- en beloningsstrategieën, bereikt de aanpak superieure multimodale voorspellingnauwkeurigheid zonder dat voortraining vanaf nul vereist is.

De auteurs benadrukken dat hun methode de LLM leert "gekalibreerd" te zijn – niet alleen wetende hoe te reviseren, maar ook wanneer de numerieke prior moet worden behouden wanneer de context ontoereikend is. Deze capaciteit is cruciaal voor robuuste real-world implementatie waar tekstuele context luidruchtig of irrelevant kan zijn. Het werk suggereert dat voor multimodale tijdreeks-taken het meest effectieve interactiemechanisme mogelijk niet het fuseren van modaliteiten bij de invoer of uitvoer van een enkel model is, maar eerder het gebruik van een LLM om kritisch de outputs van gespecialiseerde numerieke modellen te evalueren en in te grijpen.