Technische Samenvatting: Causale Semantische Uitlijning voor LLM-gebaseerde Tijdreeksvoorspelling (CVAformer)

1. Probleemstelling

Recente ontwikkelingen in Large Language Models (LLM's) hebben tijdreeksvoorspelling mogelijk gemaakt door temporele patronen af te stemmen op vooraf getrainde woordembeddings. Echter, bestaande LLM-gebaseerde methoden lijden aan een fundamentele beperking: ze negeren vaak de heterogene aard van tijdreeksen, waarbij invariante semantiek (de intrinsieke identiteit van een variabele) en dynamische componenten (extern geïnduceerde, hoogfrequente fluctuaties) met elkaar verstrengeld zijn.

Vanuit een causaal perspectief creëert deze verstrengeling een confounding effect (verwarrend effect). De dynamische component fungeert als een confounder ($C$) die tegelijkertijd zowel de geschatte invariante representatie ($I$) als de uiteindelijke uitgelijnde embedding ($A$) beïnvloedt. Dit leidt tot spurieuze correlaties en semantische ankerdriften, waarbij het uitlijningstarget in de loop van de tijd verschuift door dynamische variaties, wat resulteert in instabiele en bevoordeelde uitlijningen. Bovendien voeren de meeste bestaande benaderingen uitlijning uit op het temporele niveau (waarbij tijdstappen of patches als tokens worden behandeld) of gebruiken ze causale attention-mechanismen die kunstmatige autoregressieve ordeningen opleggen aan variabelen. Dit is suboptimaal omdat variabelen in multivariate tijdreeksen geen inherente temporele volgorde bezitten, en het behandelen van hen als zodanig introduceert inductieve biases die de werkelijke relaties tussen variabelen niet weerspiegelen.

2. Methodologie: CVAformer

Om deze problemen aan te pakken, stellen de auteurs CVAformer voor (Causal Variable-level Alignment Transformer), een framework dat uitlijning uitvoert op het variabeleniveau terwijl het invariant en dynamisch component expliciet ontmengt. De architectuur bestaat uit drie fasen:

A. Invariant-Dynamic Decompositie

Voordat de uitlijning plaatsvindt, deelt CVAformer de tijd-embedding van elke variabele ($E_{time}$) op in twee afzonderlijke componenten:

1. Invariante Component ($E_{invariant}$): Vertegenwoordigt de stabiele semantische identiteit van de variabele.
2. Dynamische Component ($E_{dynamic}$): Legt kortstondige fluctuaties en externe variaties vast.

Deze decompositie wordt bereikt met behulp van een CausalEncoder en een leerbare MLP. Om effectieve ontstrengeling te garanderen, wordt een contrastieve loss (geïnspireerd door Momentum Contrast) toegepast. Deze loss stimuleert de invariante representatie om stabiel te blijven bij temporele augmentaties, terwijl de dynamische component mag variëren, waardoor verstrengeling wordt onderdrukt.

B. Causale Uitlijning (Tekstuele tak)

De tekstuele tak voert variabele-niveau uitlijning uit tussen de gedecomposeerde invariante representatie en de vooraf getrainde woordembeddings. Om het confounding effect van de dynamische component te mitigeren, past CVAformer een backdoor adjustment toe via causale interventie:

• Confounder Summary: Een compacte representatie van de dynamische context ($E_{causal}$) wordt geëxtraheerd met behulp van globale statistieken (gemiddelde, covariantie) en gevoed aan een CausalEncoder.
• Causale Interventie: Het uitlijningsproces conditioneert de query op zowel de invariante representatie als de confounder summary ($Q = (E_{invariant} + E_{causal})W_q$). Dit benadert de intersectionele distributie $P(A | do(I))$, waardoor het backdoor pad $I \leftarrow C \rightarrow A$ effectief wordt geblokkeerd.
• Soft Gating: Een variabele-specifiek gating-mechanisme balanceert dynamisch de bijdrage van de uitgelijnde semantische kenmerken en de dynamische fluctuaties, waardoor de uiteindelijke representatie robuust is tegen omgevingsveranderingen.

C. Temporele Tak (Niet-causale Attention)

Om afhankelijkheden tussen variabelen te vangen zonder een kunstmatige ordening op te leggen, vervangt de temporele tak standaard causale attention door Non-Causal Attention Blocks (NCBlocks).

• In tegenstelling tot standaard LLM's die causale masking gebruiken om autoregressie af te dwingen, laten NCBlocks elke variabele toe om tegelijkertijd naar alle andere variabelen te kijken op hetzelfde tijdstip.
• Dit ontwerp legt ongeordende interacties tussen variabelen vast en zorgt voor permutatie-equivariantie, waardoor het model robuust is tegen de ordening van invoerkanalen.

D. Optimalisatie

Het model wordt getraind met een samengestelde loss-functie:

• Supervised Loss ($L_{sup}$): Zorgt voor voorspellingsnauwkeurigheid op de temporele tak.
• Invariant Loss ($L_{invariant}$): Forceert de ontstrengeling van invariante en dynamische componenten via contrastief leren.
• Consistency Loss ($L_{consistency}$): Stimuleert semantische overeenstemming tussen de tekstuele en temporele takken.
  De backbone LLM wordt bevroren gehouden, waarbij alleen lichtgewicht adapters (LoRA, normalisatielagen, positionele embeddings) worden bijgewerkt om overfitting te voorkomen en de computationele kosten te verlagen.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Variabele-niveau Uitlijningsparadigma: Een verschuiving van het tokeniseren van tijdstappen naar het behandelen van volledige variabelen als tokens, waardoor LLM's semantische informatie kunnen vastleggen zonder kunstmatige temporele ordeningen.
2. Causaal Gegronde Ontstrengeling: Een principiële methodologie die invariante semantiek scheidt van dynamische fluctuaties met behulp van een door de backdoor geïnspireerd mechanisme om confounding effecten tijdens cross-modale uitlijning te elimineren.
3. Verenigde Niet-causale Architectuur: De integratie van niet-causale attention blocks om ongeordende interacties tussen variabelen te modelleren, die gemakkelijk kunnen worden geïntegreerd in bestaande LLM-gebaseerde voorspellers.
4. Uitgebreide Empirische Validatie: Uitgebreide experimenten die consistente verbeteringen laten zien ten opzichte van state-of-the-art modellen in long-term, short-term, few-shot en zero-shot voorspellingsscenario's.

4. Experimentele Resultaten

CVAformer werd geëvalueerd op meerdere datasets (Weather, Traffic, Electricity, ETT, M4) over vier taken:

• Long-term Forecasting: CVAformer presteerde consequent beter dan baselines (inclusief TimeLLM, GPT4TS, PatchTST en iTransformer) op de meeste datasets, met relatieve reducties van 10,07% in MSE en 8,21% in MAE vergeleken met PatchTST. Het toonde een bijzondere kracht in datasets met rijke cross-variabele interacties.
• Short-term Forecasting: Op de M4-dataset behaalde CVAformer de eerste plaats in 11 van de 15 evaluatiegevallen, met een gemiddelde verbetering van 2,8% ten opzichte van PatchTST en 2,2% ten opzichte van GPT4TS.
• Few-shot en Zero-shot Forecasting: In scenario's met beperkte data (10% trainingsdata) en cross-domein transfertaken vertoonde CVAformer superieure generalisatie, waarbij fouten werden verminderd met 13% vergeleken met PatchTST in few-shot settings en 17,7% in zero-shot settings.
• Ablatie-studies: Het verwijderen van de causale ontstrengelingsmodule leidde tot significante prestatieverliezen (bijv. +3,2% MSE op ETTh1), wat de noodzaak van het aanpakken van confounding effecten valideert. Vergelijkbaar daarmee degradeerde het vervangen van niet-causale attention door causale attention de prestaties, wat het voordeel bevestigt van het modelleren van ongeordende variabele interacties.
• Efficiëntie: Ondanks de complexiteit behield CVAformer een concurrerende trainingstijd (13,74s/epoch) en geheugenvoetafdruk (709,15 MB) vergeleken met andere grote modellen zoals TimeLLM en FEDformer.

5. Betekenis en Claims

Het artikel beweert dat CVAformer een nieuw perspectief biedt voor LLM-gebaseerde tijdreeks-taken door de kernoorzaak van semantische drift aan te pakken: de verstrengeling van dynamische en invariante componenten. Door de causale structuur van tijdreeksgegevens expliciet te modelleren, bereikt het framework meer interpreteerbare representaties en verbeterde generalisatie over diverse scenario's.

De auteurs benadrukken dat hun aanpak verder gaat dan eenvoudige cross-modale uitlijning naar een causaal gestuurd proces dat de intrinsieke eigenschappen van multivariate tijdreeksen respecteert (namelijk het gebrek aan een inherente variabele ordening en de aanwezigheid van confounding dynamiek). Hoewel het model robuustheid vertoont over verschillende LLM-backbones (GPT-2, BERT, DeepSeek), merken de auteurs bescheiden op dat toekomstig werk zich zal richten op diepere causale analyse van het uitlijningsproces en het verder verbeteren van de modelinterpreteerbaarheid voor real-world toepassingen.