Technische Samenvatting: ConTex – Het herformuleren van Counterfactual Generatie voor Tijdreeksvoorspelling

1. Probleemdefinitie

Modellen voor tijdreeksvoorspelling worden steeds belangrijker in kritieke domeinen zoals energiesystemen, de gezondheidszorg en de financiële sector. Hoewel deze modellen echter nauwkeurige voorspellingen leveren, ontbreekt het hen vaak aan bruikbare inzichten over hoe de huidige omstandigheden kunnen worden gewijzigd om een gewenst toekomstig resultaat te bereiken. Bestaande verklarende methoden zijn overwegend retrospectief: ze identificeren factoren die hebben geleid tot een geobserveerde uitkomst (bijv. via feature attributie of aandachtmechanismen). In tegenstelling hiertoe vereist besluitvorming een vooruitziend perspectief: het bepalen van minimale wijzigingen in de huidige input om een voorspelde traject te verschuiven naar een specifiek doelscenario.

Deze taak wordt geframed als counterfactual generatie: het vinden van een minimaal gewijzigde input $x'$ waarvoor de voorspelling van het model $f_\theta(x')$ voldoet aan een doelrestrictie $Y_{target}$, terwijl de oorspronkelijke input $x$ zoveel mogelijk behouden blijft.

Beperkingen van bestaande benaderingen:
Huidige methoden voor het genereren van counterfactuals in tijdreeksen vertrouwen op instantie-specifieke optimalisatie. Voor elke nieuwe input-sample wordt een apart optimalisatieprobleem opgelost om de minimale perturbatie te vinden. Deze aanpak lijdt onder:

• Inconsistentie: Wijzigingen variëren onvoorspelbaar tussen vergelijkbare instanties.
• Hoge computationele kosten: Het oplossen van een optimalisatieprobleem per sample is te traag voor real-time of interactieve toepassingen.
• Doelafhankelijkheid: Veel methoden gebruiken doel-trajecten die afhankelijk zijn van de input (bijv. input-afhankelijke grenzen), wat de werkelijke moeilijkheid van het bereiken van een vooraf gedefinieerd toekomstig scenario vertroebelt.

2. Methodologie: ConTex Architectuur

De auteurs stellen ConTex (Counterfactual Time Series Explanations) voor, een model-agnostische architectuur die het paradigma verschuift van instantie-specifieke optimalisatie naar geamortiseerde interventie-lering. In plaats van voor elke sample een optimalisatieprobleem op te lossen, leert ConTex een globale interventiefunctie die inputtoestanden en doelcondities in kaart brengt naar effectieve interventies in een enkele forward pass.

Kernarchitectuur

ConTex is een gedecomposeerde neurale architectuur bestaande uit:

1. Temporal Context Encoder: Extraheert temporele kenmerken ($h_x$) uit de inputsequentie. De auteurs evalueren zowel BiLSTM als Temporal Convolutional Networks (TCN), waarbij zij TCN superieur vinden voor het produceren van ijle (sparse), interpreteerbare wijzigingen vanwege de vaste receptieve velden.
2. Conditional Encoder: Codeert de doelconditie ($c$), die de gewenste trajectgrenzen, de huidige voorspelling en de helling bevat, naar een latente embedding.
3. Feature-wise Linear Modulation (FiLM): De temporele kenmerken worden gemoduleerd door de conditie-embedding ($\tilde{h}_x = h_x \odot (1 + \gamma) + \beta$), waardoor het model zijn gedrag kan aanpassen aan verschillende doel-trajecten.
4. Gedecomposeerde Prediction Heads: De gemoduleerde representatie wordt door twee heads gestuurd om de interventie $z$ te voorspellen:
   • Temporal Relevance Mask ($m$): Een waarschijnlijkheidsmasker ($m \in [0, 1]^{T_{in}}$) dat aangeeft waar (welke tijdstappen) een wijziging vereist is.
   • Modification Strength ($s$): Een gesigneerde vector ($s \in \mathbb{R}^{T_{in}}$) die aangeeft hoe sterk de input moet worden gewijzigd.
   • Interventie: De uiteindelijke interventie wordt berekend als $z = m \odot s$, en de counterfactual is $x_{cf} = x + z$.

Trainingsdoelstelling

Het model wordt getraind om een samengestelde verliesfunctie te minimaliseren die een balans zoekt tussen forecast alignment en interventie minimalisatie:

• Forecast Alignment ($L_{center}, L_{valid}$): Bestraft afwijkingen van het middelpunt van het doel-traject en de frequentie van schendingen van de restricties.
• Interventie Regularisatie ($L_{prox}, L_{sparse}$):
  • Proximity: Gebruikt een $L_1$-loss om de magnitude van veranderingen te bestraffen, wat ijle (sparse) interventies aanmoedigt.
  • Sparsity: Moedigt compacte interventies aan door geconcentreerde mask-activaties te bevorderen en het masker richting binaire beslissingen te duwen.

3. Belangrijkste Bijdragen

1. Paradigmashift: Het paper verplaatst counterfactual generatie van instantie-specifieke optimalisatie naar geamortiseerde inferentie via een globale interventiebeleid, wat single-pass generatie mogelijk maakt.
2. Gedecomposeerde Architectuur: ConTex parametriseert interventies in temporele relevantie (waar te wijzigen) en wijzigingssterkte (hoe te wijzigen), wat resulteert in ijle (sparse), lokale en interpreteerbare counterfactuals.
3. Target-Conditioned Attribution: De methode introduceert een vooruitziend attributiemechanisme dat identificeert welke tijdstappen gewijzigd moeten worden om een gewenste uitkomst te bereiken, gevisualiseerd als een heatmap van interventie-waarschijnlijkheid.
4. Efficiëntie en Prestaties: De aanpak bereikt state-of-the-art validiteit en compactheid, terwijl de computationele kosten met 12–36× worden verminderd ten opzichte van instantie-gebaseerde methoden, wat real-time inferentie ondersteunt (~0,007 seconden per sample).

4. Experimentele Resultaten

De auteurs evalueerden ConTex op vier benchmark-datasets (NN5, Electricity, Tourism, M4) en vier diverse forecasting backbones (PatchTST, N-HiTS, DLinear, TiDE).

• Validiteit: ConTex behaalde de beste validiteitsratio in 16 van de 16 dataset-backbone combinaties, waarbij het de instantie-gebaseerde baseline (ForecastCF) versloeg en vaak de retrieval-gebaseerde baseline (BaseNN) overtrof.
• Compactheid: Contex behaalde de beste compactheid (minder gewijzigde tijdstappen) in 14 van de 16 gevallen.
• Robuustheid: De methode toonde consistente prestaties over datasets met variërende kenmerken (bijv. gladde vs. ruisige data), waarbij het zijn interventiepatronen (gelokaliseerd vs. gedistribueerd) aanpaste op basis van de data-eigenschappen.
• Computationele Efficiëntie:
  • Inferentietijd: ~0,007 seconden per sample (constant over verschillende moeilijkheidsgraden).
  • Versnelling: 3,7–4,2 ordes van grootte sneller dan instantie-gebaseerde generatie (die seconden tot minuten per sample duurt).
  • Totale Kosten: Een algehele computationele reductie van 12–36× vergeleken met instantie-specifieke generatie wanneer rekening wordt gehouden met training en inferentie.

5. Betekenis en Claims

Het paper claimt dat ConTex de computationeel dure en inconsistente praktijk van instantie-specifieke optimalisatie effectief vervangt door een schaalbaar, globaal interventiebeleid. Door de interventie structureel te decomponeren in "waar" en "hoe", biedt de methode interpreteerbare inzichten in target-geconditioneerde feature-relevantie, wat een vooruitziend perspectief biedt dat standaard post-hoc attributiemethoden missen.

De auteurs merken op dat hoewel ConTex sterk presteert, het vertrouwt op impliciete regularisatie (via temporele codering en minimale-interventie doelen) in plaats van expliciete plausibiliteitsrestricties om temporele coherentie te waarborgen. Daarnaast, hoewel de architectuur over datasets heen generaliseert, vereisen sommige hyperparameters (met name sparsity en proximity gewichten) nog steeds beperkte dataset-specifieke afstemming. Dit werk positioneert zichzelf als een belangrijke stap naar het bruikbaar maken van deep learning-gebaseerde tijdreeksvoorspelling voor real-time besluitvorming.