Technische Samenvatting: Een Causale DAG-prior voor Synthetische Tijdreeksclassificatie-datasets

Probleemstelling

Huidige foundation-model pipelines voor tijdreeksclassificatie (TSC) volgen doorgaans een tweestaps-paradigma: een grote transformer wordt voorgetraind op ongelabelde tijdreeks-corpora om als encoder te fungeren, gevolgd door een datasetspecifieke classifier (bijv. een lineaire kop, k-NN of TabPFN) die wordt gefit op de bevroren embeddings. Deze aanpak lijdt onder een disconnect waarbij de encoder geen trainingslabels of andere samples als context kan gebruiken tijdens de extractie van representaties, en de twee fasen verschillende doelstellingen optimaliseren.

Terwijl in-context learning (ICL) een eenstaps-alternatief biedt voor tabulaire data (geëxemplificeerd door TabPFN), vereist het toepassen hiervan op TSC een synthetische generator die volledige, gelabelde datasets kan produceren met een inherente temporele structuur. Bestaande synthetische priors voor tijdreeksen, zoals KernelSynth en CauKer, genereren weliswaar tijdreeksen, maar falen in het produceren van klasse-labels, wat resulteert in incomplete datasets. Vergelijkbaar werk zoals TiCT maakt gebruik van synthetische priors die niet van nature multivariabel, multi-class of cross-modaal zijn. Er is een kritiek gebrek aan een prior die volledige gelabelde datasets $(X, y)$ samplet door expliciet causale relaties tussen twee modaliteiten te modelleren: tabulaire attributen en tijdreeksen.

Methodologie

De Causale DAG-prior

De auteurs introduceren een synthetische causale prior die volledige, gelabelde multivariate TSC-datasets genereert met behulp van een enkele Directed Acyclic Graph (DAG) gebaseerd op Structural Causal Models (SCM's). In tegenstelling tot benaderingen die dynamische SCM's recursief uitrollen (wat kan leiden tot instabiliteit), injecteert dit ontwerp temporele structuur niet-recurrent binnen een acyclische graaf.

Grafenstructuur en Nodetypen:

• Getypeerde knopen: De DAG bevat knopen van twee typen: tabulair (scalaren, $\in \mathbb{R}$) en serie-gewaard (trajecten, $\in \mathbb{R}^T$).
• Root Initialisatie:
  • Tabulaire roots: Gesampled uit willekeurige normale of uniforme distributies.
  • Serie-roots: Een willekeurige kernel (een compositie van Lineaire, RBF en Periodieke basiskernels) wordt één keer per dataset gesampled. Per-sample trajecten worden vervolgens getrokken uit de zero-mean Gaussian Process gedefinieerd door deze kernel.
• Causale Edges en Mechanismen: Edges representeren computationele mapping gekozen op basis van het type kind-knoop:
  • Tabulaire kinderen: Gemapt via kleine neurale netwerken met pointwise nonlineariteiten of discretisatiefuncties (het omzetten van numerieke outputs naar categorische waarden).
  • Serie-kinderen: Gemapt via een enkele willekeurige 1-D convolutie (Conv1D) met causale padding, willekeurige dilatatie en nonlinear activatie. Deze operatie handelt cross-channel mixing af (het concateneren van ouders) en temporele afhankelijkheid.
  • Cross-modale interacties: De graaf ondersteunt van nature tabular $\to$ series, series $\to$ tabular, en series $\to$ series causale effecten.
• Dataset Generatie: Verse initialisatiegegevens worden door de DAG gepropageerd. Geselecteerde serie-gewaard knopen vormen de input features $X \in \mathbb{R}^{n \times m \times T}$, terwijl een gediscretiseerde tabulaire knoop de klasse-label $y \in \{1, \dots, K\}^n$ definieert.
• Augmentatie: Om real-world uitdagingen te simuleren, past de generator predictieve truncatie toe (variabele lengte observaties), waarde-niveau missingness, willekeurige temporele granulariteit (gestapelde pooling/step-repeat) en per-kanaal waarde-warps.

Probe: Het aanpassen van TabPFN v2.5

Om de prior te valideren, finetunen de auteurs TabPFN v2.5, een transformer-gebaseerd model dat is voorgetraind op tabulaire causale priors. Het doel is niet om de architectuur te herontwerpen, maar om de bijdrage van de synthetische prior te isoleren. Minimale aanpassingen worden gedaan om de temporele structuur te behouden:

1. Tokenisatie: De input data wordt geflattend naar $n \times (m \cdot T)$. Om kanaalgrenzen te respecteren, wordt de tijdas van elk kanaal gepadded naar een veelvoud van de token group grootte $G$. Tokens worden gevormd door $G$ opeenvolgende tijdstappen van hetzelfde kanaal te groeperen, wat voorkomt dat kanalen binnen een enkele token worden gemengd.
2. Normalisatie: De standaard per-kolom z-scoring (die temporele patronen binnen een patch zou vernietigen) wordt uitgeschakeld. In plaats daarvan wordt z-scoring per kanaal toegepast vóór de tokenisatie.
3. Inference: Het model voert in-context learning uit door te conditioneren op de volledige gelabelde trainingsset in een enkele forward pass.

Belangrijkste Bijdragen

1. Een Cross-Modale Causale Prior: De introductie van een synthetische prior die volledige gelabelde datasets samplet uit een DAG die zowel tabulaire als serie-gewardeerde knopen bevat. Dit maakt het mogelijk om complexe causale regimes te modelleren (bijv. bodemtype $\to$ vochtigheidstraject $\to$ groeitraject $\to$ opbrengst) die bestaande priors niet kunnen genereren.
2. Isolatie van Temporele Structuur: Door een tabulaire foundation model (TabPFN) met minimale architecturale wijzigingen te finetunen, demonstreren de auteurs dat de prestatiewinsten specifiek worden gedreven door de cross-modale temporele structuur van de prior, en niet door architecturale verbeteringen of generieke finetuning recepten.
3. Schaalbare Niet-Recurrente Design: Het gebruik van een acyclische graaf met niet-recurrente temporele injectie vermijdt de trainingsinstabiliteit en schaalbaarheidsproblemen die geassocieerd worden met recurrente dynamiek in ongetrainde priors.

Experimentele Resultaten

De auteurs evalueerden de aanpak op 75 UCR/UEA datasets die binnen het werkingsregime van TabPFN passen ($K \le 10$ klassen, $m \cdot T \le 500$).

Vergelijkbare Configuraties:

• (A) Standaard TabPFN: Voorgetrainde gewichten, standaard tabulaire preprocessing.
• (B) Pretrained + Custom Inference: Dezelfde gewichten als (A) maar met de temporele-behoudende preprocessing (patch-aligned tokenisatie, per-kanaal z-scoring).
• (C) Finetuned (Onze methode): Configuratie (B) gefinetuned op de volledige causale DAG prior.
• (D) Finetuned, Tabular-Only Ablatie: Configuratie (B) gefinetuned op een prior waar alle serie-specifieke componenten (GP roots, Conv1D, tijdreeks-augmentaties) zijn uitgeschakeld ($T=1$).

Bevindingen:

• Prestaties: Configuratie (C) behaalde de beste gemiddelde nauwkeurigheid en ROC–AUC over beide ensemble-groottes ($e=1$ en $e=8$).
  • Bij $e=8$ behaalde (C) 0.8575 nauwkeurigheid en 0.9444 ROC–AUC, waarmee het de standaard upstream model (A) (0.8525 / 0.9405) en de tabulaire-alleen ablatie (D) (0.8493 / 0.9393) overtrof.
• Statistische Significantie:
  • Finetuning op de volledige generator (C) presteerde significant beter dan de tabulaire-alleen ablatie (D) met een Wilcoxon signed-rank p-waarde van $3.0 \times 10^{-8}$ op ROC–AUC.
  • De tabulaire-alleen ablatie (D) vertoonde geen statistisch significante verbetering ten opzien van het ongewijzigde upstream model (A) ($p=0.10$ voor AUC), en werd zelfs overtroffen door de custom inference baseline (B) ($p=1.7 \times 10^{-4}$).
• Conclusie over Mechanisme: De resultaten bevestigen dat de serie-specifieke mechanismen (GP roots en Conv1D) noodzakelijk zijn voor de prestatiewinst; simpelweg finetunen op een DAG prior met de juiste inputvorm maar zonder temporele structuur is onvoldoende en kan zelfs nadelig zijn.

Betekenis en Claims

Het artikel beweert een gat in de literatuur te adresseren met betrekking tot synthetische priors voor TSC. Door een prior te introduceren die van nature causale relaties modelleert tussen tabulaire attributen en tijdreeksen, stellen de auteurs in staat om in-context classifiers te trainen die de volledige ruimte van cross-modale structuren kunnen benutten.

De primaire significantie ligt in de isolatie van het leersignaal: de auteurs demonstreren dat de verbetering in TSC-prestaties direct toe te schrijven is aan de cross-modale temporele structuur die in de synthetische prior is gecodeerd, en niet aan de architectuur zelf. Dit valideert de hypothese dat "prior-fitted networks" nuttige inductieve biases voor tijdreeksen kunnen leren als de prior de causale mechanismen van het domein correct vastlegt.

De auteurs blijven bescheiden over de reikwijdte en merken op dat:

• Het resulterende model een "probe" is en geen state-of-the-art TSC foundation model (omdat de backbone niet is herontworpen).
• De evaluatie beperkt is tot het specifieke werkingsregime van TabPFN ($m \cdot T \le 500$), waarbij lange of hoog-dimensionale series worden uitgesloten.
• Het werk bewijst de incrementele waarde van serie-mechanismen boven een tabulaire prior, maar claimt geen absolute superioriteit over alle bestaande TSC-methoden.
• Het framework uitbreidbaar is naar andere gestructureerde data (bijv. afbeeldingen, video) door nodetypen en mechanismen te veranderen, wat wijst op een breder potentieel voor multimodale causale priors.