Résumé technique : Un prior par DAG causal pour les jeux de données de classification de séries temporelles synthétiques

Énoncé du problème

Les pipelines actuels des modèles de fondation pour la classification de séries temporelles (TSC) suivent généralement un paradigme en deux étapes : un large transformeur est préentraîné sur des corpus de séries temporelles non étiquetées pour servir d'encodeur, suivi d'un classifieur spécifique au jeu de données (par exemple, une tête linéaire, k-NN ou TabPFN) ajusté sur des plongements (embeddings) gelés. Cette approche souffre d'une déconnexion où l'encodeur ne peut pas utiliser les étiquettes d'entraînement ou d'autres échantillons comme contexte lors de l'extraction de représentations, et les deux étapes optimisent des objectifs différents.

Bien que l'apprentissage en contexte (ICL) offre une alternative en une seule étape pour les données tabulaires (illustrée par TabPFN), l'appliquer à la TSC nécessite un générateur synthétique capable de produire des jeux de données complets et étiquetés avec une structure temporelle inhérente. Les priors synthétiques existants pour les séries temporelles, tels que KernelSynth et CauKer, génèrent des séries temporelles mais ne parviennent pas à produire des étiquettes de classe, ce qui donne des jeux de données incomplets. De plus, des travaux concomitants comme TiCT utilisent des priors synthétiques qui ne sont pas nativement multivariés, multi-classes ou cross-modaux. Il existe une absence critique de prior capable d'échantillonner des jeux de données étiquetés complets $(X, y)$ en modélisant explicitement les relations causales entre deux modalités : les attributs tabulaires et les séries temporelles.

Méthodologie

Le Prior par DAG Causal

Les auteurs introduisent un prior causal synthétique qui génère des jeux de données TSC multivariés, complets et étiquetés à l'aide d'un seul graphe orienté acyclique (DAG) basé sur des modèles structurels causaux (SCM). Contraes à l'approche consistant à dérouler des SCM dynamiques de manière récurrente (ce qui peut souffrir d'instabilité), cette conception injecte la structure temporelle de manière non récurrente au sein d'un graphe acyclique.

Structure du graphe et types de nœuds :

• Nœuds typés : Le DAG contient des nœs de deux types : tabulaires (scalaires, $\in \mathbb{R}$) et à valeurs de série (trajectoires, $\in \mathbb{R}^T$).
• Initialisation des racines :
  • Racines tabulaires : Échantillonnées à partir de distributions normales ou uniformes aléatoires.
  • Racines de séries : Un noyau aléatoire (une composition de noyaux de base Linéaire, RBF et Périodique) est échantillonné une seule fois par jeu de données. Les trajectoires par échantillon sont ensuite tirées du processus gaussien à moyenne nulle défini par ce noyau.
• Arêtes causales et mécanismes : Les arêtes représentent des mappages computationnels choisis en fonction du type de nœud enfant :
  • Enfants tabulaires : Mappés via de petits réseaux de neurones avec des non-linéarités ponctuelles ou des fonctions de discrétisation (convertissant les sorties numériques en catégories).
  • Enfants de séries : Mappés via des convolutions 1D (Conv1D) aléatoires simples avec padding causal, dilatation aléatoire et activation non linéaire. Cette opération gère le mélange inter-canaux (concaténation des parents) et la dépendance temporelle.
  • Interactions cross-modales : Le graphe supporte naturellement les effets tabulaire $\to$ série, série $\to$ tabulaire, et série $\to$ série.
• Génération du jeu de données : Des données d'initialisation fraîche sont propagées à travers le DAG. Des nœuds sélectionnés de type série forment les caractéristiques d'entrée $X \in \mathbb{R}^{n \times m \times T}$, tandis qu'un nœud tabulaire discrétisé définit l'étiquette de classe $y \in \{1, \dots, K\}^n$.
• Augmentation : Pour simuler les défis du monde réel, le générateur applique une troncature prédictive (observations de longueur variable), une absence de valeurs au niveau des points, une granularité temporelle aléatoire (pooling par pas/répétition de pas) et des déformations de valeurs par canal.

Probe : Adaptation de TabPFN v2.5

Pour valider le prior, les auteurs affinent (finetune) TabPFN v2.5, un transformeur préentraîné sur des priors causaux tabulaires. L'objectif n'est pas de redessiner l'architecture mais d'isoler la contribution du prior synthétique. Des adaptations minimales sont effectuées pour préserver la structure temporelle :

1. Tokenisation : Les données d'entrée sont aplaties en $n \times (m \cdot T)$. Pour respecter les limites de canaux, l'axe temporel de chaque canal est complété (padding) pour être un multiple de la taille du groupe de tokens $G$. Les tokens sont formés en groupant $G$ pas de temps consécutifs du même canal, évitant ainsi le mélange de canaux au sein d'un même token.
2. Normalisation : Le z-scoring par colonne par défaut (qui détruirait les motifs temporels au sein d'un patch) est désactivé. Au lieu de cela, le z-scoring est appliqué par canal avant la tokenisation.
3. Inférence : Le modèle réalise l'apprentissage en contexte en se conditionnant sur l'ensemble du jeu d'entraînement étiqueté en un seul passage direct (forward pass).

Contributions clés

1. Un Prior Causal Cross-Modal : L'introduction d'un prior synthétique qui échantillonne des jeux de données étiquetés entiers à partir d'un DAG contenant à la fois des nœuds tabulaires et des nœuds à valeurs de série. Cela permet de modéliser des régimes causaux complexes (ex: type de sol $\to$ trajectoire d'humidité $\to$ trajectoire de croissance $\to$ rendement) que les priors existants ne peuvent générer.
2. Isolation de la Structure Temporelle : En affinant un modèle de fondation tabulaire (TabPFN) avec des changements architecturaux minimaux, les auteurs démontrent que les gains de performance sont pilotés spécifiquement par la structure temporelle cross-modale du prior, plutôt que par des améliorations architecturales ou des recettes de finetuning génériques.
3. Conception Non-Récurrente Scalable : L'utilisation d'un graphe acyclique avec injection temporelle non récurrente évite l'instabilité d'entraînement et les difficultés de mise à l'échelle associées aux dynamiques récurrentes dans les priors non entraînés.

Résultats Expérimentaux

Les auteurs ont évalué l'approche sur 75 jeux de données UCR/UEA qui rentrent dans le régime opérationnel de TabPFN ($K \le 10$ classes, $m \cdot T \le 500$).

Configurations Comparatives :

• (A) TabPFN Standard : Poids préentraînés, prétraitement tabulaire par défaut.
• (B) Préentraîné + Inférence Personnalisée : Mêmes poids que (A) mais avec le prétraitement préservant le temporel (tokenisation alignée sur les patches, z-scoring par canal).
• (C) Affiné (Notre méthode) : Configuration (B) affinée sur le plein prior par DAG causal.
• (D) Affiné, Ablation Tabulaire-Uniquement : Configuration (B) affinée sur un prior où tous les composants spécifiques aux séries (racines GP, Conv1D, augmentations de séries temporelles) sont désactivés ($T=1$).

Constats :

• Performance : La configuration (C) a obtenu la meilleure précision moyenne et le meilleur ROC–AUC sur les deux tailles d'ensemble ($e=1$ et $e=8$).
  • À $e=8$, (C) a atteint 0,8575 de précision et 0,9444 de ROC–AUC, surpassant le modèle amont standard (A) (0,8525 / 0,9405) et l'ablation uniquement tabulaire (D) (0,8493 / 0,9393).
• Signification Statistique :
  • L'affinage sur le générateur complet (C) a significativement surpassé l'ablation uniquement tabulaire (D) avec une p-valeur de Wilcoxon signée de $3,0 \times 10^{-8}$ sur l'AUC.
  • L'ablation uniquement tabulaire (D) n'a montré aucune amélioration statistiquement significative par rapport au modèle amont non modifié (A) ($p=0,10$ pour l'AUC), et a même été surpassée par la ligne de base d'inférence personnalisée (B) ($p=1,7 \times 10^{-4}$).
• Conclusion sur le mécanisme : Les résultats confirment que les mécanismes spécifiques aux séries (racines GP et Conv1D) sont nécessaires pour le gain de performance ; le simple fait d'affiner sur un prior DAG avec la bonne forme d'entrée mais sans structure temporelle est insuffisant et peut être préjudiciable.

Signification et Revendications

L'article affirme combler une lacune dans la littérature concernant les priors synthétiques pour la TSC. En introduisant un prior qui modélise nativement les relations causales entre attributs tabulaires et séries temporelles, les auteurs permettent l'entraînement de classifieurs en contexte capables de tirer parti de tout l'espace des structures cross-modales.

La principale signification réside dans l'isolation du signal d'apprentissage : les auteurs démontrent que l'amélioration de la performance en TSC est directement attribuable à la structure temporelle cross-modale encodée dans le prior synthétique, plutôt qu'à l'architecture elle-même. Cela valide l'hypothèse selon laquelle les "réseaux dotés de priors" (prior-fitted networks) peuvent apprendre des biais inductifs utiles pour les séries temporelles si le prior capture correctement les mécanismes causaux du domaine.

Les auteurs restent modestes quant à la portée du travail, notant que :

• Le modèle résultant est une "sonde" (probe) et non un modèle de fondation TSC de pointe (car le backbone n'a pas été redessiné).
• L'évaluation est restreinte au régime opérationnel spécifique de TabPFN ($m \cdot T \le 500$), excluant les séries longues ou de haute dimension.
• Le travail prouve la valeur incrémentale des mécanismes de séries par rapport à un prior tabulaire, mais ne revendique pas de supériorité absolue sur toutes les méthodes TSC existantes.
• Le cadre est extensible à d'autres données structurées (ex: images, vidéo) en changeant les types de nœuds et les mécanismes, suggérant un potentiel plus large pour les priors causaux multimodaux.