Investigating simple target-covariate relationships for Chronos-2 and TabPFN-TS

Résumé Technique : Investigation des Relations Simples entre Cibles et Covariables pour Chronos-2 et TabPFN-TS

Énoncé du Problème
Les Modèles Fondamentaux pour les Séries Temporelles (TSFM) ont récemment démontré des performances de pointe dans la prévision univariée en zéro-shot, surpassant souvent les bases de référence d'apprentissage profond supervisé. Cependant, les applications réelles nécessitent fréquemment d'exploiter des covariables dynamiques (par exemple, dans les domaines de l'énergie ou du commerce de détail). Bien que des architectures récentes comme Chronos-2 et TabPFN-TS visent à intégrer des covariables, les benchmarks à grande échelle existants (par exemple, fev-bench) offrent un aperçu limité de la manière dont ces modèles capturent efficacement des dépendances spécifiques entre cibles et covariables. Cet article comble le manque de compréhension quant à savoir si les fortes performances de ces modèles sur les benchmarks se traduisent par une modélisation précise de relations simples et contrôlées entre cibles et covariables.

Méthodologie
Les auteurs conçoivent une série d'expériences contrôlées utilisant des tâches minimales spécifiquement conçues pour isoler les dépendances entre cibles et covariables. L'étude compare deux TSFM leaders :

1. Chronos-2 : Un modèle utilisant des couches d'attention temporelle et par groupe, préentraîné sur des données multivariées synthétiques.
2. TabPFN-TS : Une adaptation du modèle fondamental tabulaire TabPFN, préentraîné sur des millions de tâches de régression synthétiques et adapté aux séries temporelles via des caractéristiques soigneusement conçues.

La configuration expérimentale implique quatre scénarios distincts sur des jeux de données réels (Électricité, Solaire, Trafic) et synthétiques (Marche Aléatoire, KernelSynth) :

• Identité : La covariable est identique à la cible.
• Somme : La cible est la somme de deux séries temporelles synthétiques ($Z = X + Y$).
• Agrégat : La cible est un agrégat complexe de séries réelles ($Z = \sqrt{X} + Y - Z^2$).
• Quadratique : La cible suit une relation quadratique avec des entrées synthétiques ($Z = a + bX + cY^2$).
• Extension Auto-régressive : Une expérience supplémentaire introduit un terme de dépendance temporelle ($\phi Z_{t-1}$) à la tâche quadratique pour observer le changement de performance du modèle à mesure que la dépendance temporelle augmente par rapport à la dépendance covariable.

La performance est évaluée à l'aide de l'Erreur Quadratique Moyenne Normalisée (NMSE) à travers différentes fenêtres de rétrospection ($L$) et d'horizon ($H$).

Résultats Clés
Les expériences produisent plusieurs découvertes critiques concernant la capacité des modèles à utiliser l'information des covariables :

• Supériorité de TabPFN-TS sur les Relations Simples : Dans les expériences Identité, Somme et Quadratique, TabPFN-TS surpasse systématiquement Chronos-2, en particulier pour les horizons de prévision courts. Dans l'expérience Identité, où la cible est fournie comme covariable, TabPFN-TS atteint des erreurs significativement plus faibles que Chronos-2, même si Chronos-2 est un prévisionneur univarié plus performant de manière isolée.
• Avantage à Court Horizon : TabPFN-TS démontre un avantage marqué dans les configurations à court horizon. Les auteurs émettent l'hypothèse que cela est dû au fait que les caractéristiques d'entrée et de sortie dans les horizons courts sont plus similaires dans leur distribution, ressemblant aux problèmes de régression indépendants et identiquement distribués (i.i.d.) rencontrés lors du préentraînement de TabPFN.
• Robustesse des Caractéristiques de Covariables : Dans l'expérience Agrégat, la suppression des embeddings temporels de TabPFN-TS et le recours exclusif aux caractéristiques de covariables (TabPFN(cov)) n'ont pas dégradé la performance ; en fait, cela est devenu le modèle le plus efficace pour les configurations à court terme.
• Changement de Performance avec la Dépendance Temporelle : Dans l'extension auto-régressive, à mesure que le coefficient $\phi$ (représentant la dépendance temporelle) augmente, l'écart de performance se réduit et finit par s'inverser. Chronos-2 commence à surpasser TabPFN-TS à mesure que la tâche passe d'un problème de régression purement non linéaire à un problème dominé par la structure temporelle. Cela suggère que l'efficacité du modèle dépend de l'importance relative des relations temps-vers-cible par rapport aux relations covariable-vers-cible.

Signification et Affirmations
L'article affirme que, bien que Chronos-2 domine les benchmarks de prévision à grande échelle basés sur des covariables, cette domination n'implique pas automatiquement une modélisation optimale de dépendances simples entre covariables et cibles. Les résultats indiquent que TabPFN-TS, en s'appuyant sur son préentraînement sur des priors expressifs et des tâches de régression synthétiques étendues, capture ces relations spécifiques de manière plus fiable.

Les auteurs concluent qu'il existe un potentiel significatif pour concevoir de futurs TSFM combinant la modélisation explicite de la dépendance temporelle trouvée dans Chronos-2 avec les capacités de régression en contexte inspirées par TabPFN-TS. Cette approche hybride est présentée comme une direction prometteuse pour développer des modèles fondamentaux de séries temporelles plus efficaces et conscients des covariables.