Résumé technique : Prévision sélective de séries temporelles via l'apprentissage par méta-apprentissage

Énoncé du problème

Les méthodes d'apprentissage profond ont atteint des performances de pointe en prévision de séries temporelles ; cependant, leur précision n'est pas uniforme sur tous les échantillons. Certains cas au sein d'une série temporelle sont intrinsèquement difficiles à prédire, ce qui entraîne des variations substantielles des erreurs de prévision. Bien que les mécanismes d'« option de rejet » — permettant aux modèles de s'abstenir de faire des prédictions à haut risque — soient bien établis en classification et en régression, ils restent sous-explorés dans le domaine de la prévision.

Les stratégies d'abstention existantes en prévision reposent généralement sur des heuristiques de substitution dérivées de la prévision elle-même, telles que la largeur des intervalles de prédiction, les scores de non-conformité ou les estimations de confiance apprises. L'article soutient que ces approches sont intrinsèquement liées au domaine d'entraînement spécifique et à l'architecture du modèle. Par conséquent, elles peinent à se généraliser à de nouveaux domaines ou à des séries temporelles présentant des caractéristiques différentes, limitant ainsi leur utilité dans les contextes d'apprentissage par transfert (transfer learning).

Méthodologie

Les auteurs proposent un cadre de prévision sélective basé sur le méta-apprentissage qui découple la décision de rejet de la sortie de la prévision. L'innovation centrale consiste à modéliser le percentile empirique des erreurs de prévision (une statistique invariante d'échelle) en se basant sur les caractéristiques structurelles extraites des retards récents, plutôt que de s'appuyer sur des signaux dérivés de la prévision.

La méthodologie se compose de deux étapes principales :

1. Estimation de la performance (Domaine source)

En utilisant une procédure d'évaluation par origine glissante (validation croisée de séries temporelles), les auteurs entraînent un modèle de prévision global (par exemple, KAN ou NHITS) sur un domaine source. Pour chaque origine de prévision $t$, le modèle prédit un horizon $h$, et l'erreur $e_{i,t}$ est calculée par rapport à la vérité terrain.

2. Méta-apprentissage

Au lieu d'utiliser les valeurs d'erreur brutes comme cibles, le cadre transforme les erreurs en rangs de percentiles empiriques calculés au sein de chaque série temporelle individuelle :
$$u_{i,t} = \frac{\#\{j \in T_i : j \neq t, e_{i,j} < e_{i,t}\}}{|T_i| + 1}$$
Cette normalisation projette les erreurs dans une plage bornée $(0, 1)$, créant une cible invariante d'échelle qui permet au méta-modèle d'apprendre des critères de rejet transférables à travers des ensembles de données hétérogènes.

Méta-prédicteurs : Les caractéristiques d'entrée pour le méta-modèle sont extraites de la fenêtre de retard précédant chaque origine de prévision à l'aide de la bibliothèque TSFEL. Ces caractéristiques résument les caractéristiques structurelles telles que la tendance, la saisonnalité et la complexité, plutôt que les valeurs absolues.

Méta-modèle : Un CatBoostRegressor est entraîné pour mapper ces caractéristiques structurelles vers les percentiles d'erreur prédits.

Inférence et Rejet

Lors de l'inférence, le méta-modèle évalue chaque origine de prévision avant que la prévision ne soit émise.

• Zero-shot : Le méta-modèle entraîné sur la source est appliqué directement à un nouveau domaine.
• Adaptation de domaine : Le méta-modèle est affiné (fine-tuned) sur un petit sous-ensemble de données étiquetées du domaine cible.
• Règle de décision : Les prévisions dont le score de percentile prédit $\hat{u}_{i,t} \geq q$ (où $q$ est un seuil correspondant au niveau de couverture souhaité) sont rejetées.

Principales contributions

1. Méta-apprentissage pour l'estimation de l'erreur : L'article introduit une approche de méta-apprentissage qui estime les erreurs de prévision importantes en utilisant les propriétés structurelles des retards récents et des cibles invariantes d'échelle (percentiles d'erreur).
2. Transfert agnostique au domaine : En découplant la décision de rejet de la prévision et en l'ancrant dans des caractéristiques agnostiques au domaine, le cadre permet un transfert efficace de l'abstention à travers des séries temporelles hétérogènes.
3. Validation empirique : Les auteurs fournissent la preuve que cette approche surpasse les heuristiques dérivées de la prévision (telles que la largeur de l'intervalle de prédiction et la variance des résidus) tant dans les contextes de domaine interne que dans les contextes d'apprentissage par transfert.

Résultats expérimentaux

Le cadre a été évalué sur les collections de séries temporelles univariées M3, M1 et Tourism (fréquences mensuelles et trimestrielles) en utilisant KAN et NHITS comme modèles de base.

Évaluation au niveau méta (Qualité du classement)

• Domaine interne : Le méta-modèle a atteint une corrélation de Spearman élevée ($\rho$ entre 0,71 et 0,90) entre les scores prédits et les rangs d'erreur réels, surpassant systématiquement les bases comme la largeur de l'IP (intervalle de prédiction) et la variance des résidus.
• Apprentissage par transfert : Bien que le transfert zero-shot ait montré une certaine dégradation due au décalage de domaine, le méta-modèle a tout de même surpassé la plupart des bases de référence. Crucialement, l'adaptation de domaine (ajustement sur 30 % des données cibles) a considérablement récupéré la performance, égalant ou dépassant souvent la performance du domaine source.
• Bases de référence : Les bases de référence dérivées de la prévision (largeur de l'IP, échelle des résidus) ont généralement échoué à se généraliser dans les contextes de transfert, performant souvent moins bien qu'un rejet aléatoire dans les scénarios zero-shot.

Évaluation au niveau base (Précision de la prévision)

• La prévision sélective utilisant le méta-modèle a systématiquement amélioré la sMAPE moyenne des prévisions acceptées à tous les niveaux de couverture par rapport aux options « garder tout » et autres bases.
• La méthode a atteint l'écart moyen le plus faible par rapport à l'« Oracle » (la meilleure performance théorique si les erreurs réelles étaient connues) pour tous les taux de rejet.
• L'approche s'est avérée agnostique au modèle, produisant des améliorations similaires que KAN ou NHITS soit utilisé comme prédicteur sous-jacent.

Signification et affirmations

L'article affirme que la prévisibilité peut être traitée comme une propriété structurelle des observations récentes, permettant des décisions de gestion des risques avant que l'horizon de prévision ne soit réalisé.

• Triage pré-prévision : Contrairement aux méthodes de quantification de l'incertitude qui nécessitent que la prévision soit générée d'abord, cette méthode opère ex ante, en utilisant uniquement les descripteurs de retard pour filtrer les instances difficiles.
• Généralisation : La conception invariante d'échelle permet au mécanisme de se transférer efficacement entre les domaines sans réentraîner le modèle de prévision de base, répondant ainsi à une limitation clé des méthodes actuelles de prédiction sélective.
• Utilité pratique : Les résultats suggèrent que les praticiens peuvent éviter sélectivement les prédictions peu fiables, réduisant ainsi considérablement l'erreur moyenne dans les applications critiques où les prévisions à haut risque sont préjudiciables.

Les auteurs reconnaissent des limites, notant que la méthode dépend de la représentativité des données de méta-entraînement et estime le risque relatif plutôt que de fournir des garanties probabilistes calibrées. Ils suggèrent que les travaux futurs pourraient intégrer ce mécanisme avec la prédiction conforme pour une quantification formelle de l'incertitude.