Résumé Technique : DIFFDIFF – Différencier la trajectoire de diffusion vers les composantes incertaines pour la prévision de séries temporelles

1. Énoncé du Problème

La prévision probabiliste de séries temporelles vise à modéliser la distribution conditionnelle des valeurs futures étant donné une fenêtre d'observation historique. Bien que les modèles de diffusion probabiliste de débruitage (DDPM) soient apparus comme un cadre puissant pour cette tâche en modélisant des distributions prédictives complexes sans hypothèses paramétriques restrictives, ils font face à une asymétrie fondamentale dans les données de séries temporelles que les processus de diffusion standards ne parviennent pas à traiter.

Dans la prévision de séries temporelles, le futur n'est pas une page blanche ; il prolonge l'historique observé. Par conséquent, l'incertitude prédictive n'est pas uniformément distribuée. Les composantes fortement corrélées avec l'historique (par exemple, les tendances lisses, les motifs saisonniers) portent peu d'incertitude résiduelle, tandis que les composantes que l'historique sous-détermine (par exemple, les fluctuations rapides, les changements de régime) concentrent l'incertitude résiduelle. Les modèles de prévision basés sur la diffusion existants tentent souvent de gérer cela en décomposant la cible en composantes déterministes et incertaines avant le processus de diffusion en utilisant des règles externes (par exemple, en figeant un prédicteur de point pour les tendances). Cependant, cette approche localise l'asymétrie en dehors du pipeline de diffusion, laissant la trajectoire de corruption « aveugle » aux parties de la cible qui sont déjà ancrées par l'historique. Par conséquent, la capacité du modèle de diffusion est gaspillée à reconstruire un contenu ancré par l'historique qui pourrait être fourni de manière déterministe, plutôt qu'à se concentrer sur les composantes à haute incertitude où l'effort génératif est le plus nécessaire.

2. Méthodologie : DIFFDIFF

Les auteurs proposent DIFFDIFF (Differencing Diffusion), un cadre qui intègre l'asymétrie de prévisibilité directement dans la trajectoire de diffusion elle-même. Au lieu d'une décomposition externe, DIFFDIFF rend l'opérateur de progression dépendant de l'étape, déplaçant progressivement l'état intermédiaire bruité des valeurs cibles vers leur structure de différenciation de second ordre.

2.1 Processus de propagation dépendant de l'étape

L'innovation centrale réside dans le processus de propagation $q(x_t | x_0)$. Contrairement à la diffusion standard qui ajoute un bruit gaussien isotrope, DIFFDIFF définit une marge de propagation généralisée :
$$q(x_t | x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t} A_t x_0, (1 - \bar{\alpha}_t)I)$$
où $A_t$ est une matrice de transition dépendante de l'étape.

• Différenciation progressive : $A_t$ est définie comme $(1 - \lambda_t)I + \lambda_t D^2$, où $D^2$ est un opérateur de différenciation de second ordre et où $\lambda_t$ augmente de manière monotone avec l'étape de diffusion $t$.
• Effet : Les étapes précoces ($t \approx 0$) restent proches de la cible originale $x_0$. À mesure que la diffusion progresse, $A_t$ supprime de plus en plus les composantes de basse fréquence (niveaux et tendances) qui sont facilement ancrées par l'historique, tout en préservant les composantes de haute fréquence (fluctuations et courbure) qui portent l'incertitude résiduelle.
• Fenêtre étendue : Pour assurer la continuité transfrontalière, la cible $x_0$ est définie comme une fenêtre étendue $[x_{label}, x_{fut}]$, incluant un court chevauchement de l'historique observé. Cela permet à $D^2$ d'encoder la courbure à la frontière historique-futur.

2.2 Débruiteur conditionnel adaptatif selon l'étape

Puisque le processus de propagation supprime le contenu du domaine des valeurs dans les étapes ultérieures, le processus inverse nécessite une voie de conditionnement capable de réapprovisionner cette information. DIFFDIFF emploie un débruiteur conditionnel adaptatif selon l'étape qui fusionne deux vues de l'historique :

1. Domaine des valeurs : Encode l'historique brut $x_{hist}$ (préservant le niveau, l'échelle et la tendance).
2. Domaine des différences : Encode les différences de premier ordre $\Delta x_{hist}$ (capturant la vélocité locale et les fluctuations à court terme).

Ces deux représentations sont fusionnées via une porte temporellement adaptative $g$ :
$$c = h_{val} + g \odot h_{diff}$$
où $g$ est une fonction sigmoïde conditionnée par l'étape de diffusion temporelle. Cette porte ajuste dynamiquement la contribution de la branche différentielle : elle reste ouverte lorsque l'état bruité conserve davantage de structure différenciée (étapes tardives) et supprime la branche différentielle lorsque le contenu du domaine des valeurs suffit (étapes précoces).

2.3 Entraînement et Échantillonnage

• Entraînement : Le modèle minimise une perte de reconstruction pondérée par la position dans le domaine des valeurs ($x_0$-prédiction), ainsi que des pertes auxiliaires pour prédire les statistiques de normalisation par instance (moyenne et variance) afin de récupérer les échelles absolues.
• Échantillonnage : La distribution terminale approche une gaussienne standard $\mathcal{N}(0, I)$, préservant la compatibilité avec les échantillonneurs accélérés existants (par exemple, DDIM). Le processus inverse utilise les matrices dépendantes de l'étape $A_t$ pour mapper les prédictions vers la représentation de signal correcte à chaque étape.

3. Contributions Clés

1. Internalisation de l'asymétrie : DIFFDIFF est le premier cadre de diffusion à intégrer l'asymétrie déterministe-incertitude directement dans la trajectoire de diffusion via un opérateur de propagation dépendant de l'étape, plutôt que de s'appuyer sur une décomposition externe préalable.
2. Corruption sélective en fréquence : En utilisant un opérateur de différenciation de second ordre dans le processus de propagation, la méthode crée un profil de rapport signal sur bruit (SNR) non uniforme. Elle atténue les composantes de basse fréquence (ancrées par l'historique) plus rapidement que les composantes de haute fréquence (incertaines), réallouant ainsi efficacement la capacité générative du modèle vers les parties les plus incertaines de la cible.
3. Conditionnement adaptatif selon l'étape : L'introduction d'un mécanisme de porte temporellement adaptatif permet au débruiteur d'équilibrer dynamiquement l'information de l'historique entre le domaine des valeurs et le domaine différentiel, compensant la suppression causée par l'opérateur de propagation.
4. Cohérence théorique : Les auteurs prouvent que malgré la nature non markovienne du processus de propagation dépendant de l'étape, le processus inverse maintient une cohérence marginale avec la trajectoire de propagation, garantissant un échantillonnage valide.

4. Résultats Expérimentaux

Les auteurs ont évalué DIFFDIFF sur sept benchmarks de séries temporelles diversifiés (Electricity, ETTm2, Exchange Rate, Traffic, Solar-Energy, Weather, Wind) à travers quatre horizons de prévision ($H \in \{96, 192, 336, 720\}$).

• Performance : DIFFDIFF a surpassé six bases de comparaison de diffusion de pointe (incluant CSDI, TimeDiff, TMDM, NsDiff, MA-TSD) dans 53 cas sur 84. Il a obtenu le meilleur score CRPS (Continuous Ranked Probability Score) dans la majorité des cas.
• Études d'ablation :
  • Le processus de propagation (différenciation) a été identifié comme la principale source d'amélioration ; les variantes sans celui-ci ont nettement moins bien performé.
  • La porte adaptative selon l'étape était cruciale ; la supprimer ou la remplacer par des mécanismes de fusion fixes entraînait une dégradation des performances, particulièrement sur les jeux de données présentant des degrés de stochasticité variables.
  • La différenciation de second ordre ($D^2$) s'est avérée plus robuste que les opérateurs de premier ordre ($D^1$) ou de troisième ordre ($D^3$), trouvant un équilibre entre la capture de la courbure et l'évitement de l'amplification des erreurs d'extrapolation.
• Analyse : L'analyse spectrale a confirmé que le processus de propagation déplace avec succès l'énergie du signal conservé vers les composantes de haute fréquence à mesure que la diffusion progresse. De plus, la dynamique de la porte a montré qu'elle s'adapte aux caractéristiques des jeux de données, maintenant la branche différentielle ouverte pour les séries périodiques (Electricity, Traffic) et la supprimant pour les séries hautement stochastiques (Solar, Wind).

5. Signification et Revendications

L'article affirme que DIFFDIFF démontre que la prévision de séries temporelles probabilistes bénéficie considérablement de l'encodage de l'asymétrie de prévisibilité directement dans la trajectoire de diffusion. En remodelant le chemin de corruption pour supprimer progressivement le contenu ancré par l'historique, le modèle évite de gaspiller la capacité générative à reconstruire ce qui est déjà connu. Au lieu de cela, il concentre son budget de représentation sur les composantes « difficiles » — la dynamique sous-déterminée par l'historique — tout en s'appuyant sur la voie de conditionnement pour fournir le contenu ancré.

Les auteurs soulignent que cette approche permet à un processus de diffusion unique de bout en bout d'être « conscient » de la structure de la cible, atteignant une calibration et une netteté supérieures (CRPS plus faible) sans nécessole de règles de décomposition externes ou de pipelines multi-étapes complexes. La méthode préserve la compatibilité avec les techniques d'échantillonnage de diffusion standard, ce qui en fait une mise à jour pratique et efficace pour les cadres de prévision basés sur la diffusion existants.