Diffusion Models for Adaptive Sequential Data Generation

Résumé Technique : Modèles de Diffusion pour la Génération de Données Séquentielles Adaptatives

Énoncé du Problème
La génération de données séquentielles synthétiques réalistes est cruciale pour des applications en recherche opérationnelle, en finance, en santé et en calcul scientifique. Bien que les modèles de diffusion aient connu un succès dans la génération de données statiques, leur extension directe aux contextes séquentiels échoue souvent à capturer la dépendance temporelle et, plus critiquement, le flux d'information (l'adaptativité) inhérent aux séries temporelles. Les modèles de diffusion standards traitent l'ensemble de la trajectoire comme un objet unique, permettant à la génération d'une valeur à l'instant $t$ de dépendre implicitement d'observations futures, ce qui viole l'ordre causal requis pour la prise de décision non anticipative. Les modèles autoregressifs existants (par exemple, les Transformers) gèrent les données séquentielles mais peinent souvent avec les modalités continues ou nécessitent une discrétisation qui introduit des erreurs d'approximation. Le défi central consiste à concevoir un cadre de diffusion capable de générer des données séquentielles tout en préservant strictement la structure adaptée, où chaque valeur générée dépend uniquement des informations passées et présentes.

Méthodologie : Diffusion Adaptative pour Données Séquentielles (AD-Seq)
Les auteurs proposent AD-Seq, un cadre de diffusion séquentiel avant-arrière conçu pour aligner la dynamique de diffusion avec le flux d'information temporelle.

1. Construction Séquentielle Avant-Arrière :
   Contrairement aux modèles de diffusion classiques qui opèrent sur la série temporelle complète de manière jointe, AD-Seq génère le chemin d'échantillonnage coordonnée par coordonnée (étape de temps par étape de temps).

   • Processus Avant (Forward) : Pour chaque instant $h$, une équation différentielle stochastique (SDE) directe est définie, conditionnée par l'historique précédemment généré $X^{[1:h)}$. Cela incorpore la dépendance temporelle directement dans l'injection de bruit vers l'avant.
   • Processus Arrière (Backward) : Le processus d'échantillonnage procède séquentiellement. Pour générer la valeur à l'instant $h$, le modèle exécute une SDE inverse conditionnée par l'historique déjà généré $\bar{X}^{[1:h)}$. Cela garantit que la génération de $X_h$ dépend strictement de $X_{1}, \dots, X_{h-1}$, imposant l'adaptativité par construction.

2. Objectif de Score Matching :
   Pour entraîner le modèle, les auteurs introduisent un nouvel objectif de score-matching qui découple le problème d'apprentissage à travers les étapes temporelles.

   • L'objectif minimise la perte quadratique pondérée entre le score prédit et le véritable score conditionnel $\nabla_x \log \rho_h(t, x | \text{historique})$.
   • Crucialement, cet objectif permet un entraînement parallèle des fonctions de score pour différentes étapes temporelles, malgré la nature séquentielle du processus d'échantillonnage.
   • Pour gérer la croissance de la dimensionnalité de l'historique pour les horizons longs, les auteurs emploient un mécanisme de troncature de l'historique, conditionnant le score sur une fenêtre récente de longueur $d_{\text{trunc}}$ plutôt que sur l'historique complet, ce qui est justifié par la décroissance de la dépendance temporelle.

3. Algorithme :
   L'algorithme d'échantillonnage (Algorithme 1) itère de $h=1$ à $H$. Pour chaque étape, il exécute une SDE inverse utilisant un réseau de score appris $\hat{s}_h$ qui prend en entrée l'état bruité actuel et l'historique propre précédemment généré.

Principales Contributions
Le papier présente trois contributions majeures :

1. Un Nouveau Cadre pour la Génération Adaptée : AD-Seq est le premier cadre de diffusion explicitement conçu pour générer des séries temporelles adaptées à une filtration. En conditionnant les étapes de diffusion inverse sur l'historique généré, il garantit que les données synthétiques respectent la structure d'information causale, ce qui les rend adaptées aux tâches de prise de décision prédictive et de tests de résistance où l'information future ne peut être anticipée.
2. Théorie de l'Apprentissage Statistique Rigoureuse : Les auteurs établissent des garanties en échantillon fini pour le cadre AD-Seq, incluant :
   • Approximation de Score : Prouver que les réseaux de neurones peuvent approximer les fonctions de score conditionnelles avec une erreur bornée, même lorsque les variables de conditionnement sont non bornées (un défi spécifique aux séries temporelles financières).
   • Estimation de Score : Dériver des bornes sur l'erreur statistique du minimiseur de score empirique.
   • Estimation de Distribution : Fournir une borne de variation totale (TV) pour la distribution générée. Le taux de convergence est montré comme étant $\tilde{O}(n^{-\frac{\beta}{4(d_{\text{trunc}}+\beta)}})$, où $n$ est la taille de l'échantillon, $\beta$ est le paramètre de lissité, et $d_{\text{trunc}}$ est la longueur de l'historique effectif. Ce taux correspond aux meilleurs taux connus pour les modèles de diffusion statiques, démontrant que les contraintes d'adaptativité ne dégradent pas intrinsèquement la tractabilité statistique si la dépendance temporelle décroît.
3. Validation Empirique :
   • Données Synthétiques : La méthode récupère avec précision la structure d'autocorrélation des modèles ARMA et les motifs de décroissance de covariance des processus gausiens, surpassant les estimations empiriques dans les régimes à faible échantillon.
   • Application au Monde Réel : Dans une tâche d'optimisation de portefeuille moyenne-variance sur des données du S&P 500, les politiques entraînées à l'aide d'échantillons générés par AD-Seq ont atteint les ratios de Sharpe les plus élevés parmi les références, démontant l'utilité de préserver la structure temporelle pour la prise de décision en aval.

Résultats et Signification
Le papier affirme qu'AD-Seq comble avec succès le fossé entre la flexibilité des modèles de diffusion et les exigences causales des données séquentielles.

• Fidélité Statistique : La méthode capture des structures de dépendance séquentielle significatives plutôt que de simples marginales statiques.
• Qualité de la Décision : Dans l'expérience d'optimisation de portefeuille, la génération adaptée a conduit à des améliorations mesurables de la qualité de la décision (ratio de Sharpe) par rapport aux méthodes qui ne respectaient pas le flux d'information ou qui utilisaient d'autres approches génératives.
• Nouveauté Théorique : Ce travail fournit les premières garanties statistiques rigoureuses pour les modèles de diffusion appliqués à des données séquentielles génériques, abordant le défi spécifique des variables de conditionnement non bornées et de la troncature de l'historique.

Les auteurs positionnent ce travail comme une étape fondamentale vers l'utilisation des modèles de diffusion dans des domaines où le moment de l'information est critique, étendant leur applicabilité au-delà de la simple génération de données vers la prédiction multi-étapes, le contrôle prédictif et l'inférence statistique sous des contraintes de flux d'information.