Diff2SP: Diffusion Models for Correlated Scenario Generation in Stochastic Programming

Résumé Technique de Diff2SP : Modèles de Diffusion pour la Génération de Scénarios Corrélés en Programmation Stochastique

Énoncé du Problème
La génération de scénarios est une composante fondamentale de la programmation stochastique (SP), où un ensemble fini de scénarios représentatifs approxime l'incertitude sous-jacente pour éclairer la prise de décision. Les méthodologies existantes font face à des compromis importants entre fidélité, diversité et coût computationnel. Les techniques classiques basées sur l'échantillonnage (par exemple, Monte Carlo) nécessitent souvent un nombre vaste de scénarios pour capturer les événements de queue rares et coûteux ainsi que les dépendances complexes, ce qui les rend extrêmement coûteuses en calcul. À l'inverse, les approches d'apprentissage supervisé nécessitent des paires entrée-sortie fixes et échouent à générer des scénarios diversifiés et réalistes au-delà des motifs prédéfinis. Bien que des modèles génératifs non supervisés comme les Réseaux Antagonistes Génératifs (GAN) aient été appliqués à la génération de scénarios, ils souffrent d'instabilité d'entraînement, d'effondrement de mode (mode collapse) et d'un manque d'estimations explicites de vraisemblance, ce qui rend difficile l'évaluation de la représentation des événements de queue ou des dépendances entre variables. Crucialement, la plupart des méthodes existantes traitent la génération de scénarios et la prise de décision en aval comme des étapes distinctes, générant des scénarios pour correspondre aux distributions de données historiques plutôt que pour optimiser la qualité de la décision.

Méthodologie : Le Cadre Diff2SP
Les auteurs proposent Diff2SP, un cadre génératif basé sur la diffusion qui intègre directement les objectifs d'optimisation stochastique en aval dans le processus de génération de scénarios. Le cadre se compose de trois composantes principales :

1. Architecture de Diffusion avec Transformers :

   • Le cœur utilise un Modèle de Diffusion Probabiliste de Dénouage (DDPM). Le processus direct corrompt progressivement les échantillons de données (par exemple, séries temporelles multivariées de vent, solaire et charge) avec du bruit gaussien sur $K$ étapes.
   • Le processus inverse apprend à débruiter, synthétisant de nouveaux échantillons en éliminant itérativement le bruit.
   • Contrairement aux DDPM standards qui utilisent souvent des architectures U-Net (basées sur les CNN), Diff2SP emploie une architecture basée sur les Transformers pour le réseau de débruitage. Cela permet au modèle de capturer des dépendances temporelles à longue portée et des corrélations complexes entre variables via des mécanismes d'auto-attention, ce qui est critique pour les séries temporelles multivariées de haute dimension.
   • Le modèle supporte la génération conditionnelle, lui permettant de s'adapter à des contextes exogènes (par exemple, l'heure de la journée, les variables météorologiques) via un vecteur de conditionnement $c$ optionnel.

2. Entraînement Guidé par l'Optimisation :

   • Diff2SP introduit un objectif d'entraînement unifié qui combine trois composantes de perte :
     • Perte de Prédiction du Bruit : Entraînement DDPM standard pour estimer le bruit ajouté.
     • Perte de Reconstruction : Encourage la récupération d'échantillons temporellement cohérents.
     • Perte d'Optimisation : Un terme novateur qui pénalise les écarts de la valeur de l'objectif optimal du problème de SP en aval lorsque l'on utilise les scénarios générés par rapport aux données historiques.
   • Pour permettre un entraînement basé sur le gradient à travers la perte d'optimisation, le problème de SP est intégré sous la forme d'une couche d'optimisation différentiable au sein du réseau neuronal. Les gradients sont propagés à travers la solution optimale en utilisant la différenciation implicite des conditions d'optimalité (basée sur Fiacco et Ishizuka, 1990).
   • La perte totale est une somme pondérée : $L_k(\theta) = \lambda_{noise}L_{noise} + \lambda_{recon}L_{recon} + \lambda_{opt}L_{opt}$.

3. Justification Théorique :

   • L'article établit des bornes de regret reliant la précision distributionnelle (mesurée par la distance 1-Wasserstein) à la qualité de la décision.
   • Il dérive des garanties de complexité d'échantillonnage, montrant qu'en minimisant directement une perte sensible à l'optimisation, Diff2SP atteint un taux de regret de décision de $O(N^{-1/2})$. En revanche, les GAN, qui minimisent indirectement la divergence statistique (par exemple, la divergence de Jensen-Shannon), atteignent un taux plus lent de $O(N^{-1/4})$.

Contributions Clés

1. Développement de Cadre : Les auteurs développent un cadre basé sur la diffusion qui intègre un problème d'optimisation stochastique comme une couche différentiable, couplant la modélisation de l'incertitude avec la prise de décision en aval.
2. Garanties de Regret Théoriques : Ils établissent des bornes de regret quantifiant comment les erreurs dans la distribution d'incertitude apprise se traduisent en pertes de qualité de décision, démontrant qu'un entraînement conscient de la décision offre des garanties théoriques plus fortes que la simple correspondance de distribution.
3. Analyse de la Complexité d'Échantillonnage : L'article dérive des bornes de complexité d'échantillonnage pour la génération de scénarios sensible à l'optimisation, les comparant aux modèles basés sur les GAN pour montrer que l'incorporation directe des objectifs d'optimisation conduit à une convergence plus rapide et une meilleure robustesse.

Résultats Empiriques
Le cadre a été évalué sur des ensembles de données synthétiques et réels :

• Expériences Synthétiques : Utilisant une distribution gaussienne multivariée synthétique, Diff2SP a démontré une efficacité d'échantillonnage supérieure pour récupérer les structures de corrélation par rapport aux GAN, particulièrement dans les régimes à faible échantillonnage. Dans les tâches de programmation quadratique en aval, Diff2SP a systématiquement obtenu des erreurs d'optimisation plus faibles à travers différents nombres de scénarios générés.
• Étude de Cas Réelle : Appliqué à une tâche de programmation stochastique de système électrique impliquant des séries temporelles de vent, solaire et charge à travers six régions de l'empreinte MISO. Le modèle a généré des scénarios utilisés pour résoudre un problème de flux de puissance optimal continu (DC-OPF).
  • Fidélité Statistique : Les scénarios générés ont capturé les pics et les creux majeurs, bien que de légères surestimations des pics extrêmes aient été notées.
  • Qualité de la Décision : Une étude d'ablation a comparé le modèle complet Diff2SP à un modèle de diffusion classique et à une variante sans la perte d'optimisation. Le modèle complet, intégrant la perte d'optimisation, a obtenu l'erreur composite la plus faible sur l'ensemble des métriques d'évaluation (écart d'objectif, écart moyenne/covariance, et violations des limites de ligne). Cela a confirmé qu'une approche purement statistique échoue à préserver les structures critiques pour la décision, tandis qu'un entraînement guidé par l'optimisation assure l'alignement avec les contraintes et les coûts en aval.

Signification et Revendications
L'article affirme que Diff2SP répond au compromis persistant entre fidélité statistique et pertinence décisionnelle dans la génération de scénarios. En intégeant le problème de SP directement dans la boucle d'entraînement, le cadre génère des scénarios qui sont non seulement statistiquement cohérents, mais aussi « conscients de la décision ». Les auteurs soulignent que, bien que la diffusion ne soit pas strictement nécessaire pour les bornes de regret théoriques (tout générateur suffisamment régularisé pourrait théoriquement les atteindre), son objectif d'entraînement stable et différentiable en fait un outil pratiquement supérieur aux modèles antagonistes comme les GAN pour intégrer des pertes dépendantes de la décision à haute variance et non convexes. Ce travail démontre que l'intégration des objectifs d'optimisation dans la modélisation générative conduit à une meilleure robustesse et une meilleure qualité de décision dans des environnements d'incertitude complexes et corrélés, mettant particulièrement en évidence les applications dans les systèmes énergétiques modernes à forte pénétration des énergies renouvelables.