Diff2SP: Diffusion Models for Correlated Scenario Generation in Stochastic Programming

Sintesi Tecnica di Diff2SP: Modelli di Diffusione per la Generazione di Scenari Correlati nella Programmazione Stocastica

Definizione del Problema
La generazione di scenari è una componente fondamentale della programmazione stocastica (SP), in cui un insieme finito di scenari rappresentativi approssima l'incertezza sottostante per informare il processo decisionale. Le metodologie esistenti affrontano compromessi significativi tra fedeltà, diversità e costo computazionale. Le tecniche classiche basate sul campionamento (ad esempio, Monte Carlo) richiedono spesso un numero enorme di scenari per catturare eventi estremi rari e ad alto costo (tail events) e dipendenze complesse, risultando computazionalmente costose. Al contrario, gli approcci di apprendimento supervisionato richiedono coppie input-output fisse e non riescono a generare scenari diversificati e realistici oltre i modelli predefiniti. Sebbene modelli generativi non supervisionati come le Generative Adversarial Networks (GAN) siano stati applicati alla generazione di scenari, essi soffrono di instabilità nell'addestramento, collasso del modo (mode collapse) e mancanza di stime esplicite della verosimiglianza, rendendo difficile valutare la rappresentazione degli eventi estremi o le dipendenze tra variabili incrociate. Fondamentalmente, la maggior parte dei metodi esistenti tratta la generazione di scenari e il processo decisionale a valle come passaggi separati, generando scenari per corrispondere alle distribuzioni storiche piuttosto che per ottimizzare la qualità decisionale.

Metodologia: Il Framework Diff2SP
Gli autori propongono Diff2SP, un framework generativo basato sulla diffusione che integra direttamente gli obiettivi di ottimizzazione stocastica a valle nel processo di generazione degli scenari. Il framework si compone di tre componenti primarie:

1. Architettura di Diffusione con Transformer:

   • Il nucleo utilizza un Modello di Diffusione Probabilistica di Denoising (DDPM). Il processo in avanti corrompe progressivamente i campioni di dati (ad esempio, serie temporali multivariate di vento, solare e carico) con rumore Gaussiano attraverso $K$ passi.
   • Il processo inverso impara a denoisare, sintetizzando nuovi campioni rimuovendo iterativamente il rumore.
   • A differenza dei DDPM standard che spesso utilizzano architetture U-Net (basate su CNN), Diff2SP impiega un'architettura basata su Transformer per la rete di denoising. Ciò consente al modello di catturare dipendenze temporali a lungo raggio e complesse correlazioni tra variabili tramite meccanismi di self-attention, fondamentali per serie temporali multivariate ad alta dimensionalità.
   • Il modello supporta la generazione condizionale, permettendogli di adattarsi a contesti esogeni (ad esempio, ora del giorno, variabili meteorologiche) tramite un vettore di condizionamento opzionale $c$.

2. Addestramento Guidato dall'Ottimizzazione:

   • Diff2SP introduce un obiettivo di addestramento unificato che combina tre componenti di perdita:
     • Perdita di Predizione del Rumore (Noise Prediction Loss): Addestramento standard DDPM per stimare il rumore aggiunto.
     • Perdita di Ricostruzione (Reconstruction Loss): Incoraggia il recupero di campioni temporalmente coerenti.
     • Perdita di Ottimizzazione (Optimization Loss): Un termine innovativo che penalizza le discrepanze nel valore dell'obiettivo ottimale del problema di SP a valle rispetto ai dati storici.
   • Per consentire l'addestramento basato sul gradiente attraverso la perdita di ottimizzazione, il problema di SP è incorporato come uno strato di ottimizzazione differenziabile all'interno della rete neurale. I gradienti vengono propagati attraverso la soluzione ottimale utilizzando la differenziazione implicita delle condizioni di ottimalità (basata su Fiacco e Ishizuka, 1990).
   • La perdita totale è una somma pesata: $L_k(\theta) = \lambda_{noise}L_{noise} + \lambda_{recon}L_{recon} + \lambda_{opt}L_{opt}$.

3. Giustificazione Teorica:

   • Il documento stabilisce limiti di regret che collegano l'accuratezza distributiva (misurata tramite la distanza 1-Wasserstein) alla qualità decisionale.
   • Deriva garanzie di complessità del campione, dimostrando che, minimizzando direttamente una perdita consapevole dell'ottimizzazione, Diff2SP raggiunge un tasso di regret decisionale di $O(N^{-1/2})$. Al contrario, le GAN, che minimizzano indirettamente la divergenza statistica (ad esempio, la divergenza di Jensen-Shannon), raggiungono un tasso più lento di $O(N^{-1/4})$.

Contributi Chiave

1. Sviluppo del Framework: Gli autori sviluppano un framework basato sulla diffusione che incorpora un problema di ottimizzazione stocastica come strato differenziabile, accoppiando la modellazione dell'incertezza con il processo decisionale a valle.
2. Garanzie di Regret Teorico: Stabiliscono limiti di regret che quantificano come gli errori nella distribuzione dell'incertezza appresa si traducano in perdite nella qualità decisionale, dimostrando che l'addestramento consapevole della decisione produce garanzie teoriche più forti rispetto al semplice matching distributivo.
3. Analisi della Complessità del Campione: Il documento deriva i limiti di complessità del campione per la generazione di scenari consapevole dell'ottimizzazione, confrontandoli con l'apprendimento basato su GAN per mostrare come l'incorporazione diretta degli obiettivi decisionali porti a una convergenza più rapida e a una maggiore robustezza.

Risultati Empirici
Il framework è stato valutato sia su dataset sintetici che su dati reali:

• Esperimenti Sintetici: Utilizzando una distribuzione Gaussiana multivariata sintetica, Diff2SP ha dimostrato una superiore efficienza campionaria nel recuperare le strutture di correlazione rispetto alle GAN, in particolare in regimi con pochi campioni. Nei compiti di programmazione quadratica a valle, Diff2SP ha costantemente ottenuto errori di ottimizzazione inferiori attraverso diverse quantità di scenari generati.
• Caso di Studio Reale: Applicato a un compito di programmazione stocastica di sistemi elettrici che coinvolge serie temporali di vento, solare e carico in sei regioni dell'area MISO. Il modello ha generato scenari utilizzati per risolvere un problema di DC Optimal Power Flow (OPF).
  • Fedeltà Statistica: Gli scenari generati hanno catturato i picchi e i cali principali, sebbene siano state notate lievi sovrastime dei picchi estremi.
  • Qualità Decisionale: Uno studio di ablazione ha confrontato il modello completo Diff2SP con un modello di diffusione vanilla e una variante priva della perdita di ottimizzazione. Il modello completo, che incorpora la perdita di ottimizzazione, ha ottenuto l'errore composito più basso in tutte le metriche di valutazione (deviazione dell'obiettivo, deviazione di media/covarianza, violazioni dei limiti di linea). Ciò ha confermato che gli obiettivi puramente statistici non riescono a preservare le strutture critiche per la decisione, mentre l'addestramento guidato dall'ottimizzazione assicura l'allineamento con i vincoli e i costi a valle.

Significato e Rivendicazioni
Il documento afferma che Diff2SP affronta il persistente compromesso tra fedeltà statistica e rilevanza decisionale nella generazione di scenari. Incorporando il problema di SP direttamente nel ciclo di addestramento, il framework genera scenari che non sono solo statisticamente coerenti, ma anche "consapevoli della decisione" (decision-aware). Gli autori sottolineano che, sebbene la diffusione non sia strettamente necessaria per i limiti di regret teorici (qualsiasi generatore sufficientemente regolarizzato potrebbe teoricamente raggiungerli), il suo obiettivo di addestramento stabile e differenziabile lo rende praticamente superiore ai modelli avversari come le GAN per incorporare perdite ad alta varianza e non convesse dipendenti dalla decisione. Il lavoro dimostra che l'integrazione di obiettivi di ottimizzazione nel modellamento generativo porta a una migliore robustezza e qualità decisionale in ambienti di incertezza complessi e correlati, evidenziando in particolare le applicazioni nei moderni sistemi energetici con alta penetrazione delle rinnovabili.