Riepilogo Tecnico: Modellazione Generativa Robusta Basata sullo Score con Perturbazioni Tsallis–Gaussiane

Definizione del Probleamento

La modellazione generativa basata sullo score, in particolare lo Score-Matching con Langevin Dynamics (SMLD), si basa fortemente sulle perturbazioni gaussiane per definire l'obiettivo di addestramento e la dinamica di campionamento. Sebbene le perturbazioni gaussiane offrano una comodità analitica e una connessione diretta con la divergenza di Fisher, esse possiedono un limite critico: la funzione di score condizionale è lineare e illimitata rispetto al residuo della perturbazione ($r = y - x$). Di conseguenza, l'obiettivo standard di Denoising Score-Matching (DSM) è altamente sensibile alle grandi deviazioni, rendendolo non robusto rispetto a distribuzioni di dati a code pesanti e alla contaminazione dei dati (ad esempio, rumore a livello di feature o corruzione a livello di campione).

I tentativi esistenti per affrontare questo problema sostituendo semplicemente il rumore gaussiano con alternative a code pesanti (ad esempio, dinamiche stabili o frazionarie) spesso non forniscono un framework statisticamente coerente. Tipicamente, non allineano la distribuzione di perturbazione con una corrispondente divergenza, funzione di perdita o procedura di campionamento, lasciando indefiniti i proprietà di robustezza del target di addestramento. Inoltre, i dati finanziari e i dati tabulari sintetici spesso esibiscono code pesanti, clustering di volatilità e rotture strutturali, rendendo necessari modelli generativi in grado di catturare eventi estremi senza essere destabilizzati da essi.

Metodologia

Gli autori propongono un framework unificato, Tsallis-Weighted SMLD (TSMLD), che integra perturbazioni Tsallis–Gaussiane (o $q$-Gaussiane) con la divergenza di Tsallis Kullback–Leibler (KL). Il framework è costruito su due meccanismi di robustezza complementari:

1. Kernel di Perturbazione Tsallis–Gaussiano (Robustezza a livello di Feature)

Invece del normale rumore gaussiano, il modello inietta rumore Tsallis–Gaussiano. Per un parametro di deformazione $q > 1$, questa distribuzione presenta code pesanti.

• Score Limitato: Lo score condizionale indotto dal kernel Tsallis–Gaussiano, $\nabla_y \log p_j(y|x)$, è limitato e redescendente nel residuo $r$. A differenza dello score gaussiano lineare, lo score di Tsallis diminuisce verso lo zero per grandi residui.
• Effetto: Ciò limita l'influenza delle estreme deviazioni a livello di feature durante l'addestramento, impedendo agli outlier di dominare gli aggiornamenti del gradiente.

2. Pesatura Tsallis tramite Divergenza Tsallis KL (Robustezza a livello di Campione)

L'obiettivo di addestramento è derivato dalla variazione del primo ordine della divergenza Tsallis KL, portando a una weighted explicit score-matching (ESM) loss:
$$\mathcal{L} \propto \mathbb{E} \left[ \omega_{q,j}(Y) \| \nabla_Y \log p_\theta(Y) - \nabla_Y \log p_j(Y) \|_2^2 \right]$$
dove il peso è definito come $\omega_{q,j}(y) = (p_j(y) / p_\theta(y))^{1-q}$.

• Meccanismo: Quando $q > 1$, le osservazioni dove il modello assegna una probabilità bassa rispetto ai dati (basso rapporto di densità) ricevono pesi ridotti.
• Effetto: Questo declassa l'influenza di campioni scarsamente supportati o contaminati a livello di campione, migliorando la robustezza contro i cambiamenti distribuzionali (distributional shifts) e gli outlier.

Implementazione: Architettura Dual-Head

Poiché i pesi teorici dipendono da rapporti di densità sconosciuti, gli autori propongono un'implementazione pratica utilizzando una rete neurale dual-head basata su Noise Conditional Score Networks (NCSN):

1. Primary Head: Stima lo score ordinario $\nabla \log p_\theta$ per il campionamento.
2. Auxiliary Head: Stima una trasformazione scalare o vettoriale per approssimare il fattore di densità-potenza $p_\theta^{1-q}$, consentendo il calcolo del peso di Tsallis senza una stima esplicita della densità.

• Stabilizzazione: L'implementazione impiega la normalizzazione mini-batch nel dominio del logaritmo, uno schema di warm-up per i pesi e un'operazione di stop-gradient per evitare che la rete ottimizzi i pesi per minimizzare la perdita invece dell'errore di score.

Campionamento

Il campionamento viene eseguito tramite una dinamica di Langevin con rumore Tsallis annidato (annealed). Il campionatore attraversa una scala di rumore $\sigma_1 > \dots > \sigma_J$, utilizzando lo score ordinario appreso per il drift e il rumore Tsallis–Gaussiano per il termine stocastico. Ciò consente un'esplorazione più ampia dello spazio degli stati, particolarmente ad alti livelli di rumore, rispetto alle normali dinamiche di Langevin gaussiane.

Contributi Chiave

1. Framework Unificato: Il documento formula il primo framework di campionamento basato sullo score che allinea congiuntamente una famiglia di perturbazioni a code pesanti (Tsallis–Gaussian) con una corrispondente divergenza (Tsallis KL) e una funzione di perdita pesata.
2. Doppio Meccanismo di Robustezza: Stabilisce teoricamente ed empiricamente che la robustezza è ottenuta attraverso:
   • Robustezza a livello di feature: Uno score condizionale limitato e redescendente che smorza le estreme deviazioni coordinate.
   • Robustezza a livello di campione: Pesatura adattiva del rapporto di densità che attenua l'influenza delle osservazioni scarsamente corrispondenti.
3. Architettura Neurale Pratica: Una implementazione dual-head che approssima i pesi di Tsallis in alta dimensione senza stima esplicita della densità, compatibile con le pipeline SMLD esistenti.
4. Validazione Empirica: Esperimenti completi su dataset sintetici, finanziari e di immagini che dimostrano una migliore robustezza sotto contaminazione e regimi a code pesanti.

Risultati

Dati Sintetici e Tabulari

• Performance: Nei compiti di classificazione (HAR, ISOLET, Spambase) e regressione (Superconductivity, Communities and Crime, Wave Energy), TSMLD (con $q \approx 1.2$) supera costantemente lo standard SMLD e altri baseline (CTGAN, TVAE, TabDDPM) in termini di utilità downstream (TSTR) e fedeltà distributiva (MMD).
• Robustezza: Sotto corruzione a livello di feature e di campione (fino al 50% di rumore), TSMLD mostra una stabilità significativamente superiore rispetto allo standard SMLD e ai generatori tabulari. Preserva meglio la struttura rilevante per il task, mostrando una minore degradazione delle prestazioni in termini di accuratezza e metriche di regressione.

Generazione di Immagini

• Qualità: Su MNIST, Fashion-MNIST e CIFAR-10, TSMLD raggiunge punteggi Fréchet Inception Distance (FID) competitivi o superiori rispetto allo standard SMLD e ad altri modelli di diffusione a code pesanti (LIM, DLPM).
• Robustezza: Sotto corruzione a livello di pixel e di immagine, TSMLD dimostra una resilienza superiore. Le immagini generate contengono meno artefatti e mantengono meglio la coerenza semantica rispetto ai baseline quando addestrate su dati contaminati.

Serie Temporali Finanziarie

• Fatti Stilizzati: TSMLD recupera meglio i fatti stilizzati finanziari, inclusa la pesantezza delle code (curtosi), il rischio di ribasso (VaR, CVaR) e la dipendenza dal regime di mercato (autovalori delle matrici di correlazione), rispetto ai baseline basati su GAN (TimeGAN, TailGAN) e sulla diffusione.
• Regimi di Stress: Nei test diagnostici out-of-distribution (periodo di crisi 2020–2024), TSMLD con $q=1.5$ genera scenari con un comportamento di coda realistico e dinamiche tipiche dei periodi di crisi, mentre le Gaussian SMLD e le GAN tendono a sottostimare il rischio di coda.
• Risultati delle Ablation:
  • Perturbazione di Tsallis: La perturbazione a code pesanti è il driver principale per il recupero del comportamento di coda nei periodi di stress.
  • Peso di Tsallis: La pesatura adattiva è cruciale per calibrare il modello nei regimi non di crisi, evitando l'sovra-amplificazione delle code nei periodi di calma.
  • Sinergia: Nessuno dei due componenti da solo è sufficiente; il modello TSMLD completo combina l'esplorazione a code pesanti con la calibrazione adattiva a livello di campione.

Significato e Rivendicazioni

Il documento sostiene che il framework proposto offre un approccio statisticamente allineato alla modellazione generativa robusta. Argomenta che cambiare semplicemente la distribuzione del rumore non è sufficiente; un framework coerente deve allineare la perturbazione, la divergenza e le dinamiche di campionamento.

Gli autori posizionano il loro lavoro come un passo significativo verso modelli generativi robusti alla distribuzione a code pesanti e alla contaminazione, fenomeni prevalenti nelle applicazioni finanziarie e nella generazione di dati sintetici. Enfatizzano che il metodo fornisce un "vantaggio favorevole" tra fedeltà distributiva e utilità downstream, specialmente in regimi di alta corruzione dove i metodi standard falliscono.

Il documento è modesto nelle sue rivendicazioni riguardo all'ambito teorico:

• Riconosce che la convergenza del campionatore Langevin con rumore di Tsallis è attualmente provata solo per il regime a varianza finita ($1 < q < 5/3$).
• Nota che i termini "robustezza a livello di feature" e "robustezza a livello di campione" sono etichette descrittive per gli effetti osservati piuttosto che diretti analoghi delle classiche funzioni di influenza, poiché la formulazione delle funzioni di influenza all'interno della modellazione generativa basata sullo score rimane una questione aperta.
• Suggerisce che futuri lavori saranno necessari per sviluppare regole adattive ai dati per la selezione di $q$ e per estendere il framework ai regimi a varianza infinita attraverso la regolarizzazione.

In sintesi, il documento presenta TSMLD come un'alternativa robusta e unificata alla SMLD gaussiana, particolarmente efficace per domini in cui gli eventi estremi e la contaminazione dei dati sono preoccupazioni critiche.