Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

Sintesi Tecnica: Classificazione Plug-In delle Funzioni di Deriva nei Processi di Diffusione mediante Reti Neurali

Formulazione del Problema
Questo articolo affronta il problema della classificazione supervisionata multiclasse per processi di diffusione omogenei nel tempo osservati in istanti discreti. Il processo sottostante $X = (X_t)_{t \in [0,T]}$ soddisfa l'equazione differenziale stocastica (SDE):
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
dove $Y \in \{1, \dots, K\}$ è un'etichetta di classe discreta, $b_Y$ è la funzione di deriva specifica della classe e $\sigma$ è un coefficiente di diffusione assunto identico per tutte le classi. L'obiettivo è costruire un classificatore $g_{D_N}$ che preveda l'etichetta $Y$ data una traiettoria osservata in modo discreto $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$. Lo studio assume che le funzioni di deriva siano distinte tra le classi mentre il coefficiente di diffusione rimane costante, un contesto in cui l'informazione di classe è codificata esclusivamente nella deriva.

Metodologia: Classificatore Plug-In Basato su Reti Neurali
L'approccio proposto è un classificatore "plug-in" che sfrutta esplicitamente la struttura di diffusione dei dati, in contrasto con i metodi "end-to-end" che trattano l'intera traiettoria come un vettore di input grezzo. La metodologia procede in due fasi principali:

1. Caratterizzazione Bayesiana e Discretizzazione:
   Gli autori derivano inizialmente una caratterizzazione multidimensionale del classificatore di Bayes. Sotto ipotesi di regolarità standard (continuità di Lipschitz, condizione di Novikov), il classificatore ottimale assegna l'etichetta $k$ che massimizza un funzionale $\pi^*_k(X)$. Tale funzionale è definito tramite una trasformazione softmax di termini che coinvolgono la deriva $b_k$ e il coefficiente di diffusione $\sigma$:
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   Poiché le traiettorie sono osservate in istanti discreti $t_m = m\Delta$, il funzionale continuo $F^*_k$ è approssimato da una versione basata sulla somma di Riemann $\bar{F}_k$.

2. Stima della Deriva mediante Reti Neurali:
   Poiché le vere funzioni di deriva $b_k$ sono sconosciute, esse sono stimate in modo non parametrico utilizzando reti neurali feedforward (nello specifico, reti ReLU sparse). Per ogni classe $k$, la deriva è stimata minimizzando una perdita empirica basata sugli incrementi discreti delle traiettorie di training appartenenti a quella classe. Le derivate stimate $\hat{b}_k$ sono quindi inserite nel funzionale discretizzato $\bar{F}_k$ per calcolare le probabilità di classe stimate $\hat{\pi}_k$, e il classificatore finale prevede la classe con la probabilità più alta.

Contributi Chiave
L'articolo apporta quattro contributi principali teorici e numerici:

1. Caratterizzazione Bayesiana Multidimensionale: Gli autori estendono la caratterizzazione del classificatore di Bayes da contesti monodimensionali (Denis et al. [2020]) al caso multidimensionale (Proposizione 2.4), fornendo la base teorica per l'approccio plug-in in dimensioni superiori.
2. Decomposizione del Rischio: Il Teorema 2.5 stabilisce una decomposizione del rischio di errata classificazione in eccesso. Esso delimita il divario tra il classificatore proposto e il classificatore di Bayes in termini del passo di discretizzazione temporale $\Delta$ e dell'errore $L^2$ della stima della deriva.
3. Tassi di Convergenza: Il Teorema 2.7 deriva tassi di convergenza espliciti per il rischio in eccesso quando le reti neurali sono utilizzate per la stima della deriva. I tassi dipendono dalla dimensione del campione $N$, dal passo temporale $\Delta$ e dalla regolarità delle funzioni di deriva (caratterizzata da una struttura composita).
4. Vantaggio Strutturale: L'analisi evidenzia che sfruttare la struttura di diffusione permette al classificatore di apprendere da tutti gli incrementi osservati (effettivamente $N \times M$ punti dati), mentre i classificatori basati direttamente sulla traiettoria trattano l'intero percorso come un singolo campione in uno spazio ad alta dimensione.

Risultati ed Esperimenti Numerici
I risultati teorici sono supportati da due esperimenti numerici:

• Esempio 1 (Derive a Potenziale a Doppio Strato): In un problema a tre classi con derive fluttuanti, il classificatore plug-in basato su NN proposto supera significativamente i metodi basati su B-spline (Denis et al. [2024]) in una dimensione, specialmente per grandi dimensioni del campione dove le B-spline saturano. Crucialmente, il metodo rimane computazionalmente trattabile ed efficace in dimensioni elevate ($d \in \{2, 5, 10, 50\}$). I tassi di convergenza empirici sono allineati con il tasso teorico $N^{-1/2}$ (fino a fattori logaritmici), dimostrando che la dimensione influenza le costanti ma non l'esponente quando le funzioni di deriva ammettono una struttura composita. Inoltre, il metodo supera sostanzialmente i classificatori basati direttamente sulla traiettoria (FNN, RNN, TCN, Transformer) che ignorano la struttura SDE.
• Esempio 2 (Benchmark Denis et al. [2024]): Riprendendo un benchmark standard, il metodo proposto raggiunge un rischio di classificazione comparabile a quello del classificatore basato su B-spline e al benchmark di Bayes, validando le sue prestazioni in contesti consolidati.

Significato e Affermazioni
L'articolo afferma che il classificatore plug-in proposto offre un'alternativa robusta all'apprendimento basato direttamente sulla traiettoria per i processi di diffusione. Modellando esplicitamente la struttura SDE sottostante, il metodo evita la "maledizione della dimensionalità" associata al trattamento dell'intera traiettoria come un vettore di input ad alta dimensione. L'analisi teorica conferma che il tasso di convergenza è determinato dall'accuratezza della stima della deriva piuttosto che dalla dimensione dello spazio di osservazione (sotto ipotesi di struttura composita).

Gli autori riconoscono le limitazioni, notando che le costanti nei limiti del rischio crescono con la dimensione $d$ a causa dell'applicazione delle disuguaglianze di Burkholder–Davis–Gundy e del lemma di Gronwall. Di conseguenza, sebbene il tasso di convergenza (esponente) rimanga favorevole, potrebbero essere necessarie dimensioni del campione più grandi in contesti ad alta dimensione per osservare una significativa riduzione del rischio. Inoltre, l'articolo nota che la classificazione è intrinsecamente più impegnativa della stima della deriva, poiché il rischio in eccesso è limitato da 1; se lo stimatore della deriva è inaccurato, il classificatore può performare in modo quasi casuale.

Complessivamente, il lavoro estende la portata della classificazione dei processi di diffusione da contesti monodimensionali a contesti multidimensionali e fornisce una giustificazione teorica per l'uso di classificatori plug-in consapevoli della struttura rispetto ad architetture generiche di deep learning per questa specifica classe di problemi.