Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

Technische Samenvatting: Plug-In Classificatie van Driftfuncties in Diffusieprocessen met Behulp van Neuronale Netwerken

Probleemformulering
Dit artikel behandelt het toezicht op het probleem van multiclass classificatie voor tijd-homogene diffusieprocessen die worden waargenomen op discrete tijdstippen. Het onderliggende proces $X = (X_t)_{t \in [0,T]}$ voldoet aan de stochastische differentiaalvergelijking (SDV):
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
waarbij $Y \in \{1, \dots, K\}$ een discrete klasselabel is, $b_Y$ de driftfunctie specifiek voor de klasse is, en $\sigma$ een diffusiecoëfficiënt is die voor alle klassen als identiek wordt verondersteld. Het doel is het construeren van een classifier $g_{D_N}$ die de label $Y$ voorspelt op basis van een discret waargenomen traject $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$. De studie veronderstelt dat de driftfuncties verschillend zijn tussen de klassen, terwijl de diffusiecoëfficiënt constant blijft; een situatie waarin de klasseninformatie uitsluitend in de drift is gecodeerd.

Methodologie: Neuronale Netwerk-gebaseerde Plug-In Classifier
De voorgestelde aanpak is een "plug-in" classifier die expliciet de diffusiestructuur van de data benut, in tegenstelling tot "end-to-end" methoden die het volledige traject behandelen als een ruw invoervector. De methodologie verloopt in twee hoofdstappen:

1. Bayes-kenmerken en Discretisatie:
   De auteurs leiden eerst een multidimensionale karakterisering van de Bayes-classifier af. Onder standaard regulariteitsaannames (Lipschitz-continuïteit, Novikov-voorwaarde) wijst de optimale classifier de label $k$ toe die een functionaal $\pi^*_k(X)$ maximaliseert. Deze functionaal wordt gedefinieerd via een softmax-transformatie van termen die de drift $b_k$ en de diffusiecoëfficiënt $\sigma$ betreffen:
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   Aangezien trajecten worden waargenomen op discrete tijdstippen $t_m = m\Delta$, wordt de continue functionaal $F^*_k$ benaderd door een Riemann-som-versie $\bar{F}_k$.

2. Driftschatting via Neuronale Netwerken:
   Aangezien de ware driftfuncties $b_k$ onbekend zijn, worden ze niet-parametrisch geschat met behulp van feedforward neuronale netwerken (specifiek sparse ReLU-netwerken). Voor elke klasse $k$ wordt de drift geschat door een empirisch verlies te minimaliseren dat gebaseerd is op de discrete incrementen van de trainings-trajecten die tot die klasse behoren. De geschatte drifts $\hat{b}_k$ worden vervolgens in de gediscretiseerde functionaal $\bar{F}_k$ geplugged om geschatte klassenprobabiliteiten $\hat{\pi}_k$ te berekenen, en de uiteindelijke classifier voorspelt de klasse met de hoogste waarschijnlijkheid.

Belangrijkste Bijdragen
Het artikel levert vier primaire theoretische en numerieke bijdragen:

1. Multidimensionale Bayes-kenmerken: De auteurs breiden de karakterisering van de Bayes-classifier uit van een-dimensionale situaties (Denis et al. [2020]) naar het multidimensionale geval (Propositie 2.4), waardoor de theoretische basis wordt gelegd voor de plug-in-aanpak in hogere dimensies.
2. Risicodecompositie: Stelling 2.5 vestigt een decompositie van het excessieve classificatierisico. Het begrenst het gat tussen de voorgestelde classifier en de Bayes-classifier in termen van de tijdsdiscretisatiestap $\Delta$ en de $L^2$-fout van de driftschatting.
3. Convergentiesnelheden: Stelling 2.7 leidt expliciete convergentiesnelheden af voor het excessieve risico wanneer neuronale netwerken worden gebruikt voor driftschatting. De snelheden zijn afhankelijk van de steekproefgrootte $N$, de tijdstap $\Delta$ en de gladheid van de driftfuncties (gekenmerkt door een compositionalle structuur).
4. Structureel Voordeel: De analyse benadrukt dat het benutten van de diffusiestructuur het mogelijk maakt voor de classifier om te leren van alle waargenomen incrementen (effectief $N \times M$ datapunten), terwijl directe traject-gebaseerde classifiers het volledige pad behandelen als een enkel steekproef in een hoge-dimensionale ruimte.

Resultaten en Numerieke Experimenten
De theoretische bevindingen worden ondersteund door twee numerieke experimenten:

• Voorbeeld 1 (Double-Layer Potential Drifts): In een drie-klasse probleem met fluctuerende drifts, presteert de voorgestelde NN-gebaseerde plug-in classifier aanzienlijk beter dan op B-splines gebaseerde methoden (Denis et al. [2024]) in één dimensie, met name voor grote steekproefgroottes waar B-splines verzadigen. Cruciaal blijft de methode computationeel hanteerbaar en effectief in hoge dimensies ($d \in \{2, 5, 10, 50\}$). De empirische convergentiesnelheden komen overeen met de theoretische $N^{-1/2}$-snelheid (tot op logaritmische factoren), wat aantoont dat de dimensie de constanten beïnvloedt maar niet de exponent wanneer driftfuncties een compositionalle structuur toelaten. Bovendien presteert de methode aanzienlijk beter dan directe traject-gebaseerde classifiers (FNN's, RNN's, TCN's, Transformers) die de SDV-structuur negeren.
• Voorbeeld 2 (Denis et al. [2024] Benchmark): Bij het herbekijken van een standaard benchmark bereikt de voorgestelde methode een classificatierisico dat vergelijkbaar is met de op B-splines gebaseerde classifier en de Bayes-benchmark, waarmee de prestaties in gevestigde situaties worden gevalideerd.

Betekenis en Claims
Het artikel beweert dat de voorgestelde plug-in classifier een robuust alternatief biedt voor directe traject-gebaseerde leerprocessen voor diffusieprocessen. Door expliciet de onderliggende SDV-structuur te modelleren, vermijdt de methode de "vloek van de dimensionaliteit" die gepaard gaat met het behandelen van het volledige traject als een hoge-dimensionaal invoervector. De theoretische analyse bevestigt dat de convergentiesnelheid wordt bepaald door de nauwkeurigheid van de driftschatting en niet door de dimensie van de waarnemingsruimte (onder compositionalle aannames).

De auteurs erkennen beperkingen, waarbij zij opmerken dat de constanten in de risicobegrenzingen groeien met de dimensie $d$ als gevolg van de toepassing van Burkholder–Davis–Gundy-ongelijkheden en het lemma van Gronwall. Bijgevolg kan, hoewel de convergentiesnelheid (exponent) gunstig blijft, in hoge-dimensionale situaties een grotere steekproefgrootte vereist zijn om een significante risicovermindering waar te nemen. Bovendien merkt het artikel op dat classificatie intrinsiek moeilijker is dan driftschatting, aangezien het excessieve risico begrensd is door 1; als de driftschatting onnauwkeurig is, kan de classifier bijna willekeurig presteren.

Over het algemeen breidt dit werk het toepassingsgebied van diffusieprocesclassificatie uit van een-dimensionale naar multidimensionale situaties en biedt het een theoretische rechtvaardiging voor het gebruik van structureel-bewuste plug-in classifiers boven generieke deep learning-architecturen voor deze specifieke klasse van problemen.