Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

Technische Zusammenfassung: Plug-In-Klassifikation von Driftfunktionen in Diffusionsprozessen unter Verwendung neuronaler Netze

Problemformulierung
Dieser Beitrag behandelt das überwachte Mehrklassen-Klassifikationsproblem für zeit-homogene Diffusionsprozesse, die zu diskreten Zeitpunkten beobachtet werden. Der zugrundeliegende Prozess $X = (X_t)_{t \in [0,T]}$ erfüllt die stochastische Differentialgleichung (SDE):
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
wobei $Y \in \{1, \dots, K\}$ ein diskreter Klassenlabel ist, $b_Y$ die klassenspezifische Driftfunktion darstellt und $\sigma$ ein Diffusionskoeffizient ist, der über alle Klassen hinweg als identisch angenommen wird. Das Ziel besteht darin, einen Klassifikator $g_{D_N}$ zu konstruieren, der den Label $Y$ basierend auf einer diskret beobachteten Trajektorie $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$ vorhersagt. Die Studie geht davon aus, dass die Driftfunktionen über die Klassen hinweg unterschiedlich sind, während der Diffusionskoeffizient konstant bleibt; in diesem Setting ist die Klasseninformation ausschließlich in der Drift kodiert.

Methodik: Neuronales Netz-basierter Plug-In-Klassifikator
Der vorgeschlagene Ansatz ist ein „Plug-In"-Klassifikator, der die Diffusionsstruktur der Daten explizit ausnutzt, im Gegensatz zu „End-to-End"-Methoden, die die gesamte Trajektorie als rohen Eingabevektor behandeln. Die Methodik verläuft in zwei Hauptschritten:

1. Bayes-Charakterisierung und Diskretisierung:
   Die Autoren leiten zunächst eine mehrdimensionale Charakterisierung des Bayes-Klassifikators her. Unter Standard-Regularitätsannahmen (Lipschitz-Stetigkeit, Novikov-Bedingung) weist der optimale Klassifikator den Label $k$ zu, der ein Funktional $\pi^*_k(X)$ maximiert. Dieses Funktional ist über eine Softmax-Transformation von Termen definiert, die die Drift $b_k$ und den Diffusionskoeffizienten $\sigma$ beinhalten:
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   Da Trajektorien zu diskreten Zeitpunkten $t_m = m\Delta$ beobachtet werden, wird das kontinuierliche Funktional $F^*_k$ durch eine Riemann-Summen-Version $\bar{F}_k$ approximiert.

2. Driftschätzung mittels Neuronaler Netze:
   Da die wahren Driftfunktionen $b_k$ unbekannt sind, werden sie nichtparametrisch unter Verwendung von Feedforward-Neuronalen Netzen (speziell sparse ReLU-Netze) geschätzt. Für jede Klasse $k$ wird die Drift durch Minimierung eines empirischen Verlusts geschätzt, der auf den diskreten Inkrementen der zu dieser Klasse gehörenden Trainings-Trajektorien basiert. Die geschätzten Driften $\hat{b}_k$ werden dann in das diskretisierte Funktional $\bar{F}_k$ eingesetzt, um geschätzte Klassenwahrscheinlichkeiten $\hat{\pi}_k$ zu berechnen, und der finale Klassifikator sagt die Klasse mit der höchsten Wahrscheinlichkeit voraus.

Hauptbeiträge
Der Beitrag leistet vier primäre theoretische und numerische Beiträge:

1. Mehrdimensionale Bayes-Charakterisierung: Die Autoren erweitern die Charakterisierung des Bayes-Klassifikators von eindimensionalen Settings (Denis et al. [2020]) auf den mehrdimensionalen Fall (Proposition 2.4) und liefern so die theoretische Grundlage für den Plug-In-Ansatz in höheren Dimensionen.
2. Risikozerlegung: Satz 2.5 etabliert eine Zerlegung des zusätzlichen Fehlklassifikationsrisikos. Er begrenzt die Lücke zwischen dem vorgeschlagenen Klassifikator und dem Bayes-Klassifikator in Abhängigkeit vom Zeitschritt $\Delta$ und dem $L^2$-Fehler der Driftschätzung.
3. Konvergenzraten: Satz 2.7 leitet explizite Konvergenzraten für das zusätzliche Risiko her, wenn neuronale Netze zur Driftschätzung verwendet werden. Die Raten hängen von der Stichprobengröße $N$, dem Zeitschritt $\Delta$ und der Glattheit der Driftfunktionen ab (charakterisiert durch eine zusammengesetzte Struktur).
4. Struktureller Vorteil: Die Analyse hebt hervor, dass die Ausnutzung der Diffusionsstruktur dem Klassifikator ermöglicht, von allen beobachteten Inkrementen zu lernen (effektiv $N \times M$ Datenpunkte), während direkte trajectorienbasierte Klassifikatoren den gesamten Pfad als eine einzige Stichprobe in einem hochdimensionalen Raum behandeln.

Ergebnisse und Numerische Experimente
Die theoretischen Erkenntnisse werden durch zwei numerische Experimente untermauert:

• Beispiel 1 (Driften mit Doppelschicht-Potential): In einem Dreiklassen-Problem mit fluktuierenden Driften schneidet der vorgeschlagene NN-basierte Plug-In-Klassifikator in einer Dimension deutlich besser ab als B-Spline-basierte Methoden (Denis et al. [2024]), insbesondere bei großen Stichprobengrößen, bei denen B-Splines sättigen. Entscheidend bleibt die Methode auch in hohen Dimensionen ($d \in \{2, 5, 10, 50\}$) rechentechnisch handhabbar und effektiv. Die empirischen Konvergenzraten stimmen mit der theoretischen $N^{-1/2}$-Rate (bis auf logarithmische Faktoren) überein und zeigen, dass die Dimension die Konstanten, aber nicht den Exponenten beeinflusst, wenn Driftfunktionen eine zusammengesetzte Struktur zulassen. Darüber hinaus übertrifft die Methode direkte trajectorienbasierte Klassifikatoren (FNNs, RNNs, TCNs, Transformer), die die SDE-Struktur ignorieren, erheblich.
• Beispiel 2 (Denis et al. [2024] Benchmark): Bei der Wiederholung eines Standard-Benchmarks erreicht die vorgeschlagene Methode ein Klassifikationsrisiko, das mit dem B-Spline-basierten Klassifikator und dem Bayes-Benchmark vergleichbar ist, was ihre Leistung in etablierten Settings validiert.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass der vorgeschlagene Plug-In-Klassifikator eine robuste Alternative zum direkten trajectorienbasierten Lernen für Diffusionsprozesse darstellt. Durch die explizite Modellierung der zugrundeliegenden SDE-Struktur vermeidet die Methode den „Fluch der Dimensionalität", der mit der Behandlung der gesamten Trajektorie als hochdimensionaler Eingabevektor verbunden ist. Die theoretische Analyse bestätigt, dass die Konvergenzrate durch die Genauigkeit der Driftschätzung bestimmt wird und nicht durch die Dimension des Beobachtungsraums (unter Annahmen bezüglich der Zusammensetzung).

Die Autoren räumen Einschränkungen ein und stellen fest, dass die Konstanten in den Risikoschranken mit der Dimension $d$ wachsen, bedingt durch die Anwendung der Burkholder–Davis–Gundy-Ungleichungen und des Gronwall-Lemmas. Folglich können, obwohl die Konvergenzrate (Exponent) günstig bleibt, in hochdimensionalen Settings größere Stichprobengrößen erforderlich sein, um eine signifikante Risikoreduktion zu beobachten. Zusätzlich weist der Beitrag darauf hin, dass die Klassifikation inhärent schwieriger ist als die Driftschätzung, da das zusätzliche Risiko durch 1 beschränkt ist; wenn der Driftschätzer ungenau ist, kann der Klassifikator nahezu zufällig performen.

Insgesamt erweitert diese Arbeit den Anwendungsbereich der Klassifikation von Diffusionsprozessen von eindimensionalen auf mehrdimensionale Settings und liefert eine theoretische Begründung für den Einsatz von struktur-bewussten Plug-In-Klassifikatoren gegenüber generischen Deep-Learning-Architekturen für diese spezifische Klasse von Problemen.