Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

Résumé technique : Classification par plug-in des fonctions de dérive dans les processus de diffusion à l'aide de réseaux de neurones

Formulation du problème
Cet article traite du problème de classification supervisée multiclasse pour des processus de diffusion homogènes en temps observés à des instants discrets. Le processus sous-jacent $X = (X_t)_{t \in [0,T]}$ satisfait l'équation différentielle stochastique (EDS) :
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
où $Y \in \{1, \dots, K\}$ est une étiquette de classe discrète, $b_Y$ est la fonction de dérive spécifique à la classe, et $\sigma$ est un coefficient de diffusion supposé identique pour toutes les classes. L'objectif est de construire un classifieur $g_{D_N}$ qui prédit l'étiquette $Y$ étant donnée une trajectoire observée de manière discrète $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$. L'étude suppose que les fonctions de dérive sont distinctes d'une classe à l'autre tandis que le coefficient de diffusion reste constant, un cadre où l'information de classe est encodée uniquement dans la dérive.

Méthodologie : Classifieur par plug-in basé sur les réseaux de neurones
L'approche proposée est un classifieur « plug-in » qui exploite explicitement la structure de diffusion des données, contrairement aux méthodes « bout-en-bout » qui traitent la trajectoire entière comme un vecteur d'entrée brut. La méthodologie procède en deux étapes principales :

1. Caractérisation de Bayes et discrétisation :
   Les auteurs dérivent d'abord une caractérisation multidimensionnelle du classifieur de Bayes. Sous des hypothèses de régularité standard (continuité lipschitzienne, condition de Novikov), le classifieur optimal attribue l'étiquette $k$ qui maximise une fonctionnelle $\pi^*_k(X)$. Cette fonctionnelle est définie via une transformation softmax de termes impliquant la dérive $b_k$ et le coefficient de diffusion $\sigma$ :
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   Puisque les trajectoires sont observées à des instants discrets $t_m = m\Delta$, la fonctionnelle continue $F^*_k$ est approximée par une version de somme de Riemann $\bar{F}_k$.

2. Estimation de la dérive par réseaux de neurones :
   Puisque les vraies fonctions de dérive $b_k$ sont inconnues, elles sont estimées de manière non paramétrique à l'aide de réseaux de neurones feedforward (spécifiquement des réseaux ReLU parcimonieux). Pour chaque classe $k$, la dérive est estimée en minimisant une perte empirique basée sur les incréments discrets des trajectoires d'apprentissage appartenant à cette classe. Les dérives estimées $\hat{b}_k$ sont ensuite intégrées dans la fonctionnelle discrétisée $\bar{F}_k$ pour calculer les probabilités de classe estimées $\hat{\pi}_k$, et le classifieur final prédit la classe ayant la probabilité la plus élevée.

Contributions clés
L'article apporte quatre contributions théoriques et numériques principales :

1. Caractérisation de Bayes multidimensionnelle : Les auteurs étendent la caractérisation du classifieur de Bayes des cas unidimensionnels (Denis et al. [2020]) au cas multidimensionnel (Proposition 2.4), fournissant le fondement théorique de l'approche par plug-in dans des dimensions supérieures.
2. Décomposition du risque : Le théorème 2.5 établit une décomposition du risque d'erreur de classification excédentaire. Il borne l'écart entre le classifieur proposé et le classifieur de Bayes en fonction du pas de discrétisation temporelle $\Delta$ et de l'erreur $L^2$ de l'estimation de la dérive.
3. Vitesses de convergence : Le théorème 2.7 dérive des vitesses de convergence explicites pour le risque excédentaire lorsque des réseaux de neurones sont utilisés pour l'estimation de la dérive. Les vitesses dépendent de la taille de l'échantillon $N$, du pas de temps $\Delta$, et de la régularité des fonctions de dérive (caractérisée par une structure compositionnelle).
4. Avantage structurel : L'analyse met en évidence que l'exploitation de la structure de diffusion permet au classifieur d'apprendre à partir de tous les incréments observés (effectivement $N \times M$ points de données), alors que les classifieurs basés directement sur les trajectoires traitent le chemin entier comme un échantillon unique dans un espace de grande dimension.

Résultats et expériences numériques
Les résultats théoriques sont étayés par deux expériences numériques :

• Exemple 1 (Dérives à potentiel double couche) : Dans un problème à trois classes avec des dérives fluctuantes, le classifieur par plug-in basé sur les réseaux de neurones proposé surpasse nettement les méthodes basées sur les B-splines (Denis et al. [2024]) en dimension un, en particulier pour de grandes tailles d'échantillons où les B-splines saturent. Crucialement, la méthode reste calculable et efficace en haute dimension ($d \in \{2, 5, 10, 50\}$). Les taux de convergence empiriques s'alignent sur le taux théorique $N^{-1/2}$ (jusqu'à des facteurs logarithmiques), démontrant que la dimension affecte les constantes mais pas l'exposant lorsque les fonctions de dérive admettent une structure compositionnelle. De plus, la méthode surpasse nettement les classifieurs basés directement sur les trajectoires (FNN, RNN, TCN, Transformers) qui ignorent la structure de l'EDS.
• Exemple 2 (Benchmark Denis et al. [2024]) : En revisitant un benchmark standard, la méthode proposée atteint un risque de classification comparable à celui du classifieur basé sur les B-splines et à la référence de Bayes, validant ainsi ses performances dans des cadres établis.

Signification et affirmations
L'article affirme que le classifieur par plug-in proposé offre une alternative robuste à l'apprentissage direct basé sur les trajectoires pour les processus de diffusion. En modélisant explicitement la structure sous-jacente de l'EDS, la méthode évite le « fléau de la dimensionnalité » associé au traitement de la trajectoire entière comme un vecteur d'entrée de haute dimension. L'analyse théorique confirme que le taux de convergence est déterminé par la précision de l'estimation de la dérive plutôt que par la dimension de l'espace d'observation (sous des hypothèses de structure compositionnelle).

Les auteurs reconnaissent les limites, notant que les constantes dans les bornes de risque croissent avec la dimension $d$ en raison de l'application des inégalités de Burkholder–Davis–Gundy et du lemme de Gronwall. Par conséquent, bien que le taux de convergence (exposant) reste favorable, des tailles d'échantillons plus importantes peuvent être requises dans des contextes de haute dimension pour observer une réduction significative du risque. De plus, l'article note que la classification est intrinsèquement plus difficile que l'estimation de la dérive, car le risque excédentaire est borné par 1 ; si l'estimateur de dérive est imprécis, le classifieur peut performer de manière quasi aléatoire.

Dans l'ensemble, ce travail étend la portée de la classification des processus de diffusion des cas unidimensionnels aux cas multidimensionnels et fournit une justification théorique pour l'utilisation de classifieurs par plug-in conscients de la structure plutôt que d'architectures d'apprentissage profond génériques pour cette classe spécifique de problèmes.