Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

Resumen Técnico: Clasificación Plug-In de Funciones de Deriva en Procesos de Difusión Mediante Redes Neuronales

Formulación del Problema
Este artículo aborda el problema de clasificación supervisada multiclase para procesos de difusión homogéneos en el tiempo observados en puntos discretos de tiempo. El proceso subyacente $X = (X_t)_{t \in [0,T]}$ satisface la ecuación diferencial estocástica (EDE):
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
donde $Y \in \{1, \dots, K\}$ es una etiqueta de clase discreta, $b_Y$ es la función de deriva específica de la clase y $\sigma$ es un coeficiente de difusión que se asume idéntico en todas las clases. El objetivo es construir un clasificador $g_{D_N}$ que prediga la etiqueta $Y$ dada una trayectoria observada discretamente $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$. El estudio asume que las funciones de deriva son distintas entre clases mientras que el coeficiente de difusión permanece constante, un escenario donde la información de clase se codifica exclusivamente en la deriva.

Metodología: Clasificador Plug-In Basado en Redes Neuronales
El enfoque propuesto es un clasificador "plug-in" que explota explícitamente la estructura de difusión de los datos, contrastando con los métodos "end-to-end" que tratan la trayectoria completa como un vector de entrada crudo. La metodología procede en dos pasos principales:

1. Caracterización Bayesiana y Discretización:
   Los autores derivan primero una caracterización multidimensional del clasificador de Bayes. Bajo supuestos de regularidad estándar (continuidad Lipschitz, condición de Novikov), el clasificador óptimo asigna la etiqueta $k$ que maximiza un funcional $\pi^*_k(X)$. Este funcional se define mediante una transformación softmax de términos que involucran la deriva $b_k$ y el coeficiente de difusión $\sigma$:
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   Dado que las trayectorias se observan en tiempos discretos $t_m = m\Delta$, el funcional continuo $F^*_k$ se aproxima mediante una versión de suma de Riemann $\bar{F}_k$.

2. Estimación de la Deriva Mediante Redes Neuronales:
   Dado que las funciones de deriva reales $b_k$ son desconocidas, se estiman de forma no paramétrica utilizando redes neuronales de alimentación hacia adelante (específicamente redes ReLU dispersas). Para cada clase $k$, la deriva se estima minimizando una pérdida empírica basada en los incrementos discretos de las trayectorias de entrenamiento pertenecientes a dicha clase. Las derivas estimadas $\hat{b}_k$ se introducen luego en el funcional discretizado $\bar{F}_k$ para calcular las probabilidades de clase estimadas $\hat{\pi}_k$, y el clasificador final predice la clase con la mayor probabilidad.

Contribuciones Clave
El artículo presenta cuatro contribuciones teóricas y numéricas principales:

1. Caracterización Bayesiana Multidimensional: Los autores extienden la caracterización del clasificador de Bayes desde escenarios unidimensionales (Denis et al. [2020]) al caso multidimensional (Proposición 2.4), proporcionando la base teórica para el enfoque plug-in en dimensiones superiores.
2. Descomposición del Riesgo: El Teorema 2.5 establece una descomposición del riesgo de mala clasificación excedente. Acota la brecha entre el clasificador propuesto y el clasificador de Bayes en términos del paso de discretización temporal $\Delta$ y del error $L^2$ de la estimación de la deriva.
3. Tasas de Convergencia: El Teorema 2.7 deriva tasas de convergencia explícitas para el riesgo excedente cuando se utilizan redes neuronales para la estimación de la deriva. Las tasas dependen del tamaño de la muestra $N$, del paso temporal $\Delta$ y de la suavidad de las funciones de deriva (caracterizada por una estructura composicional).
4. Ventaja Estructural: El análisis destaca que explotar la estructura de difusión permite al clasificador aprender de todos los incrementos observados (efectivamente $N \times M$ puntos de datos), mientras que los clasificadores basados directamente en trayectorias tratan la trayectoria completa como una única muestra en un espacio de alta dimensión.

Resultados y Experimentos Numéricos
Los hallazgos teóricos se respaldan mediante dos experimentos numéricos:

• Ejemplo 1 (Derivas de Potencial de Doble Capa): En un problema de tres clases con derivas fluctuantes, el clasificador plug-in basado en redes neuronales propuesto supera significativamente a los métodos basados en splines B (Denis et al. [2024]) en una dimensión, particularmente para tamaños de muestra grandes donde los splines B se saturan. Crucialmente, el método permanece computacionalmente tratable y efectivo en dimensiones altas ($d \in \{2, 5, 10, 50\}$). Las tasas de convergencia empíricas se alinean con la tasa teórica $N^{-1/2}$ (hasta factores logarítmicos), demostrando que la dimensión afecta a las constantes pero no al exponente cuando las funciones de deriva admiten una estructura composicional. Además, el método supera sustancialmente a los clasificadores basados directamente en trayectorias (FNN, RNN, TCN, Transformers) que ignoran la estructura de la EDE.
• Ejemplo 2 (Benchmark de Denis et al. [2024]): Revisando un benchmark estándar, el método propuesto logra un riesgo de clasificación comparable al clasificador basado en splines B y al benchmark de Bayes, validando su rendimiento en escenarios establecidos.

Significado y Afirmaciones
El artículo afirma que el clasificador plug-in propuesto ofrece una alternativa robusta al aprendizaje basado directamente en trayectorias para procesos de difusión. Al modelar explícitamente la estructura subyacente de la EDE, el método evita la "maldición de la dimensionalidad" asociada con tratar la trayectoria completa como un vector de entrada de alta dimensión. El análisis teórico confirma que la tasa de convergencia está determinada por la precisión de la estimación de la deriva y no por la dimensión del espacio de observación (bajo supuestos composicionales).

Los autores reconocen limitaciones, señalando que las constantes en los límites de riesgo crecen con la dimensión $d$ debido a la aplicación de las desigualdades de Burkholder–Davis–Gundy y el lema de Gronwall. En consecuencia, aunque la tasa de convergencia (exponente) se mantiene favorable, pueden requerirse tamaños de muestra más grandes en escenarios de alta dimensión para observar una reducción significativa del riesgo. Además, el artículo señala que la clasificación es intrínsecamente más desafiante que la estimación de la deriva, ya que el riesgo excedente está acotado por 1; si el estimador de la deriva es inexacto, el clasificador puede rendir casi al azar.

En general, el trabajo extiende el alcance de la clasificación de procesos de difusión desde escenarios unidimensionales a multidimensionales y proporciona una justificación teórica para el uso de clasificadores plug-in conscientes de la estructura sobre arquitecturas genéricas de aprendizaje profundo para esta clase específica de problemas.