Plug-In Classification of Drift Functions in Diffusion Processes Using Neural Networks

ملخص تقني: تصنيف دالات الانجراف في عمليات الانتشار باستخدام الشبكات العصبية عبر طريقة "الاستبدال" (Plug-In)

صياغة المشكلة
تتناول هذه الورقة مشكلة التصنيف متعدد الفئات الخاضعة للإشراف لعمليات الانتشار متجانسة الزمن المرصودة عند نقاط زمنية منفصلة. تتبع العملية الأساسية $X = (X_t)_{t \in [0,T]}$ المعادلة التفاضلية العشوائية (SDE) التالية:
$$dX_t = b_Y(X_t) dt + \sigma(X_t) dB_t$$
حيث $Y \in \{1, \dots, K\}$ هو ملصق الفئة المنفصل، و $b_Y$ هي دالة الانجراف الخاصة بالفئة، و $\sigma$ هو معامل الانتشار المفترض أنه متطابق عبر جميع الفئات. الهدف هو بناء مصنف $g_{D_N}$ يتنبأ بالملصق $Y$ بناءً على مسار مرصود منفصل $\bar{Z} = (Z_{t_0}, \dots, Z_{t_M})$. تفترض الدراسة أن دالات الانجراف متميزة عبر الفئات بينما يظل معامل الانتشار ثابتًا، وهو إعداد تكون فيه معلومات الفئة مشفرة فقط في الانجراف.

المنهجية: مصنف "الاستبدال" القائم على الشبكات العصبية
النهج المقترح هو مصنف "استبدال" (plug-in) يستغل صراحةً بنية الانتشار للبيانات، مما يميزه عن الطرق "من البداية إلى النهاية" (end-to-end) التي تعامل المسار بأكمله كمتجه مدخل خام. تتبع المنهجية خطوتين رئيستين:

1. التوصيف البايزي والتقطيع:
   قام المؤلفون أولاً باشتقاق توصيف متعدد الأبعاد للمصنف البايزي (Bayes classifier). وتحت افتراضات انتظام قياسية (الاستمرارية ليبشيتز، وشرط نوفيكوف)، يخصص المصنف الأمثل الملصق $k$ الذي يعظم الدالة الوظيفية $\pi^*_k(X)$. هذه الدالة الوظيفية تُعرف عبر تحويل "سوفت ماكس" (softmax) لعناصر تتضمن الانجراف $b_k$ ومعامل الانتشار $\sigma$:
   $$F^*_k(X) = \int_0^T b_k(X_s)^\top (\sigma \sigma^\top)^{-1}(X_s) dX_s - \frac{1}{2} \int_0^T |\sigma^{-1}(X_s) b_k(X_s)|^2 ds$$
   بما أن المسارات تُلاحظ في أوقات منفصلة $t_m = m\Delta$، يتم تقريب الدالة الوظيفية المستمرة $F^*_k$ عبر نسخة من مجموع ريمان $\bar{F}_k$.

2. تقدير الانجراف عبر الشبكات العصبية:
   بما أن دالات الانجراف $b_k$ الحقيقية غير معروفة، يتم تقديرها غير معلمياً باستخدام شبكات عصبية أمامية (تحديداً شبكات ReLU متفرقة). لكل فئة $k$، يتم تقدير الانجراف عن طريق تقليل خسارة تجريبية تعتمد على الزيادات المنفصلة للمسارات التدريبية التابعة لتلك الفئة. بعد ذلك، يتم "استبدال" الانجرافات المقدرة $\hat{b}_k$ في الدالة الوظيفية المقطعة $\bar{F}_k$ لحساب احتمالات الفئة المقدرة $\hat{\pi}_k$، ويتنبأ المصنف النهائي بالفئة ذات الاحتمالية الأعلى.

المساهمات الرئيسية
قدمت الورقة أربع مساهمات نظرية ورقمية رئيسية:

1. التوصيف البايزي متعدد الأبعاد: وسع المؤلفون توصيف المصنف البايزي من الإعدادات أحادية البعد (Denis et al. [2020]) إلى الحالة متعددة الأبعاد (Proposition 2.4)، مما وفر الأساس النظري لمنهج الاستبدال في الأبعاد الأعلى.
2. تفكيك المخاطر: يثبت المبرهنة 2.5 تفكيك خطر الخطأ في التصنيف الزائد. حيث تضع حدوداً للفجوة بين المصنف المقترح والمصنف البايزي بدلالة خطوة تقطيع الزمن $\Delta$ وخطأ $L^2$ لتقدير الانجراف.
3. معدلات التقارب: تشتق المبرهنة 2.7 معدلات تقارب صريحة للمخاطر الزائدة عند استخدام الشبكات العصبية لتقدير الانجراف. تعتمد هذه المعدلات على حجم العينة $N$، وخطوة الزمن $\Delta$، ونعومة دالات الانجراف (الموصوفة بالبنية التركيبية).
4. الميزة الهيكلية: يوضح التحليل أن استغلال بنية الانتشار يسمح للمصنف بالتعلم من جميع الزيادات المرصودة (فعلياً $N \times M$ من نقاط البيانات)، في حين أن المصنفات المباشرة القائمة على المسار تعامل المسار بأكمله كعينة واحدة في فضاء عالي الأبعاد.

النتائج والتجارب الرقمية
تدعم النتائج النظرية تجربتان رقميتان:

• المثال 1 (دالات انجراف جهد الطبقة المزدوجة): في مشكلة ثلاث فئات ذات انجرافات متذبذبة، تفوق مصنف الاستبدال القائم على الشبكات العصبية بشكل كبير على الطرق القائمة على B-spline (Denis et al. [2024]) في بُعد واحد، لا سيما مع أحجام العينات الكبيرة حيث تصل طرق B-spline إلى حالة التشبع. والأهم من ذلك، أن الطريقة تظل قابلة للتنفيذ حاسوبياً وفعالة في الأبعاد العالية ($d \in \{2, 5, 10, 50\}$). وتتوافق معدلات التقارب التجريبية مع معدل $N^{-1/2}$ النظري (مع مراعاة العوامل اللوغاريتمية)، مما يثبت أن البعد يؤثر على الثوابت ولكن ليس على الأس عندما تمتلك دالات الانجراف بنية تركيبية. علاوة على ذلك، تتفوق الطريقة بشكل كبير على المصنفات المباشرة القائمة على المسار (FNNs, RNNs, TCNs, Transformers) التي تتجاهل بنية SDE.
• المثال 2 (معيار Denis et al. [2024]): عند إعادة زيارة معيار قياسي، حققت الطريقة المقترحة مخاطر تصنيف مقاربة للمصنف القائم على B-spline والمعيار البايزي، مما يؤكد أداءها في الإعدادات الراسخة.

الأهمية والادعاءات
تدعي الورقة أن مصنف الاستبدال المقترح يقدم بديلاً قوياً للتعلم المباشر القائم على المسار لعمليات الانتشار. ومن خلال نمذجة بنية SDE صراحةً، تتجنب الطريقة "لعنة الأبعاد" المرتبطة بمعاملة المسار بأكمله كمتجه مدخل عالي الأبعاد. ويؤكد التحليل النظري أن معدل التقارب يتحدد بمدى دقة تقدير الانجراف بدلاً من بُعد فضاء الملاحظة (تحت الافتراضات التركيبية).

يقر المؤلفون بوجود قيود، مشيرين إلى أن الثوابت في حدود المخاطر تزدء مع البعد $d$ بسبب تطبيق متباينات Burkholder–Davis–Gundy وGronwall. وبناءً على ذلك، بينما يظل (الأس) الخاص بمعدل التقارب ملائماً، قد يتطلب الأمر أحجام عينات أكبر في الإعدادات عالية الأبعاد لملاحظة انخفاض ملموس في المخاطر. بالإضافة إلى ذلك، تشير الورقة إلى أن التصنيف أصعب بطبيعته من تقدير الانجراف، حيث أن الخطر الزائد محكوم بـ 1؛ فإذا كان مقدر الانجراف غير دقيق، فقد يعمل المصنف بالقرب من العشوائية.

بشكل عام، يوسع هذا العمل نطاق تصنيف عمليات الانتشار من الإعدادات أحادية البعد إلى الإعدادات متعددة الأبعاد، ويوفر تبريراً نظرياً لاستخدام المصنفات القائمة على الاستبدال الواعية بالبنية بدلاً من البنى العصبية العامة لهذا النوع المحدد من المشكلات.