Optimization of randomized neural networks for transfer operator approximation

ملخص تقني: تحسين الشبكات العصبية العشوائية لتقريب المؤثر الناقل

بيان المشكلة
يعد التقريب القائم على البيانات للمؤثرات الناقلة (مثل مؤثرات كوپمان وبيرون-فروبينيوس) أمراً ضرورياً لتحليل السلوك العالمي للأنظمة الديناميكية المعقدة، بما في ذلك الحالات شبه المستقرة في الديناميكا الجزيئية والهياكل المتماسكة في تدفقات الموائع. تعتمد الطرق التقليدية مثل تحليل النمط الديناميكي الممتد (EDMD) على قواميس ثابتة من دالات الأساس (مثل كثيرات الحدود، أو التوزيعات الغاوسية)، والتي يعد اختيارها الأمثل أمراً يعتمد على النظام نفسه وغالباً ما يكون مسألة مفتوحة. وبينما يمكن للشبكات العصبية تعلم هذه القواميس، فإن الشبكات المدربة بالكامل تتطلب عملية "انتشار عكسي" (backpropagation) مكلفة حاسوبياً، وتعاني من مشكلات مثل بطء التقارب، والوقوع في النهايات الصغرى المحلية، وعدم استقرار التدرج.

تعالج الشبكات العصبية العشوائية، مثل نموذج RaNNDy المقترح سابقاً، هذه التكاليف الحسابية من خلال تثبيت أوزان وانحيازات الطبقات الخفية وتدريب طبقة المخرجات فقط عبر حل مغلق الصيغة. ومع ذلك، فإن هذا النهج يواجه قيداً حرجاً: جودة التقريب تعتمد كلياً على الاختيار العشوائي الأولي للأوزان والانحيازات. فإذا فشلت دالات الأساس المولدة عشوائياً في تمثيل الدوال الذاتية للنظام بدقة، فسيكون تقريب المؤثر الناتج سيئاً، ولا توجد آلية ضمن إطار عمل RaNNDy القياسي لتصحيح ذلك.

المنهجية
يقترح المؤلفون خوارزمية لتحسين الأساس العشوائي لـ RaNNDy عن طريق ضبط المعلمات الفائقة (hyperparameters) لدالة التنشيط والتوزيعات التي تُسحب منها الأوزان والانحيازات، مع إبقاء المعلمات الهيكلية للشبكة (الأوزان والانحيازات) ثابتة بمجرد سحبها.

1. التنشيط والأساس البارامتري: يقدم الأسلوب دالات أساس تعريفية ببارامترات $\omega$ (مثل مقياس التوزيع للأوزان/الانحيازات، أو بارامترات دالة تنشيط بارامترية مثل $\tanh$) في تعريف دالة الأساس: $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. التحسين التبايني: تستخدم الخوارزمية مبدأ "رايلي" التبايني لتعريف دالة الخسارة. بالنسبة للمؤثرات ذاتية الالتصاق (الأنظمة العكوسة)، يكون الهدف هو تعظيم مجموع القيم الذاتية للمؤثر المسقط. أما بالنسبة للمؤثرات غير ذاتية الالتصاق (الأنظمة غير العكوسة)، فتقوم الطريقة بتعظيم أثر (trace) المؤثر الأمامي-الخلفي المسقط لتقريب القيم المفردة.
   • يتم صياغة دالة الخسارة كـ $L(\omega) = \text{tr}(\hat{A}(\omega))$، حيث يتم بناء $\hat{A}(\omega)$ من مصفوفات التغاير والتباين المشترك المستمدة من البيانات ($\hat{C}_{00}, \hat{C}_{01}$، إلخ).
3. حلقة التحسين: يتم تحديث المعلمات الفائقة $\omega$ تكرارياً باستخدام التدرج النازل (gradient descent) أو التحسين البايزي (Bayesian optimization) لتعظيم أثر المؤثر التقريبي. وبمجرد تحسين $\omega$، يتم حساب أوزان طبقة المخرجات عبر مسألة قيم ذاتية مغلقة الصيغة، مما يحافظ على الكفاءة الحسابية للشبكات العشوائية.

المساهمات الرئيسية

1. خوارزمية تحسين مبتكرة: تقدم الورقة طريقة لتحسين الأساس العشوائي لـ RaNNDy عبر ضبط المعلمات الفائقة لدالة التنشيط ومقاييس التوزيع، مما يسد الفجوة بين الشبكات العشوائية بالكامل والشبكات المدربة بالكامل.
2. التطبيق على أنظمة متنوعة: تم التحقق من صحة النهج عبر ثلاث مشكلات مرجعية متميزة:
   • المسارات العشوائية على الـ Graphons: إظهار القدرة على إعادة بناء الـ graphons وكثافات الانتقال من البيانات.
   • نفاث بيكلي (Bickley Jet): معيار ديناميكا الموائع للكشف عن المجموعات المتماسكة.
   • بروتين NuG2: بيانات ديناميكا جزيئية عالية الأبعاد لتحليل انتقالات الطي والانبساط.

النتائج
تُظهر التجارب العددية أن تحسين بارامترات التنشيط يحسن دقة التقريب بشكل كبير مقارنة باستخدام أساس عشوائي ثابت وسيء التهيئة:

• الـ Graphons: تقاربت الخوارزمية في أقل من 20 حقبة (epoch)، وحددت بدقة الفجوة الطيفية المقابلة لثلاث مجموعات شبه مستقرة. سمح الأساس المحسّن بإعادة بناء الـ graphon وكثافة الانتقال بدقة. في المقابل، كان البحث الشبكي (grid search) للتوزيعات الثابتة أقل فعالية، بينما تعثرت الشبكات المدربة بالكامل (VAMPnets) ذات معدلات التعلم العالية أو استقرت في نهايات صغرى محلية.
• نفاث بيكلي: نجحت الطريقة في اكتشاف المجموعات المتماسكة من خلال تجميع الدوال المفردة المحسنة. تقاربت الخوارزمية في أقل من 10 تكرارات، مما كشف عن الهياكل المتماسكة للنظام بفعالية أكبر من الأساس العشوائي الأولي.
• بروتين NuG2: استطاع الأساس المحسّن التقاط القيم الذاتية والدوال الذاتية المهيمنة بدقة، متميزاً بين حالات طي وانبساط البروتين. أعطى الأساس العشوائي الأولي تقريبات ضعيفة، مما يبرز ضرورة التحسين المقترح.

الأهمية والادعاءات
يضع المؤلفون هذا العمل كـ "حل وسط" بين الشبكات العشوائية بالكامل والشبكات المدربة بالكامل. تكمن الأهمية في الحفاظ على المزايا الحسابية لـ RaNNDy (الحل مغلق الصيغة، عدم الحاجة للانتشار العكسي للطبقات الخفية، تكاليف تدريب أقل) مع التخفيف من نقطة ضعفه الرئيسية: الحساسية للاختيار العشوائي الأولي لدالات الأساس.

تدعي الورقة أن ضبط توزيعات الأوزان والانحيازات الخفية أسهل بسبب بساطة مشهد الخسارة (loss landscape) مقارنة بتدريب الشبكات الكاملة، مما قد يسمح باستخدام خوارزميات مثل التحسين البايزي. ويشير المؤلفون بتواضع إلى أنه بينما يركز العمل الحالي على بارامترات تنشيط محددة، فإن العمل المستقبلي يمكن أن يستكشف دالات تنشيط ذات بارامترات فائقة أكثر، ويجري مقارنات منهجية لوقت التشغيل على أنظمة ديناميكية أكثر تعقيداً لتقييم المقايضات في النهج العشوائي بشكل أدق.