Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

ملخص تقني: المتشعبات الثابتة للأنظمة الديناميكية ذات الزمن المنفصل مع الأنظمة الخارجية غير الخطية عبر الشبكات العصبية الهجينة الموجهة بالفيزياء

بيان المشكلة
تتناول الورقة البحثية تحدي تقريب المتشعبات الثابتة (Invariant Manifolds - IMs) للأنظمة الديناميكية ذات الزمن المنفصل التي تُقاد بواسطة ديناميكيات خارجية ذاتية (Exogenous autonomous dynamics). وتنتشر هذه الأنظمة الهرمية أو المقترنة في نظرية التحكم (مثل التنظيم غير الخطي للمخرجات) ونمذجة السلوك الجماعي (مثل ديناميكيات القائد-التابع في حركة المرور، وأسراب الطيور، وأسراب الأسماك). وبينما توفر المتشعبات الثابتة إطاراً صارماً لتقليل الأبعاد وتحليل الاستقرار، فإن حسابها في سياق الزمن المنفصل يظل أمراً صعباً. فالطرق التقليدية، مثل توسيعات متسلسلة القوى المحلية (Power Series Expansions - PSE)، تعاني من "لعنة الأبعاد" فيما يتعلق بالنمو التوليفي للمعاملات، وتقتصر على نصف قطر التقارب، مما يؤدي غالباً إلى الفشل بعيداً عن نقطة التوازن. ومن ناحية أخرى، فإن النهج المعتمد كلياً على البيانات أو الشبكات العصبية الموجهة بالفيزياء (PINNs)، رغم قابليته للتوسع، قد يفتقر إلى التفسير والتقارب المحلي السريع الذي توفره توسيعات المتسلسلات بالقرب من نقاط التوازن.

المنهجية
يقترح المؤلفون إطار عمل هجين للتعلم الموجه بالفيزياء يجمع بشكل تآزري بين المتسلسلات متعددة الحدود (Polynomial series) والشبكات العصبية الضحلة (Shallow Neural Networks) لتقريب العلاقة الدالية $x = \pi(y)$ التي تُعرف المتشعب الثابت.

1. الصياغة الرياضية: تُطرح المشكلة كحل لنظام من المعادلات الدالية غير الخطية (NFEs) المستمدة من شرط الثبات:
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   حيث تمثل $y$ حالة النظام الخارجي و $x$ الحالة المُقادة.

2. البنية الهجينة: يتم بناء التقريب $\tilde{\pi}_{HxS}(y)$ كدالة مجزأة:

   • داخل مستطيل فائق (Hyperrectangle) $D$ (متمركز حول نقطة التوازن): تُستخدم متسلسلة متعددة الحدود (القوى، أو ليجاندر، أو تشيبيشيف) لاستغلال خصائص التقارب الهندسي/الأسي بالقرب من نقطة التوازن.
   • خارج $D$: تُستخدم شبكة عصبية أمامية أحادية الطبقة (SLFNN) للاستفيد من قدرات التقريب الشامل في المناطق التي قد تتباعد فيها المتسلسلات متعددة الحدود أو حيث يتم تجاوز نصف قطر التقارب.
   • الاستمرارية: تضمن دالة تبديل تعتمد على دالة "هيفيسيد" (Heaviside) استمرارية من النوع $C^0$ عند الحد $\partial D$، ويتم فرض ذلك عبر عقوبة الاستمرارية في دالة الخسارة.

3. التحسين (Optimization): تُصاغ مهمة التعلم كمسألة تحسين موجهة بالفيزياء تهدف إلى تقليل دالة خسارة مركبة تتكون من:

   • بواقي المعادلات الدالية (NFE Residuals): لفرض معادلة الثبات عند نقاط التجميع (Collocation points).
   • قيد التوازن: لضمان مرور المتشعب بنقطة التوازن.
   • قيد الاستمرارية: لمطابقة مخرجات المتسلسلة متعددة الحدود والشبكة العصبية عند الحد.

   يتم حل عملية التحسين باستخدام خوارزمية ليفنبرغ-ماركوارت (Levenberg–Marquardt - LM). ومن الأهمية بمكان أن المؤلفين قد اشتقوا تعبيرات تحليلية لجميع المشتقات الخاصة بالبواقي بالنسبة لمعاملات المتسلسلة ومعلمات الشبكة العصبية، بحجة أن هذا النهج يحقق موثوقية وكفاءة أعلى مقارنة بالفروق المحدودة أو الاشتقاق التلقائي، خاصة للأنظمة المتصلبة (Stiff systems).

4. الأسس النظرية: تضع الورقة نظرية التقريب الشامل لمكون الشبكة العصبية المستقل تحت فرضيات محددة (انتظام بارون للمتشعب، واستمرارية ليبشيتز لديناميكيات النظام، والتركيب المحدود للقياس بالنسبة للنظام الخارجي). وتضمن هذه النظرية معدل تقارب $L^2$ من الرتبة $O(L^{-1/2})$ بالنسبة لعرض الشبكة $L$.

المساهمات الرئيسية

• المخطط الهجين: تقديم بنية هجينة مبتكرة تدمج التفسير والتقارب المحلي للمتسلسلات متعددة الحدود مع قدرة التقريب العالمي للشبكات العصبية للمتشعبات الثابتة في الزمن المنفصل.
• المشتقات التحليلية: اشتقاق مشتقات مغلقة الشكل لبواقي المخطط الهجين، مما يسهل عملية تحسين "ليفنبرغ-ماركوارت" القوية.
• الضمانات النظرية: وضع نظرية التقريب الشامل ومعدلات التقارب لمكون الشبكة العصبية المطبق على معادلات الثبات في الزمن المنفصل.
• التقييم المعياري: إجراء تقييم عددي شامل يقارن المخطط الهجين مقابل نماذج PINNs المستقلة وPSEs التقليدية.

النتائج
تم تقييم إطار العمل على مثالين معياريين:

1. المفاعل الحيوي الإنزيمي (1D مُقاد، 1D نظام خارجي): حقق المخطط الهجين (باستخدام متسلسلات القوى، أو ليجاندر، أو تشيبيشيف) متوسط خطأ نسبي $L^2$ من رتبة $10^{-5}$، وهو ما يتفوق بشكل ملحوظ على PSE المستقل (أخطاء $\sim 10^{-3}$) ويتفوق قليلاً على PINN المستقل. أظهر النهج الهجين دقة عالية بالقرب من التوازن (بفضل مكون المتسلسلة) وحافظ على الدقة بعيداً عنه (بفضل مكون الشبكة العصبية).
2. نموذج متابعة السيارات (20D مُقاد، 2D نظام خارسي): في هذه الحالة ذات الأبعاد الأعلى، تفوق المخطط الهجن مرة أخرى على PSE (أخطاء $\sim 10^{-2}$) وأظهر دقة عالمية أفضل قليلاً من PINN المستقل (أخطاء $\sim 10^{-3}$). نجح المخطط الهجين في التعميم على المتشعب ذي الـ 20 بُعداً، محافظاً على توزيع متجانس للخطأ عبر النطاق.

أكدت حالة تحقق إضافية بوجود متشعب ثابت معروف تحليلياً ($x = \ln(1+y)$) أنه بينما تفشل توسيعات المتسلسلات متعددة الحدود البحتة خارج نصف قطر تقاربها، يحافظ المخطط الهجين على الدقة عبر النطاق بأكمله، مع تحسن الأداء مع زيادة درجة المتسلسلة.

الأهمية والادعاءات
تزعم الورقة أن المخطط الهجين المقترح الموجه بالفيزياء يوفر ميزة نسبية على كل من التوسيعات متعددة الحدود المستقلة والشبكات العصبية المستقلة. وتحديداً:

• يتغلب على محدودية المحلية للمتسلسلات متعددة الحدود، التي تفشل خارج نصف قطر تقاربها.
• يحسن من نماذج PINNs المستقلة عبر الاستفادة من التقارب السريع للمتسلسلات بالقرب من نقطة التوازن، مما يؤدي إلى دقة عددية أعلى في تلك المنطقة.
• يوفر حلاً جاهزاً للاستخدام بخطوة واحدة يتجنب تعقيد خطية المشكلة أو الإجراءات متعددة الخطوات التي تتطلبها الطرق التقليدية.

يشير المؤلفون بتواضع إلى أنه بينما يظل المنهج فعالاً للغاية للمتشعبات ذات الأبعاد المنخفضة إلى المتوسطة (حيث يظل التعقيد التوليفي للمعاملات قابلاً للإدارة)، فإن النمو التوليفي للأبعاد يظل عائقاً أمام الأبعاد العالية جداً. ويقترحون أنه في مثل هذه الحالات، قد يكون تقريب PINN المستقل أكثر ملاءمة. وتخلص الورقة إلى تحديد اتجاهات العمل المستقبلي، بما في ذلك التحليل الصارم لخصائص تقارب المخطط الهجين ودمج قواعد الضرب التنسوري المقتصدة.