ملخص تقني: الشبكة العصبية العميقة التنبؤية المعززة بالبيانات (DAPredDNN)

1. بيان المشكلة

تتناول الورقة البحثية تحدي التنبؤ بكفاءة بديناميكيات الأنظمة الديناميكية غير الخطية عالية الدقة وذات المعلمات المتغيرة (التي تحكمها معادلات تفاضلية جزئية تعتمد على الزمن) في سيناريوهات تعدد الاستعلامات. إن المحاكاة المباشرة لهذه النماذج كاملة الرتبة (FOM) تعد مكلفة للغاية من الناحية الحسابية. وبينما تقدم النماذج المختزلة (ROM) والبدائل القائمة على التعلم الآلي حلاً، فإن الطرق غير التدخلية الحالية غالباً ما تعاني من مشكلة الاستقراء الزمني (Time Extrapolation).

على وجه التحديد، فإن العديد من مناهج التعلم العميق الحالية (مثل تلك التي تستخدم شبكات LSTM أو المتنبئات خطوة بخطوة) يمكنها التنبؤ بدقة بحالات النظام ضمن الفترة الزمنية للتدريب $[0, T_0]$. ومع ذلك، فإنها تفشل في التعميم بدقة في الفترة $[T_0, T]$ حيث $T > T_0$، ما لم تعتمد على تنبؤات متسلسلة تكرارية (من $p$-خطوة إلى $k$-خطوة). هذا الاعتماد التسلسلي يؤدي إلى تراكم الأخطاء ويبطئ عملية التنبؤ عبر الإنترنت (Online Prediction). علاوة على ذلك، فإن الطرق التي تتطلب محاكاة عالية الدقة لفترة الاستقراء $[T_0, T]$ خلال مرحلة التشغيل الفعلي تلغي المكاسب المرجوة من كفاءة النماذج البديلة.

2. المنهجية: DAPredDNN

يقترح المؤلفون الشبكة العصبية العميقة التنبؤية المعززة بالبيانات (DAPredDNN). يجمع هذا الإطار بين المشفر التلقائي الالتفافي (CAE)، والشبكة العصبية الأمامية (FFNN)، وطريقة تحليل النمط الديناميكي باستخدام النواة (KDMD) لتحقيق تنبؤ دقيق بخطوة واحدة عبر كل من نطاق المعلمات ونطاق الزمن دون الحاجة إلى عمليات محاكاة (FOM) لفترة الاستقراء.

تتقدم المنهجية عبر ثلاث مراحل متميزة:

أ. مكونات البنية

1. المشفر التلقائي الالتفافي (CAE): يُستخدم لتقليل الأبعاد غير الخطي. يقوم المشفر $\Phi$ برسم خرائط الحالات الفيزيائية عالية الأبعاد $u_h(\mu, t)$ إلى فضاء كامن منخفض الأبعاد $z(\mu, t) \in \mathbb{R}^n$ (حيث $n \ll N$). ويقوم فك التشفيد $\Psi$ بإعادة بناء الحالة الفيزيائية من المتغيرات الكامنة.
2. الشبكة العصبية الأمامية (FFNN): ترسم خرائط لزوج (المعلمة-الزمن) $(\mu, t)$ مباشرة إلى الفضاء الكامن، لتتعلم العلاقة $\Gamma(\mu, t) \approx z(\mu, t)$.
3. تحليل النمط الديناميكي باستخدام النواة (KDMD): وهي طريقة قائمة على المؤثر الخطي تُستخدم لتطوير الديناميكيات الكامنة. بناءً على نظرية كوبمان (Koopman theory)، تقوم KDMD بتقريب دالة التطور $F$ في الفضاء الكامن كمؤثر خطي $K$، مما يسمح بالتنبؤ بالحالات الكامنة المستقبلية $z(\mu, t^*)$ لـ $t^* > T_0$ باستخدام البيانات من $[0, T_0]$ فقط.

ب. عملية التدريب ثلاثية الخطوات

الابتكار الجوهري هو استراتيجية تعزيز البيانات (Data Augmentation) المستخدمة خلال مرحلة التدريب غير المتصلة (Offline):

1. التدريب المسبق لـ CAE: يتم تدريب CAE على مجموعة البيانات الأصلية التي تحتوي على لقطات من المعلمات التدريبية $\{\mu_1, \dots, \mu_k\}$ ضمن الفترة الزمنية $[0, T_0]$. وهذا يؤسس للمشفر $\Phi$ وفك التشفيد $\Psi$.
2. الاستقراء بواسطة KDMD (توليد البيانات):
   • يقوم المشفر المدرب مسبقاً برسم خرائط بيانات التدريب إلى الفضاء الكامن، مما ينشئ مصفوفات لقطات $Z(\mu_i)$ لـ $t \in [0, T_0]$.
   • تُطبق KDMD على هذه اللقطات الكامنة للتنبؤ بتطور الحالات الكامنة في فترة الاستقراء $[T_0, T]$، مما ينتج $\tilde{z}(\mu_i, t^*)$.
   • يقوم فك التشفيد المدرب مسبقاً بإعادة بناء هذه الحالات الكامنة المستقرأة إلى الفضاء الفيزيائي، مما يولد بيانات اصطناعية $\tilde{u}_h(\mu_i, t^*)$ لـ $t^* \in [T_0, T]$.
3. تدريب CAE-FFNN المعزز:
   • يتم دمج بيانات التدريب الأصلية $[0, T_0]$ مع البيانات المستقرأة المولدة بواسطة KDMD $[T_0, T]$ لتشكيل مجموعة بيانات جديدة معززة تغطي الفترة الكاملة $[0, T]$.
   • يتم تدريب CAE وFFNN بشكل مشترك على هذه المجموعة المعززة. وتجمع دالة الخسارة بين خسارة إعادة بناء CAE وخسارة تنبؤ المتغير الكامن لـ FFNN.
   • هذه العملية تُعلّم FFNN رسم خرائط أي زوج $(\mu, t)$ مباشرة إلى الحالة الكامنة الصحيحة، مما يجعلها "تتعلم" الديناميكيات المستقرأة دون الحاجة إلى مؤثر KDMD أثناء مرحلة الاستدلال.

ج. التنبؤ عبر الإنترنت (Online Prediction)

خلال مرحلة التشغيل الفعلي، يتطلب النموذج فقط FFNN وفك التشفيد المدربين. وبإعطاء أي معلمة جديدة $\mu^*$ وأي لحظة زمنية $\hat{t} \in [0, T]$، يقوم النموذج بـ تنبؤ بخطوة واحدة:
$$\tilde{u}_h(\mu^*, \hat{t}) = \hat{\Psi}(\Gamma(\mu^*, \hat{t}))$$
هذا يلغي الحاجة إلى التدرج الزمني المتسلسل أو التنبؤات التكرارية، مما يقلل التكلفة الحسابية بشكل كبير.

3. المساهمات الرئيسية والجدة

تسلط الورقة الضوء على ثلاث ابتكارات رئيسية:

1. التطور الكامن الممكن بواسطة KDMD: من خلال استخدام KDMD في الفضاء الكامن، ينجح الإطار في التقاط ديناميكيات النظام خارج أفق زمن التدريب $T_0$ دون الحاجة إلى محاكاة عالية الدقة لتلك الفترة.
2. تعزيز البيانات في مرحلة التدريب غير المتصلة: تعمل الطريقة على إثراء مجموعة بيانات التدريب بالبيانات المستقرأة عبر فك التشفيد لـ KDMD. وهذا يسمح للشبكة العصبية بتعلم ميزات مرحلة الاستقراء مباشرة، بدلاً من الاعتماد على الاستدلال المتكرر.
3. التنبؤ بخطوة واحدة عبر الإنترنت: على عكس المناهج الحالية (مثل مناهج LSTM أو SINDy) التي تتطلب تنبؤات متسلسلة من $p$-خطوة إلى $k$-خطوة، يقوم DAPredDNN بالتنبؤ بالتسلسل الزمني بأكمله (أو أي خطوة زمنية محددة) في تمريرة أمامية واحدة. وهذا يضمن كفاءة عالية ويتجنب تراكم الأخطاء المرتبط بالتنبؤ المتسلسل.

4. النتائج العددية

تم التحقق من صحة الطريقة من خلال مثالين عدديين:

أ. نموذج فيتز-هوغو-ناجلو (FitzHugh–Nagumo)

• الإعداد: نظام انتشار-تفاعل أحادي البعد بمعلمة $\epsilon \in [0.02, 0.04]$. غطت بيانات التدريب الفترة $[0, 12]$ ($T_0$)، بينما كانت الفترة الكاملة هي $[0, 20]$ ($T$).
• الأداء: نجح النموذج في التنبؤ بالحلول لـ 10 معلمات اختبار غير مرئية عبر النطاق الزمني الكامل.
• الدقة: كان متوسط الخطأ النسبي ($\epsilon_{mean}$) حوالي $8.15 \times 10^{-4}$ لجهد الغشاء $v$ و $4.48 \times 10^{-4}$ لمتغير الاسترداد $w$. وظلت الأخطاء القصوى منخفضة ($< 2 \times 10^{-2}$).
• الملاحظة: نجح النموذج في التقاط الدورات الحدية (limit cycles) والتطور الزمني بدقة حتى في منطقة الاستقراء $[12, 20]$ حيث لم توجد بيانات تدريب.

ب. تدفق غير قابل للانضغاط حول أسطوانة

• الإعداد: معادلات نافير-ستوكس ثنائية الأبعاد مع رقم رينولدز $Re$ كمعلمة. غطت بيانات التدريب $Re \in [100, 750]$ والزمن $[4.5, 8.1]$. كان هدف الاستقراء هو الزمن $[8.1, 9.0]$ (25% من الفترة الإجمالية).
• الأداء: تم الاختبار على 6 قيم $Re$ غير مرئية، بما في ذلك قيمة خارج نطاق التدريب ($Re=800$).
• الدقة: تنبأ النموذج بدقة بالتدفقات الطبقية المستقرة وأنماط انفصال الدوامات المعقدة.
  • متوسط الخطأ النسبي: $5.498 \times 10^{-5}$.
  • أقصى خطأ نسبي: $1.888 \times 10^{-3}$.
• الملاحظة: حافظ النموذج على دقة عالية لكل من الاستكمال (interpolation) والاستقراء (extrapolation) في الزمن، وكذلك للمعلمات داخل نطاق التدريب وخارجه.

5. الأهمية والادعاءات

تدعي الورقة أن DAPredDNN يوفر حلاً قوياً وغير تدخلي لتقليل رتبة النماذج ذات المعلمات (parametric model order reduction)، يتغلب على قيود الاستقراف الزمني التي تواجهها البدائل الحالية للتعلم العميق.

• الكفاءة: قدرة التنبؤ بخطوة واحدة تجعل مرحلة التشغيل الفعلي سريعة للغاية مقارنة بالطرق التكرارية.
• الدقة: يسمح دمج KDMD للنموذج بتعلم الديناميكيات الأساسية لمرحلة الاستقراء، مما يؤدي إلى دقة عالية حتى عندما تكون بيانات التدريب محدودة بنطاق زمني أقصر.
• القابلية للتطبيق: الطريقة قابلة للتطبيق على الأنظمة المعقدة عالية الأبعاد (مثل ديناميكا السوائل) حيث يصعب تنفيذ تقليل الرتبة التقلوي التدخلي.

يشير المؤلفون إلى أنه بينما الطريقة فعالة، فإن العمل المستقبلي قد يتضمن إدخال "مميز" (discriminator) للتحقق من جودة البيانات المولدة بواسطة KDMD، مما قد يحسن الاستقرار ويقلل من جهود ضبط المعلمات الفائقة. الكود والبيانات متاحة لضمان قابلية إعادة الإنتاج.