Gradient-free online learning of subgrid-scale dynamics with neural emulators

ملخص تقني: التعلم عبر الإنترنت لنمذجة ديناميكيات دون الشبكة (subgrid-scale) بدون تدرج باستخدام المحاكيات العصبية

بيان المشكلة
تتناول الورقة البحثية عقبة حرجة في تطوير النماذج العددية الهجينة لعلوم نظام الأرض، وتحديداً تدريب بارامترات (parametrizations) ديناميكيات "دون الشبكة" (SGS) القائمة على تعلم الآلة (ML). وبينما أظهرت استراتيجيات التدريب "عبر الإنترنت" (online) (حيث يتم تدريب مكون تعلم الآلة أثناء تفاعله مع الحل العددي) قدرة على إنتاج محاكاة أكثر استقراراً ودقة من النهج "غير المتصل" (offline)، إلا أنها تتطلب عادةً أن يكون الحل العددي قابلاً للاشتقاق. ومع ذلك، فإن معظم الأكواد البرمجية للنماذج المناخية وديناميكا السوائل ذات الإنتاجية العالية هي أنظمة قديمة مكتوبة بلغات منخفضة المستوى (مثل Fortan وC) وليست قابلة للاشتقاق. وإعادة تنفيذ هذه الأكواد باستخدام أطر التفاضل التلقائي (AD) غالباً ما يكون أمراً مكلفاً ومعقداً للغاية. وبناءً على ذلك، أصبح التعلم عبر الإنترنت غير متاح حالياً للعديد من النماذج المتطورة، مما يضطر الباحثين إلى الاعتماد على استراتيجيات أقل استقراراً (غير متصلة) أو طرق تحسين لا تعتمد على التدرج قد لا تتوسع بشكل جيد.

المنهجية
يقترح المؤلفون خوارزمية عامة مكونة من خطوتين تتيح التعلم عبر الإنترنت لبارامترات (SGS) دون الحاجة إلى أن يكون الحل الأصلي قابلاً للاشتقاق. والابتكار الجوهري يكمن في استخدام محاكي عصبي (neural emulator)—وهو شبكة عصبية قابلة للاشتقاق يتم تدريبها لتقريب ديناميكيات الحل ذي الدقة الخشنة.

يتكون سير العمل المقترح من مرحلتين متتاليتين:

1. تدريب المحاكي العصبي: يتم تدريب محاكي قابل للاشتقاق $E$ لتقريب الحل ذي الدقة الخشنة $g$. تهدف هذه الخطوة إلى تقليل "دالة خسارة الحالة" (state loss function)، مما يضمن أن المحاكي يعيد إنتاج التطور الزمني للمتغيرات الخشنة بدقة.
2. تدريب بارامتر (SGS): بمجرد تثبيت المحاكي، يتم تدريب نموذج (SGS) عبر الإنترنت باستخدام المحاكي كبديل للحل الأصلي. ومن الأهمية بمكان أن المؤلفين قدموا دالة خسارة معوضة (compensated loss function). فبدلاً من تقليل الخطأ في متغيرات الحالة الخشنة (والذي قد يسمح لنموذج SGS باستيعاب أخطاء المحاكي غير المكتمل)، يتم إعادة توجيه دالة الخسارة لتقليل الخطأ مباشرة في مصطلحات (SGS) (الفيزياء المفقودة). هذا يمنع نموذج (SGS) من تعويض الانحيازات التقريبية للمحاكي، مما يعزل أهداف التعلم لكل من المكونين.

يسمح هذا النهج بنشر التدرج عبر خطوات التكامل الزمني عبر المحاكي القابل للاشتقاق، مما يحاكي فعلياً بيئة تدريب عبر الإنترنت للحل غير القابل للاشتقاق.

المساهمات الرئيسية

• التعلم عبر الإنترنت بدون تدرج: توضح الورقة طريقة لإجراء تدريب (a posteriori) عبر الإنترنت لبارامترات (SGS) للأكواد القديمة غير القابلة للاشتقاق من خلال الاستفادة من محاكي عصبي.
• فصل الانحياز عبر إعادة توجيه الخسارة: حدد المؤلفون أن التدريب المشترك للمحاكي ونموذج (SGS) يؤدي إلى تعويض الخطأ، حيث يتعلم نموذج (SSGS) إصلاح أخطاء المحاكي بدلاً من الفيزياء الحقيقية. وقد اقترحوا مخطط تدريب تسلسلي من خطوتين مع "دالة خسارة دون شبكة" (subgrid loss) تستهدف مصطلح (SGS) مباشرة، مما يقلل من انتشار انحيازات التقريب.
• إطار خوارزمي: توضح الورقة خوارزمية عامة (الخوارزمية 1) يمكن تطبيقها على مختلف الأنظمة الديناميكية، مما يفصل الحاجة إلى قابلية اشتقاق الحل عن فوائد التعلم عبر الإنترنت.

النتائج
تم التحقق من صحة المنهجية على نظامين:

1. نظام لورينز-96 (Lorenz-96): وهو نظام فوضوي ذو مقاييس زمنية مزدوجة. أظهر المؤلفون أن النهج القائم على المحاكي مع خسارة (subgrid) يمكنه استعادة استقرار ودقة النموذج المرجعي الذي تم تدريبه عبر الإنترنت على حل قابل للاشتقاق. أما النماذج التي تم تدريبها باستخدام خسارة "الحالة" التقليدية على المحاكي فقد فشلت في مطابقة أداء المرجع، مما يسلط الض الضوء على ضرورة استراتيجية تعويض الانحياز.
2. نظام شبه الجيوستروفي (QG): وهو نظام تدفق مضطرب ثنائي الأبعاد معروف بعدم استقراره مع الاستراتيجيات غير المتصلة. قارنت الدراسة بين النماذج المدربة باستخدام دوال خسارة مختلفة (الحالة مقابل دون الشبكة) وتعقيدات المحاكي (صغير مقابل كبير).
   • الاستقرار: أنتجت الطريقة المقترحة عمليات محاكاة مستقرة عبر آفاق زمنية أطول بـ 250 مرة من بيانات التدريب، بينما انهارت النماذج المدربة "غير متصلة" أو تلك التي استخدمت خسارة "الحالة" مع محاكيات صغيرة.
   • الدقة: حقق النموذج المدرب باستخدام خسارة (subgrid) ومحاكي ذي سعة كبيرة أداءً مقارباً للنموذج المرجعي عبر الإنترنت فيما يتعلق بالكميات صغيرة النطاق (توزيعات الدوامات وأطياف الإنتروبي/enstrophy).
   • القيود: بينما تم إعادة إنتاج المقاييس صغيرة النطاق بشكل جيد، ظلت هناك انحيازات منهجية في المقاييس الكبيرة، وهو ما يُعزى إلى عدم كمال المحاكي العصبي المتأصل. وأشار المؤلفون إلى أن اختيار بنية المحاكي أثر بشكل كبير على أداء (SGS) النهائي.

الأهمية والادعاءات
تضع الورقة هذا العمل كـ "خطوة نحو تعلم البارامترات باستخدام استراتيجيات عبر الإنترنت لنماذج المناخ". ويدعي المؤلفون أن نهجهم يفتح آفاقاً جديدة لتعلم بارامترات مستقرة للأكواد القديمة غير القابلة للاشتقاق، والتي تشكل غالبية نماذج نظام الأرض الإنتاجية. ويؤكدون أن طريقتهم تستعيد "معظم فوائد استراتيجيات التعلم عبر الإنترنت" دون العبء الحسابي لإعادة تنفيذ الحلول بلغات التفاضل التلقائي.

ويبدي المؤلفون تواضعاً بشأن التكنولوجيا الحالية، حيث يقرون بأن:

• النهج يعتمد بشدة على جودة المحاكي العصبي؛ فالتقريب غير المكتمل يؤدي إلى انحيازات لا يمكن لنموذج (SGS) تصحيحها بالكامل.
• تم عرض الطريقة حالياً على أنظمة مبسطة (L96 وQG)، ويتطلب نشرها في نماذج نظام الأرض كاملة التعقيد مزيداً من التطوير.
• هناك حاجة إلى مقارنات منهجية مع تقنيات أخرى لا تعتمد على التدرج (مثل التعلم المعزز، أو انقلاب مرشح كالمان للمجموعات/ensemble Kalman inversion) لتحديد الاستراتيجية المثلى للتطبيقات العملية.

في النهاية، تجادل الورقة بأن المحاكاة العصبية توفر بديلاً عملياً لتمكين نماذج البرمجة القابلة للاشتقاق، مما قد يمتد ليشمل مهام مثل معايرة النماذج واستيعاب البيانات التبايني (variational data assimilation) دون الحاجة إلى حلول مرافق (adjoint solvers).