Resolving gradient pathology in physics-informed epidemiological models

عنوان الورقة: حل معضلات مسار التدرج في النماذج الوبائية القائمة على الفيزياء

المؤلفون: نيكسون غولوبا وولدغبرييل أسيفا ولدغيريما (جامعة يورك، كندا)

1. بيان المشكلة

تُستخدم الشبكات العصبية المستوحاة من الفيزياء (PINNs) بشكل متزايد لسد الفجوات بين البيانات السريرية المشوشة والنماذج ال epidemiological (مثل نموذج SEIR: المعرضون للإصابة-المعرضون للعدوى-المصابون-المتعافون). ومع ذلك، فإن العقبة المركزية في تدريب هذه الشبكات الهجينة هي معضلة مسار التدرج (Gradient Pathology).

• تضارب الأهداف: يجب على الشبكة تقليل خطأين في آن واحد: الخطأ تجاه البيانات السريرية الملحوظة ($L_{data}$) والخطأ تجاه المعادلات التفاضلية الفيزيائية ($L_{ODE}$).
• تضارب الاتجاهات: غالباً ما تشير ناقلات التدرج لهذين الحدين إلى اتجاهات متعاكسة. يؤدي هذا إلى "تضارب تدرجي"، حيث يتوقف التحسين، أو يتذبذب، أو يعلق في نقاط صغرى محلية.
• محدودية الطرق الحالية:
  • تكييف معدل التعلم (LRA): يوازن فقط بين مقدار التدرجات لكنه يتجاهل اتجاهها. في حالات الاتجاهات المتعاكسة، يؤدي ذلك إلى "مأزق ستاليميت" (Pareto deadlock).
  • جراحة التدرج (PCGrad): تقوم بإسقاط التدرجات المتضاربة على مستوى عمودي. وهي عملية مكلفة حاسوبياً ($O(K^2)$) وتتخلص من معلومات مفيدة.
  • طرق الرتبة الثانية: ذات تكلفة حاسوبية عالية جداً للتطبيقات الوبائية.

2. المنهجية: قياس التدرج بوابي الصراع (CGGS)

يقترح المؤلفون طريقة جديدة تسمى قياس التدرج بوابي الصراع (Conflict-Gated Gradient Scaling - CGGS)، والتي تحل تضاربات التدرج من خلال "بوابة" هندسية بدلاً من مجرد تعديل القياس بناءً على قوة التدرج.

الآلية الجوهرية:
تستخدم CGGS تشابه جيب التمام ($S_{cos}$) بين تدرج البيانات ($g_{data}$) وتدرج الفيزياء ($g_{phy}$) لتعديل وزن حد الخسارة الفيزيائية ديناميكياً.

يتم حساب الوزن التكيفي $\hat{\lambda}(t)$ لحد الفيزياء كما يلي:
$$\hat{\lambda}(t) = \alpha \hat{\lambda}(t-1) + (1-\alpha) \cdot \underbrace{\frac{\|g_{data}\|}{\|g_{phy}\| + \epsilon}}_{\text{توازن المقدار}} \cdot \underbrace{\sigma(\kappa \cdot S_{cos})}_{\text{بوابة الصراع}}$$

• دالة البوابة ($\sigma$): دالة سيجمويد تعمل كبوابة ناعمة.
  • صراع عالٍ ($S_{cos} < 0$): عندما تشير التدرجات إلى اتجاهات متعاكسة، يتم تقليل الوزن $\hat{\lambda}$ بشكل كبير. تعطي الشبكة الأولوية لدقة البيانات للهروب من النقاط الصغرى المحلية.
  • التعاون ($S_{cos} > 0$): عندما تتوافق التدرجات، يتم زيادة الوزن لفرض القوانين الفيزيائية (المعادلات التفاضلية) بصرامة.
• القيود المنطقية: تحتفظ القيود المنطقية الإضافية (مثل عدم سلبية أعداد السكان) بوزن ثابت، لأنها تمثل حدوداً بيولوجية صلبة ولا ينبغي تخفيفها تكيفياً.
• الكفاءة: التكلفة الحسابية الإضافية لكل خطوة ضئيلة للغاية ($O(|\theta|)$)، حيث يتطلب الأمر فقط حساب الضرب النقطي وحساب مقدارين (norms).

3. المساهمات النظرية وتحليل التقارب

يتضمن جزء كبير من الورقة تحليلاً رياضياً للتقارب:

• مأزق باريتو (Pareto Deadlock): يثبت المؤلفون (الافتراض 3.1) أنه مع الأوزان الثابتة والتدرجات المتعاكسة ($g_{data} = -c \cdot g_{phy}$)، يصبح مجموع التدرجات صفراً. يتوقف المحسن عن العمل، رغم أن إجمالي الخطأ لا يزال مرتفعاً.
• ضمان التقارب: ثبت (النظرية 4.7) أن CGGS تحافظ على معدل التقارب القياسي $O(1/T)$ للأهداف السلسة وغير المحدبة.
  • على عكس الأوزان الثابتة أو الطرق القائمة على المقدار فقط، تضمن CGGS أن اتجاه البحث يحتفظ دائماً باتجاه هبوط كافٍ ($d(t)$)، حتى في وجود تضاربات التدرج.
  • تولد الآلية تلقائياً تأثير التعلم المنهجي (Curriculum Learning): أولاً، يتم تخفيف الضغط على الشبكة لتعلم هيكل البيانات العام (المرحلة 1)، ولاحقاً، يتم إعادة تفعيل القيود الفيزيائية من أجل الدقة (المرحلة 2).

4. النتائج التجريبية

تم اختبار الطريقة على نموذج SEIR اصطناعي ببيانات مشوشة ومتفرقة.

• فشل النموذج المرجعي: فشلت شبكة PINN القياسية ذات الأوزان الثابتة في إعادة بناء منحنى العدوى بشكل صحيح. لقد أفرطت في ملاءمة الضوضاء (overfitted)، وأنتجت قيماً سالبة مستحيلة بيولوجياً، وتوقفت عن التحسن بسبب تضاربات التدرج.
• أداء CGGS:
  • استعادة الذروة: استطاعت CGHS إعادة بناء ذروة منحنى العدوى بدقة، بينما قلل النموذج المرجعي (LRA) من تقدير الذروة بنسبة 15% تقريباً.
  • الديناميكيات: أظهر الوزن التكيفي ديناميكية "الانخفاض والارتفاع" المتوقعة: أولاً، تم تخفيف وزن الفيزياء (الاسترخاء) لاتباع البيانات، ولاحقاً تمت زيادته (التنقيح) لاستيفاء المعادلات التفاضلية.
  • المقارنة مع LRA: بينما علقت طريقة LRA (التي تعتمد على توازن المقدار فقط) في نقاط صغرى محلية، تمكنت CGGS من تجاوزها وتحقيق خطأ أقل برتبة مقدار كاملة.

5. الأهمية والخلاصة

تقدم الورقة مساهمة كبيرة في تطبيق PINNs في علم الأوبئة:

1. حل مشكلة جوهرية: تحدد وتعالج مشكلة معضلة التدرج في الأنظمة الوبائية "الصلبة" (stiff systems)، حيث تؤدي الاختلافات في المقاييس الزمنية (مثل فترة الحضانة مقابل انتقال العدوى) إلى تضاربات.
2. الفهم الهندسي: توضح أن موازنة قوة التدرجات وحدها ليست كافية؛ بل إن اتجاه (زاوية) التدرجات أمر بالغ الأهمية للاستقرار.
3. الكفاءة: توفر CGGS بديلاً غير مكلف حاسوبياً للطرق المعقدة من الرتبة الثانية أو إجراءات الإسقاط، مما يجعلها مناسبة للتطبيقات في الوقت الفعلي أو لمجموعات البيانات الكبيرة.
4. المتانة: تمكن الطريقة من التدريب المستقر للنماذج حتى مع وجود بيانات سريرية مشوشة للغاية وغير منتظمة أخذ العينات، وهو أمر ضريد في السيناريوهات الوبائية الواقعية.

باختصار، تمثل CGHS نهجاً قوياً، مؤصلاً نظرياً، وفعالاً عملياً لاستقرار دمج القوانين الفيزيائية في النماذج الوبائية القائمة على البيانات.