An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

في المشهد الواسع للعلوم والهندسة الحديثة، يمثل التنبؤ بكيفية تغير الأنظمة بمرور الوقت تحديًا جوهريًا. وسواء كان الأمر يتعلق بتتبع مدار قمر صناعي، أو نمذجة انتشار مرض ما، أو محاكاة تدفق الحرارة عبر مادة ما، فإن العلماء يعتمدون على نوع محدد من القواعد الرياضية المعروفة باسم المعادلات التفاضلية. تصف هذه المعادلات كيفية تغير كمية ما بالنسبة لنفسها وبالنسبة لبيئتها. ولعقود من الزمن، كان حل هذه المعادلات حكرًا على الطرق العددية الكلاسيكية، التي تقوم بتفكيك المشكلات إلى خطوات صغيرة يمكن إدارتها. ورغم كونها موثوقة، إلا أن هذه الأساليب التقليدية قد تصبح مكلفة حاسوبيًا وتواجه صعوبة في التعامل مع المشكلات المعقدة وعالية الأبعاد. وفي السنوات الأخيرة، ظهر نهج جديد يستعير من مجال الذكاء الاصطناي. فقد بدأ الباحثون في استخدام الشبكات العصبية — وهي أنظمة حاسوبية مستوحاة من الدماغ البشري — لتعلم وتقريب حلول هذه المعادلات. هذه الأنظمة، المعروفة باسم الشبكات العصبية المستوحاة من الفيزياء (Physics-Informed Neural Networks)، يتم تدريبها ليس فقط على البيانات، بل على القوانين الفيزيائية نفسها، مما يسمح لها بإيجاد حلول تحترم العلم الكامن وراءها.

ومع ذلك، لكي تعمل هذه الشبكات العصبية، فإنها تتطلب آلية داخلية محددة لإدخال التعقيد واللاخطية، تمامًا مثل مفتاح يسمح للدائرة الكهربائية بفعل أكثر من مجرد تمرير الكهرباء مباشرة. تسمى هذه الآلية "دالة التنشيط" (activation function). وهي تحدد كيفية معالجة الشبكة للمعلومات في كل خطوة، مما يشكل قدرتها على التعلم وتقريب الإجابة الصحيحة. ولفترة طويلة، كان اختيار دالة التنشيط التي يجب استخدامها في هذه الحلول العلمية نوعًا من التخمين، حيث غالبًا ما يختار الباحثون واحدة بناءً على العادة بدلاً من الدليل. وهذا عدم اليقين أمر مهم لأن الاختيار الخاط%ي يمكن أن يؤدي إلى تنبؤات غير دقيقة أو نظام يفشل في تعلم الحل تمامًا. ويبقى السؤال: أي من الخيارات العديدة المتاحة هو الأفضل حقًا لحل المعادلات المعقدة التي تعتمد على الزمن والتي تحكم عالمنا الفيزيائي؟

لقد وضعت دراسة حديثة هدفها للإجابة على هذا السؤال بنهج منهجي وصارم. ركز الباحثون على فئة محددة من المشكلات: المعادلات التفاضلية العادية غير المستقلة زمنيًا (non-autonomous ordinary differential equations). وبتعبير أبسط، هي معادلات لا تكون فيها قواعد التغيير ثابتة بل تتطور بمرور الوقت، وغالبًا ما تكون مدفوعة بعوامل خارجية مثل الزمن نفسه أو الظروف البيئية المتغيرة. ولاختبار نظرياتهم، قام الفريق ببناء بنية شبكة عصبية قياسية وأخضعوها لسلسلة من عشرة تحديات رياضية متميزة. شملت هذه التحديات معادلات مدفوعة بالنمو الأسي، والمنحنيات متعددة الحدود، والموجات المثلثية، مما غطى طيفًا واسعًا من السلوكيات الموجودة في الطبيعة. ومن الأهمية بمكان أن الباحثين أبقوا كل متغير آخر في تجربتهم متماثلاً؛ فقد استخدموا نفس هيكل الشبكة، ونفس عدد دورات التدريب، ونفس نقاط البيانات لكل اختبار. الشيء الوحيد الذي تغير هو دالة التنشيط. لقد اختبروا تسعًا من أكثر الدوال شيوعًا المستخدمة في هذا المجال، بدءًا من دالة "Sigmoid" و"ReLU" المعروفة، وصولاً إلى متغيرات أكثر حداثة مثل "GELU" و"ELU" و"SiLU".

كانت نتائج هذه المحاكاة المكثفة واضحة وحاسمة. وجدت الدراسة أنه لا توجد دالة واحدة مثالية لكل سيناريو، ولكن برزت واحدة كأكثر أداءً وموثوقية عبر جميع المجالات. برزت دالة التنشيط "GELU" كأفضل خيار، حيث قدمت الحلول الأكثر دقة في ستين بالمائة من التجارب. وقد أنتجت باستمرار أصغر الأخطاء عند مقارنتها بالإجابات الدقيقة المعروفة لهذه المعادلات. وجاءت خلفها مباشرة دالتان أخريان، هما "ELU" و"SELU"، اللتان أظهرتا أيضًا قدرات قوية. وفي المقابل، أدت بعض الخيارات القديمة والأكثر تقليدية، وتحديدًا "Sigmoid" و"Software"، أداءً ضعيفًا. وقد عزا الباحثون هذا الفشل إلى ظاهرة تُعرف باسم "التشبع" (saturation)، حيث تصبح هذه الدوال مسطحة للغاية في مناطق معينة بحيث تتوقف عن التعلم بفعالية، مما يؤدي إلى توقف الشبكة. كما لاحظت الدراسة أنه بينما تحظى دوال مثل "ReLU" بشعبية في الذكاء الاصطناعي العام، إلا أنها لم تكن الأنسب لهذه المهام العلمية المحددة، ويرجع ذلك على الأرجح إلى طبيعتها الحادة والزاوية التي تخلق صعوبات عند حساب المشتقات الدقيقة المطلوبة من قبل الحلول القائمة على الفيزياء.

وللتأكد من أن هذه النتائج لم تكن مجرد صدفة، وسع الباحثون اختباراتهم لتشمل مجموعة ثانية من ست معادلات إضافية. وظلت النتائج ثابتة؛ ففي هذه المجموعة الموسعة، احتلت "GELU" المركز الأول مرة أخرى في حوالي ثلثي الحالات، بينما تصدرت "ELU" في المتبقي منها. ولم تتمكن أي دالة أخرى من حجز المركز الأول في مجموعة التحقق هذه. تشير الدراسة إلى أن نجاح "GELU" و"ELU" يعود إلى نعومة قيمهما الرياضية. فبخلاف الدوال ذات الزوايا الحادة أو الهضاب المسطحة، تسمح هذه الدوال الناعمة للشبكة بحساب التغيرات والميول (gradients) بشكل أكثر موثوقية، وهو أمر ضروري عندما يُطلب من الشبكة استيفاء القوانين الفيزي الصارمة المضمنة في المعادلات. تساعد هذه النعومة عملية التدريب على التقارب بشكل أكثر استقرارًا، مما يؤدي إلى نتائج نهائية أكثر دقة.

إن آثار هذا العمل عملية وفورية للعلماء والمهندسين الذين يعتمدون على هذه الأدوات الحسابية. توفر الدراسة خطًا توجيهيًا واضحًا وقائمًا على الأدلة لاختيار الأداة المناسبة للمهمة. وبدلاً من معاملة اختيار دالة التنشيط كإعداد عشوائي أو عالمي، يقترح الباحثون أن طبيعة المشكلة المحددة يجب أن تملي الاختيار. بالنسبة للمشكلات العامة المرتبطة بالزمن، تبدو "GELU" هي الخيار الافتراضي الأكثر قوة. أما بالنسبة للمشكلات التي تتضمن تفاعلات متعددة الحدود، فإن "ELU" تقدم بديلًا قويًا. وفي الوقت نفسه، تنصح الدراسة صراحةً بعدم استخدام الدوال التي تعاني من التشبع مثل "Sigmoid" لهذا النوع من الحلول القائمة على البواقي (residual-based solvers)، لأنها من المرجح أن تعيق الأداء. ومن خلال تحديد دوال التنشيط الأكثر فعالية، يساعد هذا البحث في صقل قدرات الشبكات العصبية، مما يمهد الطريق لطرق أكثر كفاءة ودقة لحل المعادلات التفاضلية التي تصف كوننا. لا يدعي العمل أنه حل كل مشكلة في هذا المجال، ولكنه يقدم أساسًا متينًا للتطورات المستقبلية، مشيرًا نحو نهج أكثر منهجية ومعلوماتية لبناء الجيل القادم من أدوات الحوسبة العلمية.