🤖 machine learning

Feature Interaction Modeling for Physics-Informed Neural Networks and Neural Operators

تقترح هذه الورقة دمج وحدات تفاعل الميزات من آلات التفكيك في الشبكات العصبية المستوحاة من الفيزياء والمؤثرات العصبية لتعزيز نمذجة الارتباطات المتغيرة، مما يحسن الدقة بشكل كبير للمعادلات التفاضلية الجزئية ذات التبعيات القوية بين المجالات، أو التدرجات الحادة، أو الانقطاعات، بينما تقدم فوائد محدودة لمهام تعلم المؤثرات السلسة.

المؤلفون الأصليون: Quan Gu, Hongxia Liu

نُشر 2026-08-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Quan Gu, Hongxia Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم كمبيوتر كيفية التنبؤ بسلوك نظام فيزيائي، مثل كيفية انتشار الحرارة عبر لوح معدني، أو كيف تترقرق موجة صدمية عبر الهواء، أو كيف تتشكل ازدحامات المرور على طريق سريع. في العالم الحقيقي، تحكم هذه الأشياء قواعد رياضية معقدة تسمى المعادلات التفاضلية الجزئية (PDEs). لعقود من الزمن، كان حل هذه المعادلات يشبه محاولة التنقل في متاهة مع عصبة على العينين؛ فأنت بحاجة إلى خريطة مفصلة (شبكة) وتعليمات محددة للغاية لكل منعطف واحد. ولكن ماذا لو استطاع الكمبيوتر تعلم قواعد المتاهة بمجرد النظر إلى الوجهة؟ هنا يأتي دور جيل جديد من الشبكات العصبية "الذكية". هذه الشبكات، المعروفة باسم الشبكات العصبية المستوحاة من الفيزياء (PINNs) والمشغلات العصبية (Neural Operators)، مصممة لتعلم لغة الفيزياء مباشرة، دون الحاجة إلى خريطة مرسومة مسبقاً. إنها قوية للغاية، لكنها أحياناً تعاني عندما تصبح الفيزياء "فوضوية" — مثل عندما تتفاعل المتغيرات بطرق معقدة أو عندما يكون للحل حواف حادة ومتعرجة.

السؤال الكبير الذي يسأله الباحثون هو: كيف يمكننا جعل هذه الشبكات أفضل في فهم كيفية تواصل الأجزاء المختلفة من المشكلة مع بعضها البعض؟ فكر في الأمر كأنه مشروع جماعي. إذا كان لديك فريق من الطلاب (متغيرات مثل الزمن، والمكان، ودرجة الحرارة)، فإن النهج القياسي قد يطلب من كل طالب كتابة جزئه بشكل مستقل ثم لصق الأوراق معاً. لكن في الواقع، غالباً ما يحتاج الطلاب إلى التعاون، والمناقشة، والتأثير في عمل بعضهم البعض للوصول إلى أفضل نتيجة. يستكشف هذا البحث خدعة ذكية مستعارة من مجال آخر (أنظمة التوصية) لمساعدة شبكات الفيزياء هذه على "التعاون" بشكل أكثر فعالية. ومن خلال إجبار الشبكة على نمذجة كيفية تفاعل هذه المتغيرات صراحة — مثل كيف يمكن لتغيير في الزمن أن يغير تأثير التغيير في المكان — يأمل المؤلفون في بناء متنبئ أكثر ذكاءً ودقة للعالم الفيزيائي.

الفكرة الكبرى للبحث: تعليم الشبكات كيفية "مواعدة" متغيراتها

قرر مؤلفا هذا البحث، كوان جو وهونغشيا ليو، منح شبكات تعلم الفيزياء هذه "تطبيق مواعدة". حسناً، ليس تطبيقاً حقيقياً، بل آلية رياضية تسمى آلات التفكيك (Factorization Machines - FMs). في عالم علم البيانات، تشتهر آلات التفكيك بقدرتها على اكتشاف كيفية اقتران الأشياء المختلفة ببعضها البعض. على سبيل المثال، إذا كنت تحب أفلام "الخيال العلمي" وأفلام "الأكشن"، فإن النظام القياسي قد يكتفي بجمع درجات هذين النوعين معاً. لكن آلة التفكيك تسأل: "هل تحب حقاً أفلام "أكشن وخيال علمي" أكثر من مجرد مجموع الاثنين؟" إنها تبحث عن "الشرارة" الخاصة التي تحدث عندما يتفاعل ميزتان.

سأل الباحثون: ماذا لو علمنا شبكات الفيزياء لدينا البحث عن هذه الشرارات بين المتغيرات؟ بدلاً من مجرد تغذية الشبكة بقائمة من الأرقام (مثل $x$ و $y$ و $z$ و $t$ )، قاموا بتفكيك هذه الأرقام إلى "مجالات" منفصلة وأجبروا الشبكة على حساب كيفية تفاعل كل زوج من المجالات مع بعضهما البعض قبل إجراء التنبؤ. لقد بنوا ثلاث نسخ جديدة من هذه الشبكات:

FM-PINN: لحل مشكلات فيزيائية محددة على شبكة.
FM-Operator: نوع جديد من الشبكات يتعلم "القواعد" العامة للنظام، وليس مجرد حل واحد محدد.
FM-DeepONet: تعديل على شبكة شهيرة موجودة بالفعل (DeepONet) لإضافة قوة التفاعل هذه.

ما وجدوه: سحر التصادمات "عالية الأبعاد"

عندما اختبروا هذه الشبكات الجديدة، كانت النتائج مزيجاً من "واو!" و "ممم، ليس تماماً".

الفوز الكبير: عندما تصبح الأمور معقدة
تألقت الشبكات الجديدة عندما أصبحت المشكلات عالية الأبعاد وسلسة. تخيل محاولة التنبؤ بدرجة الحرارة في فضاء رباعي الأبعاد أو خماسي الأبعاد (وهذا يبدو مستحيلاً، لكن في الرياضيات، يعني ذلك فقط تتبع متغيرات كثيرة في وقت واحد). في هذه السيناريوهات، تصطدم المتغيرات ببعضها البعض باستمرار. وجد المؤلفون أنه من خلال النمذجة الصريحة لهذه التفاعلات، قللت FM-PINN الخطأ بنسبة هائلة بلغت 43.98% في مشكلة الحمل والانتشار رباعية الأبعاد، و 55.43% في مشكلة الحمل الخطي خماسية الأبعاد مقارنة بالنسخة القياسية. كان الأمر كما لو أنهم أعطوا الشبكة نظارة طبية سمحت لها برؤية الروابط الخفية بين المتغيرات.

اختبار الصدمة: التعامل مع الأشياء "المتعرجة"
الفيزياء ليست دائماً سلسة؛ فأحياناً تحتوي على صدمات حادة، مثل الانفجار الصوتي أو الازدحام المروري المفاجئ. اختبر المؤلفون شبكاتهم على معادلات تخلق هذه الحواف الحادة، مثل معادلة بورغرز (Burgers equation) و معادلة بوكلي-ليفيريت (Buckley-Leverett equation) (التي تنمذج اختلاط الزيت والماء). هنا، كانت FM-Operator و FM-DeepONet بطلتين حقيقيتين.

في مشكلة "بورغرز البارامترية" المعقدة (حيث تتغير لزوجة السائل)، حققت FM-Operator الجديدة خطأً قدره 0.0328، بينما عانت DeepONet القياسية من خطأ قدره 0.0794. هذا تحسن بنسبة 58.61%!
والأكثر إثارة للإعجاب، أن FM-Operator فعلت ذلك باستخدام 42,826 معلمة فقط (التي تمثل "خلايا الدماغ" للشبكة)، بينما احتاجت DeepONet القياسية إلى 108,161 معلمة لمحاولة القيام بنفس المهمة. كان الأمر كما لو كان فريقاً صغلاً وفعالاً يتفوق على فريق ضخم ومكلف.

منطقة "ليس تماماً": السلاسة والبساطة
ومع ذلك، يلاحظ البحث بعناية أن هذا ليس حلاً سحرياً لكل شيء. فعندما كانت المشكلات بسيطة، منخفضة الأبعاد، أو سلسة جداً (مثل معادلة هيلمهولتز أو معادلات الحرارة الأساسية في بُعد واحد)، لم تكن الشبكات الجديدة تفوز دائماً. في الواقع، في بعض هذه المشكلات السلسة، كانت الشبكات القياسية أفضل حالاً. ويقترح المؤلفون أنه إذا كانت المتغيرات لا تحتاج إلى "التحدث" مع بعضها البعض كثيراً، فإن فرض التفاعل بينها يضيف فقط ضجيجاً وارتباكاً غير ضروريين. إنه مثل محاولة إجراء محادثة عميقة مع شخص يريد فقط أن يقول "مرحباً".

الحكم النهائي: أداة متخصصة، وليست حلاً شاملاً

يخلص البحث إلى أن وحدات تفاعل الميزات هذه هي أداة قوية، لكنها تكون أكثر فائدة عندما تتضمن المشكلة الفيزيائية تبعيات قوية ومعقدة بين أجزائها. إذا كنت تتعامل مع مشكلات سلسة عالية الأبعاد أو معادلات فوضوية مليئة بالصدمات، فإن إضافة "طبقة التفاعل" هذه تساعد الشبكة على فهم الفيزياء بشكل أفضل بكثير، وغالباً بعدد أقل من المعلمات. أما إذا كانت المشكلة بسيطة أو كانت المتغيرات تعمل بشكل مستقل، فقد يظل النهج القياسي هو الأفضل.

قارن المؤلفون أيضاً عملهم بطرق متقدمة أخرى، مثل Shift-DeepONet، التي تحاول تحريك "دوال الأساس" للشبكة لتتبع الصدمات. ووجدوا أن FM-Operator الخاصة بهم كانت أكثر دقة وكفاءة في معادلة بورغرز، حيث قللت الخطأ بنسبة 28.0% مع استخدام 70% أقل من المعلمات.

باختصار، يشير هذا البحث إلى أن تعليم الشبكات العصبية كيفية نمذجة كيفية "مواعدة" مدخلاتها لبعضها البعض صراحة هو اتجاه واعد لحل أصعب المشكلات الفيزيائية، خاصة تلك التي تتضمن تغيرات حادة أو متغيرات كثيرة متفاعلة. إنه ليس حلاً يناسب الجميع، ولكن بالنسبة لنوع معين من الفيزياء المعقدة والفوضوية، فإنه يعتبر تغييراً جذرياً في قواعد اللعبة.

ملخص تقني: نمذجة تفاعل الميزات للشبكات العصبية المستوحاة من الفيزياء والمشغلات العصبية

بيان المشكلة

لا يزال حل المعادلات التفاضلية الجزئية (PDEs) ذات المعلمات بكفاءة ودقة يمثل تحديًا جوهريًا في العلوم والهندسة. تعتمد الطرق العددية التقليدية على شبكات (meshes) محددة مسبقًا ومخططات خاصة بكل مسألة. وبينما توفر الشبكات العصبية المستوحاة من الفيزياء (PINNs) والمشغلات العصبية (مثل DeepONet وFourier Neural Operators) بدائل خالية من الشبكات، فإن معظم النهج الحالية تركز على تفكيك النطاق، أو التحليل الطيفي، أو ترميز المدخلات (مثل ميزات فورييه). وتظل هناك فجوة حرجة في نمذجة التفاعلات بين ميزات المدخلات نفسها. وعلى الرغم من أن تفكيك التنسور (CP, Tucker) يشير إلى أهمية التفاعلات بين الميزات المتقاطعة، إلا أن البنى المعيارية غالبًا ما تعامل إحداثيات المدخلات، وقيم المستشعرات، والمعلمات الفيزيائية كمتجهات متصلة دون التقاط اقتراناتها الزوجية بشكل صريح. وهذا يعد أمرًا مقيدًا للغاية للمعادلات التفاضلية الجزئية عالية الأبعاد والمسائل التي تتميز بتدرجات حادة أو انقطاعات حيث تكون اقترانات المتغيرات قوية.

المنهجية

يقترح المؤلفون دمج وحدات تفاعل الميزات المستمدة من آلات التفكيك (Factorization Machines - FMs) في شبكات PINNs والمشغلات العصبية. الآلية الجوهرية هي طبقة تجميع التفاعل الثنائي (bi-interaction pooling)، والتي تنمذج صراحةً التفاعلات الزوجية بين الحقول الدلالية للمدخلات.

الدافع النظري

يستند هذا النهج إلى مفردة تايلور من الدرجة الثانية للدوال متعددة المتغيرات. بالنسبة لدالة مستهدفة $g(F)$ تعتمد على كتل الحقول $F = (F_1, \dots, F_M)$ ، يتضمن التوسع حدود هيس (Hessian) المتقاطعة بين الحقول $\sum_{i<j} \delta F_i^\top H_{ij} \delta F_j$ . تقوم كتلة التفاعل الثنائي المقترحة، والمعرفة بـ $z_{BI} = \sum_{i<j} e_i \odot e_j$ (حيث $e_i$ هي تضمينات الحقول و $\odot$ هو حاصل هادامار)، ببناء هذه المنتجات المختلطة بين الكتل صراحةً. يوفر هذا تحيزًا استقرائيًا (inductive bias) يتوافق مع البنية المحلية لمنوعات حلول المعادلات التفاضلية الجزئية، لا سيما في الحالات التي تكون فيها التبعيات المتقاطعة بين الإحداثيات أو المستشعرات والاستعلامات كبيرة.

البنى المقترحة

يقدم البحث ثلاث بنى محددة:

FM-PINN:
- البنية: تعامل كل مكون من مكونات الإحداثيات (مثل $x, t$ أو $x_1, \dots, x_D$ ) كحقل دلالي منفصل.
- الآلية: يتم تضمين كل حقل في فضاء كامن مشترك، ويتم تجميع التفاعات الزوجية عبر تجميع التفاعل الثنائي قبل تمريرها إلى وحدة فك تشفير (MLP decoder).
- الهدف: التقاط تفاعلات المتغيرات المكانية والزمانية صراحةً، مما يحسن التقريب للمعادلات التفاضلية الجزئية السلسة، وعالية الرتبة، وعالية الأبعاد.
FM-Operator:
- البنية: بنية مشغل مباشرة (غير متفرعة عبر جذع وساق) تعامل وظائف مدخلات المستشعرات ( $s$ )، وإحداثيات الاستعلام ( $y$ )، والإحصاءات الملخصة ( $q(s)$ )، والمعلمات الفيزيائية ( $\eta$ ) كحقول متميزة.
- الآلية: تنمذج التفاعلات المتقاطعة بين المجموعات (cross-group) بين دالة المدخلات وموقع الاستعلام. يجمع التنبؤ بين مسار MLP يعمل على المنتجات المجمعة عبر الحقول والمسار الخطي الذي يحتفظ بالآثار الأولى الخام.
- الهدف: التعامل مع قوانين الحفظ غير الخطية والمسائل ذات التدرجات الحادة أو الانقطاعات من خلال نمذجة كيفية تحديد قيم المستشعرات وإحداثيات الاستعلام للحل بشكل مشترك.
FM-DeepONet:
- البنية: حقن كتلة تفاعل الميزات في إطار عمل DeepONet القياسي.
- الآلية: تبني مجموعة حقول من ميزات الساق (branch features $b$ )، وميزات الجذع (trunk features $\phi$ )، وإحصاءات المستشعر، والمعلمات. تعمل كتلة التفاعل على تحسين هذه الميزات، مما ينتج حدود تصحيحية ( $\Delta b, \Delta \phi$ ) تُضاف مرة أخرى إلى الميزات الأصلية قبل عملية الإسقاط النهائي لضرب الضرب الداخلي.
- الهدف: تعزيز التفكيك القياسي بين الساق والجذع من خلال السماح بالتفاعلات الزوجية بين ميزات الساق، وميزات الجذع، والمدخلات المساعدة لتحسين التنبؤ بشكل مشترك.

المساهمات الرئيسية

دمج آلات التفكيك (Factorization Machines): يعمل هذا العمل على تطويع آليات التفاعل الثنائي من أنظمة الترشيح (التوصية) لتناسب مدخلات المعادلات التفاضلية الجزئية المستمرة، مما يوسع هذا النهج إلى ما هو أبعد من الطرق الرمزية أو القائمة على التعبيرات مثل PI-MFM.
نمذجة التفاعل الصريح: بخلاف عملية الربط (concatenation) المعيارية، تنمذج البنى المقترحة العلاقات الزوجية بين الإحداثيات المكانية، والزمن، وقيم المستشعرات، والمعلمات الفيزيائية بشكل صريح.
ثلاث بنى جديدة: تطوير FM-PINN و FM-Operator و FM-DeepONet، مما يوفر استراتيجية موحدة لتفاعل الميزات عبر نماذج مختلفة لحل المعادلات التفاضلية الجزئية.
كفاءة المعلمات: تحقق FM-Operator دقة فائقة في الاختبارات المعيارية الصعبة بعدد أقل بكثير من المعلمات (حوالي 43 ألفًا) مقارنة بـ DeepONet القياسي (حوالي 108 ألفًا) و Shift-DeepONet (حوالي 141 ألفًا).

النتائج التجريبية

FM-PINN مقابل PINN

المسائل السلسة عالية الأبعاد: تظهر FM-PINN مكاسب دقة جوهرية في المعادلات التفاضلية الجزئية متعددة الأبعاد والسلسة. على سبيل المثال، قللت الخطأ النسبي $L_2$ بنسبة 45.69% في معادلة الحمل والانتشار ثنائية الأبعاد، و 63.26% في معادلة الحمل الخطي رباعية الأبعاد، و 55.43% في معادلة الحمل الخطي خماسية الأبعاد مقارنة بـ vanilla PINN.
القيود: تظهر الطريقة مكاسب غير متسقة أو سالبة في المسائل أحادية البعد (حيث لا توجد أزواج إحداثيات متقاطعة) وفي مسائل معينة ثنائية الأبعاد مثل Darcy و reaction-diffusion. كما أنها لا تعالج بطبيعتها صعوبات التحسين المرتبطة بمعادلة Burgers أحادية البعد التي تهيمن عليها الصدمات تحت التدريب القائم على البواقي (residual-based training)، رغم أدائها الجيد في متغيرات Burgers رباعية الأبعاد السلسة.

المشغلات العصبية (FM-Operator & FM-DeepONet)

التعامل مع الصدمات والانقطاعات: تتفوق FM-Operator و FM-DeepONet في قوانين حفظ معينة غير خطية تحتوي على صدمات (مثل Buckley-Leverett، و Cubic Conservation، و LWR، و Parametric Burgers). قللت FM-Operator الأخطاء بنسبة 54.37% في معادلة Burgers المعلمية و 38.06% في Cubic Conservation مقارنة بـ DeepONet. ومع ذلك، لا تقدم الطريقة ميزة متسقة في جميع الحالات غير الخطية؛ حيث تفوقت DeepONet عليها في معادلة Kuramoto–Sivashinsky، حيث حققت DeepONet أدنى خطأ.
المقارنة مع Shift-DeepONet: في معادلة Burgers اللزجة ( $\nu=0.001$ )، حققت FM-Operator خطأ متوسطاً أقل بنسبة 28.0% من Shift-DeepONet مع استخدام حوالي 70% أقل من المعلمات.
الاختبارات المعيارية السلسة: الميزة أقل اتساقًا في مهام تعلم المشغلات السلسة (مثل Helmholtz، و Heat، و Poisson). غالبًا ما تتفوق DeepONet على متغيرات FM في المسائل منخفضة الأبعاد والسلسة، مما يشير إلى أن آلية التفاعل تكون أكثر قيمة عندما توجد تبعيات متقاطعة قوية بين الحقول.
دراسات الاستئصال (Ablation Studies):
- التقسيم مقابل عدم التقسيم: أدى تقسيم إحداثيات الاستعلام إلى حقول منفصلة إلى فروق طفيفة، مما يشير إلى أن التفاعلات بين المستشعر والاستعلام أكثر أهمية من التفاعلات بين الاستعلام والاستعلام نفسه.
- عدد المعلمات: لم يؤد تقليل قدرة DeepONet إلى سد الفجوة في الدقة مع FM-Operator، مما يشير إلى أن المكاسب نابعة من هيكل التفاعل وليس مجرد عدد المعلمات.
- الإحصاءات: إضافة إحصاءات المستشعر (المتوسط، الانحراف المعياري، الحد الأقصى) إلى DeepONet القياسي لم يعيد تحقيق مكاسب الأداء الخاصة بنماذج FM، مما يؤكد أن الفائدة تأتي من آلية التفاعل نفسها.

الأهمية والادعاءات

يدعي البحث أن نمذجة تفاعل الميزات توفر طريقة بسيطة وفعالة من حيث المعلمات لتحسين تعلم المعادلات التفلاتية الجزئية (PDE) في السيناريوهات التي يحتوي فيها مشغل الحل على تبعيات قوية بين دالة المدخلات وموقع الاستعلام.

المنفعة المشروطة: يؤكد المؤلفون أن الطريقة ليست تحسينًا عالميًا. فهي فعالة بشكل خاص لـ المعادلات التفاضلية الجزئية عالية الأبعاد والسلسة (حيث يكون الاقتران المتقاطع بين الإحداثيات كبيرًا) و قوانين الحفظ غير الخطية المحددة ذات الصدمات (حيث يجب أن تتفاعل قيم المستشعرات مع مواقع الاستعلام لتتبع الجبهات المتحركة). ومع ذلك، فهي لا تقدم ميزة متسقة في معايير تعلم المشغلات السلسة، ويمكن أن تفشل في حالات غير خطية معينة مثل Kuramoto–Sivashinsky.
التحيز الاستقرائي: يضع هذا العمل كتلة التفاعل الثنائي كتحيز استقرائي محدد يتوافق مع البنية من الدرجة الثانية لمتنوعات حلول المعادلات التفاضلية الجزئية، مما يقدم بديلًا مستهدفًا للبنى المعيارية أو النماذج القابلة للفصل.
الاتجاهات المستقبلية: يشير البحث إلى أن النتائج الحالية مبنية على اختبارات معيارية محددة، ويقترح أن العمل المستقبلي يجب أن يستكشف التجميع التكيفي للحقول لإضافة حدود التفاعل فقط حيث تكون مفيدة، بالإضافة إلى مزيد من البحث في الرتب العددية للحلول المستهدفة للتنبؤ بشكل أفضل متى ستتفوق هذه البنية على النماذج القابلة للفصل أو النماذج المعيارية.