Flexible Cutoff Learning: Optimizing Machine Learning Potentials After Training

1. بيان المشكلة

تعد جهود التعلم الآلي للجهد الذري (MLIPs) ضرورية لعلوم المواد الحسابية، حيث توفر نماذج بديلة دقيقة لسطح طاقة بورن-أوبنهايمر مع توسع خطي بالنسبة لحجم النظام. ومع ذلك، تعتمد النماذج التأسيسية الحالية لـ MLIP (مثل MACE وSevenNet وCHGNet) على نصف قطر قطع ثابت ($r_{cut}$) يتم تحديده أثناء التدريب.

• المقايضة: تتوسع التكلفة الحسابية لـ MLIPs بشكل كبير مع نصف قطر القطع (على سبيل المثال، $O(r_{cut}^3)$ للمصطلحات ثنائية الجسم، و $O(r_{cut}^6)$ للمصطلحات ثلاثية الجسم).
• القصور: يختار الممارسون عادةً أنصاف أقطار كبيرة بحذر (مثل 6.0 أنجستروم) لضمان الموثوقية عبر الأنظمة المتنوعة. وبمجرد التدريب، يصبح هذا النصف قطر ثابتًا. ويتطلب تعديله إعادة التدريب، وهو أمر مكلف للغاية للنماذج الكبيرة. وبناءً على ذلك، فإن التطبيقات المتخصصة التي يمكنها تحقيق دقة مماثلة باستخدام أنصاف أقطار أصغر (وتكلفة أقل بكراسي) تُجبر على استخدام نماذج ذات معاملات زائدة.

2. المنهجية: تعلم نصف القطر المرن (FCL)

يقترح المؤلفون تعلم نصف القطر المرن (Flexible Cutoff Learning - FCL)، وهو إطار عمل يعامل نصف قطر القطع ليس كمعلم فائق (hyperparameter) ثابت، بل كمتغير مدخل ديناميكي يمكن تعديله بعد التدريب.

تعديلات البنية الأساسية

لتمكين ذلك، قام المؤلفون بتعديل بنية MACE (رغم أن النهج مستقل عن النموذج) من خلال تغييرين رئيسيين:

1. مدخلات نصف القطر لكل ذرة: بدلاً من $r_{cut}$ عالمي، يقبل النموذج متجهًا لأنصاف أقطار القطع لكل ذرة $R = \{r_{cut}^{(1)}, r_{cut}^{(2)}, \dots, r_{cut}^{(n)}\}$.
2. آلية التكييف:
   • دالة التدرج (Taper Function): يتم تعديل دالة التدرج (المستخدمة لتنعيم التفاعلات بالقرب من الحدود) لتصبح دالة ثنائية المتغير $s(r_{ij}, m_{ij})$، حيث $m_{ij} = \mu(r_{cut}^{(i)}, r_{cut}^{(j)})$ هي قاعدة خلط (المتوسط الحسابي) التي تحدد حدود التفاعل بين الذرة $i$ والذرة $j$.
   • التضمين (Embedding): تقوم دالة تضمين قياسية قابلة للتدريب برسم كل نصف قطر قطع محدد للذرة إلى متجه ميزة، والذي يُضاف إلى ميزات العقدة الأولية. وهذا يسمح للنموذج بتعلم تمثيلات مختلفة لنفس البيئة الذرية بناءً على مقياس الملاحظة (نصف القطر).

استراتيجية التدريب

• العينات العشوائية: أثناء التدريب، يتم أخذ عينات عشوائية من أنصاف أقطار القطع لكل ذرة من توزيع منتظم $U(r_{min}, r_{max})$ (على سبيل المثال، من 3.5 إلى 7.0 أنجستروم) لكل ذرة في كل دفعة (batch).
• الهدف: يتعلم النموذج التعميم عبر مجموعة واسعة من تكوينات نصف القطر، مما يضمن انتقالات سلسة ودقة بغض النظر عن $r_{cut}$ المحدد أثناء الاستدلال.
• القابلية للاشتقاق: يتم إنشاء هيكل قائمة الجيران قبل عملية التمرير الأمامي ويظل ثابتًا أثناء الانتشار العكسي، مما يضمن تدفق التدرجات عبر دالة التدرج وأوزان النموذج ولكن ليس عبر اختيار الجيران المنفصل، مما يحافظ على الكفاءة الحسابية.

التحسين ما بعد التدريب

بمجرد التدريب، تسمح نماذج FCL بتحسين المقايضة بين الدقة والتكلفة لأنظمة مستهدفة دون إعادة التدريب:

• نموذج التكلفة القابل للاشتقاق: يتم تعريف دالة تكلفة $C(R_E)$ بناءً على متوسط عدد الأزواج لكل ذرة، والذي يُقدر بأنه يتناسب مع مكعب نصف قطر القطع.
• التحسين متعدد الأهداف: يتم تقليل دالة هدف مُدرجة $T(R_E) = \epsilon(R_E) + \lambda \cdot C(R_E)$، حيث تمثل $\epsilon$ خطأ التنبؤ (على سبيل المثال، جذر متوسط مربع القوة RMSE) وتتحكم $\lambda$ في وزن التكلفة الحسابية.
• التوليف القائم على التدرج: باستخدام مجموعة معايرة، يتم تحسين أنصاف أقطار القطع لكل عنصر عبر التدرج النازل (مثل Adam) لإيجاد التوازن الأمثل (Pareto-optimal) بين الدقة والتكلفة لمجال تطبيق محدد.

3. المساهمات الرئيسية

1. المرونة ما بعد التدريب: تحويل نصف قطر القطع من معلم ثابت إلى متغير قابل للضبط، مما يتيح التحسين الخاص بالتطبيق دون الحاجة لإعادة التدريب.
2. دقة التفاصيل لكل ذرة: الانتقال من أنصاف الأقطار العالمية إلى السماح لكل ذرة بأن يكون لها أنصاف أقطار قطع متميزة، مما يتيح تحكمًا دقيقًا في الجهد الحسابي المحلي.
3. سير عمل التدريب: تقديم نظام تدريب يعتمد على أخذ العينات العشوائية ينتج نماذج قوية تجاه تكوينات نصف القطر المتغيرة.
4. التحسين المنهجي: تقديم طريقة قائمة على التدرج لضبط أنصاف الأقطر للأنظمة المستهدفة باستخدام تقريب تكلفة قابل للاشتقاق.

4. النتائج

تم التحقق من صحة الطريقة عن طريق تدريب نموذج MACE معدل على مجموعة بيانات MAD (Massive Atomic Diversity).

• الأداء العام: حقق نموذج FCL دقة سلسة عبر مجموعة من أنصاف الأقطار العالمية (من 3.7 إلى 7.0 أنجستروم). وبينما أدت النماذج الثابتة المدربة على نصف قطر واحد إلى أداء أفضل قليلاً عند ذلك النصف قطر المحدد، حافظ نموذج FCL على دقة عالية عبر النطاق بأكمله، مما أثبت قدرته على التعميم.
• التحسين على المجموعات الفرعية: قام المؤلفون بتحسين أنصاف الأقطر لأربعة مجموعات فرعية متميزة: البلورات غير العضوية ثلاثية الأبعاد (MC3D)، البلورات ثنائية الأبعاد (MC2D)، البلورات الجزيئية (SHIFTML-molcrys)، والشظايا الجزيئية (SHIFTML-molfrags).
  • البلورات الجزيئية (SHIFTML-molcrys): أدى التحسين باستخدام $\lambda = 10^{-4}$ إلى تقليل متوسط عدد أزواج الجيران لكل ذرة من 90 إلى 35 (أي تقليل في التكلفة الحسابية بنسبة >60%) مع زيادة في خطأ قوة RMSE بنسبة 0.54% فقط.
  • البلورات غير العضوية ثلاثية الأبعاد (MC3D): قللت عدد الأزواج من 54.4 إلى 29.3 (تقليل التكلفة بنسبة 46%) مع زيادة ضئيلة في قوة RMSE بلغت 0.83%.
  • ثنائية الأبعاد والشظايا: أظهرت درجات متفاوتة من التحسن، حيث أظهرت بعض المجموعات (مثل MC2D) تحسنًا طفيفًا في الدقة مع تقليل التكلفة.
• الأنماط الخاصة بالعناصر: كشف التحسين أن العناصر الخفيفة (H, C, N, O) غالبًا ما تتطلب أنصاف أقطار أصغر في الشظايا الجزيئية، بينما تستفيد العناصر الأثقل أو تلك الموجودة في الشبكات ثلاثية الأبعاد الكثيفة من أنصاف أقطار أكبر. نجحت عملية التحسين في موازنة وفرة العناصر مقابل متطلبات الدقة المحددة.

5. الأهمية والخاتمة

يمثل "تعلم نصف القطر المرن" تحولًا جذريًا في نشر نماذج MLIP التأسيسية.

• الكفاءة: يلغي الحاجة إلى تدريب نماذج منفصلة لمتطلبات الدقة/التكلفة المختلفة. يمكن لنموذج واحد "عام الأغراض" أن يتكيف مع مهام محددة (مثل المسح عالي الإنتاجية مقابل الديناميكا عالية الدقة) ببساطة عن طريق ضبط أنصاف أقطار القطع.
• تقليل التكلفة: القدرة على تقليل التكاليف الحسابية بنسبة >60% مع حد أدنى من فقدان الدقة تعد طفرة كبيرة لمحاكاة الديناميكا الجزيئية واسعة النط Scale.
• الآفاق المستقبلية: رغم أنه تم عرضه حاليًا على MACE ومجموعة بيانات MAD، إلا أن المؤلفين يجادلون بأن النهج مستقل عن النموذج. تحتاج الأعمال المستقبلية إلى التحقق من ذلك عبر بنيات أخرى وضمان الموثوقية الفيزيائية (مثل الاستقرار في مسارات MD طويلة) بما يتجاوز مقاييس الخطأ الثابتة.

باختصار، يقوم FCL بفصل تدريب النموذج عن قيود النشر، مما يسمح للباحثين بضبط "مجال الاستقبال" (receptive field) لجهودهم ديناميكيًا لتناسب الاحتياجات المحددة لمحاكاتهم، مما يعظم الكفاءة دون التضحية بفوائد التدريب التأسيسي الواسع.