Fast and Accurate Foundation Models for Equivariant Machine-Learned Interatomic Potentials
تقدم هذه الورقة عائلة من النماذج التأسيسية المتكافئة، السريعة والقابلة للتوسع والدقيقة، لجهود ما بين الذرات والتي تتغلب على المقايضات بين السرعة والدقة من خلال بنيات NequIP وAllegro المحسنة، مع التأكيد على أن التحسينات المستقبلية في اكتشاف المواد تعتمد على تنوع مجموعات البيانات والوصف المتسق للمعادن الانتقالية أكثر من اعتمادها على تعقيد النموذج وحده.
المؤلفون الأصليون:Seán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders JoSeán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders Johansson, William C. Witt, Albert Musaelian, Boris Kozinsky
المؤلفون الأصليون: Seán R. Kavanagh, Chuin Wei Tan, Menghang Wang, Marc L. Descoteaux, Gabriel de Miranda Nascimento, Ulrik Unneberg, Laura Zichi, Francesco Libbi, Norma Rivano, Austin Glover, Vivek Bharadwaj, Anders Johansson, William C. Witt, Albert Musaelian, Boris Kozinsky
تخيل أنك تحاول التنبؤ بكيفية سلوك قلعة "ليجو" عملاقة وغير مرئية. هل ستنهار إذا هززتها؟ هل ستنقل الحرارة مثل مقلاة معدنية أم ستعمل كعازل مثل سترة صوفية؟ في عالم علم المواد، يستخدم العلماء أجهزة كمبيوتر فائقة لمحاكاة هذه الكتل البنائية الصغيرة (الذرات) لتصميم بطاريات جديدة، وأدوية، ومعادن فائقة القوة. لكن هناك عقبة: الطريقة الأكثر دقة لحساب كيفية تفاعل هذه الذرات تشبه محاولة حل لغز من مليون قطعة يدوياً؛ فهي تستغرق وقتاً طويلاً وتكلف ثروة من وقت الكمبيوتر. ولتسريع العملية، ابتكر العلماء "إمكانات ذرية متعلمة آلياً" (MLIPs). فكر في هذه الإمكانات كأنها محرك لعبة فيديو ذكي للغاية وسريع جداً. فبدلاً من حساب كل قاعدة فيزيائية من الصفر، "تعلم" المحرك من ملايين الحسابات السابقة كيف تتصرف الذرات عادةً، مما يسمح له بتخمين النتيجة في طرفة عين. مؤخراً، بدأ العلماء في تدريب هذه المحركات على مجموعات بيانات ضخمة لإنشاء "نماذج تأسيسية" (foundation models)، وهي نوع من "شفرات الغش" العالمية التي يمكن تعديلها لمهام محددة. ولكن السؤال الكبير هو: هل يمكننا جعل شفرات الغش هذه سريعة للغاية ودقيقة للغاية في آن واحد، أم يتعين علينا اختيار أحدهما دون الآخر؟
هذه الورقة البحثية هي قصة فريق قرر بناء "شفرة الغش" المثالية، مثبتاً أنك لست مضطراً لاختيار جانب واحد. لقد طوروا عائلة جديدة من "النماذج التأسيسية" باستخدام بنيتين محددتين تُعرفان بـ NequIP وAllegro. تخيل هذه النماذج كنوعين مختلفين من الرياضيين الخارقين: أحدهما مهندس معماري دقيق يدقق في كل زاوية (NequIP)، والآخر عداء سريع جداً يرى الصورة الكبيرة دون أن يتلعثم في التفاصيل (Allegro). قام الباحثون بتدريب هؤلاء الرياضيين على مكتبة هائلة تضم أكثر من 100 مليون بنية ذرية، وهي مجموعة بيانات ضخمة لدرجة أنها كانت ستستغرق أسابيع للتدريب على الأنظمة القديمة. ومن خلال استخدام بعض الحيل البرمجية الذكية — مثل "تجميع الرسم البياني" (الذي ينظم البيانات قبل بدء السباق) و"الحساب بدقة مختلطة" (استخدام آلة حاسبة أقل تفصيلاً للأجزاء السهلة من السباق) — تمكنوا من تدريب هذه النماذج بسرعة تزيد بمقدار 5 إلى 10 مرات عن السابق، مما قلص التكلفة من أسابيع من وقت الحوسبة إلى بضع مئات فقط من ساعات وحدة معالجة الرسومات (GPU).
النتائج تعتبر نقطة تحول جذري. فقد وجد الفريق أن هذه النماذج الجديدة ليست سريعة فحسب، بل هي أيضاً الأكثر دقة على الإطلاق في التنبؤ بكيفية سلوك المواد. لقد اختبروها في ثلاثة تحديات رئيسية: إيجاد الشكل الأكثر استقراراً للمواد الجديدة (مثل إيجاد هيكل "ليجو" مثالي)، والتنبؤ بمدى قدرة المادة على توصيل الحرارة (وهو أمر بالغ الأهمية للإلكترونيات)، وحساب كيفية تمدد أو انضغاط المواد. اجتازت النماذج هذه الاختبارات بتفوق باهر، متفوقة في كثير من الأحيان على الأرقام القياسية السابقة. ومع ذلك، تشير الورقة أيضاً إلى "نقطة عمياء" محددة؛ فبينما تبدع النماذج في الكيمياء العامة، إلا أنها لا تزال تعاني قلي من المعادن الانتقالية (مثل الحديد والكروم والمنغنيز) لأن بيانات التدريب لهذه العناصر الصعبة غير متسقة نوعاً ما. الأمر يشبه أن تكون النماذج فصيحة في معظم اللغات، لكنها ترتبك أمام بعض اللهجات حيث تتغير قواعد النحو بشكل غير متوقع.
كما نظر المؤلفون في كيفية توسيع نطاق هذه النماذج. فقد أظهروا أن هذه النماذج يمكنها العمل على آلاف الرقائق الحاسوبية التي تعمل معاً، لمحاكاة أنظمة تضم أكثر من 100 مليون ذرة. وهذا أمر ضخم لأن هذا يعني أن العلماء يمكنهم الآن محاكاة حبات رمل كاملة أو قطرات صغيرة من السائل بدقة ذرية، وهو أمر كان مستحيلاً في السابق. تشير الورقة إلى أن مستقبل المواد الأفضل لا يتعلق فقط بجعل النماذج أكبر، بل بتنقية بيانات التدريب — خاصة بالنسبة لتلك المعادن الانتقالية الصعبة — والتأكد من أن "القواعد" المستخدمة لتوليد البيانات متسقة. باختصار، لقد بنوا أداة أسرع، وأحدّ، وأكثر موثوقية لاكتشاف مواد المستقبل، مثبّتين أنه مع التحديثات البرمجية الصحيحة، يمكننا الحصول على كل شيء في آن واحد: السرعة والدقة، في حزمة واحدة.
بيان المشكلة أصبحت الجهود الذرية المعتمدة على التعلم الآلي (MLIPs) ضرورية لعلوم المواد الحسابية، لا سيما كـ "نماذج تأسيس" يتم تدريبها على مجموعات بيانات ضخمة ومتنوعة (مثل MPtrj وAlexandria وOMat24) من أجل الضبط الدقيق اللاحق. ومع ذلك، تبرز عقبة حرجة: تتطلب التطبيقات العلمية مثل الديناميكا الجزيئية (MD) دقة عالية وسرعة استنتاج وتدريب عالية في آن واحد. وبينما توفر البنى المتكافئة (التي تشفر التناظرات الفيزيائية مثل الدوران والانعكاس) دقة وكفاءة أعلى في البيانات، فإن تدريبها على مجموعات بيانات هائلة (مئات الملايين من الهياكل) كان تاريخياً مكلفاً حوسبياً، وغالباً ما يتطلب أسابيع من وقت التدريب. علاوة على ذلك، لا يزال من غير الواضح كيفية الموازنة بين المتطلبات المتنافسة لحجم النموذج، وسرعة الاستنتاج، والدقة، خاصة عند التوسع إلى مجموعات بيانات ضخمة حيث تكون كفاءة البيانات أقل أهمية من الأداء الخام.
المنهجية يقدم المؤلفون عائلة من جهود التأسيس القائمة على بنيات الشبكات العصبية الرسومية المتكافئة NequIP وAllegro، والتي تم تدريبها على مجموعات بيانات مواد غير عضوية متزايدة الحجم: DIRECT (186k)، وMPtrj (1.58M)، وMPA (10.5M)، وOAM (113M هيكل).
تشمل التطورات المنهجية الرئيسية ما يلي:
تسريع البنية التحتية: يستفيد العمل من التطورات الأخيرة في إطار عمل NequIP، بما في ذلك تجميع الرسوم البيانية أثناء وقت التدريب (torch.compile)، واستراتيجيات البيانات المتوازية الموزعة (DDP) للتدريب متعدد المعالجات الرسومية (multi-GPU)، ونواة الضرب التنسوري المحسنة (OpenEquivariance لـ NequIP، وcuEquivariance لـ Allegro).
التدريب بدقة مختلطة: يستخدم المؤلفون استراتيجيات الدقة المختلطة (float64 للتضمينات، وfloat32 لعمليات الضرب التنسوري، والدقة المختلطة التلقائية للحسابات المتوسطة) لتسريع التدريب بمعدل يصل إلى 3 أضعاف دون فقدان كبير في الدقة.
التدريب على مرحلتين: يتضمن البروتوكول الأمثل تشغيلاً أولياً بوزن عالٍ لأخطاء القوة، يليه تشغيل استمراري بزيادة وزن خطأ الطاقة، وتقليل معدلات التعلم، والدقة الكاملة.
متغيرات النماذج: تم تدريب نماذج بأحجام متفاوتة (صغير، متوسط، كبير، كبير جداً) لاستكشاف المقايضة بين عدد المعلمات، والدقة، والسرعة. تضمن تدريب مجموعة بيانات OAM بروتوكولاً محدداً: التدريب المسبق على OMat24 (الهندسات غير المتوازنة) متبوعاً بالضبط الدقيق على MPA لضمان التوافق مع إعدادات Materials Project.
المساهمات الرئيسية
خط أنابيب تدريب مسرع: يتيح دمج تجميع الرسوم البيانية والنواة المسرعة تدريب نماذج تأسيس عالية الدقة على مجموعات بيانات تتجاك 100 مليون هيكل بتكلفة حوسبية معقولة تبلغ حوالي 100-750 ساعة من وحدة معالجة الرسومات (باستخدام H100/H200)، وهو انخفاض كبير عن المتطلبات السابقة التي كانت تستغرق عدة أسابيع.
مجموعة اختبار معيارية: تم تقييم النماذج بصرامة مقابل معايسات مجتمعية تغطي:
اكتشاف المواد: التنبؤ بالهندسات في الحالة الأرضية وطاقات الغلاف المحدب (Matbench Discovery).
الموصلية الحرارية: التنبؤ بالخصائص بعيد التوازن عبر ثوابت قوة الفونون.
خصائص القرب من التوازن: تقييم معاملات المرونة (bulk/shear moduli)، والسعة الحرارية، ونسب مقدار القوة (MatCalc).
تحليل القابلية للتوسع: يوضح البحث أن بنية NequIP، التي كانت محدودة سابقاً بمرور الرسائل التكراري، تدعم الآن استنتاجاً فعالاً متعدد المعالجات الرسومية في LAMMPS عبر واجهة ML-IAP المعززة بـ Kokkos، مما يسمح بمحاكاة أنظمة تصل إلى 100 مليون ذرة.
النتائج
الدقة: يحقق نموذج Nequ%IP-OAM-XL أداءً هو الأفضل في حالته عبر المعايسات: متوسط خطأ مطلق (MAE) لطاقة الغلاف المحدب قدره 19.7 meV/atom، وخطأ نسبي متوسط متماثل (κSRME) للموصلية الحرارية قدره 0.129.
قوانين القياس:
حجم النموذج: تتبع الدقة عموماً تحسناً وفق قانون القوة مع حجم النموذج من الصغير إلى الكبير. ومع ذلك، يظهر نموذج XL علامات تشبع، مما يشير إلى تناقص العوائد لبنيات معينة عند المقاييس القصوى.
حجم مجموعة البيانات: تتوسع دقة الموصلية الحرارية بشكل مثالي مع حجم مجموعة البيانات (أس قانون القوة α≈0.24 لـ NequIP)، مما يؤكد قيمة الهندسات غير المتوازنة. ومع ذلك، يظهر اكتشاف المواد تحسناً محدوداً عند التوسع من MPA إلى OAM.
تحليل الخطأ: يُعزى عدم التحسن في دقة اكتشاف المواد مع مجموعات البيانات الأكبر إلى التنوع التركيبي والأوصاف غير المتسقة لمركبات المعادن الانتقالية. وتظهر المعادن الانتقالية من الصف الأول متعددة التكافؤ (V, Cr, Mn, Fe) والأكتينيدات (Np, Pu) أخطاءً أعلى بكثير. ويعزو المؤلفون ذلك إلى التطبيق غير المتسق لتصحيحات Hubbard U في بيانات التدريب (المطبقة على الأكاسيد/الفلوريدات ولكن ليس المعادن) والتعقيد المتأصل في الأنظمة الإلكترونية المترابطة.
السرعة مقابل الدقة: تحدد النماذج المدربة جبهة باريتو للمقايضة بين الدقة والسرعة. على سبيل المثال، يحقق NequIP-OAM-XL درجات أداء مجمعة مقارنة بالنماذج الرائدة الأخرى (مثل eSEN-30M-OAM) ولكن بسرعة استنتاج أسرع بحوالي عشرة أضعاف.
التليين المفرط: تظهر النماذج الكبيرة المدربة على مجموعات بيانات متنوعة (بما في ذلك الهياكل البعيدة عن التوازن) حداً أدنى من "التليين المفرط" (التقليل من تقدير القوى في حالات الطاقة العالية)، حيث تصل نسب مقدار القوة (f/fDFT) إلى 0.98.
الأهمية والادعاءات يزعم البحث أن العائق الأساسي أمام تدريب جهود التأسيس عالية الدقة لم يعد التكلفة الحوسبية بل جودة البيانات وتنوعها. ويجادل المؤلفون بأن التقدم المستقبلي في جهود MLIP لاكتشاف المواد يعتمد أقل على توسيع النموذج الخام وأكثر على:
البيانات المتسقة: إزالة الأخطاء المنهجية الناتجة عن الإعدادات الحسابية غير المتسقة (مثل تطبيق Hubbard U) عبر مجموعات بيانات التدريب.
التنوع الكيميائي: توسيع مجموعات البيانات لتتجاوز الاستبدال الأيوني لتشمل تنوعاً كيميائياً وهيكلياً أوسع، لا سيما للأنظمة المعدنية الانتقالية المعقدة.
القابلية للتكيف البنيوي: تطوير نماذج يمكنها ضبط الدقة الشعاعية والزاوية ديناميكياً بناءً على البيئات الكيميائية المحلية للتعامل مع التعقيد المتباين لعناصر مختلفة دون تضخيم سعة النموذج بشكل موحد.
يؤكد هذا العمل أنه مع البنية التحتية الحالية، من الممكن لمجموعات بحثية فردية تدريب ونشر نماذج تأسيس قادرة على محاكاة ~100 مليون ذرة، مما يسهل الوصول إلى عمليات المحاكاة الذرية عالية الدقة. وتعمل النماذج المقدمة كنقاط انطلاق قوية للضبط الدقيق في مساحات كيميائية مستهدفة.