IANN: A Unified Framework for Equivariant InterAtomic Neural Networks with User-Friendly Implementation
تقدم هذه الورقة IANN، وهو إطار عمل موحد ومفتوح المصدر يعتمد على PyTorch، يعمل على توحيد تنفيذ وتدريب ونشر مختلف بنيات الشبكات العصبية الرسومية المتكافئة (equivariant graph neural networks) للجهود بين الذرية، مما يقضي على تشتت البرمجيات ويسمح بالمقارنة المباشرة بين النماذج وتكامل الوكلاء المستقلين.
المؤلف الأصلي:Changzhi Ai, Xueping Qin, Dimosthenis Sokaras, Frank Abild-Pedersen, Johannes Voss
لطالما اعتمد العلم الحديث على أداة قوية ولكنها مكلفة لفهم كيفية تماسك الذرات وحركتها. هذه الأداة، المعروفة باسم نظرية الدالة الوظيفية للكثافة، تسمح للباحثين بالتنبؤ بسلوك المواد والجزيئات من المبادئ الأولى، مما يعني أساساً محاكاة الطبيعة على الكمبيوتر قبل خلط المواد الكيميائية في المختبر. لقد أحدثت هذه الأداة تحولاً في مجالات مثل الحفز الكيميائي، حيث يصمم العلماء مواد لتسريع التفاعلات الكيميائية، وأبحاث البطاريات، حيث يسعون لتخزين المزيد من الطاقة. ومع ذلك، فإن هذه الطريقة ثقيلة حسابياً لدرجة أنها لا تستطيع التعامل إلا مع مجموعات صغيرة من الذرات أو لحظات زمنية قصيرة. ولدراسة أنظمة أكبر أو مراقبة العمليات وهي تتكشف عبر فترات زمنية أطول، لجأ العلماء إلى تعلم الآلة. تتعلم نماذج الذكاء الاصطناعي هذه من الحسابات المكلفة للتنبؤ بالسلوك الذري بشكل أسرع بكثير، حيث تعمل كاختصار يحافظ على دقة الطريقة الثقيلة مع العمل بسرعة الحساب البسيط.
وعلى الرغم من هذا الوعد، فقد تعثر تقدم هذا المجال بسبب غياب الوحدة. لسنوات طويلة، كان كل نموذج جديد لتعلم الآلة يُصدر كقطعة برمجية منفصلة ومعزولة؛ فلكل منها طريقتها الخاصة في تنظيم البيانات، ومجموعتها الخاصة من قواعد التدريب، وطريقتها الخاصة في حفظ النتائج. وإذا أراد باحث مقارنة نموذجين مختلفين على نفس مجموعة البيانات، أو نقل نموذج مدرب من كمبيوتر بحثي إلى محاكاة واقعية، فغالباً ما كان عليه إعادة كتابة أجزاء كبيرة من الكود البرمجي. هذا التجزؤ جعل التقدم بطيئاً ويصعب التحقق منه، حيث كان العلماء يقضون وقتاً في الترجمة بين لغات البرمجيات المختلفة أكثر مما يقضونه في اكتشاف علوم جديدة بالفعل.
لقد قدم فريق من الباحثين الآن حلاً لهذه المشكلة يسمى IANN، وهو إطار عمل موحد يجمع هذه النماذج المتباينة تحت سقف واحد. هذا النظام الجديد، المبني على منصة حوسبة شهيرة، يسمح للعلماء باستبدال أنواع مختلفة من بنيات الشبكات العصبية بمجرد تغيير بسيط لكلمة واحدة في ملف الإعدادات. وبدلاً من إعادة بناء البيئة البرمجية بالكامل لكل نموذج جديد، يوفر إطار العمل لغة مشتركة تتحدث بها جميع النماذج. فهو يتولى معالجة البيانات، وعملية التدريب، والنشر النهائي بطريقة متسقة، مما يضمن أنه عندما يقارن الباحثون بين نماذج مختلفة، فإنهم يفعلون ذلك على أرضية متساوية. كما تم تصميم النظام ليعمل بسلاسة على كل شيء، بدءاً من جهاز كمبيوتر محمول واحد وصولاً إلى الحواسيب الفائقة الضخمة، حيث يتكيف تلقائياً مع الأجهزة المتاحة دون مطالبة المستخدم بكتابة تعليمات معقدة لكل آلة.
وقد أظهر الباحثون قوة هذا النهج من خلال تدريب سبعة أنواع مختلفة من نماذج الشبكات العصبية على نفس مجموعة البيانات الضخمة التي تحتوي على ملايين الهياكل الذرية. ولأن إطار العمل عامل كل نموذج بنفس الطريقة، فقد استطاعوا مقارنة مدى قدرة كل نموذج على تعلم التنبؤ بالطاقة والقوة بشكل مباشر. وأظهرت النتائج أنه بينما أدت جميع النماذج أداءً جيداً، إلا أن بعضها كان أكثر ملاءمة لمهام محددة. فقد برز أحد النماذج، المعروف بسرعته وتوازنه في الدقة، كمرشح قوي للاستخدام العام، بينما حقق نموذج آخر، يستخدم آلية انتباه أكثر تعقيداً، أعلى دقة إجمالية. والأهم من ذلك، وجدت الدراسة أن حجم مجموعة البيانات لم يكن العامل الوحيد المحدد للنجاح، بل إن تنوع الترتيبات الذرية داخل البيانات كان لا يقل أهمية؛ حيث تفوق نموذج تم تدريبه على مجموعة أصغر ولكن أكثر تنوعاً من الهياكل على نموذج تم تدريبه على مجموعة أكبر ولكن مكررة.
ولجعل هذه الأدوات مفيدة على الفور، أنشأ الفريق أيضاً مكتبة من النماذج "التأسيسية" المدربة مسبقاً. هذه النماذج هي نماذج ضخمة عامة الغرض، تم تدريبها على أكثر من 41 مليون هيكل ذري عالي الجودة، تغطي نطاقاً واسعاً من العناصر الكيميائية والظروف. يمكن للباحثين استخدام هذه النماذج مباشرة لإجراء التنبؤات، أو بشكل أكثر فعالية، أخذ نموذج مدرب مسبقاً وضبطه بدقة (fine-tuning) على مجموعة بيانات صغيرة ومحددة ذات صلة بعملهم. تتيح عملية "الضبط الدقيق" هذه للنموذج التكيف بسرعة مع مهمة جديدة باستخدام القليل جداً من البيانات، مما يحقق دقة أكبر بكثير مما لو تم تدريبه من الصفر. وقد أظهر الفريق أن نموذجاً تم ضبطه بدقة على مجموعة صغيرة من بيانات الحفز الكيميائي تفوق بشكل كبير على كل من النموذج التأسيسي العام والنموذج الذي تم تدريبه من البداية على نفس البيانات الصغيرة.
أخيراً، يجسد إطار العمل الجسر الذي يربط بين البحث والتطبيق في العالم الحقيقي من خلال السماح لهذه النماذج بالعمل مباشرة داخل برامج المحاكاة القياسية التي يستخدمها المهندسون والعلماء. يمكن تجميع هذه النماذج في تنسيق يعمل بكفاءة على معالجات الرسوميات، مما يتيح محاكاة ملايين الذرات عبر فترات زمنية طويلة. تفتح هذه القدرة الباب لدراسة ظواهر معقدة مثل كيفية تدهور البطاريات على مدار سنوات أو كيفية تفاعل الأدوية مع الأهداف البيولوجية، وهي مهام كانت في السابق بطيئة جداً أو مكلفة للغاية للمحاكاة بالتفصيل. ومن خلال توحيد البرمجيات، أزال الباحثون العوائق التقنية التي أبطأت هذا المجال، موفرين مساراً واضحاً ومتاحاً للعلماء لتطوير واختبار ونشر الجيل القادم من المواد.
ملخص تقني: IANN – إطار عمل موحد للشبكات العصبية الذرية المتكافئة (Equivariant InterAtomic Neural Networks)
بيان المشكلة
على الرغم من قدرة جهود القدرة الكامنة بين الذرية القائمة على التعلم الآلي (MLIPs) على تحقيق دقة تقارب دالة الكثافة الوظيفية (DFT) بجزء ضئيل من التكلفة الحسابية، إلا أن فائدتها العملية تعوقها تجزئة برمجية كبيرة. إن البنى الحالية الأكثر تطوراً (مثل: PaiNN، NequIP، MACE) تُوزع عادةً كقواعد بيانات مستقلة ذات تنسيقات بيانات، وأنظمة تهيئة، وحلقات تدريب، وواجهات نشر غير متوافقة. هذه التجزؤ يخلق عوائق جوهرية أمام الباحثين، تشمل:
المقارنة المرجعية غير الفعالة: تتطلب مقارنة البنى المختلفة على نفس مجموعة البيانات إعادة تنفيذ النماذج أو قبول نتائج مختلطة بسبب اختلاف بروتوكولات التدريب.
تكاليف الانتقال العالية: يتطلب نقل النماذج المدربة بين البنى المختلفة أو دمجها في عمليات المحاكاة الإنتاجية (مثل: LAMMPS) إعادة هندسة واسعة النطاق.
تحديات التكامل مع الحوسبة عالية الأداء (HPC): غالباً ما تتطلب سير عمل التدريب الموزع تكيفاً يدوياً مع جداول المهام المحددة (مثل: SLURM، PBS) وتطبيقات MPI.
نقص الأتمتة: تفتقر معظم أطر العمل إلى واجهات مناسبة للوكلاء المستقلين (Autonomous Agents) لإدارة عمليات التدريب والنشر.
المنهجية
يقدم المؤلفون IANN (InterAtomic Neural Network)، وهو إطار عمل مفتوح المص المصدر يعتمد على PyTorch، مصمم لتوحيد تطوير وتدريب ونشر الشبكات الرسومية المتكافئة. تعتمد المنهجية الجوهرية على بنية برمجية موحدة تجرد تفاصيل النماذج خلف واجهات مشتركة:
تمثيل بيانات موحد: يستخدم إطار العمل كائناً واحداً للبيانات متوافقاً مع TorchScript ومحدد النوع (AtomsData). يجمع هذا الكائن بين الأعداد الذرية، والمواقع، ومتجهات الحواف (التي تتضمن حدود الفترة الدورية عبر إزاحات الصور)، والملصقات. يتم إنشاؤه عبر باني قائمة الجيران asap3 المكتوب بلغة ++C، مما يضمن بناء رسوم بيانية متسقة عبر جميع النماذج.
التدريب والمشتقات الموحدة: يدير مدرب واحد (iann.trainer) حلقة التدريب، ودوال الخسارة، والتحسين لجميع البنى المدعومة. والأهم من ذلك، يتم حساب القوى، والإجهادات، والفيريال (virials) تحليلياً عن طريق اشتقاق الطاقة المتوقعة بالنسبة لمتجهات الحواف. يضمن مسار الاشتقاق الوحيد هذا قوانين الحفظ الدقيقة ويتعامل مع حدود الفترة الدورية باتساق عبر جميع النماذج دون الحاجة لكود خاص بكل بنية.
استقلال البنية: يدعم إطار العمل نطاقاً واسعاً من البنى المتكافئة (PaiNN، NequIP، MACE، Allegro، EquiformerV2، EquiformerV3، و UMA) كخيارات قابلة للتهيئة. يتطلب التبديل بين النماذج مجرد تغيير في قاموس التهيئة، وليس إعادة هيكلة الكود.
النشر والاستدلال:
التكامل مع ASE: يمكن تحميل نقاط التفتيش (checkpoints) المدربة مباشرة كحاسبات ASE، مما يدعم تنبؤات المجموعة (ensemble predictions) للتقدير الكمي لعدم اليقين.
التكامل مع LAMMPS: يتم تجميع النماذج في TorchScript وتنفيذها داخل LAMMPS عبر أنماط زوجية مخصصة (pair_style iann و pair_style iann/multi_gpu). تدعم هذه الإضافات الاستدلال أحادي ومتعدد المعالجات الرسومية (GPUs) وتكشف عن تباين المجموعة ككمية ديناميكية حرارية.
التوازي المؤتمت: يكتشف إطار العمل بيئة الحوسبة تلقائياً (SLURM، PBS، متغيرات MPI) لتهيئة التدريب الموزر للبيانات دون تدخل من المستخدم.
المساهمات الرئيسية
توضح الورقة عدة مساهمات محددة:
خط تدريب وبيانات موحد: كائن AtomsData ومدرب مشترك يسمحان بإجراء مقارنة صارمة "تفاحة مقابل تفاحة" للتحيزات الاستقرائية المختلفة على مجموعات بيانات متطابقة.
توازي مستقل عن المشغل (Launcher-Agnostic): تهيئة تلقائية للتدريب الموزع عبر بيئات HPC متنوعة.
نشر جاهز للإنتاج: غلاف TorchScript عام وأنماط زوجية بلغة ++C تمكن أي نموذج IANN من العمل في LAMMPS، بما في ذلك تقدير عدم اليقين القائم على المجموعة.
قواعد بيانات منسقة: إنشاء ثلاث قواعد بيانات DFT منقحة ومعيارية مصنفة حسب دالة التبادل والارتباط (PBE، RPBE، r2SCAN)، وتضم 41.9 مليون بنية من مصادر مثل MPtrj، Alexandria، OMat24، و OC20/22/25.
نماذج التأسيس (Foundation Models): إصدار نماذج تأسيسية من نوع PaiNN مدربة على قواعد البيانات المنسقة، لتكون بمثابة متنبئات "صفرية التنبؤ" (zero-shot) أو نقاط انطلاق للضبط الدقيق.
واجهة الوكيل: واجهة تتميز بخادم بروتوكول سياق النموذج (MCP) ومهارات الوكيل لتسهيل تدريب النماذج ونشرها بشكل مستقل.
النتائج
قيم المؤلفون إطار العمل من خلال اختبارات مرجعية مكثفة على وحدات معالجة الرسوميات NVIDIA A100:
قابلية توسع التدريب: أظهر التدريب على مجموعة بيانات MPtrj من 1 إلى 16 وحدة معالجة رسوميات توسعاً شبه خطي، مع تسريع يتراوح بين 10.5× و 13.7× على 16 وحدة معالجة رسوميات. تراوحت كفاءة التوازي بين 65.7% و 86.0%. حافظت MACE و Nequip و PaiNN على أعلى معدل إنتاجية (يصل إلى 3,892 بنية/ثانية على 16 وحدة معالجة رسوميات). كشف تحليل الأداء أن تقييم الرسم البياني، وبناء قائمة الجيران، ومزامنة التدرج هي التي تهيمن على عبء التدريب.
المقارنة المرجعية عبر البنى: تم تدريب سبع بنى على مجموعة بيانات MPtrj مع توحيد المعلمات عند حوالي مليون معلمة. حققت UMA أدنى الأخطاء (0.029 eV/atom للطاقة، 0.040 eV/Å للقوة)، تلتها عن كثب EquiformerV3. قدمت PaiNN أفضل توازن بين الدقة وسرعة الاستدلال، مما جعلها البنية المختارة لنماذج التأسيس.
أداء نماذج التأسيس: أظهرت النماذج المدربة على قواعد البيانات المنسقة أداءً متفاوتاً بناءً على تكوين مجموعة البيانات. على سبيل المثال، حقق نموذج RPBE-OC25 متوسط خطأ مطلق (MAE) في الطاقة قدره 0.0116 eV/atom.
فعالية الضبط الدقيق: تفوق الضبط الدقيق لنموذج RPBE-OC20 التأسيسي على مجموعة بيانات صغيرة محددة (AdsTraj) بشكل كبير على كل من الاستدلال "صفر التنبؤ" والتدريب من الصفر. حقق النموذج المضبوط دقة في طاقة الامتصاص قدرها 0.217 eV (R2=0.986)، مقارنة بـ 0.483 eV للتدريب من الصفر و 0.715 eV للاستدلال صفر التنبؤ.
توازي الاستدلال (LAMMPS):
القابلية للتوسع: أظهر الاستدلال متعدد المعالجات الرسومية (حتى 8 وحدات) تسارعاً كبيراً للأنظمة الكبيرة (>23 ألف ذرة)، حيث وصل إلى ~5× إنتاجية التنفيذ أحادي المعالج الرسومي و ~3× خط الأساس التسلسلي.
العبء الإضافي: للأنظمة الصغيرة (<5,000 ذرة)، تسبب التنفيذ متعدد المعالجات الرسومية في زمن انتقال (latency) أعلى من التنفيذ التسلسلي بسبب تكاليف اتصالات وذاكرة التخزين المؤقت لذرات الشبح (ghost-atom buffer).
توسع الذاكرة: توسع الحد الأقصى لحجم النظام خطياً مع عدد وحدات المعالجة الرسومية (من ~25 ألف ذرة على 1 وحدة إلى ~200 ألف ذرة على 8 وحدات)، مما يؤكد القيود المرتبطة بسعة الذاكرة. استطاع التنفيذ التسلسلي التعامل مع ضعف سعة تشغيل وحدة المعالجة الرسومية المتوازية تقريباً بسبب غياب مخازن ذرات الشبح.
الأهمية
تضع الورقة IANN كبنية تحتية حيوية تسد الفجوة بين تنفيذ النماذج الفردية وأدوات سير العمل عالية المستوى. من خلال توحيد كائنات البيانات، وحلقات التدريب، وواجهات النشر، يتيح IANN:
المقارنة المرجعية الصارمة: يمكن للباحثين تغيير الخيارات المعمارية بشكل منهجي مع تثبيت جميع المتغيرات التجريبية الأخرى.
النشر السلس: القدرة على الانتقال من التدريب إلى المحاكاة الإنتاجية (LAMMPS) دون إعادة كتابة الكود أو إدارة مغلفات معقدة، مما يسرع اعتماد الـ MLIPs.
القابلية للتوسع: تسمح المعالجة التلقائية للتدريب والاستدلال الموزع بتطبيق هذه النماذج على عمليات المحاكاة واسعة النطاق والمسح عالي الإنتاجية في مجالات الحفز، وتصميم البطاريات، واكتشاف الأدوية دون الحاجة إلى خبرة عميقة في بنية الحوسبة عالية الأداء (HPC).
يخلص المؤلفون إلى أن IANN يوفر منصة موحدة وميسرة لتطوير ونشر نماذج MLIP متقدمة، مما يعالج التجزؤ الذي حد سابقاً من تطبيقاتها الأوسع في علوم المواد الحسابية.