SynCoTrain: A Dual Classifier PU-learning Framework for Synthesizability Prediction
يُعد SynCoTrain إطار عمل للتعلم الآلي شبه المشرف يستخدم استراتيجية التدريب المشترك مع شبكات عصبية رسومية مزدوجة (SchNet و ALIGNN) والتعلم من البيانات الموجبة وغير المصنفة للتغلب على ندرة البيانات والتنبؤ بدقة بقابلية تصنيع بلورات الأكاسيد، مما يعزز اكتشاف المواد عالي الإنتاجية.
المؤلفون الأصليون:Sasan Amariamir, Janine George, Philipp Benner
تخيل عالماً يعمل فيه العلماء مثل كبار الطهاة، ولكن بدلاً من طهي العشاء، يحاولون ابتكار مكونات جديدة تماماً للمستقبل. إنهم يريدون ابتكار مواد يمكنها علاج الأمراض، أو تخزين الطاقة الشمسية، أو تنقية هوائنا. المشكلة هي أن الكون يمتلك مخزناً لا نهائياً تقريباً من المكونات الممكنة، لكن معظمها مجرد "وصفات نظرية" — أفكار تبدو جيدة على الورق ولكن قد يكون من المستحيل طهيها في مطبخ حقيقي. لعقود من الزمن، حاول العلماء تخمين أي الوصفات ستنجح باستخدام قواعد بسيطة أو من خلال التحقق مما إذا كانت المكونات مستقرة طاقياً. ولكن اتضح أن الوصفة قد تكون مستقرة تماماً ومع ذلك يستحيل صنعها لأن "عملية الطهي" صعبة للغاية، أو أن الأدوات اللازمة لصنعها لم تُخترع بعد. هذه هي المعضلة الصعبة لـ "قابلية التصنيع": معرفة أي المواد الجديدة يمكن بناؤها فعلياً في المختبر وأيها مجرد أشباح في جهاز كمبيوتر.
إليك SynCoTrain، وهو محقق رقمي جديد صُمم لحل هذا الغموض. فكر فيه كفريق من خبيرين مختلفين تماماً — "كيميائي" و"فيزيائي" — يحاولان تخمين أي من مليون صندوق غامض يحتوي على مادة حقيقية قابلة للبناء. العائق هو أن لديهما فقط قائمة بالمواد التي يعرفان أنها قابلة للبناء (القائمة "الإيجابية")، وكومة ضخمة من الصناديق الغامضة التي لا تحمل أي تسميات. ليس لدما قائمة بالمواد "الفاشلة" لأن أحداً في العلم لا ينشر تجاربه الفاشلة. ولحل ذلك، يستخدم SynCoTrain خدعة ذكية تسمى "التدريب المشترك" (co-training). ينظر الخبيران إلى الصناديق الغامضة من زوايا مختلفة؛ فالكيميائي (باستخدام نموذج يسمى ALIGNN) ينظر إلى كيفية ترابط الذرات والزوايا بينها، بينما الفيزيائي (باستخدام نموذج SchNet) ينظر إلى التدفق المستمر للطاقة والبنية. يتبادلان الأدوار في تعليم بعضهما البعض: "مهلاً، أعتقد أن هذا الصندوق هو فائز!" ويتحقق الآخر: "أنا أتفق معك، لنضفه إلى قائمة الفائزين المعروفين لدينا". ومن خلال تبادل الملاحظات وصقل تخميناتهما عبر عدة جولات، يصبحان أفضل بكثير في رصد المواد الحقيقية مما لو كان كل منهما يعمل بمفرده.
تظهر الورقة البحثية أن نهج العمل الجماعي هذا يعمل بشكل جيد بشكل مدهش. فعندما اختبرا نظامهما على عائلة محددة من المواد تسمى الأكاسيد (الموجودة في كل مكان، من الصدأ إلى السيراميك)، تمكن النموذج من تحديد جميع المواد التي كانت معروفة بالفعل بأنها قابلة للبناء بدقة تقريباً. في الواقع، حقق معدل "استدعاء" (recall) يتراوح بين 95% و97%، مما يعني أنه لم يفتِ الكثير من النجاحات الحقيقية. ومع ذلك، فقد تعلم أن يكون انتقائياً: فمن بين جميع الصناديق الغامضة التي فحصها، لم يصنف سوى حوالي 21% منها كأنها قابلة للتصنيع على الأرجح. وهذا أمر جيد؛ فهو يعني أن النموذج لا يخمن "نعم" لكل شيء فح Fre. لقد لاحظ أيضاً أن المواد ذات الطاقة العالية (أكثر من 1 إلكترون فولت فوق ما يسمى بـ "غلاف التحدب" - وهي طريقة فنية للقول إنها غير مستقرة للغاية) كانت أقل عرضة بنحو 2.5 مرة لأن تُصنف كقابلة للتصنيع، مما يثبت أن النموذج يفهم أن الاستقرار أمر مهم، رغم أنه لم يُعلّم هذه القاعدة صراحةً.
لم يتوقف الباحثون عند هذا الحد، بل استخدموا "فريق الخبراء" الجديد هذا لتسمية مجموعة ضخمة من البيانات النظرية، مما أدى إلى إنشاء مجموعة تدريب جديدة عالية الجودة. ثم قاموا بتدريب متنبئ نهائي فائق الذكاء (باستخدام نموذج SchNet) على هذه البيانات الجديدة. تم اختبار هذه الأداة النهائية على ثلاث قواعد بيانات مختلفة للمواد لم ترها من قبل. ووجدت أنه في حين احتوت بعض قواعد البيانات (مثل قاعدة بيانات المواد الكمومية المفتوحة) على ضعف عدد البلورات "التي يُحتمل تصنيعها" عما هو متوقع، فإن قواعد بيانات أخرى (مثل تلك التي أنتجها ذكاء اصطناعي يسمى iMatGen) كانت معظمها "مستحيلة البناء"، حيث تجمعت درجاتها بالقرب من الصفر. تشير الورقة البحثية إلى أنه على الرغم من أن هذه الأداة ليست مثالية ولا يمكنها التنبؤ بالمستقبل بيقين 100%، إلا أنها مرشح قوي. يمكنها مساعدة العلماء على تجاوز ملايين "الوصفات الشبحية" والتركيز على المئات القليلة التي قد تنجح بالفعل، مما يوفر كميات هائلة من الموارد في السباق لاكتشاف مواد الغد.
ملخص تقني: SynCoTrain
بيان المشكلة يعيق اكتشاف المواد الجديدة عدم القدرة على التنبؤ بموثوقية قابلية التصنيع. وبينما توفر مقاييس الاستقرار الديناميكي الحراري (مثل طاقة التكوين، والمسافة من الغلاف المحدب) رؤى جزئية، إلا أنها تفشل في مراعاة العوامل الحركية (الكينيتيكية)، والقيود التكنولوجية، وظروف التصنيع المحددة التي تحدد ما إذا كان يمكن تحقيق المادة فعلياً. وتتمثل إحدى العقبات الحرجة في تطبيق التعلم الآلي على هذه المشكلة في ندرة البيانات السلبية؛ حيث نادراً ما تُنشر محاولات التصنيع الفاشلة أو تُدرج في قواعد البيانات العامة. وبناءً على ذلك، تعاني أساليب التعلم الخاضع للإشراف القياسية بسبب غياب الأمثلة الصريحة لـ "غير القابلة للتصنيع". علاوة على ذلك، فإن الاعتماد على نموذج واحد يؤدي إلى تحيزات بنيوية متأصلة يمكن أن تخل بالقدرة على التعميم، لا سيما عند التنبؤ بالخصائص لبيانات خارج نطاق التوزيع.
المنهجية يقترح المؤلفون SynCoTrain، وهو إطار عمل للتعلم الآلي شبه المُشرف المصمم للتنبؤ بقابلية تصنيع بلورات الأكاسيد. يدمج إطار العمل بين التعلم من البيانات الموجبة وغير المصنفة (PU Learning) واستراتيجية التدريب المشترك (Co-training) لمعالجة غياب الملصقات السلبية والتخفيف من تحيز النموذج.
إطار التدريب المشترك (Co-Training Framework): يستخدم SynCoTrain شبكتين مختلفتين من الشبكات العصبية التلافيفية الرسومية (GCNNs) كأدوات تصنيف متكاملة:
ALIGNN (شبكة الرسم البياني الذرية الخطية): تقوم بتشفير الروابط الذرية وزوايا الروابط، مما يعكس "منظور الكيميائي".
SchNet: تستخدم مرشحات تلافيف مستمرة لتشفير البنى الذرية، مما يعكس "منظور الفيزيائي".
يعمل إطار العمل عبر سلسلتين من التكرار المتوازي. في كل سلسلة، يتبادل المصنفان الأدوار: يتم تدريب أحد المصنفين على المجموعة الموجبة الحالية ومجموعة فرعية من البيانات غير المصنفة (التي تُعامل كمواد سالبة)، ثم يتنبأ بملصقات البيانات غير المصنفة المتبقية. تُستخدم التنبؤات عالية الثقة لتوسيع الفئة الموجبة للدورة التالية، حيث يتم تدريب المصنف الآخر. يسمح هذا التبادل التكراري للمعرفة للنماذج بالتعلم من رؤى مختلفة للبيانات.
تنفيذ تعلم PU: ضمن كل تكرار، تستخدم النماذج الأساسية نهج التجميع (Bagging) بناءً على طريقة (Mordelet وVert) عبر 60 دورة تشغيل. في كل دورة، تعمل مجموعة فرعية عشوائية من البيانات غير المصنفة كفئة سالبة. تكون درجة قابلية التصنيع لكل نقطة بيانات هي متوسط الاحتمالية عبر هذه الدور_الدورات الستين.
العتبات (Thresholds): تُستخدم عتبة قدرها 0.75 لتوسيع الفئة الموجبة بثقة أثناء تكرارات التدريب المشترك. بينما تُطبق عتبة قدرها 0.5 على متوسط الدرجات النهائي لإنشاء ملصقات ثنائية.
المتنبئ النهائي (Final Predictor): بمجرد انتهاء عملية التدريب المشترك (التي وُجد أنها مثالية عند التكرار الثاني)، تُستخدم الملصقات الناتجة لتدريب متنبئ نهائي لقابلية التصنيع. اختار المؤلفون نموذج SchNet لهذه المرحلة النهائية، مع استخدام تقنيات التنظيم لمنع الإفراط في التناسب (Overfitting) مع توزيع بيانات (Materials Project). وتشمل هذه التقنيات:
حقن ضجيج الملصقات (قلب 5% من الملصقات).
تعزيز البيانات عبر اضطراب الضجيج الغاوسي للمواقع الذرية.
دوال الخسارة الموزونة (بنسبة 0.45:0.55).
طبقات الإسقاط (Dropout) وجدولة معدل التعلم باستخدام (Cosine Annealing with Warm Restarts).
النتائج الرئيسية
مقاييس الأداء: حقق النموذج نطاق استدعاء (Recall) يتراوح بين 95-97% في مجموعات الاختبار الداخلية واختبار الاستبعاد. عند التكرار الأمثل (التكرار 2)، تنبأ النموذج بنحو 21% من البيانات النظرية غير المصنفة بأنها قابلة للتصنيع.
الارتباط بالاستقرار: نجح النموذج في رصد العلاقة بين الاستقرار وقابلية التصنيع دون تدريب صريح على ملصقات الاستقرار. كانت البلورات غير المستقرة (طاقة > 1 إلكترون فولت فوق الغلاف المحدب) أقل عرضة بـ 2.5 مرة للتصنيف كقابلة للتصنيع. ومع ذلك، أثبت النموذج أيضاً أن الاستقرار وحده ليس كافياً، حيث تم تصنيف حوالي 21% فقط من البلورات التي تمتلك طاقة أقل من 1 إلكترون فولت فوق الغلاف المحدب على أنها قابلة للتصنيع.
التعميم: تم تقييم المتنبئ النهائي على مجموعات بيانات خارجية لم تُستخدم في التدريب:
OQMD: أظهرت نسبة أعلى من البلورات القابلة للتصنيع مقارنة بمجموعة اختبار (Materials Project).
WBM (عينة عشوائية): أظهرت تنبؤات غامضة (درجات حول 0.5)، مما يعكس الطبيعة الاصطناعية للبيانات.
iMatGen (توليدية): أظهرت أدنى درجات قابلية التصنيع، وهو ما يتوافق مع الهياكل غير الواقعية التي تم توليدها.
التحقق من الحقيقة الأرضية (Ground Truth): باستخدام مهمة التنبؤ بالاستقرار حيث تكون ملصقات الحقيقة الأرضية معروفة، أظهر المؤلفون أن قيم الاستدعاء المستمدة من مجموعات الاختبار الديناميكية والاستبعاد تقترب بدقة من استدعاء الحقيقة الأرضية، مما يؤكد موثوقية مقاييس التقييم الخاصة بهم.
الأهمية والادعاءات يزعم البحث أن SynCoTrain يقدم حلاً قابلاً للتوسع لتحدي التنبؤ بقابلية التصنيع من خلال الاستفادة من التدريب المشترك لتقليل تحيز النموذج والتعامل مع نقص البيانات السلبية. ومن خلال التركيز على بلورات الأكاسيد — وهي عائلة مدروسة جيداً ولديها بيانات تجريبية واسعة — يوضح المؤلفون أن التدريب المشترك يمكن أن يحقق استدعاءً عالياً مع موازنة تباين البيانات والكفاءة الحسابية.
يضع المؤلفون هذه الأداة كمورد للمراحل الأولية من اكتشاف المواد عالي الإنتاجية. وبدلاً من الادعاء بأن النموذج يتنبأ بدقة تامة بقابلية التصنيع، يجادلون بأن الفائدة الأساسية للنموذج تكمن في تصفية الهياكل غير المرجح أن تؤدي إلى مواد حقيقية. ومن خلال إمكانية استبعاد حتى نصف المرشحين غير القابلين للتصنيع، يهدف إطار العمل إلى توفير موارد كبيرة في عمليات المحاكاة ومحاولات التصنيع التجريبي. يسلط العمل الضوء على إمكانية دمج المصنفات القوية الموجودة من خلال التدريب المشترك لاستخراج قيمة أكبر من بيانات المواد المتاحة، بدلاً من تطوير بنيات جديدة من الصفر.