Systematic Evaluation of Training Data Generation Strategies for Machine Learning-Based Molecular and Materials Property Prediction
تقيم هذه الورقة البحثية بشكل منهجي استراتيجيات متنوعة للحصول على بيانات التدريب للتنبؤ بخصائص الجزيئات والمواد القائمة على التعلم الآلي، مظهرةً أنه في حين أن أخذ العينات القائم على عدم اليقين يتفوق عمومًا على الطرق الأخرى، فإن الاستراتيجية المثلى تعتمد في النهاية على التفاعل المحدد بين النموذج، ومجموعة البيانات، ومهمة التنبؤ.
المؤلف الأصلي:Minh Nghia Nguyen, Beate Paulus, Akhil S. Nair
في السعي لاكتشاف أدوية جديدة، أو بطاريات أقوى، أو خلايا شمسية أكثر كفاءة، غالبًا ما يواجه العلماء عقبة هائلة: الحاجة إلى معرفة خصائص عدد لا يحصى من الهياكل الكيميائية قبل أن يتمكنوا من بنائها أو اختبارها. تقليديًا، يتطلب فهم كيفية سلوك جزيء ما أو مدى استقرار بلورة ما إجراء محاكاة حاسوبية معقدة أو إجراء تجارب مخبرية مكلفة. هذه العمليات بطيئة وتستهلك كميات هائلة من القدرة الحوسبية. ولتسريع الأمور، لجأ الباحثون إلى التعلم الآلي، وهو نوع من الذكاء الاصطناعي الذي يمكنه تعلم التنبؤ بهذه الخصائص من خلال دراسة الأمثلة. ومع ذلك، لكي تتعلم هذه النماذج الحاسوبية بفعالية، فإنها تحتاج إلى كمية هائلة من بيانات التدريب. والتحدي المركزي هو أن ليس كل البيانات مفيدة بالتساوي. فتمامًا كما أن قراءة نفس الكتاب عشر مرات لا يعلمك شيئًا جديدًا، فإن تغذية النموذج بآلاف الهياكل الكيميائية المتطابقة تقريبًا تهدر الوقت والموارد. والهدف هو العثور على الأمثلة الأكثر إفادة لتعليم النموذج، بدلاً من مجرد جمع أكبر عدد ممكن منها.
لقد وضع فريق من الباحثين هدفًا لحل هذه المشكلة من خلال اختبار طرق مختلفة بشكل منهجي لاختيار أي الأمثلة الكيميائية يجب تضمينها في مجموعة التدريب. وقد طرحوا سؤالاً بسيطًا ولكنه حاسم: إذا كانت لديك ميزانية محدودة لإجراء حسابات مكلفة، فما هي أفضل استراتيجية لاختيار البيانات التي ستجعل نموذج التنبؤ الخاص بك الأكثر دقة؟ لقد قارنوا بين عدة أساليب، تتراوح من اختيار الأمثلة عشوائيًا تمامًا إلى استخدام طرق أكثر تطورًا تبحث عن عدم اليقين أو التنوع في الفضاء الكيميائي. ركزت الدراسة على نوعين رئيسيين من المواد: الجزيئات العضوية الصغيرة والبلورات غير العضوية، وهي اللبنات الأساسية للعديد من المواد الصلبة. وقد اختبروا هذه الاستراتيجيات على أربع مجموعات بيانات مختلفة، تباين حجمها من بضعة آلاف إلى أكثر من مائة ألف مثال، واستخدموا نوعين مختلفين من نماذج التعلم الآلي: أحدهما يعتمد على أوصاف كيميائية محددة مسبقًا، والآخر يتعلم مباشرة من البنية الذرية.
وجد الباحثون أن أفضل طريقة لجمع البيانات تعتمد بشكل كبير على المهمة المحددة، ونوع المادة، والنموذج المستخدم. لا توجد "رصاصة سحرية" واحدة تصلح لكل المواقف. ومع ذلك، فقد تفوق نهج واحد باستمرار على غيره في جميع المجالات: وهو أسلوب يعطي الأولوية للأمثلة التي يكون النموذج فيها أكثر شكًا في إجابته. فمن خلال التركيز على حالات عدم اليقين هذه، يتعلم النموذج تصحيح أكبر أخطائه أولاً، بدلاً من إضاعة الوقت في أمثلة يفهمها جيدًا بالفعل. سمحت استراتيجية "أخذ عينات عدم اليقين" هذه للنماذج بالوصول إلى مستويات عالية من الدقة باستخدام عدد أقل بكثير من نقاط البيانات مقارنة بما لو كانت قد اختارت الأمثلة عشوائيًا ببساطة. وفي بعض الحالات، قللت هذه الاستراتيجية من عدد الأمثلة المطلوبة بنسبة تقرب من الثلث، وهو توفير هائل عندما تمثل كل نقطة بيانات محاكاة حاسوبية مكلفة.
كما كشفت الدراسة أن حجم مجموعة البيانات المتاحة أمر بالغ الأهمية. فعندما تكون مجموعة الأمثلة المحتملة صغيرة ومتنوعة، كما هو الحال في حسابات استقرار البلورات المعقدة، يصبح نفع الاختيار الذكي أكثر وضوحًا. في سيناريوهات ندرة البيانات هذه، غالبًا ما يفشل الاختيار العشوائي في استيعاب النطاق الكامل للإمكانيات الكيميائية، بينما يضمن أسلوب عدم اليقين أن يرى النموذج التباينات الأكثر أهمية. وعلى العكس من ذلك، في مجموعات البيانات الكبيرة جدًا التي تحتوي على العديد من الهياكل المتكررة أو المتشابهة، يمكن للاختيار العشوائي في النهاية أن يجد معلومات مفيدة كافية، رغم أن الأسلوب الذكي يصل إلى هناك بشكل أسرع. واكتشف الباحثون أيضًا أن اختيار نموذج التعلم الآلي نفسه لا يقل أهمية عن استراتيجية اختيار البيانات. فالنموذج الذي يفهم الترتيب ثلاثي الأبعاد التفصيلي للذرات كان أداؤه أفضل بكثير من النموذج الذي يعتمد فقط على الأوصاف الكيميائية المبسطة، بغض النظر عن كيفية اختيار البيانات.
في النهاية، يقدم هذا العمل دليلًا واضحًا للعلماء الذين يحتاجون إلى بناء نماذج تنبؤية دون إهدار الموارد. فهو يوضح أنه بينما قد تختلف أفضل استراتيجية محددة، فإن الاعتماد على عدم اليقين الخاص بالنموذج لتوجيه جمع البيانات هو مسار قوي وفعال. وهذا أمر قيم بشكل خاص للخصائص التي يصعب حسابها، حيث يمكن لتوفير حتى بضع مئات من الحسابات أن يترجم إلى توفير كبير في الوقت والمال. وتشير النتائج إلى أن مستقبل اكتشاف المواد لا يكمن فقط في امتلاك المزيد من البيانات، بل في امتلاك البيانات الصحيحة، المختارة باستراتيجية تحترم الاحتياجات الفريدة للنموذج والمادة التي تتم دراستها. ومن خلال الموازنة بين اختيار النموذج واستراتيجية ذكية للحصول على البيانات، يمكن للباحثين تسريع اكتشاف المواد الجديدة دون الحاجة إلى تجربة الخطأ المستنفدة والمكلفة.
ملخص تقني: تقييم منهجي لاستراتيجيات توليد بيانات التدريب للتنبؤ بخصائص الجزيئات والمواد القائمة على التعلم الآلي
بيان المشكلة غالبًا ما يتم تدريب نماذج التعلم الآلي (ML) للتنبؤ بخصائص الجزيئات والمواد على مجموعات بيانات ضخمة تم إنشاؤها عبر أخذ عينات عشوائية أو شبه عشوائية. ويؤدي هذا النهج غالبًا إلى تمثيل مفرط أو ناقص للمناطق ذات الصلال الكيميائية، مما يسبب تكرارًا كبيرًا يزيد من تكاليف توليد البيانات والتدريب دون تحقيق مكاسب متناسبة في دقة التنبؤ. وبينما يوفر التعلم النشط (Active Learning - AL) بديلًا منهجيًا من خلال اختيار العينات بشكل تكراري بناءً على معايير مثل عدم اليقين أو التنوع، فإن فعالية هذه الاستراتيجيات ليست عالمية؛ إذ تختلف بشكل كبير بناءً على مجموعة البيانات، والخاصية المستهدفة، وفئة النموذج، وتمثيل البيانات. ولا يزال التقييم المنهجي لكيفية تفاعل هذه العوامل معًا للتحكم في كفاءة البيانات عبر سيناريوهات التعلم المتنوعة محدودًا.
المنهجية أجرى المؤلفون دراسة مرجعية شاملة لتقييم استراتيجيات الحصول على بيانات التدريب عبر أربع مجموعات بيانات متميزة وفئتين من النماذج:
مجموعات البيانات: استخدمت الدراسة مجموعتين كبيرتين (QM9 التي تضم حوالي 134 ألف جزيء عضوي للتنبؤ بفجوة HOMO–LUMO، وMatbench Materials Project التي تضم حوالي 133 ألف بلورة غير عضوية للتنبؤ بطاقة التكوين) ومجموعتين أصغر (QM9small، وهي مجموعة فرعية بنسبة 5% من QM9، وPourbaix Stability، التي تضم حوالي 6.9 ألف بلورة لطاقة التحلل الحرية).
النماذج:
مجموعة التعلم الآلي الكلاسيكية (Ensemble): مُنظم تصويت يجمع بين الغابات العشوائية (RF)، وانحدار كيرنل (KRR)، وتعزيز التدرج الخطي (XGB) باستخدام تمثيلات قائمة على الواصفات (مثل بصمات Morgan، وميزات Magpie).
التعلم العميق: نموذج SchNet، وهو شبكة عصبية تلافيفية ذات مرشح مستمر تستخدم الأعداد الذرية والإحداثيات الكارتيزية لتعلم التمثيلات المتمحورة حول الذرة.
استراتيجيات أخذ العينات: تمت مقارنة ثلاث استراتيجيات قائمة على المجمع (Pool-based):
أخذ العينات العشوائي (RS): خط الأساس الموحد.
أخذ عينات عدم اليقين (US): يستخدم تباين الاستعلام عن طريق اللجنة (بالنسبة للمجموعة/Ensemble) أو تباين إعادة أخذ العينات (Bootstrap) لنموذج SchNet.
أخذ عينات التنوع (DS): يستخدم TypiClust لاختيار العينات بناءً على نمطية العنقود (Cluster Typicality) في الفضاء الواصف أو الفضاء الكامن.
المقاييس: تم تقييم الأداء باستخدام جذر متوسط مربع الخطأ (RMSE)، ومتوسط الخطأ المطلق (MAE)، ومعامل التحديد (R2). تم تحديد كفاءة البيانات عبر N10%، والتي تُعرف بأنها الحد الأدنى من عدد العينات المطلوب للوصول إلى خطأ ضمن 10% من خطأ الأساس لمجموعة البيانات الكاملة.
النتائج الرئيسية
تفوق أخذ عينات عدم اليقين للنماذج القائمة على الواصفات: تفوق أخذ عينات عدم اليقين (US) باستمرار على كل من أخذ العينات العشوائي (RS) وأخذ عينات التنوع (DS) بالنسبة للمجموعة القائمة على الواصفات عبر جميع مجموعات البيانات الأربع. بالنسبة لهذه النماذج، قلل US متطلبات التوسيم بنسبة تتراوح بين 13-30% تقريبًا مقارنة بأخذ العينات العشوائي للوصول إلى عتبة N10%، مع ملاحظة أكبر المكاسب في أصغر وأغلى مجموعة بيانات (Pourbaix Stability). ومع ذلك، بالنسبة لنموذج SchNet، لم تصل المنحنيات إلى عتبة N10% ضمن الميزانيات المخصصة، مما يعني أنه تعذر تحديد مقياس الكفاءة هذا لـ SchNet.
الاعتماد على النموذج والتمثيل: تعتمد فعالية استراتيجية أخذ العينات بشكل كبير على فئة النموذج.
SchNet مقابل المجموعة (Ensemble): حقق SchNet باستمرار أخطاء مطلقة أقل من المجموعة القائمة على الواصفات عبر جميع الميزانيات. ومع ذلك، نظرًا لأن خط الأساس للخطأ في مجموعة البيانات الكاملة لـ SchNet كان أقل بكثير، فإنه لم يصل إلى عتبة N10% الخاصة به ضمن الميزانيات المخصصة.
حدود التمثيل: توقف أداء المجموعة عند حدود نقص المعلومات الهيكلية في الواصفات المشتقة من التركيب، خاصة بالنسبة لطاقة التكوين. وعلى العكس من ذلك، وفرت قدرة SchNet على ترميز أطوال الروابط وبيئات التنسيق دقة فائقة، لكنها لم تجعل النموذج بالضرورة أكثر "كفاءة في البيانات" من حيث الوصول إلى عتبة نسبية بشكل أسرع من المجموعة في جميع السياقات.
تكرار البيانات: أظهرت مجموعات البيانات الكبيرة (QM9، Matbench MP) تكرارًا عاليًا، حيث كانت نسبة 15-25% فقط من المجمع كافية لتصل المجموعة إلى دقة قريبة من دقة البيانات الكاملة تحت أخذ العينات العشوائي. في المقابل، أظهرت المجموعات الأصغر (QM9small، Pourbaix) تكرارًا ذاتيًا أقل، حيث تطلبت 46-77% من المجمع تحت أخذ العينات العشوائي، مما يسلط الضوء على القيمة الحاسمة للتعلم النشط (AL) في الأنظمة التي تعاني من ندرة البيانات.
محدودية أخذ عينات التنوع: أظهر أخذ عينات التنوع (DS) مزايا غير متسقة. فبينما تفوق أحيانًا على أخذ العينات العشوائي (RS) في مجموعات البيانات الكبيرة عند أعداد عينات عالية من خلال تجنب الهياكل البلورية المكررة، إلا أنه لم يقدم عمومًا أي فائدة ثابتة مقارنة بـ RS أو US، لا سيية في فضاء الواصفات حيث يفتقر إلى المعلومات المتعلقة بأخطاء النموذج.
الأهمية والاستنتاجات تخلص الورقة إلى أنه لا توجد استراتيجية واحدة "مثلى" للحصول على البيانات؛ بل تعتمد الطريقة المثلى على التفاعل بين حجم مجموعة البيانات، والخاصية المستهدفة، وفئة النموذج، وتمثيل البيانات.
إرشادات للممارسة: بالنسبة للنماذج القائمة على الواصفات، يعد أخذ عينات عدم اليقين الاستراتيجية الأكثر قوة وكفاءة في التوسيم. وعند توفر المعلومات الهيكلية الكاملة، توفر نماذج التعلم العميق مثل SchNet دقة مطلقة متفوقة، رغم أنها قد لا تظهر دائمًا تقاربًا أسرع نحو عتبات الخطأ النسبية مقارنة بالمجموعات الأبسط.
ادعاءات متواضعة: يؤكد المؤلفون أن اختيار النموذج وتمثيل المدخلات غالبًا ما يكون أكثر أهمية من استراتيجية أخذ العينات المحددة. إن بناء مجموعة تدريب فعالة يتطلب موازنة هذه العوامل بدلاً من تطبيق وصفة عالمية. توفر هذه الدراسة تقييمًا مقارنًا لتوجيه اختيار استراتيجيات الحصول على البيانات تحت ميزانيات توسيم محددة، مع الإقرار بالقيود، مثل عدم القدرة على تقديم تقارير التباين الإحصائي لـ SchNet بسبب القيود الحسابية.
يعمل هذا العمل كمرجع منهجي للمساعدة في توجيه الباحثين عبر المقايضات بين حجم مجموعة التدريب، وجهد التوسيم، والأداء التنبئي.