BOOM: Benchmarking Out-Of-distribution Molecular Property Predictions of Machine Learning Models
تقدم هذه الورقة BOOM، وهو أول معيار مفتوح المصدر مستند إلى المعرفة الكيميائية للتقييم المنهجي للتعميم خارج التوزيع (OOD) في التنبؤ بالخصائص الجزيئية، مما يكشف أن نماذج التعلم الآلي الحالية تعاني في الاستقراء خارج نطاق بيانات التدريب الخاصة بها ويسلط الضوء على الحاجة إلى نهج جديدة لتحقيق أداء قوي خارج التوزيع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
غالباً ما تبدأ رحلة البحث عن أدوية ومواد جديدة بسؤال بسيط ومثير للرهبة في آن واحد: أي من بين مليارات الهياكل الكيميائية الممكنة ستكون فعالة حقاً؟ لعقود من الزمن، اعتمد العلماء على التجربة والخطأ، لكن موجة جديدة من الذكاء الاصطناعي تعد بتسريع هذه العملية من خلال التنبؤ بكيفية سلوك الجزيء قبل بنائه فعلياً. يتم تدريب هذه النماذج الحاسوبية على مكتبات ضخمة من المواد الكيميائية المعروفة، حيث تتعلم التعرف على الأنماط التي تربط شكل الجزيء بخصائصه، مثل مدى ذوبانه في الماء أو مقدار الطاقة التي يطلقها عند احتراقه. والأمل هو أن تتمكن هذه النماذج بعد ذلك من النظر إلى جزيء جديد تماماً وغير مسبوق، وتخمين سلوكه بدقة، مما يسمح للباحثين فعلياً بتصميم مستقبل الكيمياء عبر شاشة الكمبيوتر.
ومع ذلك، هناك عقبة كبيرة؛ فمعظم نماذج الذكاء الاصطناعي هذه بارعة في التعرف على الأنماط داخل البيانات التي تعلمت منها، لكنها غالباً ما تتعثر عندما يُطلب منها التنبؤ بخصائص جزيئات تختلف جوهرياً عما هو موجود في مكتبتها التدريبية. وفي عالم تعلم الآلة، يُعرف هذا باسم مشكلة "البيانات الخارجة عن التوزيع" (out-of-distribution). إنه الفرق بين طالب يحفظ إجابات اختبار تجريبي وطالب يمكنه حقاً حل مسألة جديدة وغير متوقعة. فإذا لم يستطع النموذج التعميم خارج نطاق بيانات التدريب الخاصة به، فسيصبح مجرد أداة لتأكيد ما نعرفه بالفعل، بدلاً من أن يكون أداة لاكتشاف المجهول. ويعد هذا القصور عائقاً رئيسياً أمام الجيل القادم من اكتشاف الأدوية وعلوم المواد، حيث يكون الهدف هو العثور على جزيئات تدفع حدود ما هو ممكن حالياً.
لقد ألقى فريق من الباحثين من مختبر لورانس ليفرمور الوطني وجامعة بينغتون نظرة فاحصة على هذه المشكلة من خلال معيار مرجعي جديد يسمى BOOM. فبدلاً من مجرد اختبار مدى أداء النماذج على البيانات المألوفة، صمموا مجموعة صارمة من الاختبارات خصيصاً لمعرفة ما إذا كانت أنظمة الذكاء الاصطناعي هذه قادرة على التعامل مع ما هو غير مألوف. لقد جمعوا عشر مجموعات بيانات مختلفة تحتوي على آلاف الجزيئات، تتراوح من المركبات العضوية الصغيرة إلى الهياكل المعقدة ذات الخصائص الإلكترونية المحددة. ولكل مجموعة بيانات، قاموا بعناية بفصل الجزيئات إلى ثلاث مجموعات: مجموعة تدريب، ومجموعة اختبار قياسية للجزيئات المألوفة، ومجموعة اختبار خاصة "خارجة عن التوزيع". وتكونت هذه المجموعة الخاصة من جزيئات ذات خصائص قصوى—قيم مرتفبة جداً أو منخفضة جداً بحيث نادراً ما تظهر في بيانات التدريب. ثم أخضع الباحثون خمسة عشر نموذجاً مختلفاً لتعلم الآلة للاختبار، وطلبوا من كل منها التنبؤ بخصائص هذه الجزيئات المتطرفة.
كانت النتائج صادمة. فبالرغم من القدرات المثيرة للإعجاب للذكاء الاصطناعي الحديث، وجدت الدراسة أنه لا يوجد نموذج واحد يمكنه التنبؤ باستمرار بخصائص هذه الجزيئات المتطرفة عبر جميع المهام. حتى أفضل النماذج أداءً ارتكبت أخطاء في هذه الحالات الصعبة وغير المرئية كانت أكبر بثلاث مرات من أخطائها في البيانات المألوفة. لاحظ الباحثون نمط فشل شائع: كانت النماذج جيدة في تجميع الجزيئات المتشابهة معاً، لكنها فشلت في مد تنبؤاتها إلى المناطق المجهولة. وبدلاً من تخمين قيمة تكون حقاً خارج النطاق الذي رأته، كانت النماذج تميل إلى ضغط تنبؤاتها، مما يسحب القيم المتطرفة نحو المتوسط. يشير هذا السلوك إلى أن النماذج تتعلم طرقاً مختصرة تعمل جيداً مع البيانات القياسية ولكنها تنهار عند مواجهة الجدة الحقيقية المطلوبة للاكتشاف العلمي.
كما بحث الفريق في سبب معاناة هذه النماذج واختبروا عدة استراتيجيات شائعة لإصلاح المشكلة. فقد بحثوا فيما إذا كان تدريب النماذج مسبقاً على مجموعات بيانات ضخمة تضم مليارات الجزيئات—وهي تقنية أحدثت ثورة في النماذج اللغوية—سيساعد في ذلك. ومن المثير للدهشة، وجدوا أنه بينما جعل هذا التدريب المسبق النماذج أفضل في التعامل مع البيانات المألوفة، إلا أنه لم يحسن قدرتها على التنبؤ بالقيم المتطرفة. بل في الواقع، جعل التدريب المسبق أداء بعض النماذج أسوأ فيما يتعلق بالبيانات الخارجة عن التوزيع. كما اختبروا أيضاً ما إذا كان مجرد إضافة المزيد من البيانات إلى مجموعة التدريب سيساعد؛ وبينما أدى تضمين عدد قليل من الأمثلة المتطرفة إلى تحسين الأداء لبعض الخصائص، إلا أنه لم يكن علاجاً شاملاً. تشير الدراسة إلى أن الطريقة التي تُبنى بها هذه النماذج حالياً، وخاصة اعتمادها على التمثيلات النصية للجزيئات، قد تكون محدّة بشكل أساسي لقدرتها على فهم القوانين الفيزيائية العميقة التي تحكم السلوك الكيميائي.
كان أحد أكثر النتائج كشفاً هو أن نوع تمثيل البيانات كان أكثر أهمية من حجم النموذج نفسه. فالنماذج التي استخدمت معلومات هندسية ثلاثية الأبعاد حول الذرات ومواقعها قدمت أداءً أفضل بكثير من تلك التي اعتمدت على سلاسل نصية خطية، والتي تشبه الأسماء الكيميائية المكتوبة في تسلسل. فالنماذج ثلاثية الأبعاد، التي تحترم التماثلات الفيزيائية للمساحة، كانت قادرة على التعميم بشكل أفضل بكثير في الحالات المتطرفة. ويشير هذا إلى مسار واضح للمضي قدماً: لبناء ذكاء اصطناعي يمكنه حقاً اكتشاف كيمياء جديدة، يجب أن تكون النماذج متجذرة في الواقع الفيزيائي لكيفية حركة الذرات وتفاعلها، بدلاً من مجرد الأنماط التي توصف بها في النصوص. وخلص الباحثون إلى أن تحقيق أداء قوي في هذه المهام الصعبة سيتطلب على الأرجح مزيجاً من مجموعات البيانات الأكبر والأكثر تنوعاً، ونماذج تفهم صراحةً البنية الإلكترونية للجزيئات.
يعمل معيار BOOM بمثابة واقع ملموس للمجال، حيث يوضح أن الجيل الحالي من الذكاء الاصطناعي الكيميائي، رغم قوته، ليس جاهزاً بعد للتنقل بشكل موثوق في المجهول. لا تدعي الدراسة أن المشكلة غير قابلة للحل، لكنها تستبعد فكرة أن مجرد زيادة حجم النماذج الحالية أو استخدام تقنيات التدريب المسبق القياسية سيكون كافياً لحلها. بدلاً من ذلك، تسلط الضوء على أن الحدود التالية لتعلم الآلة الكيميائي تتطلب تحولاً في كيفية تصميم هذه الأنظمة. ومن خلال توفير طريقة معيارية لاختبار هذا الضعف المحدد، يأمل الباحثون في توجيه المجتمع نحو بناء نماذج ليست جيدة فقط في تذكر الماضي، بل قادرة حقاً على تخيل المستقبل. إن طريق اكتشاف الجيل القادم من الأدوية المنقذة للحياة والمواد المتقدمة قد يعتمد على حل هذا اللغز المحدد المتعلق بالقدرة على التعميم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.