Critical Assessment of ML models for ADMET Prediction in TDC leaderboards
تُقيّم هذه الدراسة بشكل نقدي لوحات صدارة (ADMET) الخاصة بـ "مجمع بيانات العلاج" (TDC)، وتكشف أن معظم النماذج الأعلى تصنيفاً تعاني من عدم القابلية للتكرار، أو تسرب البيانات، أو الإفراط في ملاءمة مجموعة الاختبار، حيث لم تجتز سوى ثلاث طرق فقط عمليات التحقق الصارمة، مما يسلط الضوء على الحاجة الملحة لمعايير قياس أكثر صرامة تشمل مجموعات اختبار مخفية وبيئات تقديم معيارية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تخيل أولمبياداً ضخماً وعالي المخاطر لاكتشاف الأدوية.
في هذه الأولمبياد، يحضر علماء من جميع أنحاء العالم أفضل برامجهم الحاسوبية (نماذج الذكاء الاصطناي) إلى ملعب يسمى "TDC" (Therapeutics Data Commons). الهدف هو التنبؤ بكيفية سلوك الأدوية الجديدة في جسم الإنسان — هل سيتم امتصاصها؟ هل ستكون سامة؟ هل ستعمل؟
يوفر الـ TDC لوحة نتائج ضخمة ("لوحة المتصدرين") حيث تحصل أفضل نماذج الذكاء الاصطناي أداءً على الميداليات الذهبية والفضية والبرونزية. ويفترض الجميع أن الفائزين هم الأكثر ذكاءً وموثوقية في إنقاذ الأرواح.
لكن إيغور كوليف وفريقه من Receptor.AI قرروا التصرف كـ "مفتشي ألعاب" حقيقيين. لم يكتفوا بمجرد النظر إلى النتائج؛ بل ذهبوا خلف الكواليس للتحقق مما إذا كانت الألعاب تُلعب بعدالة حقاً. وجدوا أنه بينما تبدو لوحة النتائج مثيرة للإعجاب، إلا أن الواقع فوضوي بعض الشيء.
إليكم ما اكتشفوه، مقسماً إلى قصص بسيطة:
1. الرياضيون "الأشباح" (مشكلات قابلية التكرار)
تخيل عداءً يجتاز خط النهاية أولاً، ولكن عندما تسأله عن حذائه أو استراتيجية سباقه، يقول: "أوه، لقد فقدت حذائي"، أو "استراتيجيتي سرية، وأيضاً، حذائي لا يعمل إلا أيام الثلاثاء".
حاول الباحثون تشغيل الكود الخاص بأفضل 10 نماذج على لوحة المتصدرين.
- المشكلة: بالنسبة للعديد من "الفائزين"، كان الكود معطلاً، أو مفقوداً، أو مستحيلاً من حيث التثبيت. كان الأمر أشبه بمحاولة مشاهدة فيلم حيث جهاز العرض معطل.
- النتيجة: تمكن الباحثون من تشغيل والتحقق من 3 نماذج فقط من النماذج المتصدرة. أما البقية فكانوا "أشباحاً" — كانوا موجودين على الورق، لكن لم يكن بإمكانك استخدامهم فعلياً.
2. الرياضيون "الغشاشون" (تسرب البيانات)
تخيل اختبار رياضيات حيث يترك المعلم بالخطأ نموذج الإجابات على المكتب داخل الفصل قبل بدء الامتحان. إذا حفظ أحد الطلاب الإجابات، فسيحصل على درجة كاملة، لكنه ليس ذكياً في الواقع؛ لقد غش فحسب.
وجد الباحثون أن العديد من النماذج المتصدرة قد فعلت ذلك بالضبط.
- المشكلة: تدربت النماذج على بيانات تتضمن سراً "أسئلة الاختبار" (مجموعة الاختبار).
- MiniMol: تم تدريب هذا النموذج على مكتبة ضخمة من الجزيئات. قال مبتكروه: "لقد أزلنا جزيئات الاختبار!" لكن الباحثين وجدوا أنه بسبب اختلافات طفيفة في كيفية كتابة الجزيئات (مثل كتابة اسم مع أو بدون اسم أوسط)، ظل النموذج "يرى" إجابات الاختبار أثناء التدريب.
- GradientBoost & XGBoost: أخطأت هذه النماذج في تقسيم بياناتها. فقد استخدمت إجابات "الاختبار" للمساعدة في المذاكرة لـ "الامتحان التجريبي".
- النتيجة: حصلت هذه النماذج على درجات مبالغ فيها. بدت وكأنها عباقرة، لكنها كانت مجرد تحفظ للأسئلة. عندما أصلح الباحثون عملية الغش، تراجعت هذه النماذج من المركز الأول إلى المركز الثالث أو حتى الثامن.
3. فخ "الدرجة الكاملة" (الإفراط في التخصيص/Overfitting)
تخيل طالباً يذاكر فقط للأسئلة المحددة في اختبار العام الماضي. يحصل على 100% في ذلك الاختبار. ولكن إذا أعطيته اختباراً جديداً بأسئلة مختلفة، فسيفشل فشلاً ذريعاً.
بنى الباحثون نماذج ذكاء اصطناعي "أميّنة" خاصة بهم، ثم صنعوا نسخة "غشاشة" يُسمح لها بالتلصص على إجابات الاختبار أثناء المذاكرة.
- التجربة: سمحوا للنموذج "الغشاش" بضبط نفسه خصيصاً لمجموعة اختبار الـ TDC.
- النتيجة: قفز النموذج "الغشاش" في لوحة المتصدرين، حيث صعد من منتصف القائمة إلى أعلى 3 مراكز في نصف الفئات تقريباً.
- الدرس: هذا يثبت أن لوحة المتصدرين هشة. إذا قمت بتعديل نموذجك بما يكفي ليتناسب مع "مجموعة الاختبار" المحددة (حتى عن طريق الخطأ)، يمكنك تزييف ميدالية ذهبية.
4. الفائزون الصادقون القلائل
من بين كل هذه الفوضى، نجح ثلاثة نماذج فقط (CaliciBoost، وMapLight، وMapLight+GNN) في اجتياز جميع الفحوصات.
- كان لديهم كود يعمل.
- لم يغشوا.
- صمدت درجاتهم عند إعادة الاختبار.
- الخلاصة: هؤلاء هم الوحيدون الذين يمكننا الوثوق بهم حقاً في الوقت الحالي. أما الآخرون فقد يكونون رائعين، لكن لا يمكننا إثبات ذلك بعد.
5. كتاب القواعد المفقود (الإصدارات)
أخيراً، أشار الباحثون إلى خلل في الملعب نفسه. يقوم الـ TDC بتغيير مجموعات البيانات الخاصة به (الأسئلة) بمرور الوقت، لكنه لا يخبر أحداً متى أو ماذا تغير بالضبط.
- التشبيه: إنه يشبه مسابقة طبخ حيث تتغير المكونات باستمرار، لكن الحكام لا يعلنون عن ذلك. قد يفوز طباخ اليوم باستخدام "الطماطم"، ولكن غداً يستبدل القاضي الطماطم بـ "البطاطس"، وتفشل وصفة الطباخ.
- النتيجة: نظرًا لأن البيانات ليست محصورة برقم إصدار محدد، فمن الصعب معرفة ما إذا كان النموذج جيداً حقاً أم أنه تصادف فقط مع نسخة مؤقتة محددة من البيانات.
الصورة الكبيرة: ماذا يجب أن نفعل؟
يخلص البحث إلى أنه بينما تعد لوحة متصدري الـ TDC نقطة انطلاق جيدة، يجب ألا نثق بعمى في المراتب الأولى.
ولإصلاح ذلك، يقترح المؤلفون ما يلي:
- إخفاء إجابات الاختبار: لا تسمح للجمهور برؤية مجموعة الاختبار حتى النهاية (مثل الامتحان الحقيقي).
- إحكام القواعد: استخدم "أرقام إصدار" صارمة لمجموعات البيانات بحيث يتم اختبار الجميع على نفس الأسئلة تماماً.
- تقديم "السيارة" كاملة: بدلاً من تقديم درجة فقط، يجب على الباحثين تقديم "سيارتهم" بالكامل (الكود + البيئة البرمجية) حتى يتمكن الحكام من قيادتها بأنفسهم لرؤية ما إذا كانت تعمل حقاً.
باختصار: لوحة المتصدرين الحالية تشبه سباقاً حيث حفظ بعض العدائين المسار، وبعضهم فقد أحذيته، وخط النهاية يستمر في التحرك. نحن بحاجة إلى تنظيف المسار وفحص الأحذية قبل تتويج الفائزين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.