Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

في السباق نحو اكتشاف أدوية جديدة، يواجه العلماء غالبًا مهمة شاقة: العثور على المفتاح المناسب لقفل محدد. "المفاتيح" هي جزيئات صغيرة، وهي أدوية محتملة، و"الأقفال" هي البروتينات داخل جسم الإنسان التي تحرك المرض. عندما يتناسب الدواء جيدًا مع بروتين ما، يمكنه إيقاف عملية مرضية أو إصلاح وظيفة معطلة. إن التنبؤ بمدى قوة ارتباط الدواء بالبروتين هو خطوة حاسمة في فحص ملايين المرشحين، مما يسمح للباحثين بتركيز مواردهم على الأكثر واعدية منها. لسنوات، تم تدريب نماذج حاسوبية لإجراء هذه التنبؤات، من خلال التعلم من قواعد بيانات ضخمة لتفاعلات الدواء والبروتين المعروفة. كان الهدف دائمًا هو بناء نموذج يمكنه تخمين قوة الرابطة التي لم يسبق له رؤيتها من قبل، سواء كان ذلك يعني التنبؤ بكيفية سلوك دواء جديد ضد بروتين معروف، أو كيف قد يتفاعل دواء معروف مع هدف بروتيني جديد تمامًا.

ومع ذلك، تشير دراسة جديدة من جامعة هاربين العادية إلى أن الإجابة على سؤال "أي نموذج هو الأفضل" تعتمد كليًا على السؤال المطروح. فقد سعى الباحثان، هاوبو كوي وشينيوان كوي، لاختبار ما إذا كانت تصنيفات هذه النماذج الحاسوبية تظل مستقرة عندما تتغير قواعد اللعبة. في العالم الحقيقي لاكتشاف الأدوية، قد يُطلب من النموذج التنبؤ بتفاعلات لدواء لم يسبق رؤيته من قبل، أو لبروتين لم يسبق رؤيته من قبل، أو لمزيج من كليهما. واكتشف الفريق أن النموذج الذي يفوز في سيناريو معين يمكن أن يخسر في سيناريو آخر، وأن الترتيب الذي تُصنف به النماذج يمكن أن ينقلب تمامًا اعتمادًا على ظروف الاختبار المحددة. إن عملهم، الذي تضمن إجراء أكثر من مائة تجربة خاضعة للرقابة بدقة، يكشف أنه لا يوجد نموذج واحد "أفضل" لجميع المواقف؛ بل إن الاختيار الصحيح يعتمد على مطابقة النموذج مع تحدي التعميم المحدد الذي سيواجهه.

لفهم حجم هذا الاستقصاء، تخيل مختبرًا يختبر فيه العلماء خمسة أنواع مختلفة من المحركات. في اختبار قياسي، قد يقودون جميع المحركات على مسار ممهد ومألوف. ولكن في العالم الحقيقي، تحتاج بعض المحركات إلى التعامل مع الطرق الجليدية، بينما يجب على أخرى عبور ممرات جبلية شديدة الانحدار. لقد بنى كوي وكوي إطار اختبار صارمًا لمعرفة ما إذا كان المحرك الذي يفوز على المسار الممهد سيفوز أيضًا على الجليد أو في الجبال. وقد استخدما قاعدتي بيانات ضخمتين ومنقحتين لتفاعلات الدواء والبروتين، تحتوي إحداهما على أكثر من 118,000 سجل من مصدر واحد وأكثر من 30,000 من مصدر آخر. ومن هذه البيانات، أنشآ ثلاث بيئات اختبار متميزة. كانت الأولى هي إعداد "دافئ" (warm)، حيث تم اختبار النموذج على أدوية وبروتينات رآها بالفعل أثناء التدريب، وهو ما يقيس جوهريًا مدى قدرته على تذكر واستكمال ما تعلمه. والثانية هي إعداد "الدواء البارد" (cold-drug)، حيث توجب على النموذج التنبؤ بتفاعلات لمركبات كيميائية جديدة تمامًا لم يسبق له مواجهتها. والثالث هو إعداد "الهدف البارد" (cold-target)، حيث واجه النموذج تسلسلات بروتينية جديدة تمامًا، مما يحاكي تحدي العثين عن دواء لآلية مرضية مكتشفة حديثًا.

لم يكتفِ الباحثون بتشغيل النماذج مرة واحدة وأخذ النتائج. ولضمان أن نتائجهم ليست مجرد ضربة حظ عشوائية، قاموا بتشغيل كل تجربة ثلاث مرات مع ظروف بداية مختلفة قليلاً، وهي تقنية تُعرف باستخدام "البذور" (seeds) المتعددة. وقارنوا بين ثلاث طرق مختلفة لدمج معلومات الدواء والبروتين، بالإضافة إلى طريقتين أساسيتين معتمدتين، مع ضمان امتلاك جميع النماذج لنفس القدر تقريبًا من القدرة الحوسبية. وفي المجمل، أجروا 126 عملية تدريب منفصلة، مع الحفاظ على تقسيمات البيانات وقواعد التقييم متطابقة عبر جميع العمليات. والأهم من ذلك، أنهم أبقوا نتائج الاختبار النهائية محجوبة حتى اكتملت كل عملية تشغيل، مما منع أي تحيز عرضي حيث قد يتم تعديل النموذج ليتناسب مع بيانات الاختبار. سمح هذا النهج الصارم والقابل للتدقيق بتتبع كل نتيجة وصولًا إلى مصدرها، مما ضمن نزاهة مقارنتهم.

كانت النتائج مذهلة ومناقضة للتوقعات. فعندما نظر الباحثون إلى تصنيفات النماذج في ظل الظروف "الدافئة"، تفوق نموذج واحد باستمرار على الآخرين. ومع ذلك، عندما انتقلوا إلى سيناريو "الدواء البارد"، تغيرت التصنيفات بشكل كبير. وفي الحالة الأكثر تطرفًا، والتي تضمنت مجموعة البيانات الأكبر، كان ترتيب النماذج في سيناريو "الهدف البارد" هو المعاكس تمامًا لترتيب النماذج في سيناريو "الدواء البارد". فالنموذج الذي كان الفائز الواضح في التنبؤ بالتفاعلات مع البروتينات الجديدة أصبح الخاسر الواضح عند سؤاله عن التنبؤ بالتفاعلات مع الأدوية الجديدة. هذا الانقلاب الكامل، الذي تم قياسه بأداة إحصائية تقارن التصنيفات، أظهر أن نجاح النموذج ليس صفة مطلقة بل هي صفة نسبية تتغير بتغير السياق.

علاوة على ذلك، سلطت الدراسة الضوء على أنه حتى ضمن سيناريو الاختبار نفسه، لم تكن النتائج مستقرة دائمًا. فعند النظر إلى عمليات التشغيل الفردية بدلاً من مجرد المتوسط، وجد الباحثون أن الترتيب الدقيق للنماذج يمكن أن يختلف من عملية تدريب إلى أخرى. وهذا يعني أن الاعتماد على تجربة واحدة لإعلان فائز هو أمر محفوف بالمخاطر، حيث يمكن أن تتأثر النتيجة بالضوضاء العشوائية لعملية التدريب. ومن خلال تشغيل بذور متعددة، استطاع الفريق رؤية الصورة الكاملة لمدى موثوقية أداء النموذج. ووجدوا أنه بينما أظهرت بعض النماذح مزايا ثابتة في مجالات محددة، مثل إعداد "الدماء الباردة" حيث أدت استراتيجيات دمج معينة أداءً أفضل عبر كلا قاعدتي البيانات، إلا أنه لم يهيمن نموذج واحد على كل مقياس وكل سيناريو.

كما استكشف الباحثون كيفية ترجمة هذه النتائج إلى تطبيق في العالم الحقيقي من خلال النظر في هدف بروتيني محدد وغير مرئي يسمى VEGFR2، وهو مرتبط بنمو الأوعية الدموية ويُعد هدفًا رئيسيًا لعلاجات السرطان. وباستاستخدام التنبؤات المجمدة من تجاربهم، قاموا بمحاكاة كيفية قيام النماذج المختلفة بتصنيف مرشحي الأدوية لهذا الهدف المحدد. ووجدوا أن النماذج أنتجت قوائم مختلفة من المرشحين الأوائل. فقد يصنف نموذج ما مركبًا معينًا كأفضل خيار، بينما يضعه نموذج آخر في مرتبة متدنية جدًا. وقد أثبت هذا أن اختيار النموذج ليس مجرد تمرين أكاديمي؛ بل إنه يؤثر مباشرة على أي المرشحات الدوائية سيختار العلماء لاختبارها في المختبر. فإذا اختار الباحث نموذجًا بناءً على أدائه في الإعداد "الدافئ"، فقد ينتهي به الأمر إلى إعطاء الأولوية للمركبات الخاطئة لهدف جديد.

في نهاية المطاف، تعمل هذه الدراسة كدليل حيوي لمستقبل اكتشاف الأدوية حاسوبيًا. فهي تجادل ضد فكرة وجود نموذج بطل عالمي يمكن تطبيقه على كل مشكلة. وبدلاً من ذلك، تقترح أن موثوقية مقارنة النماذج تعتمد على مطابقة طريقة التقييم مع الاستخدام المقصود. فإذا كان الهدف هو العثور على أدوية لأهداف جديدة، فيجب اختبار النموذج على أهداف جديدة. وإذا كان الهدف هو العث find أدوية جديدة لأهداف معروفة، فيجب اختبار النموذج على أدوية جديدة. ويخلص الباحثون إلى أنه لكي يكون اختيار النماذج موثوقًا حقًا، يجب أن يكون مطابقًا للسيناريو، ومتعدد البذور، وقابلًا للتدقيق. ومن خلال فهم أن التصنيفات تتغير عبر أنظمة التقييم المختلفة، يمكن للعلماء اتخاذ قرارات أكثر استنارة، مما يضمن أن الأدوات التي يستخدمونها ملائمة للتحديات المحددة في مسار اكتشاف الأدوية.