DrugPlayGround: Benchmarking Large Language Models and Embeddings for Drug Discovery

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DrugPlayGround: معيار قياسي للنماذج اللغوية الكبيرة والتمثيلات المتجهة في اكتشاف الأدوية."

١. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) إمكانات تحولية في البيولوجيا والطب، إلا أن تطبيقها في اكتشاف الأدوية يفتقر إلى التقييم المعياري الموضوعي. تشمل المخاوف الحالية ما يلي:

• الهلوسة وعدم الدقة: قد تولد هذه النماذج هياكل كيميائية غير واقعية أو بيانات حقائقية خاطئة (مثل الوزن الجزيئي)، مما يحد من موثوقيتها في تصميم الأدوية الجديدة.
• الافتقار إلى التوحيد القياسي: لا يوجد إطار عمل موحد لتقييم مدى فهم هذه النماذج للخصائص الفيزيوكيميائية، وتآزر الأدوية، والتفاعلات بين الدواء والبروتين، أو الاضطرابات الخلوية مقارنة بنماذج التعلم العميق التقليدية أو نماذج التأسيس الجزيئية (MFMs).
• عدم اليقين في الاستنتاج المنطقي: لا يزال من غير الواضح ما إذا كانت هذه النماذج تمتلك قدرات استنتاج كيميائية/بيولوجية حقيقية أم أنها تعتمد فقط على التعرف على الأنماط، وكيف يؤثر هندسة الأوامر (على سبيل المثال، سلسلة الأفكو - CoT مقابل الميتا-أمر - Meta-prompting) على الأداء.

٢. المنهجية: إطار عمل DrugPlayGround

قام المؤلفون بتطوير DrugPlayGround، وهو منصة تقييم شاملة مصممة لتقييم النماذج اللغوية الكبيرة عبر فرعين متكاملين:
١. تقييم إنشاء النصوص: تقييم جودة الأوصاف النصية التي تنشئها النماذج للأدوحة.
٢. تقييم التمثيلات المتجهة (Embeddings): تقييم فائدة التمثيلات المتجهة المستمدة من النماذج للمهام التنبؤية اللاحقة.

أ. بناء مجموعة البيانات

• المصدر: بُني بشكل أساسي على MolTextNet (أي ٢ مليون زوج من الجزيئات والنصوص) لوصف الأدوية.
• المهام اللاحقة: استخدم مجموعات بيانات محددة لكل من:
  • تآزر الأدوية: D1 وD2 وD3 من إطار عمل BAITSAO.
  • التفاعل بين الدواء والبروتين (DPI): مجموعات بيانات البشر، وDrugBank، وC. elegans من مستودع TDC.
  • الاضطراب الكيميائي: Tahoe 100M (بيانات تسلسل الحمض النووي الريبي أحادي الخلية - scRNA-seq) وChemCPA.

ب. التصميم التجريبي

• النماذج المختبرة: خمسة من أكثر النماذج اللغوية الكبيرة تطوراً (GPT-4o، Gemini-1.5-pro، Claude-sonnet-4، Mistral-large-2411، DeepSeek-v3) وخمسة من نماذج التمثيل المتجه (GPT-Emb، Gemma-Emb، Gemini-Emb، Mistral-Emb، Qwen3-Emb).
• هندسة الأوامر (Prompt Engineering): تم تقييم ثلاث استراتيجيات للأوامر:
  • النموذجي (Standard): طلب وصف أساسي.
  • سلسلة الأفكو (CoT): استنتاج خطوة بخطوة.
  • الإدراكي الفائق (Meta-cognition): لعب دور خبير صيدلاني مع متطلبات مخرجات مهيكلة.
• المعلمات الفائقة (Hyperparameters): اختُبرت عبر ست درجات حرارة مختلفة (من ٠.٠ إلى ١.٠).
• مقاييس التقييم:
  • جودة النص: مقاييس BLEU، وROU-1/2/L، وBERTScore، والدرجة الإجمالية المعيرة.
  • جودة التمثيل المتجه: التشابه الجيبي (Cosine similarity) مقابل الحقيقة الأرضية.
  • أداء المهام: الدقة (Accuracy)، والمساحة تحت منحنى خصائص التشغيل (AUROC)، ومعامل ارتباط بيرسون (PCC)، ومعامل التحديد ($R^2$) لمهام الانحدار/التصنيف.
• العنصر البشري في الحلقة (Human-in-the-Loop): شارك خبراء مجال (كيميائيون وعلماء بيولوجيا) لتحليل حالات الخطأ وتقديم تفسيرات آلية لنجاحات أو إخفاقات التنبؤ.

٣. النتائج الرئيسية

أ. أداء إنشاء النصوص

• تفوق النموذج: حقق نموذج GPT-4o باستمرار أعلى أداء عام عبر جميع المقاييس، وتبعه عن كثب نموذج Mistral-large-2411. بينما حلّ DeepSeek-v3 في المرتبة الأخيرة.
• تأثير الأمر البرمجي: حققت أوامر الإدراك الفائق (Meta-cognition) أعلى متوسط درجات وأفضل توافق مع الحقيقة الأرضية. أما أوامر سلسلة الأفكو (CoT) فقد تسببت غالباً في إدخال معلومات زائدة وهلوسات، مما قلل من المحاذاة اللفظية.
• تأثير درجة الحرارة: حسنت درجات الحرارة المنخفضة عموماً الاستقرار والجودة لمعظم النماذج، رغم اختلاف الإعدادات المثلى حسب كل نموذج (مثلاً؛ فضل GPT-4o وGemini الدرجات المنخفضة، بينما كان Claude وDeepSeek أفضل عند درجات حرارة متوسطة).
• تحليل الأخطاء: شملت المشكلات الشائعة الهلوسة الحقائقية (الأوزان الجزيئية أو الصيغ الكيميائية الخاطئة)، والاقتطاع، وعدم الاتساق. وكانت أوامر CoT عرضة بشكل خاص لـ "شوائب الاستنتاج" التي لم تُحسن الدقة الحقائقية.

ب. أداء التمثيل المتجه للمهام اللاحقة

• تمثيل الدواء: تفوقت التمثيلات المتجهة المستمدة من نصوص النماذج اللغوية الكبيرة عموماً على الوصاف الجزيئية التقليدية. وقد أظهر Mistral-Emb أعلى تشابه جيبي مع الحقيقة الأرضية لتمثيل الدواء.
• التنبؤ بتآزر الأدوية:
  • تفوقت تمثيلات النماذج اللغوية الكبيرة على نماذج التأسيس الجزيئية (UniMol) وعلى الاستنتاج المباشر للنماذج (GPT-5.1).
  • تصدر كل من Gemini-Emb وMistral-Emb قائمة الأداء العالي.
  • استنتاج: كانت القدرة على التنبؤ في أعلى مستوياتها بالنسبة لخطوط الخلايا ذات المسارات التأشيرية السائدة والواضحة (مثل خلايا VCaP المدفوعة بمستقبل الأندروجين) وفي أدنى مستوياتها للخلايا شديدة التباين (مثل MSTO-211H).
• التفاعل بين الدواء والبروتين (DPI):
  • تفوقت تمثيلات النماذج اللغوية الكبيرة باستمرار على النماذج الأساسية الخاصة بالمجال.
  • اعتمد الأداء على مجموعة البيانات: حيث برع GPT-Emb في البيانات البشرية، بينما قدم Gemini وMistral أداءً أفضل في قواعد المعرفة المنظمة مثل (DrugBank).
  • استنتاج: تقوم النماذج اللغوية الكبيرة بترميز المؤشرات الاحتمالية القادمة من الأوصاف الطبيعية (مثل عبارات آلية العمل الصريحة) بكفاءة عالية، وهي مؤشرات قد تغفل عنها النماذج الهيكلية.
• التنبؤ بالاضطراب الكيميائي:
  • حقق دمج Qwen3-Emb مع أوصاف GPT-4o (عند درجة حرارة ٠.٤) أعلى قيمة معامل تحديد ($R^2$) للتنبؤ بالتغيرات في التعبير الجيني.
  • استنتاج: الأوصاف الغنية بالسياق البيولوجي (مثل تصنيف العقار وآلية عمله) أدت إلى تنبؤات اضطراب أفضل مقارنة بالأوصاف التي تركز حصراً على الخصائص الفيزيوكيميائية.

٤. المساهمات الرئيسية

١. منصة توحيد معيارية: تقديم DrugPlayGround، أول إطار عمل يقوم بتقييم النماذج اللغوية الكبيرة بشكل منهجي عبر إنشاء النصوص، وجودة التمثيل المتجه، وأربع مهام حاسمة في اكتشاف الأدوية (الوظيفة، التآزر، DPI، والاضطراب).
٢. إرشادات هندسة الأوامر: أثبتت الدراسة أن أوامر الإدراك الفائق (Meta-cognition) تتفوق بشكل كبير على أوامر سلسلة الأفكو (CoT) في توليد أوصاف الأدوية، مما يوفر دليلاً عملياً للباحثين.
٣. توصيات خاصة بالمهام: حددت الورقة أنه لا يوجد نموذج واحد مثالي لجميع المهام.
* إنشاء النصوص: GPT-4o.
* التآزر: تمثيلات Gemini/Mistral.
* الاضطراب: تمثيلات Qwen3.
٤. توصيف الأخطاء: قدمت الورقة تصنيفاً مفصلاً لإخفاقات النماذج اللغوية الكبيرة في الكيمياء، بما في ذلك "الانزياح في الهوية المركبة" والهلوسة الرقمية، مما يسلط الضوء على الحاجة لتكامل هيكلي في النماذج المستقبلية.
٥. التحقق بواسطة الخبراء: دمجت ملاحظات الكيميائيين لشرح لماذا تنجح أو تفشل النماذج (مثل ربط دقة التنبؤ بالتباين الخلوي ووضوح مسارات التأشير).

٥. الأهمية والتوجهات المستقبلية

• تسريع الاكتشاف: تؤكد الدراسة أن النماذج اللغوية الكبيرة يمكنها توليد تمثيلات دوائية ذات معنى وقابلية للتعميم تضاهي أو تتجاوز الطرق التقليدية، مما قد يسرع عملية طرح الفرضيات وترتيب الأولويات للمرشحات الدوائية.
• جسْر الفجوات: تسلط الضوء على إمكانية استخدام النماذج اللغوية لسد الفجوة بين الأدبيات/النصوص غير المهيكلة وبين البيانات البيولوجية المهيكلة.
• القصور والعمل المستقبلي: يشير المؤلفون إلى أن النماذج اللغوية الكبيرة الحالية تجد صعوبة في توليد الهياكل ثنائية الأبعاد بدقة ودقة الحقائق العددية. يجب أن يركز العمل المستقبلي على النماذج الهجين التي تدمج المعلومات الهيكلية الصريحة (SMILES/Graphs) مع الفهم الدلالي للنماذج اللغوية لتوحيد إطار (البنية-الوظيفة-الخاصية).
• الأثر العملي: يوفر الإطار إرشادات قابلة للتطبيق للباحثين في مجال الصيدلة لاختيار النموذج واستراتيجية الأوامر المناسبة بناءً على مرحلة البحث والتطوير الخاصة بهم، مع تحقيق التوازن بين الدقة والتكلفة ووقت التنفيذ.

الكود والبيانات الخاصة بـ DrugPlayGround مفتوحة المصدر، مما يسهل المزيد من إعادة الإنتاج والتطوير في هذا المجال من اكتشاف الأدوية المدعوم بالذكاء الاصطناي.