Domain-Adapted Molecular Language Models for Efficient Search of Make-on-Demand Libraries
تُظهر هذه الدراسة أنه في حين تُبدي نماذج اللغة الجزيئية الأصلية أداءً غير متسق عبر المجالات الكيميائية المتنوعة، فإن الضبط الدقيق لها صراحةً على مكتبات افتراضية مستهدفة يعزز بشكل كبير من كفاءة العينات وفائدتها في الاكتشاف الجزيئي مقارنةً بكل من نسخها الأصلية والأساليب المرجعية التقليدية القائمة على البصمات الجزيئية.
المؤلفون الأصليون:Henrik Wille, Luis-Finley Schütz, Felix Strieth-Kalthoff
في السباق لاكتشاف أدوية جديدة، أو مواد شمسية، أو محفزات صناعية، غالبًا ما يواجه العلماء مشكلة الحجم الهائل. إن عدد الجزيئات الممكنة التي يمكن أن توجد واسع جدًا لدرجة أن فحصها واحدًا تلو الآخر أمر مستحيل. بدلاً من ذلك، يعتمد الباحثون على "المكتبات الافتراضية"، وهي مجموعات ضخمة ومحسوبة مسبقًا من الجزيئات التي يمكن بناؤها في المختبر إذا دعت الحاجة. وللتنقل داخل هذه المكتبات، يستخدمون نماذج حاسوبية تعمل كأدلة، تتنبأ بالجزيئات التي يُحتمل أن تمتلك خصائص مفيدة دون الحاجة إلى بنائها واختبار كل منها. ولسنوات، كانت الأداة القياسية لهذه المهمة هي طريقة تسمى "بصمة الإصبع" (fingerprint)، والتي تختزل جزيئًا معقدًا إلى سلسلة بسيطة من الأرقام التي تمثل شكله وأجزاءه. ومع ذلك، ظهر مؤخرًا جيل جديد من نماذج الذكاء الاصطناعي، المدربة على ملايين الهياكل الكيميائية. هذه "النماذج اللغوية" تعامل الصيغ الكيميائية كجمل، وتتعلم فهم قواعد الكيمياء بطريقة بدت أكثر قوة ومرونة من بصمات الأصبع القديمة.
كان السؤال الكبير أمام المجتمع العلمي هو ما إذا كانت نماذج الذكاء الاصطناعي الجديدة والمتطورة هذه أفضل حقًا في العثور على الإبر في كومة القش من بصمات الأصبع التقليدية الموثوقة. وقد وضع فريق من الباحثين في جامعة فوبرتال في ألمانيا خطة لاختبار ذلك مباشرة. لم يكتفوا بالنظر في مدى فهم النماذج للكيمياء بشكل عام؛ بل اختبروا مدى جودة مساعدتها في العثين على أفضل الجزيئات في سيناريوهات واقعية محددة. لقد فحصوا ست مكتبات افتراضية مختلفة، تتراوح من مجموعات المرشحات الدوائية إلى مجموعات من الجزيئات المصممة لليزر العضوي والمحفزات الكيميائية. وفي كل حالة، قاموا بمحاكاة عملية اكتشاف حيث يقوم نموذج حاسوبي باختيار دفعة من الجزيئات، و"اختبارها"، والتعلم من النتائج، ثم اختيار الدفعة التالية، مكررًا هذه الدورة لمعرفة مدى سرعته في العثور على أفضل العناصر أداءً.
وجد الباحثون أن النماذج اللغوية الجديدة لم تفز تلقائيًا. في الواقع، عند استخدامها مباشرة كما هي، كان أداء هذه النماذج المتقدمة غير متسق. ففي بعض المكتبات، كانت جيدة جدًا، ولكن في مكتبات أخرى، عانت للتمييز بين الجزيئات الواعدة والضعيفة. ومن المثير للدهشة أن طريقة بصمة الإصبع التقليدية ظلت هي الطريقة الأكثر اتساقًا وقوة عبر جميع أنواع الكيمياء المختلفة التي اختبروها. لقد كانت خط أساس موثوقًا نادرًا ما يفشل، بينما تعثرت النماذج الجديدة أحيانًا، لا سيما عندما كانت الجزيئات في المكتبة مختلفة تمامًا عن المواد الكيميائية الشبيهة بالأدوية التي تدربت عليها النماذج في الأصل. وقد أظهرت الدراسة أن الذكاء العام للنموذج لا يضمن كونه دليلًا جيدًا لمهمة محددة.
ومع ذلك، لم تنتهِ القصة بفوز الطريقة القديمة. فقد اكتشف الباحثون أنه يمكن تعليم النماذج الجديدة التفوق من خلال عملية تسمى "تكييف المجال" (domain adaptation). وهذا يشبه إعطاء خبير عام دورة مكثفة في قواعد مجال جديد محدد. فمن خلال أخذ النماذج اللغوية المدربة مسبقًا وضبطها بدقة باستخدام قائمة الجزيئات المتاحة فقط في المكتبة المستهدفة — دون الحاجة إلى أي بيانات تجريبية مكلفة — تعلمت النماذج الانتباه إلى التفاصيل الهيكلية المحددة التي تهم ذلك البحث بعينه. وبمجرد تكييفها، أصبحت هذه النماذج هي الأفضل أداءً، حيث وجدت أفضل الجزيئات بشكل أسرع وأكثر كفاءة من بصمات الأصبع التقليدية.
كانت الطريقة الأكثر فعالية لتعليم هذه النماذج هي جعلها تعيد بناء بصمات الأصبع التقليدية كمهمة جانبية أثناء تعلمها. وقد أجبر هذا الذكاء الاصطناعي على الجمع بين فهمه العام والواسع للكيمياء وبين تركيز حاد ومحدد على الأنماط الفريدة للمكتبة التي يبحث فيها. أكدت الدراسة أنه بينما لا تكون النماذج الأولية المدربة مسبقًا جاهزة دائمًا للاستخدام الفوري في كل حملة اكتشاف، إلا أنها تحمل إمكانات كبيرة. فبمجرد تعديلها لتناسب البيئة المحددة التي تعمل فيها، يمكن للعلماء إنشاء أدوات مخصصة وقوية تجعل البحث عن مواد وأدوية جديدة أكثر كفاءة بكثير. ويشير هذا النهج إلى أن مستقبل الاكتشاف الجزيئي لا يكمن في الاختيار بين الطرق القديمة والجديدة، بل في استخدام النماذج الجديدة كأساس مرن يمكن تطويعه بسرعة لتلبية الاحتياجات المحددة لأي تحدٍ علمي.
ملخص تقني: نماذج اللغة الجزيئية المتكيفة مع النطاق للبحث الفعال في المكتبات المتاحة عند الطلب
بيان المشكلة
يعتمد الاكتشاف السريع للجزيئات الوظيفية بشكل كبير على اتخاذ القرارات القائمة على البيانات، لا سيما ضمن المكتبات الافتراضية المحددة مسبقًا والتي تتوفر "عند الطلب". وبينما برزت نماذج اللغة الجزيئية (MLMs) المدربة مسبقًا كنماذج تأسيسية قوية لتعلم العلاقات بين البنية والخاصية، فإن فائدتها العملية في سيناريوهات الاكتشاف التكراري لا تزال غير مؤكدة. وتتمثل المشكلة الحرجة في احتمال حدوث عدم تطابق بين التمثيل والنطاق (representation–domain mismatch): حيث يتم تدريب معظم نماذج اللغة الجزيئية مسبقًا على مجموعات بيانات تهيمن عليها الجزيئات الشبيهة بالأدوية (مثل PubChem وChEMBL وZINC)، بينما غالبًا ما تشغل المكتبات المستهدفة في علوم المواد أو الحفز الكيميائي مناطق مختلفة ومنزاحة في الفضاء الكيميائي.
يفترض المؤلفون أن هذا الانزياح في التوزيع قد يتسبب في عدم قدرة الجزيئات المرشحة على التمايز بشكل كافٍ داخل فضاء التضمين الخاص بالنموذج (انكماش التضمين/embedding contraction)، مما قد يحد من كفاءة تعلم العلاقات بين البنية والخاصية، خاصة في وجود "المنحدرات الخاصةية" (property cliffs). علاوة على ذلك، ليس من الواضح ما إذا كانت التمثيلات المدربة مسبقةً بطبيعتها كافية للاكتشاف التكراري، أم أن التكيف الصريح مع المكتبة المستهدفة مطلوب دون الحاجة إلى تسميات (labels) للخواص تكون مكلفة.
المنهجية
تستخدم الدراسة إطار عمل معيارياً لتقييم التمثيلات الجزيئية عبر ست مكتبات افتراضية تمتد من اكتشاف الأدوية إلى كيمياء المواد والحفز الكيميائي:
المكتبات: ثلاث مكتبات لاكتشاف الأدوية (Zinc-AmpC، RO4-OGG1، Enamine-TMPK) وثلاث مكتبات غير دوائية (HCEP-PCE للخلايا الشمسية العضوية، Laser-OSC لبواعث الليزر، Kraken-ES لربيطات الفوسفين).
التمثيلات:
النماذج المرجعية الاستدلالية (Heuristic Baselines): بصمات مورغان (Morgan fingerprints)، واصفات مورد (Mordred descriptors)، واصفات آر دي كي آي (RDKit descriptors).
الاكتشاف التكراري: تمت محاكاته عبر التحسين البايزي (Bayesian optimization) باستخدام نموذج بديل شبكة عصبية بتقريب لابلاتس (Laplace-approximated neural network surrogate) ودالة استحواذ "الحد الأعلى للثقة" (Upper Confidence Bound - UCB).
الميزانيات: تم اختبار نظامين: إعداد "الفحص الافتراضي" (20,000 تقييم، حجم الدفعة 1,000) وإعداد "الاكتشاف التجريبي" (1,000 تقييم، حجم الدفعة 50).
المقياس: قياس كفاءة التحسين عبر "المساحة تحت منحنى التحسين" (AUOC) لاستدعاء أفضل 1%، مع تحليلها عبر الانحدار البايزي الهرمي للفصل بين تأثيرات التمثيل العالمية والاختلافات الخاصة بكل مكتبة.
استراتيجيات التكيف مع النطاق: لمعالجة حالات عدم التطاق المحتملة، اختبر المؤلفون ثلاث استراتيجيات للصقل (fine-tuning) على بنى المكتبة المستهدفة (دون تسميات للخواص):
الاستمرار في التدريب المسبق: التنبؤ بالرمز المقنع (masked-token prediction) أو فساد النطاق (span corruption).
التكيف التبايني (Contrastive Adaptation): باستخدام ثلاثيات من الجزيئات المتشابهة/المتباينة مع فقدان ترتيب متعدد السلبيات مدرج الحرارة (temperature-scaled multiple-negatives ranking loss).
التكيف بالتسميات المساعدة (Auxiliary-Label Adaptation): تدريب رأس إسقاط (projection head) لإعادة بناء بتات بصمة مورغان من تمثيل المشفر (encoder representation).
التنفيذ: استخدمت جميع عمليات التكيف تقنية "التكيف منخفض الرتبة" (LoRA) لضمان كفاءة المعلمات.
النتائج الرئيسية
1. تظهر التمثيلات الأصلية أداءً متغيرًا
بصمات مورغان كمرجع قوي: عبر جميع المكتبات الست وكلا نظامي الميزانية، احتلت بصمات مورغان باستمرار مرتبة ضمن أقوى التمثيلات. وأظهر التحليل الإحصائي أن جميع تضمينات نماذج اللغة الجزيئية المختبرة (الأصلية) أظهرت تأثيرات خلفية سلبية كبيرة مقارنة بهذا المرجع.
تباين أداء نماذج اللغة الجزيئية (MLMs): تباين أداء نماذج MLM الأصلية بشكل كبير. اقترب MolFormer وT5Chem من أداء البصمات في عدة مكتبات، لكنهما لم يتفوقا عليها باستمرار. أظهر ChemBERTa وSmiTed أداءً أسوأ بكثير، حيث أظهر SmiTed توزيعات تضمين ضيقة للغاية، مما يشير إلى فقدان المعلومات التمييزية للمهام اللاحقة بدون تكيف.
ضعف الارتباط مع انزياح النطاق: رغم أن المكتبات غير الدوائية أظهرت انزياحات نطاق كبيرة (مسافة تانيموت عالية إلى مرجع ZINC15) وانكماشاً في التضمين، إلا أن هذه المقاييس الهندسية ارتبطت ارتباطاً ضعيفاً فقط بأداء التحسين الفعلي. على سبيل المثال، أدت نماذج اللغة أداءً جيداً نسبياً في مكتبتي Laser-OSC وKraken-ES رغم انزياحات النطاق الكبيرة.
2. التكيف مع النطاق يحسن الكفاءة بشكل كبير
فعالية الصقل (Fine-Tuning): أدى التكيف الصريح مع النطاق إلى تحسين أداء نماذج اللغة الجزيئية باستمرار.
تفوق استراتيجية التسمية المساعدة: من بين استراتيجيات التكيف، حققت استراتيجية التكيف المساعد الموجه بالبصمات أكبر المكاسب المتوسطة. سمحت هذه الاستراتيجية للنسخ المتكيفة من ChemBERTa وMolFormer وT5Chem ليس فقط بالتعافي من ضعف أدائها الأصلي، بل وأيضًا بتجاوز مرجع بصمة مورغان في التأثيرات العالمية.
الآلية: يشير المؤلفون إلى أن التكيف بالتسمية المساعدة يُدخل انحيازاً نحو البنى الجزئية والبيئات الكيميائية المحلية الخاصة بالمكتبة مع الاحتفاظ بالمفاهحات الهيكلية العالمية من التدريب المسبق. هذا الجمع أثبت أنه أكثر فعالية من التمثيلات وحدها أو التعلم التبايني البسيط.
التعلم التبايني والاستمرار في التدريب المسبق: أدى التكيف التبايني أيضًا إلى تحسين الأداء مقارنة بالتضمينات الأصلية، ولكن بمكاسب أقل من نهج التسمية المساعدة. أما الاستمرار في التدريب المسبق باستخدام هدف نمذجة اللغة الأصلي فقد قدم تحسينات ضئيلة.
الأهمية والادعاءات
تؤسس هذه الورقة لحقيقة أنه بينما تعد نماذج اللغة التأسيسية للجزيئات قوية، فإن فائدتها "الجاهزة للاستخدام" في الاكتشاف التكراري تعتمد بشدة على النطاق المستهدف وغالبًا ما تكون أدنى من البصمات التقليدية. المساهمة الرئيسية هي إثبات أن التكيف الصريح مع النطاق باستخدام البيانات الهيكلية فقط (بدون تسميات للخواص) يمكن أن يخفف بفعالية من عدم التطابق بين التمثيل والنطاق.
يدعي المؤلفون ما يلي:
تظل البصمات الجزيئية مرجعًا قويًا للاكتشاف التكراري نظرًا لمتانتها عبر مختلف النطاقات الكيميائية.
يمكن لنماذج ML الممكّنة عبر التكيف مع النطاق أن تتفوق على البصمات، مما يوفر مسارًا لتحسين أكثر كفاءة في استخدام العينات في عمليات الفحص الافتراضي والمختبرات ذاتية القيادة.
التكيف بالتسمية المساعدة (إعادة بناء البصمات) هو استراتيجية عملية وفعالة، لأنها تتطلب فقط الوصول إلى بنى المكتبة المرشحة، مما يجعلها قابلة للتوسع لتشمل مكتبات تحتوي على مليارات الجزيئات.
تخلص الدراسة إلى أن هذه النتائج توفر أساسًا لتطوير أهداف أكثر فعالية للتكيف مع النطاق، مما يتيح في النهاية إنشاء تمثيلات مصممة خصيصًا لحملات اكتشاف محددة بدلاً من الاعتماد على مستخرجات الميزات العامة. ويظل المؤلفون متواضعين في طرحهم، مشيرين إلى أن استنتاجاتهم محدودة بالمكتبات ونماذج البدائل المختبرة، وأن التحقق من صحة هذه النتال عبر توزيعات جزيئية أوسع يعد أمرًا قيمًا ولكنه صعب حاليًا خارج مجال اكتشاف الأدوية بسبب ندرة البيانات.