Monroe: A Molecular Foundation Model for In-Context Probabilistic Inference
تقدم هذه الورقة البحثية "مونرو" (Monroe)، وهو نموذج تأسيسي جزيئي قابل للتوسع تم تدريبه على 81 مليون جزيء مع تمثيلات كيميائية فراغية محسنة وأهداف تدريب مبتكرة، والذي يحقق أداءً هو الأفضل في فئته في التنبؤ بنشاط الاختبار الحيوي من خلال الاستفادة من نموذج ملائم للبيانات المسبقة (TabPFN) للاستدلال الاحتمالي في السياق، ويُظهر أن استراتيجية التكيف اللاحقة هذه تعمل أيضاً على تحسين النماذج الحالية بشكل كبير مثل "ميني مول" (MiniMol) و"كيميليون" (CheMeleon).
المؤلفون الأصليون:Blazej Banaszewski, Andrew W. Fitzgibbon
في السباق لاكتشاف أدوية جديدة، يواجه العلماء عقبة مستعصية: الطريقة الأكثر موثوقية لمعرفة ما إذا كان الجزيء سيعالج مرضاً ما هي بناؤه واختباره في المختبر. هذه العملية بطيئة، ومكلفة، ومحدودة بعدد المرافق المتخصصة التي يمكنها إجراء هذه التجارب. وبسبب ذلك، غالباً ما تكون البيانات المتاحة لتدريب البرامج الحاسوبية شحيحة. وللتغلب على ذلك، لجأ الباحثون إلى استراتيجية تشبه كيفية تعلم الطفل التعرف على الحيوانات قبل رؤية كلب أو قطة محددة. فقد قاموا بتدريب نماذج حاسوبية ضخمة على مكتبات هائلة من الهياكل الكيميائية وخصائصها الفيزيائية الأساسية، مما يعلم البرنامج حساً عاماً بكيفية سلوك الجزيئات. وبمجرد بناء هذا الأساس، يمكن تعديل النموذج للتنبؤ بالنتائج البيولوجية المحددة، مثل ما إذا كان المركب سيرتبط بفيروس ما، حتى عندما تتوفر نتائج تجريبية قليلة جداً لتلك المهمة المحددة. تهدف هذه الطريقة، المعروفة باسم نموذج التأسيس الجزيئي، إلى سد الفجوة بين العالم اللامتناهي من المواد الكيميائية الممكنة والبيانات المحدودة لاختبار الأدوية في العالم الحقيقي.
قدم فريق من الباحثين نموذجاً جديداً يسمى "مونرو" (Monroe)، والذي يمثل خطوة كبيرة للأمام في هذا المجال. يحمل الاسم تكريماً لإليزابيث مونرو بوجز، وهي رائدة في الكيمياء الحاسوبية، ولكن النموذج نفسه هو نظام تعلم آلي حديث مصمم لفهم اللغة المعقدة للجزيئات. درب الباحثون "مونرو" على مجموعة بيانات ضخمة تحتوي على أكثر من 81 مليون جزيء، وهو مقياس أكبر بكثير من المحاولات السابقة. تضمنت مجموعة البيانات هذه حسابات كيمياء كمية مفصلة، والتي تصف طاقة وبنية الذرات، بالإضافة إلى بيانات من آلاف المقايسات البيولوجية التي تقيس كيفية تفاعل الجزيئات مع الأنظمة الحية. ومن خلال تعريض النموذج لهذا التنوع الهائل من المعلومات، مكن الباحثين النموذج من تعلم القواعد العامة للكيمياء التي تنطبق على أنواع مختلفة من المشكلات، بدلاً من مجرد حفظ أمثلة محددة.
أحد الابتكارات الأكثر أهمية في "مونرو" هو كيفية تعامله مع الشكل ثلاثي الأبعاد للجزيئات، وتحديداً "يدويّتها" (handedness). فالعديد من الجزيئات توجد في شكلين هما صور مرآتية لبعضهما البعض، تماماً مثل اليد اليسرى واليفتى. وبينما تمتلك هذه الصور المرآتية نفس الذرات المتصلة بنفس الترتيب، إلا أنها غالباً ما تتصرف بشكل مختلف تماماً في جسم الإنسان؛ فقد يكون أحدها دواءً، بينما قد تكون صورته المرآتية سامة. غالباً ما تعاني النماذج الحاسوبية القياسية في التمييز بين هذه النسخ لأنها تعتمد على أوصاف رياضية تبدو متطماثلة لكلا الشكلين. يحل "مونرو" هذه المشكلة عن طريق إضافة روابط إضافية صراحة في خريطته الداخلية للجزيء تعمل كعلامات لهذه الاختلافات المرآتية. وهذا يسمح للنموذج بالتمييز بين الشكلين بدقة عالية، وهي قدرة ضرورية للتنبؤ بكيفية عمل الدواء فعلياً في النظام البيولوجي.
قام الباحثون أيضاً بتحسين كيفية تعلم النموذج من بيانات التدريب الخاصة به. فبدلاً من معاملة كل مهمة تعلم كأنها متساوية الأهمية، يستخدم "مونرو" نظام وزن ذكي يقوم بالتعديل تلقائياً لتركيزه. فهو يولي اهتماماً أكبر للمهام التي تكون فيها البيانات واضحة وموثوقة، واهتماماً أقل بالمهام التي تكون مشوشة أو غير مؤكدة. علاوة على ذلك، يتم تدريب النموذج على تنقية البيانات غير المكتملة. في العالم الحقيقي، غالباً ما تكون الأشكال ثلاثية الأبعاد للجزيئات المستخدمة في المحاكاة الحاسوبية تقريبات خشنة. يتعلم "مونرو" أخذ هذه الأشكال الخشنة وتكريرها إلى أشكال أكثر دقة واستقراراً، وهي عملية تساعد النموذج على فهم القواعد الفيزيائية الأساسية التي تحكم الاستقرار الجزيئي. هذه القدرة على "إزالة الضجيج" من البيانات تعزز تنبؤاته للتطبيقات في العالم الحقيقي.
عند اختباره مقابل النماذج الرائدة الأخرى، أظهر "مونرو" أداءً فائقاً، لا سيما في السيناريوهات الأكثر تحدياً المعروفة باسم "منحدرات النشاط" (activity cliffs). وهي حالات تكون فيها جزيئان متطابقان تقريباً في البنية ولكن لهما تأثيرات بيولوجية مختلفة جذرياً. التنبؤ بهذه الاختلافات الحادة أمر صعب للغاية بالنسبة للذكاء الاصطناعي، ومع ذلك تفوق "مونرو" على منافسيه في هذه الاختبارات. وجد الباحثون أيضاً أن طريقتهم في تكييف النموذج مع المهام الجديدة كانت فعالة للغاية. فبدلاً من إعادة تدريب النموذج بالكامل لكل هدف دوائي جديد، استخدموا تقنية تسمه بتعلم قاعدة جديدة من مجموعة صغيرة من الأمثلة في خطوة واحدة، تماماً كما يمكن للإنسان تعلم قاعدة جديدة بعد رؤية أمثلة قليلة فقط. أثبت هذا النهج، الذي طبقوه ليس فقط على "مونرو" بل وأيضاً لتحسين نموذجين آخرين موجودين، أنه استراتيجية قوية وعامة.
تخلص الدراسة إلى أن الجمع بين التدريب المسبق واسع النطاق والتحسينات الهيكلية المحددة، مثل التعامل الأفضل مع اليدوية الجزيئية وتوزين البيانات الذكي، يخلق أداة أكثر قوة لاكتشاف الأدوية. ورغم أن النموذج لا يحل كل مشكلة في التنبؤ الجزيئي، وأن تحدي "منحدرات النشاط" لا يزال صعباً، إلا أن "مونرو" يضع معياراً جديداً لما هو ممكن. إنه يوضح أنه من خلال تعليم الحواسيب فهماً أعمق وأكثر دقة للبنية والسلوك الكيميائي، يمكن للعلماء بناء أدوات تكون مجهزة بشكل أفضل للتنقل في المشهد الواسع والمعقد للأدوية المحتملة، مما قد يسرع الرحلة من فكرة كيميائية إلى علاج منقذ للحياة.
ملخص تقني: Monroe – نموذج تأسيسي جزيئي للاستدلال الاحتمالي في السياق
بيان المشكلة
يعد التنبؤ بنشاط المقايسات الحيوية (Bioassay) في اكتشاف الأدوية محدوداً بطبيعته من حيث البيانات، نظراً للتكلفة العالية، واستهلاك الوقت، والمتطلبات الخاصة للمرافق المخبرية. غالباً ما تعتمد نماذج تعلم الآلة التقليدية على ملاءمة نماذج ذات قدرة منخفضة ومخصصة لمهام معينة مباشرة لهذه المجموعات الصغيرة من البيانات، مما يحد من قدرتها على التعميم. وبينما تهدف النماذج التأسيسية الجزيئية (MFMs) الحديثة إلى تعلم تمثيلات جزيئية قابلة للنقل من بيانات واسعة النطاق، لا تزال هناك تحديات في التعامل مع الكيمياء الفراغية (Stereochemistry)، والموازنة بين أهداف المهام المتعددة، والتكيف مع المهام اللاحقة ذات البيانات الشحيحة دون الوقوع في فخ الإفراط في التخصيص (Overfitting). علاوة على ذلك، تفتقر الاختبارات المعيارية الحالية إلى التقييم الإحصائي الصارم، مما يجعل من الصعب التمييز بين التحسينات الحقيقية في الأداء وبين التباين الناتج عن الصدفة.
المنهجية
يقدم البحث Monroe، وهو نموذج تأسيسي جزيئي جديد يدمج عدة ابتكارات معمارية وتدريبية لمعالجة هذه التحديات.
1. البنية والتمثيل
العمود الفقري (Backbone): يبني Monroe على نموذج GRIT، وهو محول رسومي (Graph Transformer) معزز بالتحيزات الاستقرائية من تعلم الرسوم البيانية. يستخدم ترميزات موضعية للمسار العشوائي (Random-walk positional encodings)، وآليات انتباه رسومية، وعقداً افتراضية لنشر المعلومات العالمية.
الانتباه المتناثر (Sparse Attention): على عكس الانتباه الكثيف القياسي، يقوم Monroe بتقييم الانتباه فقط على الحواف المرصودة، مما يقلل التعقيد إلى O(∣E∣) ويسمح بالتوسع ليشمل الرسوم الجزيئية الكبيرة.
إعادة الهيكلة المدركة للكيمياء الفراغية (Stereochemistry-Aware Rewiring): لمعالجة قصور المشفرات الثابتة دورانياً (والتي لا تستطيع التمييز بين المتماثلات المرآتية أو متصاوغات E/Z بناءً على الإحداثيات وحدها)، يقوم Monroe بتعزيز الرسم البيئي الجزيئي بحواف مساعدة.
متصاوغات E/Z: تربط الحواف "المتوازية" المستبدلات الموجودة في نفس الجانب، بينما تربط الحواف "القطرية" المستبدلات في الأضداد، مما يشفر التكوين الهندسي.
كيرالية R/S: تربط الحواف الشعاعية المستبدل ذو الأولوية الأدنى بالآخرين، بينما تتبع الحواف الحلقية اتجاهاً محدداً (مثل a→b→c→a) لتشفير الترتيب الكيرالي، مما يسمح للشبكة بالتمييز بين المتماثلات المرآتية.
التمثيل الميزاتي (Featurization): تجمع ميزات العقد والحواف بين الأكواد الكيميائية الفئوية (مثل التكافؤ، التهجين)، وواصفات RDKit المستمرة، وأطوال الروابط (عبر دوال الأساس الشعاعي)، وترميزات المسار العشوائي الموضعية.
2. استراتيجية التدريب المسبق
يتم تدريب Monroe مسبقاً على مجموعتي بيانات متكاملتين:
مجموعة بيانات PM6: حوالي 81 مليون جزيء توفر خصائص الكيمياء الكمية شبه التجريبية (62 هدفاً على مستوى الرسم البياني) وبيانات التشكيل ثلاثي الأبعاد (3D conformer).
مجموعة بيانات PCBA: حوالي 1.56 مليون جزيء مع قراءات مقايسة حيوية ثنائية (1,089 مقايسة مفلترة)، توفر إشرافاً نادراً ولكن ذا صلة بيولوجية.
أهداف التدريب:
التعلم متعدد المهام (MTL): يستخدم النموذج توزين عدم اليقين (Uncertainty Weighting) لموازنة الخسائر عبر 1,152 مهمة (62 من PM6، و1,089 من PCBA، و1 لتنقية التشكيل)، مما يقلل تلقائياً من وزن المهام الضوضائية أو المشبعة.
تنقية التشكيل (Conformer Denoising): مستلهماً من Uni-Mol+، يتم تدريب النموذج على استعادة الهياكل المتوازنة عالية الجودة من الإحداثيات الضوضائية (المتداخلة بين تقريبات RDKit والهياكل المحسنة بـ PM6). يتم حساب الخسارة بعد المحاذاة الصلبة المثلى للتعامل مع الثبات الدوراني والترجمي.
إلغاء ارتباط التضمين (Embedding Decorrelation): تُضاف عقوبة التغاير (Covariance penalty) إلى الخسارة لدفع المدخلات غير القطرية في مصفوفة التغاير لبصمة الدفعة (Batch fingerprint covariance) نحو الصفر، مما يجعل التضمينات أكثر شبهاً بالبيانات الجدولية (Tabular-like) ومناسبة للمتنبئات الجدولية اللاحقة.
دوال خسارة خاصة بالمهام: يتم تخصيص دوال الخسارة حسب أنواع الأهداف (مثل Huber للقيم الموقعة، وLog-Huber لمعلمات المقياس، وBeta NLL للنسب المحدودة، وOrdinal Cross-Entropy للعدّات).
3. التكيف اللاحق: التنبؤ في السياق
بدلاً من الضبط الدقيق (Fine-tuning) القياسي، يستخدم Monroe نهج النماذج الملائمة للبيانات المسبقة (PFN) للمهام اللاحقة:
يتم تجميد المشفر المدرب مسبقاً لإنشاء تضمينات ثابتة للجزيئات.
تُشكل هذه التضمينات، مقترنة بملصقات المهام، مجموعة دعم تمر عبر TabPFN، وهو نموذج مدرب لتقريب الاستدلال التنبؤي البائزي (Bayesian posterior-predictive inference) على البيانات الجدولية.
يقوم TabPFN بـ التنبؤ في السياق في تمريرة أمامية واحدة، مما يسمح بالتكيف مع المهمة اللاحقة المحددة دون الحاجة إلى ضبط دقيق قائم على التدرج أو تحسين المعلمات الفائقة.
المساهمات الرئيسية
النطاق والبيانات: التدريب المسبق على مجموعة بيانات ضخمة تضم حوالي 81 مليون جزيء من مجموعة بيانات الكيمياء الكمية PM6، مدمجة مع مقايسات PCBA الحيوية.
التعامل مع الكيمياء الفراغية: استراتيجية إعادة هيكلة الرسم البياني المبتكرة التي تشفر تكوينات E/Z و R/S صراحةً كسمات طوبولوجية، مما يعالج أحد أوجه القصور المعروفة في المشفرات الثابتة دورانياً.
ابتكارات التدريب: دمج تنقية التشكيل، وإلغاء ارتباط التضمين، وتوزين المهام المتعددة القائم على عدم اليقين.
استراتيجية التكيف اللاحق: إثبات أن استبدال الضبط الدقيق القياسي بالاستدلال في السياق عبر TabPFN يحسن الأداء بشكل كبير، خاصة في سيناريوهات البيانات الشحيحة.
التقييم الصارم: اعتماد إطار مقارنة زوجي منضبط (Tukey HSD + Benjamini-Hochberg) لضمان ادعاءات أداء ذات دلالة إحصائية.
التعميم: توضح استراتيجية تعزيز النماذج الحالية (MiniMol و CheMeleon) باستخدام TabPFN (إنشاء MiniMolPFN و CheMeleonPFN) وجود متغيرات جديدة تحقق أعلى مستويات الأداء (SOTA)، مما يشير إلى أن استراتيجية التكيف اللاحقة مستقلة عن النموذج.
النتائج
يقيم البحث Monroe مقابل النماذج الرائدة (MiniMol, CheMeleon, MolFormer) والأساليب الكلاسيكية (GBM مع ECFP4) على اختبارين أساسيين:
Polaris (التعميم): حقق Monroe معدل فوز بنسبة 100% عبر 28 مهمة نشاط حيوي، حيث كان لا يمكن تمييزه إحصائياً عن أفضل طريقة أو كان أفضل منها في جميع المهام. كما حقق أدنى متوسط رتبة (3.71).
MoleculeACE (منحدرات النشاط - Activity Cliffs): يتصدر Monroe جميع المقاييس، محققاً أدنى جذر متوسط مربع الخطأ (RMSE) إجمالي (0.629) وأدنى RMSE للمنحدرات (0.737)، بمعدل فوز 86.7%. يشير هذا إلى أن النموذج أفضل في التقاط التغيرات المحلية في النشاط للجزيئات المتشابهة بنيوياً.
دراسات الاستئصال (Ablation Studies):
الكيمياء الفراغية: يؤدي إزالة تعزيز الكيمياء الفراغية إلى تدهور كبير في الأداء على Polaris. gan تنقية التشكيل: يؤدي إزالة هذا الهدف إلى انهيار معدل الفوز في Polaris وتدهور الأداء في MoleculeACE.
مجموعات البيانات: يؤدي حذف أي من بيانات PM6 أو PCBA إلى إضعاف الأداء بشكل كبير، مما يشير إلى أن كل من الإشارات الفيزيائية والبيولوجية ضرورية.
التكيف: بالنسبة لـ Monroe، فإن استخدام التضمينات المجمدة مع TabPFN يتفوق على كل من الضبط الدقيق الأصلي ومهايئات LoRA.
كفاءة البيانات: يحافظ Monroe على أداء متفوق حتى عند تقليل حجم مجموعة الدعم إلى 10% من البيانات الموسومة، رغم أن الفروقات تتضاءل في أنظمة البيانات شديدة الندرة (أقل من 100 جزيء).
التجميع (Ensembling): يؤدي تجميع Monroe مع نماذج PFN الأخرى (MiniMolPFN, CheMeleonPFN) إلى تحسين الأداء بشكل أكبر، مدفوعاً بتنوع الأخطاء بدلاً من جودة الأعضاء الفردية.
الأهمية والادعاءات
يزعم البحث أن Monroe يمثل خطوة كبيرة للأمام في النمذجة التأسيسية الجزيئية من خلال دمج النماذج الملائمة للبيانات المسبقة (PFN) بفعالية في مسار المفهوم التأسسي الجزيئي. يرى المؤلفون أن الجمع بين التدريب المسبق واسع النطاق، والتعامل الصريح مع الكيمياء الفراغية، والاستدلال الاحتمالي في السياق، يسمح للنموذج بالتعميم جيداً على المهام البيولوجية غير المرئية ومنحدرات النشاط، وهي أمور بالغة الأهمية في اكتشاف الأدوق.
يؤكد العمل أن استراتيجية التكيف اللاحق (باستاستخدام TabPFN) هي تحسين قابل للتعميم، حيث نجحت في تعزيز نموذجين رائدين آخرين (MiniMol و CheMeleon) لإنشاء متغيرات جديدة تحقق أعلى مستويات الأداء. ويخلص المؤلفون إلى أنه بينما يظل التنبؤ بمنحدرات النشاط الحادة مشكلة مفتوحة، فإن Monroe يوفر أساساً قوياً ومفتوح المصدر للتنبؤ بالخصائص الجزيئية يقلل من الاعتماد على الضبط الدقيق الخاص بكل مهمة ويحسن الأداء في السيناريوهات محدودة البيانات. الكود والنماذج متاحة للجمهور لتسهيل المزيد من الأبحاث.