Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
تُظهر هذه الورقة البحثية أنه في حين أن التدريب المسبق ذاتي الإشراف القائم على نموذج LeJEPA يُنتج تمثيلات جزيئية عالية الجودة تتفوق بشكل كبير على التهيئة العشوائية في اختبار التقصي المجمد وتكمل البصمات التقليدية، إلا أن فوائده لا تترجم بشكل قوي إلى مكاسب في الأداء في المهام اللاحقة من خلال الضبط الدقيق القياسي، مما يشير إلى أن الجمع على مستوى الميزات هو الاستراتيجية المثلى للاستفادة من هذه التضمينات المدربة مسبقاً.
تُعد الجزيئات هي وحدات البناء الأساسية للحياة والطب، ولكن بالنسبة للكمبيوتر، فإن الدواء ليس سوى خريطة معقدة من الذرات المتصلة بالروابط. لعقود من الزمن، حاول العلماء تعليم الذكاء الاصطناعي قراءة هذه الخرائط، آملين في التنبؤ بالهياكل الكيميائية الجديدة التي ستصبح أدوية فعالة. ويكمن التحدي في أنه بينما توجد مئات الملايين من الجزيئات المحتملة الشبيهة بالأدوية، فإن البيانات المتوفرة لدينا حول أي منها يعمل بالفعل نادرة ومكلفة الإنتاج. ولحل هذه المشكلة، لجأ الباحثون إلى استراتيجية مستعارة من كيفية تعلم البشر: التدريب المسبق. فتماماً كما يتعلم الطفل مفاهيم عامة عن العالم قبل دراسة موضوعات محددة، يمكن تدريب نموذج كمبيوتر على مكتبة ضخمة من الهياكل الكيميائية غير المصنفة لتعلم القواعد الأساسية للكيمياء، على أمل أن تساعد هذه المعرفة العامة في حل مشكلات محددة لاحقاً، مثل العثور على مضاد حيوي جديد.
لقد شرع فريق من الباحثين في اختبار طريقة جديدة ومبسطة لتعليم هذه النماذج، باستخدام طريقة تسمى LeJEPA. فبدلاً من محاولة إعادة بناء كل تفصيل صغير لجزيء ما أو مقارنته بآلاف الأمثلة الأخرى، تطلب هذه الطريقة من الكمبيوتر التنبؤ بالصورة الكاملة بناءً على رؤية جزئية. تخيل إظهار جزء من جزيء للنموذج وسؤاله عن تخمين خصائص الهيكل بأكمله. وللحفاظ على عدم اعتماد النموذج على أنماط بسيطة، أضاف الباحثون قاعدة رياضية تجبر الفهم الداخلي للكمبيوتر للجزيئات على أن يكون متنوعاً ومنظماً جيداً، بدلاً من الانهيار في إجابة واحدة عديمة الفائدة. وقد اختبروا هذا النهج في تحديين رئيسيين: معيار قياسي للتنبؤ بنشاط دواء فيروس نقص المناعة البشرية (HIV)، ومجموعة بيانات محددة للعثور على مضادات حيوية جديدة، حيث لا يمثل سوى جزء ضئيل جداً من المركبات المختبرة فعالية حقيقية.
وكشفت النتة عن تحول مفاجئ في كيفية تعلم هذه النماذج. فعندما قام الباحثون بتجميد "دماغ" الكمبيوتر بعد التدريب المسبق واكتفوا بمجرد مطالبته بتصنيف الجزيئات دون تعليم إضافي، كان النموذج المدرب مسبقاً أفضل بكثير من النموذج الذي بدأ من الصفر. ففي اختبار HIV، حقق النموذج المدرب مسبقاً درجة 0.788، وهي قفزة كبيرة عن درجة 0.665 التي حققها النسخة غير المدربة. وقد أثبت هذا أن الطريقة نجحت في تعلم تمثيل غني ومفيد للهياكل الكيميائية. ومع ذلك، عندما حاول الباحثون استخدام هذه المعرفة لتحسين أداء النموذج في المهام الفعلية عبر عملية "الضبط الدقيق" (fine-tuning)، تلاشى هذا التفوق إلى حد كبير. ففي مجموعة بيانات المضادات الحيوية، لم يتفوق النموذج المدرب مسبقاً باستمرار على النموذج غير المدرب، وفي اختبار HIV، اختفى التحسن تماماً بمجرد السماح للنموذج بتعديل أوزانه. وكانت الحالة الوحيدة التي أظهر فيها النموذج المدرب مسبقاً فائدة واضحة وموثوقة هي في اختبار محدد وصعب حيث كانت الهياكل الكيميائية جديدة تماماً على بيانات التدريب، وحتى في تلك الحالة، كان التحسن هشاً ويعتمد بشدة على كيفية تقسيم البيانات.
اكتشف الباحثون أن القيمة الحقيقية لهذا التدريب المسبق لا تكمن في استبدال الأدوات الموجودة، بل في تكاملها معها. فقد وجدوا أن فهم الكمبيوتر المتعلم للجزيئات كان أكثر فعالية عندما تم دمجه مع وصف كيميائي تقليدي مصمم يدوياً يُعرف باسم "البصمة" (fingerprint). وعندما أخذوا الجزء الأكثر فائدة من معرفة النموذج المدرب مسبقاً وربطوه بهذه البصمة القياسية، كان النظام المدمج يؤدي بشكل أفضل من كلا الجزأين وحدهما. وقد رفع هذا النهج الهجين معدل النجاح في اختبار HIV إلى 0.830، وهو تحسن ملحوظ لم يستطع لا "البصمة" ولا "النموذج المدرب مسبقاً" تحقيقه بمفردهما. وتشير الدراسة إلى أنه على الرغم من أن طريقة التدريب المسبق الجديدة تتعلم بالفعل فهماً أعمق وأكثر متانة للكيمياء يصمد أمام التغيرات في الهيكل الكيميائي، إلا أنها لا تترجم تلقائياً إلى أداء أفضل عند استخدامها بالطريقة القياسية. بدلاً من ذلك، تكمن قوتها العظمى في إضافة طبقة من الرؤية الهيكلية التي تعمل بشكل أفضل عند اقترانها بالطرق الراسخة، مما يوفر وسيلة جديدة لبناء أدوات أكثر موثوقية لاكتشاف الأدوية.
ملخص تقني: التدريب المسبق ذاتي الإشراف لترميز الرسوم البيانية الجزيئية باستخدام LeJEPA
بيان المشكلة بينما أحدث التدريب المسبق ذاتي الإشراف ثورة في نماذج اللغات والرؤية، لا تزال فائدته لشبكات الرسوم البيانية العصبية الجزيئية (GNNs) محل جدل. في الكيمياء، تعتبر البيانات المصنفة نادرة ومكلفة، ومع ذلك فإن فضاء الجزيئات القابلة للتخليق شاسع للغاية. إن نموذج "التدريب المسبق ثم الضبط الدقيق" السائد، والناجح في المجالات الأخرى، قد حقق نتائج متباينة في التنبؤ بخصائص الجزيئات. غالبًا ما تعاني أهداف التدريب المسبق ذاتي الإشراف الحالية (التباينية، والتوليدية، والتنبؤية) في تقديم مكاسب قوية على النماذج المرجعية الخاضعة للإشراف والمصممة يدويًا باستخدام الواصفات اليدوية. يستقصي هذا العمل ما إذا كان تدريب مُرمز الرسوم البيانية الجزيئية مسبقًا على مجموعة بيانات غير مصنفة ضخمة باستخدام بنية محددة، وهي LeJEPA، يحسن التنبؤ بالخصائص اللاحقة، وإذا كان الأمر كذلك، فكيف يتجلى هذا النفع.
المنهجية قام المؤلفون بتكييف LeJENA (بنية التضمين المشترك ذات الفضاء الإقليدي الكامن - Latent-Euclidean Joint Embedding Predictive Architecture) لتناسب الرسوم البيانية الجزيئية. وخلافًا لنماذج JEPA التقليدية التي تعتمد على بنيات غير متماثلة (معلمون ذوو زخم، وتوقف التدرج، وشبكات تنبؤ)، يستخدم LeJEPA تصميمًا خاليًا من التنبؤ يتم تنظيمه بواسطة تنظيم غاوسي متماثل مرسوم تخطيطيًا (SIGReg).
البنية: يقوم المُرمز بخرائط الرسم البياني للجزيء G إلى تضمين z ذي K بُعد. تم تقييم بنيتين أساسيتين:
محول الرسم البياني GPS: نموذج هجين يجمع بين تمرير الرسائل المحلي (GINE) وبين الانتباه الذاتي متعدد الرؤوس العالمي، مستخدمًا ترميزات موضعية للمسارات العشوائية.
شبكة D-MPNN بأسلوب Chemprop: شبكة تمرير رسائل موجهة.
هدف التدريب المسبق: تم تدريب النموذج على حوالي 2.9 مليون جزيء منتقاة من ChEMBL بناءً على النشاط الحيوي. الهدف هو تقليل مجموع مرجح لجزئين:
خسارة التنبؤ (Lpred): لكل جزيء، يتم إنشاء رؤى متعددة (رؤيتان عالميتان مع فساد طفيف، و8 رؤى محلية عبر رسوم بيانية فرعية لـ BFS). يجب على المُرمز التنبؤ بمركز رؤى الرؤى العالمية من خلال الرؤى المحلية. ومن الأهمية بمكان أن الواصفات الفيزيائية-الكيميائية (RDKit) ملحقة فقط بالرؤى العالمية لمنع الحلول البديهية حيث يتجاهل النموذج البنية.
خسارة SIGReg (LSIGReg): يعمل هذا المنظم على منع انهيار التمثيل من خلال دفع توزيع تضمين الدفعة نحو توزيع غاوسي متماثل N(0,I). ويستخدم إحصائية Epps–Pulley لمقارنة دالة المميزة التجريبية لإسقاطات أحادية البعد للتضمينات مقابل التوزيع الطبيعي القياسي عبر 1024 اتجاهًا عشوائيًا.
بروتوكول التقييم: تم تقييم المُرمزات المدربة مسبقًا على مهمتين تحت بروتوكولات صارمة متعددة البذور وقائمة على Bootstrap:
النشاط المضاد للمضادات الحيوية: مجموعة بيانات تضم 39,332 مركبًا ضد Staphylococcus aureus (Wong et al.)، باستخدام تقسيمات عشوائية وتقسيمات الهيكل (Bemis-Murcko).
ogbg-molhiv: معيار قياسي لتثبيط إعادة تكاثر فيروس نقص المناعة البشرية (HIV) مع تقسيم هيكلي ثابت.
المجسات المجمدة: يُظهر التدريب المسبق تمثيلًا أفضل بشكل ملحوظ. في ogbg-molhiv، حقق تضمين LeJEPA المجمد ROC-AUC قدره 0.788 مقابل 0.665 للمُرمز ذي البداية العشوائية (زيادة قدرها +0.123)، ليصل إلى نطاق نماذج GNN ذاتية الإشراف المنشورة. وفي مهمة المضادات الحيوية، تفوق التضمين المدرب مسبقًا المجمد (AUPPR 0.159) على كل من البداية العشوائية (0.082) وواصفات RDKit وحدها (0.122).
الضبط الدقيق: هذه الميزة التمثيلية لا تترجم بشكل قوي إلى مكاسب في الضبط الدقيق اللاحق.
في التقسيم العشوائي للمضادات الحيوية، لم يظهر الضبط الدقيق أي مكسب على التدريب من الصفر.
في التقسيم الهيكلي للمضادات الحيوية، أظهر تقسيم معياري واحد مكسبًا كبيرًا (+0.041 AUPRC)، لكن هذا التأثير تلاشى عند تكراره عبر خمسة تقسيمات هيكلية مختلفة (الفرق المجمع Δ = +0.013، p=0.095).
في ogbg-molhiv ومع بنية D-MPNN، كانت مكاسب الضبط الدقيق معدومة.
التكامل مع البصمات:
وجد المؤلفون أن التضمين المدرب مسبقًا متكامل مع بصمات Morgan المصممة يدويًا، ولكن فقط عندما يتم عزل الفضاء المعلوماتي للتضمين.
يتشبع التضمين عند 16-32 بُعدًا فعالًا، بينما تتحسن البصمات حتى 1024 بت.
عند مطابقة الأبعاد (128)، تفوقت البصمة على التضمين في مجموعات التحقق، لكنها قلّ أداؤها في الهياكل الاختبارية المزاحة. أظهر التضمين قدرة فائقة على المتانة تجاه إزاحة الهياكل.
الدمج على مستوى الميزات: أدى تقليص التضمين المدرب مسبقًا إلى 32 بُعدًا (عبر PCA) ودمجه مع بصمة Morgan بطول 1024 بت إلى زيادة ROC-AUC لاختبار ogbg-molhiv من 0.803 إلى 0.830 (Δ = +0.027، p=0.014).
والأهم من ذلك، أن هذه المكسب كان خاصًا بالتضمين المدرب مسبقًا؛ حيث إن دمج تضمين غير مدرب (عشوائي) لم يقدم أي فائدة، مما يؤكد أن المكسب ينبع من البنية المتعلمة، وليس مجرد إضافة أبعاد.
أداء الخط المرجعي:
في مهمة المضادات الحيوية، طابقت أو تجاوزت مجموعة شجرية بسيطة فوق 217 من واصفات RDKit (بدون شبكة رسوم بيانية) أداء نموذج Chemprop القائم على الرسوم البيانية والخط المرجعي المنشور، مما يشير إلى أن شبكات الرسوم البيانية ليست ضرورية تمامًا لهذه المهمة المحددة.
الأهمية والادعاءات يخلص البحث إلى أن تدريب LeJEPA المسبق ينتج تمثيلًا جزيئيًا أفضل بشكل ملموس يلتقط البنية الفيزيائية-الكيميائية ويتعمم جيدًا على الأنواع الكيميائية الجديدة (كما يتضح من المجسات المجمدة والمتانة تجاه إزاحة الهياكل). ومع ذلك، يجادل المؤلفون بأن هذه الفائدة لا تتحقق من خلال الضبط الدقيق القياسي، الذي غالبًا ما يفشل في استغلال الأوزان المدربة مسبقًا بشكل أفضل من البدايات العشوائية أو الميزات المصممة يدويًا.
بدلاً من ذلك، تتحقق قيمة التدريب المسبق من خلال الدمج على مستوى الميزات. يوفر التضمين المدرب مسبقًا المتانة تجاه إزاحة التوزيع (تغيير الهياكل) التي تفتقر إليها البصمات المصممة يدويًا، ولكن فقط عندما يتم تقليص التضمين إلى فضاءه المعلوماتي ودمجه مع التمثيلات الراسخة. يضع المؤلفون عملهم كدراسة ميكانيكية توضح أنه بينما يكون التمثيل متفوقًا، فإن فائدته اللاحقة مشروطة بكيفية دمجه، بدلاً من كونه بديلًا عالميًا للخطوط المرجعية الخاضعة للإشراف. ويؤكد العمل أن "المكسب" غالبًا ما يكون غير مرئي في مجموعات التحقق ويظهر فقط تحت ظروف إزاحة التوزيع، مما يجعل من الصعب اختياره عبر ضبط المعلمات القياسي.
القيود المعترف بها يشير المؤلفون إلى أن أدلة الضبط الدقيق هي الجزء الأضعف في الدراسة، حيث لم يتكرر نتيجة التقسيم الهيكلي الوحيدة ذات الدلالة عبر عدة تقسيمات. كما يقرون بأن مُرمزهم المدمج لا يحقق درجات مطلقة في أعلى المستويات مقارنة بالنماذج الأكبر الخاضعة للإشراف، وأن مجموعة التدريب المسبق لا تغطي بالكامل الفضاء الكيميائي لخفض المهام، مما يضع سقفًا لإمكانات النقل.