ملخص تقني: ProtSent (محولات الجمل البروتينية)

بيان المشكلة

تنتج نماذج لغة البروتين (pLMs)، مثل ESM-2، تمثيلات لكل ثمالة (per-residue representations) تلتقط بفعالية المعلومات التطورية والتركيبية. ومع ذلك، فإن تمثيلات تسلسل المتوسط (mean-pooled sequence embeddings) القياسية الخاصة بها لا يتم تدريبها صراحةً لتعكس التشابه الوظيفي أو التطوري أو التركيبي بين البروتينات الكاملة. وبناءً على ذلك، فإن هندسة فضاء التضمين (embedding space geometry) لا تضمن تقارب البروتينات ذات الصلة بيولوجياً مكانياً. ويعيق هذا القصور استخدام عمليات البحث عن أقرب الجيران (nearest-neighbor lookups) البسيطة للمهام اللاحقة، والتي تتطلب عادةً تدريب مصنفات (probes) خاصة بالمهمة فوق التضمينات المجمدة. يستلهم المؤلفون تشابهاً مع معالجة اللغات الطبيعية (NLP)، حيث واجهت نماذج نمط BERT قيوداً مماثلة حتى تقديم Sentence-BERT، الذي استخدم التعلم التبايني (contrastive learning) لإعادة هيكلة فضاء التضمين بحيث تصبح الجمل المتشابهة دلالياً جيراناً لبعضها البعض.

المنهجية

يقترح المؤلفون ProtSent (محولات الجمل البروتينية)، وهو إطار عمل للضبط الدقيق التبايني المصمم لتكييف النماذج الأساسية لـ pLM لتصبح نماذج تضمين عامة الأغراض.

البنية والتدريب

• النموذج الأساسي (Backbone): يستخدم إطار العمل ESM-2 (بنسختيه ذات 35 مليون و150 مليون معلمة) مغلفاً في إطار عمل SentenceTransformers. يتم ضبط جميع طبقات الـ Transformer بالكامل عبر التدريب النهائي (end-to-end).
• توليد التضمين: يتم الحصول على تضمينات مستوى التسلسل عن طريق حساب متوسط الثمالات غير الحشوية (non-padding residue tokens).
• دالة الخسارة (Loss Function): الهدف الرئيسي هو MultipleNegativesRankingLoss (MNRL)، والذي يحسن تشابه جيب التمام (cosine similarity) بين الأزواج الإيجابية مع معاملة الإيجابيات الأخرى في الدفعة (batch) كسلبيات. بالنسبة لبيانات المسح الطفري العميق (DMS)، التي توفر درجات لياقة مستمرة بدلاً من أزواج منفصلة، يستخدم المؤلفون CoSENTLoss، وهو هدف قائم على الترتيب يحافظ على ترتيب الدرجات المستمرة.
• مصادر البيانات: تم تدريب ProtSent على خمسة مجموعات بيانات متباينة لأزواج البروتينات، تم أخذ عينات منها بطريقة "الدوران" (round-robin) لضمان التمثيل المتساوي لمختلف الإشارات البيولوجية:
  1. عائلات Pfam: 32.9 مليون نطاق يمثل التماثل التطوري والوظيفي.
  2. سلبيات Pfam الصعبة (Pfam Hard Negatives): 1.8 مليون مرساة (anchors) مع سلبيات "صعبة" مشتقة تركيبياً (طفرات ذات تشابه تسلسلي عالٍ ولكن آثار ضارة) لفرض تمييز دقيق.
  3. أزواج AlphaFold DB (AFDB) التركيبية: 133.9 مليون تسلسل مجمعة حسب عناقيد Foldseek التركيبية، مما يوفر إشرافاً تركيبياً واسع النطاق.
  4. STRING-DB: 36.5 مليون زوج من تفاعلات البروتين-البروتين (بثقة متوسطة) تلتقط الارتباطات الوظيفية.
  5. المسح الطفري العميق (DMS): 2.2 مليون زوج من ProteinGym والبيانات السريرية، تُستخدم كإشارة انحدار مساعدة عبر CoSENTLoss.
• بروتوكول التقييم: يقيم المؤلفون أداء النموذج باستخدام بروتوكول التضمين المجمد (frozen embedding protocol)؛ حيث يقوم النموذج المضبوط بدقة بتشفير التسلسلات، ويتم تدريب مسبار k-nearest-neighbor (KNN) بسيط (k=3، مسافة إقليدية) على التضمينات الناتلة. يقيس هذا النهج الجودة الجوهرية لهندسة فضاء التضمين بدلاً من قدرة المصنف المتعلم.

المساهمات الرئيسية

1. تقديم إطار العمل: تقديم ProtSent، وهو إطار عمل للضبط الدقيق التبايني يجمع بين خمس مجموعات بيانات مختلفة لأزواج البروتينات مع أخذ عينات بطريقة الدوران لإنشاء تضمينات عامة الأغراض.
2. مكاسب الأداء: إثبات أن الضبط الدقيق التبايني يحقق تحسينات جوهرية في المهام التي تعتمد على جودة جوار التضمين، وتحديداً في اكتشاف التماثل البعيد واسترجاع البنية، دون الحاجة لإشراف خاص بالمهمة.
3. القابلية للتوسع: التحقق من أن التحسينات متسقة عبر حجمين من النماذج (35 مليون و150 مليون معلمة) وتمتد عبر مهام بيولوجية متنوعة (الوظيفة، البنية، الهندسة، والطفرات).
4. تحليل الاستئصال (Ablation Analysis): عزل منهجي لمساهمة كل مصدر لبيانات التدريب واستراتيجية أخذ العينات، مما كشف أن عائلات Pfam توفر الإشارة المهيمنة بينما قد تؤدي السلبيات الصعبة إلى تدرجات حادة للغاية لبعض المهام.
5. إتاحة الموارد: الإصدار العام للنماذج، الكود، بيانات التدريب، ووصفات التدريب.

النتائج

قيم المؤلفون ProtSent على 23 مهمة لاحقة (تصنيف ثنائي، تصنيف متعدد الفئات، وانحدار) وعلى معيار استرجاع بنيوي (SCOPe-40).

• أداء مسبار KNN:
  • ESM-2 150M: تحسن في 15 مهمة من أصل 23. تشمل المكاسب الملحوظة +105% في اكتشاف التماثل البعيد، و +17% في التنبؤ بتأثير المتغيرات (GB1)، و +19.9% في Recall@1 لاسترجاع البنية في SCOPe-40.
  • ESM-2 35M: تحسن في 16 مهمة من أصل 23. تشمل المكاسب الملحوظة +40.5% في التماثل البعيد و +15.5% في Recall@1 لـ SCOPe-40.
  • تفاصيل المهام: أظهرت مهام التصنيف الثنائي (مثل التنبؤ بالتفاعل البروتيني-البروتيني، والذوبانية) تحسينات واسعة. أظهرت مهام الانحدار نتائج مختلطة؛ فبينما تحسنت لياقة الفلورة والبيتا-لاكتاماز، تدهورت بعض مهام الاستقرار، مما يشير إلى أن الهدف التبايني لا يحافظ دائماً على العلاقات الترتيبية داخل الجوار الطفري لبروتين واحد.
• الاسترجاع التركيبي (SCOPe-40): حقق ProtSent تحسينات ثابتة في double-digit في Recall@K عبر جميع العتبات، مما يشير إلى أن فضاء التضمين يعيد تنظيم نفسه بنجاح لوضع البروتينات المتشابهة تركيبياً في مكان أقرب.
• التعلم من عينات قليلة (Few-Shot Learning): في الأنظمة ذات البيانات المنخفضة (N=50 إلى N=1000)، أظهر ProtSent تحسينات نسبية كبيرة مقارنة بالنموذج الأساسي، لا سيما في المهام التي تتطلب تجميعاً تركيبياً أو وظيفياً (مثل +244.5% في التماثل البعيد عند N=100).
• رؤى الاستئصال:
  • أدى حذف عائلات Pfam إلى أكبر انخفاض في الأداء، مما يؤكد أن التماثل التطوري هو الإشارة الأساسية.
  • أدى حذف السلبيات الصعبة (Hard Negatives) بشكل مفاجئ إلى تحسين متوسط الفرق عبر المهام، مما يشير إلى أن السلبيات الموجودة داخل الدفعة (in-batch negatives) وحدها قد تكون كافية وأن السلبيات الصعبة قد تزعج فضاء التضمين لبعض المهام.
  • أدى حذف أزواج AlphaFold DB إلى تقليل الأداء بشكل كبير في مهام التصنيف التركيبي والإنزيمي، مما يسلط الض الضوء على قيمة الإشراف التركيبي.
  • أثبتت أخذ العينات بطريقة الدوران (Round-robin sampling) أنها قوية، حيث أعطت العينات المتناسبة نتائج مماثلة.

الأهمية والادعاءات

يدعي البحث أن ProtSent نجح في إعادة هيكلة فضاء تضمين البروتين لالتقاط الوظيفة والبنية بشكل أفضل من خلال الضبط الدقيق التبايني، دون الحاجة لإشراف خاص بالمهمة. يضع المؤلفون ProtSent كـ "نموذج أساسي للاستخدام العالمي"، بحجة أنه إذا نجح التدريب التبايني في إعادة هيكلة بنية الجوار، فإن مسبار تحديد الهوية للجيران البسيط يجب أن يكون أكثر كاشف حساس للتحسن.

يتميز هذا العمل عن الجهود السابقة (مثل ProtTucker و PLMSearch) بحجمه (التدريب على أكثر من 70 مليون زوج بروتيني من خمسة مصادر) واتساعه (التقييم على 23 مهمة متنوعة بدلاً من محور تشابه واحد). يقر المؤلفون بالقيود، مشيرين إلى أن بيانات التدريب مقيدة بأنواع العلاقات التي تغطيها المصادر الخمسة، وأنهم لا يقارنون مباشرة مع أنظمة استرجاع متخصصة على معايير متطابقة. ويخلصون إلى أن الضبط الدقيق التبايني هو استراتيجية قابلة للتطبيق على نطاق واسع لتكييف نماذج pLM المسبقة التدريب لأغراض الاسترجاع، والتجميع، والنقل في حالات التعلم من عينات قليلة.