EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

ملخص تقني: EvoStruct

المشكلة: انهيار المفردات في تصميم الـ CDR القائم على الشبكات العصبية الرسومية (GNN)
تعتمد الطرق الحالية المتطورة لتصميم المناطق المحددة للتكامل (CDRs) في الأجسام المضادة بشكل كبير على الشبكات العصبية الرسومية المتكافئة (Equivariant GNNs). وبينما تحقق هذه الطرق معدلات عالية في استعادة التسلسل، إلا أنها تعاني من نمط فشل حرج يُسمى "انهيار المفردات" (Vocabulary Collapse). في هذه الظاهرة، تفشل النماذج المدربة على بيانات هيكلية محدودة (حوالي 3,000 معقد من الأجسام المضادة والمستضدات) في تعلم التوزيع الكامل للأحماض الأمينية؛ وبدلاً من ذلك، تفرط في التنبؤ بمجموعة فرعية ضيقة من البقايا—تحديداً التيروزين والجليسين—بينما تتجاهل البقايا الحرجة وظيفياً ولكنها نادرة مثل التريبتوفان والسيستين والميثيونين.

يحدث هذا الانهيار لأن مشفرات الـ GNN تحاول تعلم أنماط استبدال الأحماض الأمينية من الصفر (de novo) من مجموعات تدريب هيكلية شحيحة، مما يؤدي إلى التخلص من أنماط الاستبدال التطورية الغنية المشفرة في قواعد البيانات التي تحتوي على مئات الملايين من التسلسلات البروتينية. ونتيجة لذلك، تظهر هذه النماذج ما يلي:

1. تراجع التنوع: تنخفض المفردات الفعالة ($V_{eff}$) من حوالي 15.5 الأصلية إلى 3.0–5.5.
2. ضعف تعلم أزواج الارتباط: تفشل النماذج في التقاط الارتباطات المحددة بين أزواج الأحماض الأمينية للباراتوب (الجسم المضاد) والإبيتوب (المستضد).
3. ضعف موضع الاتصال: يكون استعادة التسلسل أقل بكثير في المواضع الملامسة للمستضد مقارنة بالمواضع غير الملامسة، مما يشير إلى الفشل في تعلم فيزياء الارتباط الخاصة بالمستضد.

المنهجية: الجسر بين الأولويات التطورية والهيكلية
لحل هذه المشكلات، يقترح المؤلفون إطار عمل EvoStruct، الذي يربط نموذج لغة بروتيني (PLM) مجمد مع سياق هيكلي ثلاثي الأبعاد عبر محول انتباه متقاطع (cross-attention adapter). تعمل البنية على مسارين متوازيين:

1. المسار التطوري (عمود فقري لـ PLM): يستخدم النموذج نموذج ESM-2 مجمد (650 مليون معلمة) لتوليد تضمينات (embeddings) للسلسلة الثقيلة للجسم المضاد. ومن خلال حجب مواضع الـ CDR أثناء الاستدلال، يوفر ESM-2 أولويات تطورية عالية الجودة ومفردات أحماض أمينية معايرة مستمدة من تدريبه على أكثر من 250 مليون تسلسل.
2. المسار الهيكلي (مشفر GNN): يقوم مشفر GNN متكافئ مع E(3) ومدرك للعلاقات بتشفير الرسم البياني الكامل للمعقد ثلاثي الأبعاد (الجسم المضاد والمستضد). وهو يلتقط الهندسة المكانية، وتفاعلات البقايا، وقرب الإبيتوب. ولإدارة الذاكرة، يقوم الـ GNN باقتصاص سياق المستضد ليشمل أقرب $K_{ag}$ من البقايا للـ CDR.
3. المحول الهيكلي المصغر (Mini Structural Adapter): هذا هو الابتكار الجوهري. يقوم بعملية انتباه متقاطع حيث:
   • الاستعلامات ($Q$): مشتقة من تضمينات ESM-2 للـ CDR (الأولوية التطورية).
   • المفاتيح ($K$) والقيم ($V$): مشتقة من السياق الهيكلي المشفر بواسطة GNN (الـ CDR وبقايا المستضد المقتصة).
     يقوم المحول بإسقاط هذه العناصر في مساحة مشتركة، مما يسمح للتمثيل التطوري بالاستعلام عن: "في أي بيئة هيكلية أنا؟" وتلقي الإجابة الهيكلية من الـ GNN. ثم يتم إسقاط المخرجات مرة أخرى إلى مساحة تضمين ESM-2.
4. رأس التسلسل (Sequence Head): تتم التنبؤات النهائية بواسطة رأس تسلسل يعمل بالكامل ضمن مساحة تضمين الـ PLM، مما يحافظ على معايرة المفردات الخاصة بـ ESM-2.

استراتيجية التدريب
يستخدم EvoStruct نظام تدريب محدد لمنع النسيان الكارثي للأولويات التطورية أثناء التكيف مع المهام الهيكلية:

• إلغاء التجميد التدريجي (Progressive Unfreezing): اتباعاً لمنهج Howard & Ruder (2018)، يتم في البداية تجميد عمود ESM-2 الفقري بينما يتم تدريب المحول والـ GNN. تلي ذلك مراحل لاحقة يتم فيها إلغاء تجميد طبقات الـ Transformer العليا تدريجياً، وأخيراً ضبط جميع المعلمات (fine-tuning).
• انتظام الاتساق R-Drop: لضمان المتانة ضد تباينات الـ dropout، يقوم النموذج بعمليتي تمرير أمامي بـ أقنعة dropout مختلفة ويفرض عقوبة على عدم الاتساق بين خسائر التسلسل الناتجة.
• خسارة متعددة المهام: يجمع الهدف بين خسارة تقاطع المعلومات المتقاطعة للتسلسل (sequence cross-entropy)، وخسارة الإحداثيات (Huber)، وخسارة تباين الأزواج (InfoNCE)، وخسارة الإرساء (docking loss)، وخسية الظل للباراتوب (pairwise distance supervision).

المساهمات الرئيسية

1. التشخيص الكمي: تقدم الورقة تحليلاً منهجياً لانهيار المفردات في تصميم CDR باستخدام مقاييس المفردات الفعالة ($V_{eff}$) وارتباط أزواج الارتباط، كاشفة أن طرق GNN تستعيد فقط 20-35% من تنوع الأحماض الأمينية الأصلي.
2. التكيف المبتكر: يقوم بتكييف نموذج الربط بين PLM والهيكل خصيصاً لتصميم CDR، مع تقديم إلغاء التجميد التدريجي وانتظام R-Drop لمعالجة المقايضة الفريدة بين التنوع والدقة في هذا المجال.
3. التحقق التجريبي: تثبت الدراسة أن معايرة مفردات PLM يمكن نقلها بنجاح إلى تصميم CDR، مما يكسر المقايضة التقليدية حيث تأتي الدقة العالية عادةً على حساب التنوع المنخفض.

النتائج
عند تقييمه على معيار CHIMERA-BENCH مقابل 11 نموذجاً مرجعياً (بما في ذلك GNNs، ونماذج الانتشار، والطرق ذاتية الانحدار)، حقق EvoStruct:

• أعلى استعادة للتسلسل: 0.43 لاستعادة الأحماض الأمينية (AAR)، وهو تحسن نسبي بنسبة 16% عن أفضل نماذج GNN المرجعية (0.37).
• أدنى درجة غموض (Perplexity): 1.88 (انخفاض بنسبة 43% مقارنة بـ RAAD)، مما يشير إلى تنبؤات أكثر ثقة ومعايرة.
• استعادة التنوع: حقق مفردات فعالة ($V_{eff}$) قدرها 12.4، مستعيداً 80% من التنوع الأصلي، مقارنة بـ 4.7–5.3 للنماذج المرجعية لـ GNN. كما أنتج تنوعاً في الأحماض الأمينية أكبر بمقدار 2.3 ضعفاً.
• تحسين ارتباط الارتباط: حقق أعلى ارتباط لأزواج الباراتوب-الإبيتوب ($r=0.73$) وأعلى ارتباط لإثراء الواجهة ($r=0.81$)، مما يشير إلى نجاح توجيه معلومات المستضد إلى رأس التسلسل.
• الجودة الهيكلية: أنتج هياكل خلفية للـ CDR بـ RMSD قدره 1.84 Å، وهو ما يضاهي أفضل طرق GNN.

الأهمية والقيود
تدعي الورقة أن EvoStruct يحل الفشل المنهجي لـ GNNs في الاستفادة من الأولويات التطورية، مما يثبت أن الربط بين PLMs المجمدة والمشفرات الهيكلية هو استراتيجية فعالة لتصميم الأجسام المضادة. كما تؤكد أن معايرة مفردات نماذج مثل ESM-2 قابلة للنقل إلى تصميم CDR، مما يسمح للنماذج بتحقيق الدقة والتنوع في آن واحد.

ومع ذلك، يتسم المؤلفون بالتواضع فيما يتعلق بمقاييس الارتباط. فبينما يتفوق EvoStruct في جودة التسلسل، فإنه لا يحقق أعلى مقاييس واجهة الارتباط (مثل $fnat$ و DockQ)؛ ومن الجدير بالذكر أن RefineGNN (الذي لا يشترط المستضد) حقق درجات ارتباط أعلى قليلاً. يعزو المؤلفون ذلك إلى أن محول الانتباه المتقاطع لا يستغل المعلومات الهيكلية للمستضد بشكل كامل للتنبؤ بالواجهة، ويشيرون إلى أن استعادة موضع الاتصال تظل تحدياً لجميع الطرق. ويقترحون أن العمل المستقبلي يجب أن يستكشف بنيات محولات أغنى وأهدافاً بديلة لتحسين تنبؤات الارتباط الخاصة بالمستضد.