Benchmarking unsupervised protein mutational effect predictors: practical guidelines for protein engineering and reduced accuracy at beneficial residues
تقوم هذه الورقة البحثية بتقييم ثلاثة من أبرز أدوات التنبؤ غير الخاضعة للإشراف بتأثير الطفرات البروتينية باستخدام بيانات المسح الطفري العميق واسعة النطاق لتقديم إرشادات عملية للهندسة البروتينية، مع الكشف في الوقت ذاته عن قصور مستمر في التنبؤ بطفرات اكتساب الوظيفة والبقايا ضمن سياقات هيكلية أو فيزيائية كيميائية محددة.
البروتينات هي الآلات الجزيئية التي تُبقي الحياة مستمرة. فهي تنطوي لتتخذ أشكالاً ثلاثية الأبعاد معقدة للقيام بمهام مثل نقل الأكسجين، أو محاربة العدوى، أو تحفيز التفاعلات الكيميائية. ولأن هذه الأشكال هي التي تحدد وظيفة البروتين، سعى العلماء منذ فترة طويلة لإيجاد طريقة للتنبؤ بكيفية تغيير لبنة بناء واحدة داخل سلسلة البروتين من شأنها أن تغير وظيفته. وتتضمن هذه العملية، المعروفة باسم هندسة البروتين، استبدال حمض أميني بآخر لتحسين أداء البروتين، مثل جعل الإنزيم يعمل بشكل أسرع أو جعل استهداف الدواء يرتبط بقوة أكبر. وبينما أصبحت الحواسيب أدوات قوية لمحاكاة هذه التغييرات، فقد اعتمد المجال بشكل كبير على اختبار مدى قدرة البرامج المختلفة على التنبؤ باستقرار شكل البروتين، بدلاً من مدى قدرتها على تحديد التغييرات المحددة التي تجعل البروتين يعمل بشكل أفضل بالفعل.
وضع فريق من الباحثين من جامعة طوكيو، وجامعة كيتاساتو، والمعهد الوطني للعلوم والتكنولوجيا الصناعية المتقدمة في اليابان، هدفاً لاختبار الفائدة الواقعية لهذه البرامج الحاسوبية. وقد ركزوا على الطرق "غير الخاضعة للإشراف"، وهي خوارزميات تتعلم من كميات هائلة من بيانات البروتين الموجودة دون الحاجة إلى تعليمات محددة أو أمثلة مصنفة لكل بروتين جديد. وقارن الباحثون بين ثلاثة أنواع رئيسية من هذه الأدوات: المحاكاة الجزيئية التي تحسب القوى الفيزيائية، ونماذج لغة البروتين التي تتعلم الأنماط من التاريخ التطوري، ونماذج التعلم الآلي المدربة على هياكل البروتين. وبدلاً من مجرد السؤال عما إذا كانت الحواسيب تستطيع تخمين الحمض الأميني الصحيح، طرحوا سؤالاً أكثر عملية: هل تستطيع هذه الأدوات إخبار العالم بالبقعة المحددة في البروتين التي يجب تعديلها لتحسين وظيفته؟
وللإجابة على ذلك، جمع الفريق مجموعة ضخمة من البيانات التجريبية تغطي عشرة بروتينات مختلفة وخمس خصائص وظيفية متميزة، بما في ذلك مدى كفاءة الإنزيمات في تفكيك الأدوية، ومدى قوة ارتباط البروتينات ببعضها البعض، ومدى سطوع توهج البروتين. وقاموا بتشغيل أنواع البرامج الحاسوبية الثلاثة ضد هذه البيانات لمعرفة مدى مطابقة التنبؤات للواقع. قدمت النتائج خريطة واضحة لنقاط القوة والضعف. فقد تفوقت نماذج لغة البروتين، التي تحلل الاحتمالية الإحصائية لتسلسلات الأحماض الأمينية بناءً على التطور، بشكل عام على الطرق الأخرى من حيث الدقة الإجمالية. ومع ذلك، أثبتت أدوات التعلم الآلي القائمة على الهيكل كونها أكثر اتساقاً عبر أنواع مختلفة من البروتينات، مما أظهر متانة تفتقر إليها نماذج اللغة أحياناً.
وكشفت الدراسة أن نجاح هذه التنبؤات يعتمد بشدة على مكان حدوث الطفرة وما هو الهدف منها. فعلى سبيل المثال، كانت الحواسيب أفضل بكثير في التنبؤ بالتغييرات في اللب المتراص بإحكام للبروتين مقارنة بسطحه المكشوف أو عند الواجهة حيث يرتبط بجزيئات أخرى. ويمثل هذا عقبة كبيرة في هندسة البروتين، حيث أن التغييرات الأكثر فائدة غالباً ما تحدث على السطح. علاوة على ذلك، وجد الباحثون أن اختيار المدخلات أمر بالغ الأهمية؛ فعند محاولة تحسين قدرة البروتين على الارتباط ببروتين آخر، فإن استخدام نموذج حاسوبي يرى البروتينين معاً كمعقد أدى إلى نتائج أفضل من النظر إليهما بشكل منفصل. وعلى العكس من ذلك، عند محاولة التنبؤ بكمية البروتين التي سينتجها الخلية، كان النظر إلى البروتين بمفرده أكثر فعالية.
ولعل الاكتشاف الأكثر إثارة للدهشة هو وجود مفارقة في قلب هندسة البروتين. فقد وجد الباحثون أن المواقع التي من المرجح جداً أن تؤدي فيها الطفرة إلى تحسين وظيفة البروتين هي أيضاً المواقع التي كانت فيها البرامج الحاسوبية الأقل دقة. وبعبارة أخرى، عانت الخوارمايات أكثر مما ينبغي عندما كانت هناك حاجة ماسة إليها. فبينما استطاعت الأدوات بنجاح تحديد المناطق التي تستحق الاستقصاء، إلا أنها فشلت غالباً في تحديد الاستبدال الدقيق للحمض الأميني الذي سيؤدي إلى أفضل نتيجة. وهذا يشير إلى أنه بينما نضجت الأساليب الحاسوبية بما يكفي لتوجيه البحث الأولي عن الطفرات المفيدة، فإن الخطوة النهائية المتمثلة في اختيار التغيير المثالي تظل تحدياً صعباً، لا سيما بالنسبة لطفرات "اكتساب الوظيفة" التي تقود ابتكار إنزيمات وعلاجات أفضل.
كما سلطت الدراسة الضوء على كيفية تأثير الطبيعة الفيزيائية للأحماض الأمينية المعنية على دقة التنبؤ. فالتغييرات التي عدلت الشحنة الكهربائية للبقايا أو استبدلت جزءاً كارهًا للماء بجزء محب للماء كانت أصعب في التنبؤ من غيرها من التغييرات. بالإضافة إلى ذلك، كان لشكل البروتين أهمية كبرى؛ حيث تم التنبؤ بالتغييرات في الهياكل المسطحة الشبيهة بالصفائح بدقة أكبر من تلك الموجودة في الحلزونات الملتوية أو الحلقات الرخوة. توفر هذه النتائج مجموعة من الإرشادات العملية للعلماء؛ فهي تشير إلى أنه رغم عدم وجود أداة واحدة مثالية، فإن اختيار الطريقة الصحيحة والمدخل الهيكلي المناسب بناءً على الهدف المحدد يمكن أن يحسن فرص النجاح بشكل كبير. ولا يدعي هذا العمل حل مشكلة تصميم البروتين، بل يوضح المشهد، مبيناً للباحثين بالضبط أين تكون أدواتهم الحالية موثوقة وأين من المرجح أن تتعثر.
ملخص تقني: تقييم أداء أدوات التنبؤ غير الخاضعة للإشراف بتأثيرات طفرات البروتين
بيان المشكلة يعد التنبؤ الحسابي بتأثيرات طفرات البروتين أداة بالغة الأهمية في هندسة البروتينات، مما يتيح الفحص الافتراضي (in silico) للمتغيرات المرشحة. وبينما كان التطوير المنهجي نشطاً، ركزت الاختبارات المعيارية الحالية بشكل أساسي على دقة التنبؤ بتأثيرات استبدال الأحماض الأمينية عبر البروتينات الكاملة. وهناك فجوة كبيرة في تقييم المقاييس الأكثر عملية المطلوبة في سير عمل الهندسة، مثل القدرة على تحديد مواقع بقايا أحماض أمينية معينة تعزز الوظيفة، والأداء عبر السياقات الهيكلية المختلفة (الثانوية والثالثية)، والدقة فيما يتعلق بالتغيرات في الخصائص الفيزيائية والكيميائية المحددة. علاوة على ذلك، لا تزال العلاقة بين إمكانية تحسين الوظيفة (اكتساب الوظيفة - gain-of-function) والدقة في التنبؤ بالاستبدال الأمثل عند ذلك الموقع غير مستكشفة. بالإضافة إلى ذلك، تفتقر الممارسات إلى إرشادات عملية لاختيار نماذج محددة (مثل ProteinMPNN مقابل LigandMPNN) وهياكل المدخلات (المونومر مقابل المعقد) بناءً على الخصائص الوظيفية المستهدفة.
المنهجية قام المؤلفون بتقييم ثلاثة فئات رئيسية من طرق التنبؤ غير الخاضعة للإشراف باستخدام مجموعات بيانات واسعة النطاق للمسح الطفري العميق تغطي 10 بروتينات و5 خصائص وظيفية (وفرة البروتين، ألفة الارتباط، النشاط الإنزيمي، السمية الخلوية، والفلورة).
نماذج لغة البروتين (pLMs): نموذج ESM-2 (بـ 3 مليارات معلمة) ونموذج SaProt (بـ 1.3 مليار معلمة، يعتمد جزئياً على البنية).
التعلم الآلي القائم على البنية (ML): نماذج ProteinMPNN، وLigandMPNN، وMutCompute.
مجموعات البيانات: تم الحصول على البيانات التجريبية من مصادر متنوعة تشمل مقايسات نمو الخميرة، ومقايسات نمو E. coli، وفحوصات مقاومة الأدوية، وفرز الخلايا باستخدام الفلورة. تم اشتقاق البيانات الهيكلية أساساً من بنك بيانات البروتينات (PDB)، مع استخدام هياكل AlphaFold2 في الحالات التي لم تتوفر فيها هياكل تجريبية (مثل CreiLOV).
مقاييس التقييم: بالإضافة إلى معامل ارتباط سبيرمان القياسي على مستوى الطفرة (Mutant-level)، قدمت الدراسة وطبقت سبعة مقاييس عملية:
معامل ارتباط سبيرمان على مستوى الموقع (Position-level): يقيم القدرة على تحديد ترتيب البقايا التي تعزز الوظيفة.
معامل ارتباط سبيرمان داخل الموقع الواحد (Within-position): يقيم الدقة في اختيار استبدالات أحماض أمينية محددة عند بقايا معينة.
معامل ارتباط داخل الموقع مقسم حسب المنطقة: مقسم حسب السطح، واللب (core)، وواجهة الارتباط.
معامل ارتباط داخل الموقع مقسم حسب البنية الثانوية: مقسم حسب الحلزون (helix)، والصفائح (sheet)، والعراوي (loop).
ارتباطات مقسمة حسب الخصائص الفيزيائية والكيميائية: مقسمة حسب تغير الشحنة، وتغير الحجم، وتغير القطبية.
معدلات النجاح (Hit Rates): معدلات النجاح لأفضل 30 طفرة على مستوى الطفرة، وأفضل 10 مواقع على مستوى الموقع لتقييم ترتيب الطفرات المفيدة.
النتائج الرئيسية
الأداء العام: أظهرت نماذج لغة البروتين (pLMs)، ولا سيما SaProt وESM-2، عموماً معاملات ارتباط سبيرمان أعلى على مستويات الطفرة والموقع مقارنة بـ Rosetta والنماذج القائمة على البنية. ومع ذلك، أظهرت نماذج pLMs أداءً منخفضاً في البروتينات ذات التسلسلات المتماثلة القليلة في بيانات التدريب الخاصة بها (مثل GB1). أظهرت الطرق القائمة على البنية متانة أكبر عبر البروتينات المتنوعة، حيث لم تسجل أي حالات من الدقة التنبؤية المنخفضة للغاية.
تحديد البقايا المفيدة: أظهرت جميع الطرق الحسابية قابلية للتطبيق في اختيار المواقع لإدخال الطفرات (تراوح معامل ارتباط سبيرمان على مستوى الموقع بين ~0.2 إلى 0.8).
الاعتماد على السياق الهيكلي:
المناطق: كانت الدقة أعلى باستمرار للبقايا الموجودة في اللب (core) مقارنة بالبقايا السطحية وبقايا واجهة الارتباط عبر معظم الطرق والخصائص.
البنية الثانوية: لوحظ اتجاه عام هو (الصفائح > الحلزونات > العراوي) بالنسبة للنشاط الإنزيمي، وألفة الارتباط، والسمية الخلوية، والفلورة. ومع ذلك، أظهر التنبؤ بوفرة البروتين ترتيباً مختلفاً (الصفائح > العراوي > الحلزونات).
الخصائص الفيزيائية والكيميائية: كانت التنبؤات أكثر دقة بشكل عام للطفرات التي تتضمن تغيرات صغيرة في الشحنة، والتغيرات من كاره للماء إلى كاره للماء (HH) أو من كاره للماء إلى قطبي (HP). وكانت الدقة أقل للطفرات التي تتضمن تغيرات كبيرة في الشحنة أو الانتقالات المصنفة كقطبي-إلى-كاره للماء (PH) أو قطبي-إلى-قطبي (PP).
إرشادات النماذج وهياكل المدخلات:
LigandMPNN: تفوق على ProteinMPNN والمتغيرات الأخرى في التنبؤ بالنشاط الإنزيمي، خاصة عند واجهات الارتباط، مما يسلط الض الضوء على أهمية معلومات اللجين (ligand) في بنية النموذج.
هياكل مدخلات ProteinMPNN: بالنسبة للتنبؤ بألفة الارتباط، أدى استخدام هياكل المعقدات (بروتين-بروتين) إلى نتائج أفضل من هياكل المونومر. وعلى العكس من ذلك، بالنسبة للتنبؤ بوفرة البروتين، أدت هياكل المونومر أداءً أفضل.
معضلة "اكتساب الوظيفة" (Gain-of-Function): كانت النتيجة الحاسمة هي وجود ارتباط سلبي بين الإمكانية التجريبية للبقايا لتعزيز الوظيفة ومعامل ارتباط سبيرمان داخل الموقع الواحد. وتحديداً، كانت البقايا الأكثر عرضة لإنتاج طفرات مفيدة (اكتساب الوظيفة) هي الأكثر صعوبة في التنبؤ بدقة بشأن الاستبدال الأمثل للأحماض الأمينية. وكان هذا الاتجاه واضحاً بشكل خاص في النماذج القائمة على pLM ونموذج MutCompute.
الأهمية والادعاءات يدعي البحث تقديم إرشادات عملية لتطبيق أدوات التنبؤ غير الخاضعة للإشراف بتأثيرات طفرات البروتين في هندسة البروتينات. ومن خلال تجاوز مجرد دقة الاستبدال، توضح الدراسة ما يلي:
السياق مهم: تعتمد دقة التنبؤ بشكل كبير على السياق الهيكلي (اللب مقابل الواجهة، البنية الثانوية) والخصائص الفيزيائية والكيميائية.
اختيار النموذج يعتمد على الخاصية: لا يوجد نموذج واحد "أفضل"؛ إذ يجب تخصيص الاختيار بين ProteinMPNN وLigandMPNN، واختيار هياكل المدخلات (المونومر مقابل المعقد)، وفقاً للخاصية الوظيفية المحددة المراد تحسينها (مثل ألفة الارتباط مقابل الوفرة).
القصور في التنبؤ باكتساب الوظيفة: حددت الدراسة نقطة ضعف ثابتة في جميع الطرق المختبرة: وهي انخفاض القدرة على التنبؤ بالاستبدال الأمثل عند البقايا التي من المرجح أن تعزز وظيفة البروتين. يشير هذا إلى وجود قصور جوهري في النهج الحالي غير الخاضع للإشراف للمهمة الأكثر أهمية في هندسة البروتينات — وهي تحسين الوظيفة — حيث تكون الإشارة الخاصة بالطفرة المثلى أصعب بطبيعتها في الكشف عنها مقارنة بحالات الاستقرار أو فقدان الوظيفة.
يخلص المؤلفون إلى أنه بينما يمكن تطبيق الطرق الحسابية لاختيار مواقع الطفرات، يجب على المستخدمين الوعي بانخفاض الدقة عند البقايا السطحية/الواجهة، والبنى الثانوية المحددة، والأهم من ذلك، عند البقايا التي يكون فيها التحسن الوظيفي هو الأكثر احتمالاً.