PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

تخيل أنك رئيس طهاة ماهر يحاول ابتكار وصفة جديدة. لديك طبق أساسي (بروتين) يعمل بشكل جيد، لكنك تريد تعديل المكونات (الأحماض الأمينية) لجعله ألذ طعماً، أو ليدوم لفترة أطول، أو ليعمل في مطبخ مختلف. في عالم البيولوجيا، يسمى هذا "هندسة البروتين". لسنوات طويلة، استخدم العلماء برامج حاسوبية متخصصة — مثل فريق من نقاد الطعام الخبراء الذين حفظوا كل وصفة كُتبت على الإطلاق — لتخمين التعديلات التي ستنجح. ينظر هؤلاء الخبراء إلى تاريخ عائلة الطبق (البيانات التطورية) والشكل الفيزيائي للوعاء (بنية البروتين) لتقديم توقعاتهم.

مؤخراً، دخل نوع جديد من "الطهاة" إلى المطبخ: نماذج اللغات الكبيرة للأغراض العامة (LLMs). هذه هي نفس عقول الذكاء الاصطناعي القادرة على كتابة القصائد، وحل المسائل الرياضية، والدردشة حول التاريخ. إنها ذكية للغاية في فهم اللغة والأنماط. السؤال الكبير الذي يتساءله العلماء هو: هل يمكن لهؤلاء الطهاة من الذكاء الاصطناعي العام — الذين لم يتم تدريبهم خصيصاً ليكونوا نقاد طعام — أن ينظروا إلى وصفة وقائمة من تبديلات المكونات، ويخبرونا أي نسخة جديدة ستكون الأفضل؟ ليس لديهم كتب تاريخ العائلة أو النماذج ثلاثية الأبعاد للأوعية؛ لديهم فقط نص الوصفة ومعرفتهم الواسعة بكيفية ترابط الكلمات (وفي هذه الحالة، الأحماض الأمينية) مع بعضها البعض.

هذه الورقة البحثية، التي تحمل عنوان "PG-LLM"، تضع اختبار تذوق ضخم لمعرفة النتيجة. قام الباحثون بإنشاء معيار يسمى "PG-LLM"، وهو بمثابة مسابقة طبخ عملاقة. لقد أخذوا 217 "وصفة" مختلفة (بروتينات) وطلبوا من ثلاثة عشر طباخاً من الذكاء الاصطناعي ترتيب 50 نسخة مختلفة من كل وصفة من "الأفضل" إلى "الأسوأ" بناءً على مدى نجاحها في تجربة حقيقية. التحدي هو أن طهاة الذكاء الاصطناعي لم يُسمح لهم باستخدام أي أدوات بروتينية خاصة، أو خرائط تطورية، أو هياكل ثلاثية الأبعاد. كان عليهم الاعتماد على ذكائهم العام وحده.

جاءت النتائج مزيجاً من "الدهشة" و"ليس بعد". تمكن أفضل طباخ ذكاء اصطناعي، وهو "Claude Opus 5"، من الحصول على درجة 0.406 (على مقياس حيث 1.0 هو الدرجة الكاملة). هذه درجة جيدة جداً! وهذا يعني أن الذكاء الاصطناعي بارع حقاً في تخمين أي تعديلات البروتين ستنجح، متفوقاً بذلك على 49 برنامجاً حاسوبياً متخصصاً موجوداً منذ سنوات. في الواقع، كان أداؤه أفضل من معظم خبراء "التسلسل فقط" (أولئك الذين ينظرون فقط إلى قائمة المكونات دون النماذج ثلاثية الأبعاد).

ومع ذلك، لم يفز طهاة الذكاء الاصطناعي بالمسابقة بأكملها. فما زال أفضل خبراء البروتين المتخصصين، مثل برنامج يسمى "VenusREM"، يسجلون درجات أعلى عند 0.523. الأمر يشبه كون الذكاء الاصطناعي العام طباخاً منزلياً موهوباً يمكنه تخمين الفائز في مسابقة خبز، لكن خبير الحلويات المحترف الذي يمتلك عقوداً من التدريب المتخصص لا يزال يعرف الأسرار بشكل أفضل.

اكتشفت الورقة أيضاً بعض الخصائص المثيرة للاهلاهام حول طريقة تفكير طهاة الذكاء الاصطناعي هذه. فعندما جعل الباحثون الذكاء الاصطناعي يفكر بعمق ولفترة أطول (من خلال منح المزيد من "الحوسبة وقت الاختبار")، تحسنت الدرجات، لكنها اصطدمت بحائط في النهاية. كما عانى الذكاء الاصطناعي أكثر عندما أصبحت قائمة الـ 50 وصفة طويلة جداً بحيث يصعب عليه معالجتها في ذهنه، بينما لم يهتم الخبراء المتخصصون بطول القائمة. ومن المثير للاهتمام أن أداء الذكاء الاصطناعي لم يتغير كثيراً سواء كان للبروتين تاريخ عائلي عميق أو سطحي، مما يشير إلى أن الذكاء الاصطناعي يستخدم نوعاً مختلفاً من المنطق مقارنة بالخبراء التطوريين.

وأخيراً، وللتأكد من أن الذكاء الاصطناعي لم يكن يعتمد فقط على الإجابات المحفوظة من الإنترنت، اختبر الباحثون قدراتهم على وصفات جديدة نُشرت بعد تاريخ انقطاع بيانات تدريب الذكاء الاصطناعي. كانت النتائج متشابهة: لا يزال بإمكان الذكاء الاصطناعي التفكير في الوصفات الجديدة، مما يثبت أنه يتعلم قواعد اللعبة بالفعل، وليس مجرد استرجاع إجابات قديمة.

باخت مختص، تُظهر هذه الورقة أن الذكاء الاصطناعي العام أصبح "مستنتجاً بيولوجياً" قادراً بشكل مدهش. يمكنه بالفعل التفوق على العديد من الأدوات الراسخة وهو يقترب من المتخصصين في القمة. لكنه حتى الآن، لم يستطع استبدال الخبراء المتخصصين في البروتين. إنه أداة قوية جديدة في المختبر، لكن الطهاة المهرة لا يزالون في قلب المنافسة.