Unlocking Multimodal Protein Language Models at Inference Time
تؤسس هذه الورقة إطار عمل ثلاثي المراحل للبرهنة تجريبياً على أن تحسين استراتيجيات أخذ العينات أثناء الاستدلال لنماذج لغة البروتين متعددة الوسائط — وتحديداً من خلال التوجيه الخالي من التصنيف الخاص بالمهام والبحث الشعاعي الموجه بالمكافأة — يعزز الأداء بشكل كبير عبر مهام متعددة دون الحاجة إلى إعادة تدريب النموذج، بينما يتحدى أيضاً الإجماع السابق حول سلوكيات النماذج الأساسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد البروتينات الآلات الجزيئية التي تُبقي الحياة مستمرة، حيث تنطوي لتشكل أشكالاً ثلاثية الأبعاد معقدة للقيام بالعمل الأساسي داخل كل خلية. إن التعليمات الخاصة ببناء هذه الآلات مكتوبة في سلسلة بسيطة من عشرين نوعاً مختلفاً من الأحماض الأمينية، لكن العلاقة بين هذا الرمز الخطي والشكل النهائي الوظيفي هي واحدة من أعظم الألغاز في علم الأحياء. لعقود من الزمن، اعتمد العلماء على نماذج حاسوبية معقدة للتنبؤ بكيفية طي سلسلة من الأحماض الأمينية أو لتصميم بروتينات جديدة تماماً من الصفر. ومؤخراً، ظهر جيل جديد من نماذج الذكاء الاصطناعي التي تتعامل مع كل من تسلسل الحروف والبنية ثلاثية الأبعاد كلغة واحدة موحدة. يمكن لهذه النماذج توليد بروتينات جديدة، ولكن حتى الآن، ركز الباحثون إلى حد كبير على كيفية تدريبها، مفترضين أن الطريقة التي "يقرأ" بها الكمبيوتر إجاباته الخاصة خلال خطوة التوليد النهائية هي مسألة محسومة.
لقد اكتشف فريق من الباحثين من هونغ كونغ أن هذا الافتراض غير صحيح. فقد وجدوا أن الطريقة المستخدمة لاستخراج تصميم بروتيني نهائي من هذه النماذج القوية لا تقل أهمية عن التدريب نفسه. ومن خلال اختبار طرق مختلفة لتوجيه عملية اتخاذ القرار لدى الكمبيوتر أثناء مرحلة التوليد بشكل منهجي، أظهر الفريق أنه يمكنهم تحسين جودة البروتينات المنتجة بشكل كبير دون تغيير الكود الأساسي للنماذج. ويكشف عملهم أن الإعدادات الافتراضية التي تستخدمها هذه النماذج غالباً ما تؤدي إلى نتائج دون المستوى، ولكن من خلال ضبط كيفية استكشاف الكمبيوتر للاحتمالات مقابل كيفية التزامه بمسار محدد، استطاعوا فتح آفاق من الأداء يضاهي أو حتى يتفوق على الأدوات المتخصصة المصممة لمهام فردية.
بدأ الباحثون بفحص كيفية عمل هذه النماذج حالياً. تخيل نموذجاً يحاول بناء بروتين كعملية ملء لوحة بيضاء تدريجياً، حيث يبدأ بصورة محجوبة تماماً ثم يكشف ببطء عن الأحماض الأمينية ومواقعها خطوة بخطوة. اختبر الفريق ثلاثة نماذج مختلفة عبر أربع مهام أساسية: إنشاء بروتينات جديدة تماماً، وتصميم بروتينات تتناسب حول أجزاء وظيفية محددة، والتنبؤ بشكل البروتين من تسلسله، وتصميم تسلسل ينطوي في شكل معين. بحثوا أولاً في الإعدادات "التقليدية" (vanilla) الأساسية، وهي التعليمات القياسية الجاهزة التي تستخدمها النماذج لاتخاذ هذه القرارات. ووجدوا أن الإعدادات الافتراضية غالباً ما تكون غير متوافقة مع المهمة المحددة. فعلى سبيل المثال، عندما يُطلب منها تصميم بروتين جديد تماماً، يحتاج النموذج إلى استكشاف نطاق واسع من الاحتمالات مع درجة عالية من العشوائية لإيجاد بنية مستقرة. ومع ذلك، عندما يُطلب منها التنبؤ بشكل بروتين معروف، يحتاج النموذج إلى أن يكون أكثر دقة وحتمية، ملتزماً بشدة بالقيود المعروفة.
ومن خلال تشغيل آلاف التباينات من هذه الإعدادات الأساسية، حدد الفريق "الوصفة" المثلى لكل مهمة. واكتشفوا أن مجرد الانتقال من نهج صارم وخطوة بخطوة إلى نهج أكثر مرونة ومتزامن سمح للنماذج بتوليد بروتينات أكثر قابلية للحياة بكثير. وفي حالة محددة تتعلق بإنشاء بروتينات جديدة، أنتج نموذج كان يُعتبر سابقاً ضعيفاً بموجب إعداداته الافتراضية ما يقرب من ثلاثة أضعاف التصميمات الوظيفية عندما تم تعديل استراتيجية أخذ العينات. وقد تحدى هذا الاكتشاف الرأي السائد بأن بعض النماذج ضعيفة بطبيعتها، مما يشير بدلاً من ذلك إلى أنها كانت تُستخدم ببساطة بالأدوات الخاطئة للمهمة.
انتقل الباحثون بعد ذلك إلى طبقة ثانية من التحكم، حيث قدموا تقنية تعمل مثل "دفعة لطيفة" لتوجيه النموذج نحو نتائج أفضل. وفي سياق تصميم البروتين، يعني هذا مقارنة تخمين النموذج لبروتين ذي هدف محدد مع تخمين تم إجراؤه بدون ذلك الهدف، ثم تضخيم الفرق لدفع النتيجة للاقتراب من النتيجة المرغوبة. وقد ثبت أن هذه الطريقة، المعروفة باسم "التوجيه الخالي من التصنيف" (classifier-free guidance)، هي رافعة قوية. فبالنسبة لمهمة تصميم بروتينات جديدة من الصفر، ساعد هذا التوجيه النموذج على تجنب الأنماط المتكررة وغير الطبيعية، وأنتج هياكل أكثر استقراراً وتنوعاً بشكل ملحوظ. وكان التحسن واضحاً لدرجة أن نموذجاً كان يُنظر إليه سابقاً كأداء أساسي تفوق فجأة على منافسيه بموجب الإعدادات الافتراضية، رغم أنه ظل متأخراً عن الأنظمة المتخصصة حتى إجراء المزيد من التحسين.
أخيراً، استكشف الفريق استراتيجية ثالثة تنظر إلى الصورة الكبيرة بدلاً من مجرد الخطوة التالية. فبدلاً من اتباع مسار واحد للوصول إلى الحل، وجهوا الكمبيوتر لتوليد نسخ متعددة ومختلفة من البروتين في وقت واحد، مثل إبقاء عدة طرق محتملة مفتوحة على الخريطة. وعند فترات منتظمة، يقوم النظام بتقييم أي من هذه المسارات يبدو أكثر واعداً بناءً على الجودة الإجمالية للهيكل، ثم يقوم بتقليم الخيارات الأضعف، والاستمرار فقط مع المرشحين الأفضل. سمحت استراتيجية "البحث الشعاعي" (beam search) هذه للنماذج بالهروب من الفخاخ المحلية حيث قد تستقر عند حل متوسط. وعند تطبيق هذه الاستراتيجية على النموذج الأكثر قدرة، دفعت الأداء إلى آفاق جديدة، محققة معدلات نجاح وجودة تصميم تتجاوز حتى الأنظمة المتخصصة التي كانت تعتبر متفوقة سابقاً، وكل ذلك دون أي تدريب إضافي أو بيانات خارجية.
تخلص الدراسة إلى أن الطريقة التي تُستخدم بها هذه النماذج في لحظة التوليد هي متغير خفي تم التغاضي عنه إلى حد كبير. لقد أثبت الباحثون أنه من خلال ضبط التوازن بعناية بين استكشاف احتمالات جديدة واستغلال الحلول الجيدة المعروفة، يمكنهم تعزيز أداء هذه النماذج باستمرار في جميع المجالات. ويشير هذا العمل إلى أن إمكانات نماذج لغة البروتين الحالية قد تم تقديرها بأقل من قيمتها، ليس لأن النماذج نفسها معيبة، بل لأن الطرق المستخدمة لاستخراج إجاباتها لم تكن مُحسنة. ومن خلال صقل استراتيجيات الاستدلال هذه، يمكن للعلماء الآن الحصول على نتائج أكبر بكثير من الأدوات التي يمتلكونها بالفعل، مما قد يسرع من اكتشاف أدوية ومواد بيولوجية جديدة دون الحاجة إلى بناء نماذج جديدة تماماً من الصفر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.