Steering Generative Models for Protein Design: Aligning and Conditioning Strategies

إليك ملخص تقني مفصل للورقة البحثية بعنوان "توجيه النماذج التوليدية لتصميم البروتينات: استراتيجيات المحاذاة والتحكم" (Steering Generative Models for Protein Design: Aligning and Conditioning Strategies) من إعداد ستوكو، غاريبو، وفيروز.

1. بيان المشكلة

حققت النماذج التوليدية (GMs) لتصميم البروتين، مثل نماذج الانتشار (Diffusion models) ونماذج لغة البروتين (pLMs)، نجاحاً ملحوظاً في توليد تسلسلات وبنى بروتينية جديدة. ومع ذلك، فإن هذه النماذج مدربة على مجموعات بيانات البروتينات الطبيعية، مما يعني أنها تتعلم توزيع البروتينات الطبيعية ($p(x)$).

التحدي الجوهري هو أن هندسة البروتين غالباً ما تتطلب خصائص استثنائية (مثل الاستقرار الحراري الفائق، أو الكفاءة التحفيزية العالية، أو ألفة الارتباط المحددة) وهي خصائص نادرة أو غير موجودة في الطبيعة. تقع هذه "قمم اللياقة" (fitness peaks) المرغوبة غالباً في مناطق ذات احتمالية منخفضة، وتفصلها عن التسلسلات الطبيعية وديان تطورية عميقة. بناءً على ذلك، تميل النماذج التوليدية القياسية إلى أخذ عينات من الأنماط الأكثر احتمالاً في توزيع التدريب، مما يؤدي إلى الفشل في الوصول إلى هذه المناطق عالية القيمة ومنخفضة الاحتمالية. تعالج الورقة الحاجة إلى توجيه هذه النماذج نحو خصائص محددة من قبل المستخدم ($y$) دون المساس بقدرة النموذج على توليد بروتينات واقعية.

2. المنهجية والإطار العملي

يقترح المؤلفون إطاراً موحداً لتصنيف استراتيجيات توجيه النماذج التوليدية نحو توزيع شرطي $p(x|y)$، حيث يمثل $x$ تسلسل/بنية البروتين و $y$ يمثل السمات المرغوبة. وقد قسموا هذه الاستراتيجيات إلى فئتين رئيسيتين بناءً على ما إذا كان يتم تعديل الأوزان الداخلية للنموذج أم لا:

أ. محاذاة تحديث المعلمات (Parameter-Updating Alignment)

تقوم هذه الطرق بتعديل معلمات النموذج ($\theta$) لتحريك التوزيع المتعلم $p(x)$ ليقترب من التوزيع الشرطي المستهدف $p(x|y)$.

• الضبط الدقيق الخاضع للإشراف (SFT): يتم تدريب النموذج بشكل إضافي على مجموعة بيانات منسقة من الأمثلة عالية الجودة (مثل عائلة إنزيمية محددة). وبينما يعد الـ SFT فعالاً للتخصص في مجال معين، إلا أنه يفتقر إلى القدرة على التمييز بين الدرجات المتفاوتة لخاصية ما، ويخاطر بحدوث "النسيان الكارثي" أو الإفراط في التخصيص (overfitting) لانحيازات مجموعة البيانات.
• التعلم التعزيزي (RL): يعمل النموذج كسياسة $\pi_\theta$ يتم تحسينها لتعظيم دالة مكافأة قياسية مستمدة من الخصائص المرغوبة.
  • النهج القائم على التعلم التعزيزي العميق: تستخدم نماذج المكافأة (المدربة على تفضيلات البشر أو البيانات التجريبية) لتوجيه تحديثات السياسة عبر خوارزميات مثل PPO (تحسين السياسة القريبة) أو REINFORCE. تتضمن هذه الطرق غالباً عقوبة تباعد كيه إل (KL-divergence) لمنع النموذج من الانحراف بعيداً عن التوزيع الأصلي المدرب مسبقاً.
  • تعلم التفضيل المباشر: توفر طرق مثل DPO (تحسين التفضيل المباشر) و GRPO (تحسين السياسة النسبية للمجموعات) مساراً أكثر استقراراً وكفاءة حسابية من خلال تجاوز الحاجة إلى نموذج مكافأة صريح؛ حيث تعمل على تحسين السياسة مباشرة باستخدام بيانات التفضيل الزوجي (ترتيب التسلسلات المفضلة مقابل غير المفضلة).

ب. التوجيه مع ثبات المعلمات (Parameter-Fixed Steering)

توجه هذه الطرق عملية التوليد دون تغيير أوزان النموذج الأساسي، وذلك عبر التدخل في مراحل مختلفة من خط إنتاج الاستدلال (كما هو موضح في الشكل 2 من الورقة):

1. تحديد المدخلات/السياق (Prompting):
   • التوليد الشرطي: تدريب النماذج باستخدام رموز تحكم (مثل أرق_EC، أو التصنيف النوعي) لتعلم $p(x|y)$ بشكل ضمني.
   • قيود وقت الاستدلال: تثبيت بقايا (residues) معينة (مثل المواقع النشطة) أو استخدام "الإكمال الداخلي" (infilling) لإعادة تصميم أجزاء فقط من التسلسل.
   • التوليد المعزز بالاسترجاع (RAG): حقن معرفة خارجية ديناميكياً (مثل التسلسلات المتجانسة) في السياق لتوجيه عملية التوليد (مثل نموذج Protriever).
2. التلاعب بالحالة الخفية (توجيه التنشيط - Activation Steering):
   • استخدام المشفرات التلقائية المتفرقة (SAEs) لتحديد اتجاهات كامنة قابلة للتفسير في تيار البقايا (residual stream) الخاص بالنموذج، والتي تتوافق مع خصائص معينة (مثل الكره للماء، أو النشاط الإنزيمي). يتم حقن نواقل (vectors) تمثل هذه السمات في الحالات الخفية لتحيز المخرجات.
3. التحكم في المخرجات وأخذ العينات:
   • التوجيه البايزي (Bayesian Guidance): إعادة وزن توزيع الاحتمالات باستخدام نظرية بايز، من خلال الجمع بين الاحتمال المسبق للنموذذ مع درجات تنبؤية خارجية (مثل توقعات اللياقة).
   • استراتيجيات أخذ العينات: التلاعب بمعلمات الاستدلال (درجة الحرارة، top-k، top-p) أو استخدام خوارزميات بحث متقدمة مثل البحث الشعاعي (Beam Search) و بحث شجرة مونت كارلو (MCTS) لاستكشاف فضاء التسلسل بشكل أكثر فعالية واختيار المسارات المثلى.

3. المساهمات الرئيسية

• تصنيف استراتيجيات التوجيه: تقدم الورقة تصنيفاً شاملاً لتقنيات المحاذاة والتوجيه، مع التمييز بين النهج التي تُحدث المعلمات والنهج التي تبقيها ثابتة. وهذا يوضح المشهد العام للطرق المتاحة لتصميم البروتين.
• توحيد أطر التعلم التعزيزي: تجمع الورقة بين التطورات الأخيرة في التعلم التعزيزي (تحديداً DPO و GRPO) ضمن سياق تصميم البروتين، وتسلط الضوء على قدرتها على محاذاة النماذج مع البيانات التجريبية دون الحاجة لنموذج مكافأة صريح.
• التحليل النقدي للقيود: حدد المؤلفون اختناقات حرجة، تشمل:
  • التعميم خارج التوزيع (OOD): تعاني الطرق التي تبقي المعلمات ثابتة في التوسع خارج المعرفة المشفرة في النموذج المدرب مسبقاً.
    // مقاييس التقييم (Scoring Metrics): صعوبة الحصول على وظائف تقييم (أوراكل) دقيقة وموثوقة للخصائص المعقدة مثل النشاط التحفيزي، مما يحد من فعالية التعلم التعزيزي والتوجيه البايزي.
  • انحياز البيانات: غالباً ما يعتمد كل من SFT و RL على مجموعات بيانات منسقة أو درجات محاكاة حاسوبية (in silico) لا تزال ترث الانحيازات التطورية من البروتينات الطبيعية.
• الاتجاهات المستقبلية: تدعو الورقة إلى أطر عمل "المختبر في الحلقة" (lab-in-the-loop) (دورات متكررة من التوليد والتحقق التجريبي) لإثراء توزيعات البيانات تدريجياً وتقليل الاعتماد على البيانات الطبيعية المنحازة.

4. النتائج والأدلة

تستعرض الورقة العديد من التطبيقات الناجحة لهذه الاستراتيجيات (ملخصة في الجداول 1 و 2 و 3):

• تطبيقات التعلم التعزيزي (RL): المحاذاة الناجحة لنماذج لغة البروتين لتوليد بروتينات فلورية أكثر سطوعاً (متغيرات CreiLOV)، وإنزيمات مستقرة، ومثبطات EGFR ذات تركيز نانو مولار منخفض باستخدام DPO و GRPO.
• التلقين/السياق (Prompting/Context): تظهر نماذج مثل ProteinMPNN و LigandMPNN قدرة قوية على التصميم من خلال التكييف مع سياقات بنيوية ثابتة.
• توجيه التنشيط (Activation Steering): استُخدم التوجيه القائم على SAE لتحيز تنبؤات البنية نحو تكوينات أكثر كرهًا للماء وزيادة نشاط إنزيمات $\alpha$-amylase.
• الاسترجاع المعزز (RAG): نجحت نماذج مثل Protriever في دمج السياق التطوري في وقت الاستدلال لتحسين التنبؤ باللياقة.

5. الأهمية

تكتسب هذه المراجعة أهمية بالغة لمجال البيولوجيا الحسابية وتصميم البروتين المعتمد على الذكاء الاصطناعي لأنها:

1. تجسير الفجوة: تعالج الانفصال الجوهري بين التوزيع "الطبيعي" الذي تعلمته النماذج التوليدية وبين الأمثلة "الهندسية" المطلوبة للتكنولوجيا الحيوية.
2. التوجيه الاستراتيجي: تقدم إطار قرار واضح للباحثين للاختيار بين تحديث أوزان النموذج (للتخصص العميق) أو استخدام التوجيه أثناء الاستدلال (للمرونة والسرعة).
3. تسليط الضوء على التحديات: من خلال الإشارة الصريحة إلى الاعتماد على مقاييس تقييم غير كاملة وانحيازات البيانات، تضع الورقة أجندة واقعية للبحوث المستقبلية، مؤكدة على الحاجة إلى دمج تجريبي أفضل وبيانات تدريب أكثر تنوعاً.
4. التقنين (Standardization): توحد المصطلحات عبر المجالات الفرعية المختلفة (الانتشار، نماذج اللغة، التعلم التعزيزي)، مما يسهل انتقال الأفكار بين معالجة اللغات الطبيعية وهندسة البروتين.

في الختام، تجادل الورقة بأنه بينما تعد النماذج التولية الحالية قوية، فإن إمكاناتها الكاملة في تصميم البروتين من الصفر (de novo) لن تتحقق إلا من خلال استراتيجيات توجيه متطورة يمكنها التنقل في مشهد اللياقة عالي الأبعاد والمعقد وراء قيود التطور الطبيعي.