ملخص تقني: التحكم في التكرار في نماذج لغة البروتين

1. تعريف المشكلة

لقد أدت نماذج لغة البروتين (PLMs) إلى تقدم كبير في التنبؤ بالبنية وتصميم البروتينات من العدم (de novo)، لكنها تعاني من نمط فشل محدد وهو: التكرار المرضي (Pathological Repetition). وخلافاً للغة الطبيعية، حيث يقتصر التكرار أساساً على تقليل جودة القراءة، يؤدي التكرار في البروتينات إلى تسلسلات ذات تنوع بنيوي منخفض، وطيات غير مستقرة، وخصائص بيولوجية غير وظيفية.

يحدد البحث شكلين نموذجيين لهذا الفشل:

1. تكرار على مستوى الزخارف (Motif-level repetition): حيث تتكرر قطع قصيرة من الـ $n$-gram (مثل ثنائيات أو ثلاثيات الببتيد) بشكل دوري (مثلاً: AGAGAG).
2. تكرار الهوموبوليمر (Homopolymer repetition): حيث تمتد أحماض أمينية مفردة في سلاسل طويلة (مثلاً: AAAAAA).

غالباً ما تفشل الحلول الحالية المستمدة من معالجة اللغات الطبيعية (NLP)، مثل استراتيجيات فك التشفير (scaling درجة الحرارة، أخذ عينات top-$p$، عقوبات التكرار)، في مجال البروتينات. إذ تميل هذه الطرق إلى المقايضة بين تقليل التكرار وبين المنفعة البنيوية (Structural Utility)، مما يؤدي غالباً إلى خفض درجات ثقة AlphaFold (مثل pLDDT و pTM) ويجعل البروتينات المولدة غير قابلة للتطبيق بيولوجياً. علاوة على ذلك، فإن التكرار والمنفعة البنيوية متشابكان بشدة في نماذج لغة البروتين، مما يجعل من الصعب فصلهما دون إعادة تدريب النماذج.

2. المنهجية: التوجيه التبايني المتحكم فيه بالمنفعة (UCCS)

يقترح المؤلفون طريقة UCCS، وهي تدخل على مستوى التمثيل (representation-level intervention) يعمل على توجيه عملية التوليد دون الحاجة لإعادة التدريب أو تعديل استراتيجيات فك التشفير. تقوم هذه الطريقة على فرضية أن التكرار يمكن التحكم فيه عن طريق حقن ناقلات توجيه (steering vectors) محددة في الحالات الخفية (hidden states)، بشرط أن تكون هذه الناقلات مشتقة من بيانات تم فيها فصل التكرار عن المنفعة البلوية.

2.1 قياس التكرار والمنفعة

لتأطير المشكلة، يقدم البحث مقياسين متكاملين:

• درجة التكرار ($R(x)$): مقياس موحد يجمع بين:
  • الاعتلاج على مستوى الرمز (Token-level entropy - $H_{norm}$): يقيس عدم التوازن العالمي للأحماض الأمينية.
    وصف تنوع الـ Distinct-$n$ ($n=2,3$): يقيس تنوع الزخارف المحلية.
  • تنوع الهوموبوليمر ($R_{hpoly}$): يعاقب السلاسل المتطابقة من الأحماض الأمينية التي تتجاوز حداً معيناً (الافتراضي هو $k=4$).
• درجة المنفعة ($U(x)$): مشتقة من المؤشرات البنيوية، وتحديداً متوسط قيم pLDDT (الثقة المحلية) و pTM (ثقة الطبوغرافيا العالمية) من AlphaFold.

2.2 بناء مجموعة البيانات التباينية

يتمثل التحدي الجوهري في أن التسلسلات عالية التكرار ترتبط طبيعياً بمنفعة بنيوية منخفضة. ولمعالجة ذلك، تبني طريقة UCCS مجموعات بيانات تباينية ($D^+$ و $D^-$) تزيد من الفرق في التكرار ($\Delta R$) مع الالتزام الصارم بتقليل الفرق في المنفعة ($\Delta U \le \epsilon$).

• المجموعة الإيجابية ($D^+$): تسلسلات منخفضة التكرار (بروتينات طبيعية أو توليدات عالية الجودة من نماذج لغة البروتين).
• المجموعة السلبية ($D^-$): تسلسلات عالية التكرار (توليدات مرضية من نماذج لغة البروتين).
• استراتيجية الاختيار: يستخدم المؤلفون اختيار الحدود الجبهية لباريتو (Pareto-based frontier selection) أو التقييم المركب لضمان أن التسلسلات المختارة تمتلك معقولية بنيوية متقاربة رغم اختلاف مستويات التكرار فيها.

2.3 حقن ناقل التوجيه

بمجرد تحديد المجموعات التباينية، يتم حساب ناقل التوجيه ($v_L$) عند طبقة محددة $L$ في المحول (transformer):
$$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$$
حيث يمثل $\phi_L(x)$ الملخص التمثيلي على مستوى التسلسل (عبر المتوسط الحسابي لنماذج اللغة المقنعة Masked LMs، أو الرمز الأخير للنماذج ذات التوليد الذاتي Autoregressive).

أثناء الاستدلال، يتم حقن هذا الناقل في الحالات الخفية:
$$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$$
حيث $\alpha$ هو ثابت تحكم قوة التوجيه. تعمل هذه العملية على كبح أنماط التكرار المرضية مع الحفاظ على الميزات البنيوية المشفرة في مجموعة البيانات المتوافقة من حيث المنفعة.

3. المساهمات الرئيسية

1. التوصيف المنهجي: أول دراسة منهجية تحدد التكرار المرضي كنمط فشل حرج في نماذج لغة البروتين، وتصنفه إلى تكرار على مستوى الزخارف وتكرار الهوموبوليمر.
2. تطوير المقاييس: تقديم مقياس موحد للتكرار ($R(x)$) ومقياس للمنفعة ($U(x)$) لتقييم المقايضة بين التنوع وقابلية الطي.
3. طريقة UCCS: طريقة توجيه تعتمد على البيانات لفصل التحكم في التكرار عن المنفعة البيولوجية، مما يتجنب الحاجة لإعادة تدريب النموذج.
4. التقييم الشامل: تجارب مكثفة عبر نموذجين مختلفين (ESM-3 للغة المقنعة؛ وProtGPT2 للغة ذات التوليد الذاتي)، وثلاث مجموعات بيانات (CATH، وUniRef50، وSCOP)، وإعدادين للتوليد (غير مشروط ومشروط).

4. النتائج التجريبية

يتم تقييم UCCS مقابل خطوط الأساس التي تشمل النماذج الأصلية، واستراتيجيات فك التشفير (درجة الحرارة، top-$p$، عقوبات التكرار)، والتدخلات على مستوى الآلية (تعطيل العصبونات، توجيه المسبار).

• الأداء: تحقق UCCS باستمرار أفضل توازن، حيث تحسن درجة التكرار $R(x)$ بشكل ملحوظ مع الحفاظ على أو تحسين درجة المنفعة $U(x)$.
  • في نموذج ESM-3، حسنت UCCS درجة $R(x)$ بنسبة تصل إلى 55% في التوليد غير المشروط على مجموعة CATH مع الحفاظ على المنفعة.
  • في نموذج ProtGPT2، قللت UCSS التكرار بنسبة تصل إلى 20% مقارنة بأسلوب أخذ عينات درجة الحرارة دون انتهاك قيود المنفعة.
• المقارنة مع خطوط الأساس:
  • استراتيجيات فك التشفير: رغم فعاليتها في زيادة التنوع السطحي، إلا أنها أدت باستمرار إلى تدهور الثقة البنيوية (انخفاض pLDDT/pTM).
  • خطوط الأساس الميكانيكية: أظهر تعطيل العصبونات وتوجيه المسبار أداءً غير مستقر، حيث فشلا غالباً في تحسين كلا المقياسين في آن واحد أو تسببا في تدهور المنفعة.
• دراسات الاستئصال (Ablation Studies):
  • بناء مجموعة البيانات: تفوق الاختيار المهيكل (باريتو/المركب) على أخذ العينات العشوائي، خاصة في تقليل التباين.
  • قوة التوجيه ($\alpha$): وُجد أن الأداء الأمثل يكون عند $\alpha \approx 1.0 \sim 2.0$.
  • حقن الطبقة: حدث التوجيه الفعال في الطبقات المتأخرة من الشبكة (الطبقات الأخيرة لـ ESM-3؛ والثلث الأخير لـ ProtGPT2).
• التعميم: تم التحقق من صحة الطريقة أيضاً على ProGen2 (توليد ذاتي) و DPLM (انتشار/Diffusion)، مما أظهر متانة عبر بنيات توليد مختلفة.

5. الأهمية والادعاءات

يدعي البحث أن التحكم في التكرار يمثل تحدياً مركزياً لنماذج لغة البروتين، وهو متميز عن مشكلة التكرار في النصوص نظراً لتأثيره المباشر على الصلاحية البنيوية.

• نهج مبدئي: يجادل المؤلفون بأن التوجيه التبايني الموجه بالبيانات يوفر طريقة مبدئية لمعالجة تشابك التكرار والمنفعة، وهو ما لا تستطيع استراتيجيات فك التشفير حله.
• الرؤية الميكانيكية: من خلال فحص الطبقات وتحليل الارتباط على مستوى العصبونات، يكشف البحث أن التكرار هو ظاهرة تمثيلية موزعة تظهر مبكراً، وتتشابك في الطبقات المتوسطة، وتتحول إلى حالة جاذبة (attractor state) محاذية للـ logits في الطبقات النهائية. وقد أظهر ESM-3 وجود فضاء فرعي أكثر استقطاباً متعلقاً بالتكرار مقارنة بـ ProtGPT2، مما يفسر تدهوره الأكثر حدة.
• الموثوقية: يسلط العمل الضوء على أن التوليد الموثوق للبروتينات يتطلب تدخلات تحافظ على قابلية الطي، مما يضع UCCS كآلية "جاهزة للاستخدام" (plug-and-play) تحقق ذلك دون التكلفة الحسابية لإعادة التدريب.

يخلص المؤلفون إلى أنه بينما يعد التكرار المرضي مشكلة تم التعرف عليها حديثاً في نمذجة البروتين، فإن التحكم فيه عبر توجيه التمثيل يعد خطوة ضرورية نحو توليد بروتينات قابلة للحياة بيولوجياً من العدم.