Retrieval and competition: how a protein foundation model starts a protein

ملخص تقني: الاسترجاع والمنافسة في النماذج التأسيسية للبروتينات

بيان المشكلة
تعتمد نماذج لغة البروتين (PLMs) بشكل متزايد لتوجيه القرارات التجريبية والسريرية. ومع ذلك، لا يزال هناك غموض جوهري: هل يعكس التنبؤ الواثق التعرف على أدلة ذات معنى بيولوجي داخل المدخلات، أم أنه مجرد استرجاع لنموذج إحصائي افتراضي مخزن يتم تطبيقه بشكل مستقل عن الأدلة المحددة؟ بينما تؤدي كلتا الآليتين إلى تنبؤات متطابقة، فإن الأولى فقط هي التي تبرر الثقة في القدرة على التعميم. لقد حددت طرق التفسير الآلي الموجودة الميزات الداخلية والتمثيلات المفككة، لكنها تعاملت إلى حد كبير مع آلية الانتباه — وهي توجيه تدفق المعلومات بين المواضع — كصندوق أسود. وتحديداً، لم يحظَ دور الترميز الموضعي في توجيه تدفق المعلومات إلا بقدر ضئيل من التدقيق. تعالج هذه الورقة هذه الفجوة من خلال تتبع المسار الحسابي لقاعدة بيولوجية بسيطة وشبه عالمية: وهي أن البروتينات تبدأ عادةً بالميثيونين (Met).

المنهجية
حلل المؤلفون نموذج ESM2-8M، وهو نموذج لغة بروتيني مكون من 6 طبقات و8 ملايين معلمة. وقد استخدموا مجموعة من تقنيات التفسير الآلي لتشريح التنبؤ بالميثيونين في الموضع الأول (الموضع 0) عندما يكون الثمالة (residue) الأولي محجوباً (masked):

• دراسات الاستئصال (Ablation Studies): استئصال صفري منهجي لرؤوس الانتباه ووحدات MLP في مواضع رموز محددة (الرمز المحجوب فقط مقابل جميع المواضع) لتحديد المكونات الضرورية.
• ترقيع التنشيط (Activation Patching): حقن التمثيلات الوسيطة (الاستعلامات، المفاتيح، القيم، مخرجات الانتباه) من عمليات "نظيفة" (الحجب في الموضع 0) في عمليات "فاسدة" (الحجب في مواضع داخلية) لعزل التبعيات السببية.
• اكتشاف الدوائر (Circuit Discovery): بحث جشع لتحديد المجموعات الدنيا من المكونات المطلوبة للتنبؤ بالميثيونين.
• تفكيك المعيار والاتجاه (Norm–Direction Decomposition): تفكيك مبتكر لدرجات الانتباه ضمن نطاقات تردد ترميز الموضع الدوراني (RoPE)؛ حيث فصل المؤلفون درجة الانتباه ($Q \cdot K$) إلى حد معيار الاستعلام (query norm) وحد المحاذاة (جيب تمام الزاوية بين الاستعلام والمفتاح) لتحديد كيفية تشفير المعلومات الموضعية.
• تلاعب RoPE: تبديل الدورات الدورانية (RoPE rotations) بين المواضع وتطبيق إزاحات فهرس موحدة لاختبار السببية الهندسية.
• تجارب المنافسة: تجارب إطالة السياق وتدميره باستخدام سلاسل البولي-ألانين لمراقبة كيفية تأثير الإشارات المتنافسة على لوجيت (logit) الميثيونين.

النتائج الرئيسية

1. منافسة الدوائر، لا التعرف المحلي:
   يتنبأ النموذج بالميثيونين في الموضع 0 ليس عبر اكتشاف هوية الموضع 0 محلياً، بل من خلال منافسة بين الدوائر. تساهم دائرة الميثيونين بإشارة ثابتة تقريباً عند الموضع الأول. أما عند المواضع الداخلية، فتنتج دوائر تعتمد على السياق إشارات متنافسة غالباً ما تفوق الأولوية (prior) الخاصة بالميثيونين. وعند تدمير السياق (مثل حجب الثمالات الداخلية)، تبرز إشارة الميثيونين مجدداً كإشارة مهيمنة. يشير هذا إلى أن النموذج لا "يفعل" قاعدة للموضع 0؛ بل يحافظ على أولوية ثابتة يتم تجاوزها بواسطة إشارات سياقية أقوى في أماكن أخرى.

2. بنية دائرة الميثيونين:
   يتم التنبؤ عبر دائرة موزعة متعددة الطبقات بدلاً من قاعدة محلية بسيطة:

• القراءة (الطبقة 6): تعمل الرأس L6H8 كرأس قراءة نهائي. وهي تنتبه حصرياً تقريباً لرمز بداية التسلسل (BOS) وتكتب إشارة خاصة بالميثيونين في المخرج. متجه المخرج-القيمة (OV) الخاص بها يتوافق بشدة مع تدرج لوجيت الميثيونين.
• تركيب الاستعلام (الطبقات العليا): لا تعمل L6H8 بشكل مستقل، بل تعتمد على استعلام يتم بناؤه في طبقات عليا (بشكل أساسي في الطبقات 1 و4 و5) بواسطة رؤوس الانتباه التي تنتبه لرمز BOS. تستخدم هذه الرؤوس العليا إشارات موضعية بوساطة RoPE لتجميع استعلام، والذي عندما يتم تدويره بواسطة Roable L6H8، يتوافق مع مفتاح BOS.
• بناء التمثيل (MLPs): تعد وحدات MLP في الطبقات المبكرة (L1, L2, L4) ضرورية لبناء تمثيلات المفتاح/القيمة عند BOS والاستعلام عند الموضع المحجوب. وبدونها، تفشل الدائرة.

3. الدور النشط لرمز BOS:
   خلافاً للنظرة إلى BOS كفاصل سلبي، يجد المؤلفون أنه يعمل كعقدة حسابية نشطة. فهو يخزن تمثيلاً مرجعياً مستقراً وغير مرتبط بالموضع (مفتاح وقيمة) تقوم الدائرة باسترجاعه. وتتحدد خصوصية التنبؤ (لماذا يحدث في الموضع կ عند الموضع 0 وليس في مكان آخر) بالكامل من خلال الاستعلام المتشكل عند الموضع المحجوب، وليس من خلال التغييرات في تمثيل BOS.

4. آلية الانتقائية الموضعية (RoPE):
   قدم المؤلفون تفكيكاً لمعيار واتجاه درجات الانتباه عبر نطاقات تردد RoPE. ووجدوا أن الانتقائية الموضعية تنشأ من تغيرات مقترنة في معيار الاستعلام والمحاذاة الزاوية:

• النطاق المهيمن ($f_0$): يعمل على كلا المحورين. في المواضع الداخلية، ينهار معيار الاستعلام لهذا النطاق بنحو سبعة أضعاف، وينخفض جيب التمام للمحاذاة مع مفتاح BOS من ~0.8 إلى ما يقرب من الصفر.
• النطاقات الثانوية ($f_1, f_2, f_6$): تعمل أساساً كمحددات للمحاذاة، حيث تنقلب قيم جيب التمام أو تنهار، بينما تظل المعايير مستقرة نسبياً.
• RoPE كبوابة: في دائرة دنيا معزولة (بدون دوائر سياق منافسة)، يؤدي إزالة RoPO إلى جعل النموذج يتنبأ بالميثيونين في جميع المواضع. وبالتالي، فإن RoPE لا يسمح فقط بالتنبؤ في الموضع 0، بل يعمل بنشاط كبوابة للدائرة لقمع الأولوية في المواضع الداخلية.

الأهمية والادعاءات
يزعم البحث أن التمييز بين الاعتراف البيولوجي والاسترجاع الإحصائي يتطلب دقة على مستوى الدوائر الفردية، ونطاقات التردد، وتركيب الاستعلام.

• التحقق الآلي: حتى لأبسط قاعدة بيولوجية (تبدأ البروتينات بـ Met)، يتم التوسط في تنبؤ النموذج عبر دائرة حسابية موزعة بدلاً من الاعتراف المباشر. وهذا يشير إلى أنه بالنسبة للمهام الأكثر تعقيداً، ستصبح العلاقة بين ثقة النموذج والأدلة البيولوجية الأساسية أكثر غموضاً.
• تفسير الثقة: الثقة العالية لا تضمن استخدام الأدلة البيولوجية الصحيحة؛ بل قد تعني ببساطة أن إحدى الدوائر (الأولوية الإحصائية) تهيمن على الدوائر الأخرى.
• الأنماط الحسابية العامة: تسلط النتائج الضوء على الدور النشط لرموز BOS كأطر مرجعية واستخدام تركيب الاستعلام لتوجيه المواضع، وهي أنماط قد تكون عامة لبنى الـ Transformer بما يتجاوز نماذج البروتين.
• القيود: يشير المؤلفون إلى أنه رغم تحديد بنية الدائرة في ESM2-8M، إلا أنه لا يزال سؤالاً مفتوحاً ما إذا كانت هذه الأنماط المحددة ستستمر في النماذج الأكبر أو عبر عائلات مختلفة من نماذج لغة البروتين. كما حددوا أن تركيب الاستعلام في الطبقات العليا يتضمن كلاً من الرؤوس المعتمدة كلياً على RoPE ورأساً واحداً على الأقل يعتمد على السياق (L4H3)، والتي لا يزال محتوى محدد لها غير معروف.

تخلص الدراسة إلى أن التحقق الآلي ضروري وصعب للتنبؤات التي تكون فيها الرهانات البيولوجية عالية، حيث قد تكون "معرفة" النموذج بالبيولوجيا نتاجاً لانتظامات إحصائية يتم استرجاعها عبر دوائر معقدة وموزعة.