ملخص تقني: حول العلاقة بين القيم المتطرفة للتنشيط وموت الميزات في المشفرات التلقائية المتفرقة

1. بيان المشكلة

صُممت المشفرات التلقائية المتفرقة (SAEs) لتفكيك تنشيطات الشبكة العصبية إلى ميزات متفرقة قابلة للتفسير لعكس ظاهرة "التراكب" (superposition) (حيث تشفر الشبكات مفاهيم أكثر من الأبعاد عبر تداخل الاتجاهات). ومع ذلك، يحدث نمط فشل حرج يُعرف باسم موت الميزة (feature death) عندما لا يتم تفعيل ميزات القاموس المتعلم على أي مدخلات. هذا يهدر سعة القاموس ويجبر الميزات الناجية على التعويض، مما قد يعيد إدخال ظاهرة التراكب.

يحدد الورقة عدم اتساق كبير في أداء SAE: حيث تعطي نفس إعدادات SAE نتائج ذات عدد يقترب من الصفر من الميزات الميتة في نماذج مثل GPT-2، بينما تتجاوز 70% في نماذجه مثل AlphaFold3. تعالج تقنيات الإحياء الحالية (مثل AuxK، وghost gradients، وresampling) موت الميزة كمسألة ديناميكيات تدريب، محاولةً ضخ إشارات تدرج في الميزات العالقة. ومع ذلك، تفشل هذه الطرق في حل معدلات الموت في الحالات الأكثر شدة، مما يشير إلى أن السبب الجذري لا يكمن في ديناميكيات التدريب بل في حالة التهيئة الأولية للتنشيطات.

2. المنهجية والإطار النظري

2.1 القيم المتطرفة للتنشيط على مستوى البعد

يقترح المؤلفون أن القيم المتطرفة للتنشيط على مستوى البعد هي السبب الرئيسي لموت الميزة. وخلافاً للقيم المتطرفة على مستوى الرمز (token-level outliers) (التي تكون عبارة عن طفرات في مدخلات محددة)، فإن هذه القيم هي أبعاد يكون فيها متوسط مقدار التنشيط ($\mu$) كبيراً بالنسبة للانحراف المعياري لكل رمز ($\sigma$). وهذا يخلق إزاحة شبه ثابتة عبر جميع المدخلات.

يصيغ المؤلفون شدة القيمة المتطرفة (outlier severity) كنسبة:
$$\gamma = \frac{\|\mu\|}{\|\sigma\|}$$
حيث $\mu$ هو متجه متوسط التنشيط و $\sigma$ هو متجه الانحراف المعياري لكل رمز.

2.2 الآلية الهندسية للموت

عند التهيئة (بتحيز صفر)، يكون ما قبل التنشيط للميزة $i$ هو $z_i = w_i \cdot x$. وبتحليل المدخل $x$ إلى متوسطه وتغايره ($x = \mu + (x - \mu)$)، يصبح ما قبل التنشيط:
$$z_i = \underbrace{w_i \cdot \mu}_{\text{إزاحة ثابتة}} + \underbrace{w_i \cdot (x - \mu)}_{\text{إشارة تعتمد على المدخل}}$$

عندما تكون $\gamma$ عالية، تهيمن الإزاحة الثابتة على الإشارة. يؤدي هذا إلى نمطي فشل متميزين عند التهيئة:

1. الموت بسبب ReLU (Dead-by-ReLU): الميزات التي تكون أوزانها متعاكسة مع $\mu$ ($w_i \cdot \mu \ll 0$) تتلقى قيم ما قبل تنشيط سالبة بشكل دائم. وبما أن مخرجات ReLU تكون صفراً للقيم السالبة، فإن هذه الميزات لا تعمل أبداً ولا تتلقى أي تدرج.
2. الموت بسبب TopK (Dead-by-TopK): في SAEs من نوع TopK، قد تجتاز الميزات ذات الإزاحات الموجبة المتوسطة مرحلة ReLU ولكنها تخسر المنافسة أمام الميزات ذات الإزاحات الموجبة الكبيرة. فقط الـ $k$ ميزة الأكثر توافقاً مع $\mu$ هي التي تفوز في اختيار TopK، مما يترك البقية ميتة.

2.3 الاشتقاق التحليلي

تشتق الورقة تعبيرات مغلقة (closed-form expressions) لاحتمالية موت الميزة بناءً فقط على $\gamma$:

• الموت بسبب ReLU: $P(\text{dead}) = \Phi\left(\frac{-C}{\gamma}\right)$، حيث $\Phi$ هي دالة التوزيع التراكمي القياسية لـ Normal CDF و $C$ تعتمد على عدد عينات التقييم.
• الموت بسبب TopK: $P(\text{dead}) \approx \Phi\left(\frac{t_k - C}{\gamma}\right)$، حيث $t_k$ هو المئين المقابل لعتبة TopK.

تتوقع هذه الصيغ أنه مع زيادة $\gamma$، يزداد معدل الموت بشكل رتيب، مقترباً من 50% لـ ReLU و $1 - k/n$ لـ TopK عند الشدات القصوى.

2.4 الإعداد التجريبي

يتحقق المؤلفون من هذه الادعاءات عبر 454 مزيجاً من (نموذج-طبقة) تشمل نماذج لغوية، بصرية، بروتينية، وجينومية. لقد قاموا بـ:

• حساب $\gamma$ على التنشيطات الحقيقية (باستخدام LayerNorm لكل رمز).
• تدريب SAEs مع وبدون خسائر مساعدة (AuxK).
• إجراء تجارب اصطناعية حيث يتم التحكم في $\gamma$ لعزل السببية.
• اختبار تمركز المتوسط (mean-centering) (طرح $\mu$ من المدخلات أو تهيئة التحيز إلى $\mu$) كاستراتيجية تخفيف.

3. المساهمات الرئيسية

1. تشخيص شدة القيمة المتطرفة ($\gamma$): اشتق المؤلفون $\gamma$ من المبادئ الأولى، موضحين أنها تحدد تحليلياً كسر الميزات الميتة عند التهيئة. هذا التشخيص يرتبط بقوة بمعدلات الموت الملحوظة عبر نماذج متنوعة (Spearman $\rho = 0.89$ لـ TopK، و $\rho = 0.82$ لـ ReLU) دون أي عملية ملاءمة (fitting).
2. السبب الهندسي للموت: تثبت الورقة أن موت الميزة في النماذج ذات $\gamma$ العالية هو مشكلة هندسة تهيئة، وليس مشكلة ديناميكيات تدريب. فالمتوسط التنشيطي يخلق إزاحات في ما قبل التنشيط مستقلة عن المدخلات تحدد مصير الميزة قبل بدء التدريب.
3. تحليل ديناميكيات الاستعادة: شخص المؤلفون مسارين متميزين للإحياء:
   • سريع (Fast): ميزات Dead-by-TopK تحيا مع تقلص الميزات المنافسة أثناء التدريب.
   • بطيء (Slow): ميزات Dead-by-ReLU لا تحيا إلا مع تعلم الـ SAE bias ببطء لامتصاص الإزاحة المتوسطة $\mu$. عملية التعلم هذه بطيئة للغاية عند $\gamma$ العالية، مما يفسر لماذا يفشل التدريب وحده غالباً في استعادة الميزات.
4. التحقق عبر تمركز المتوسط: توضح الورقة أن تهيئة تحيز SAE إلى متوسط التنشيط (ما يعني فعلياً تمركز المتوسط) يلغي الموت الناتج عن القيم المتطرفة عند التهيئة. وهذا يؤكد الآلية الهندسية ويوفر مبرراً مبدئياً لمتى يكون هذا التحضير ضرورياً.

4. النتائج

• الارتباط: تتنبأ $\gamma$ بدقة بمعدلات الموت الأولية عبر 454 مزيجاً من (نموذج-طبقة). وتؤكد التجارب الاصطناعية وجود ارتباط رتبي مثالي ($\rho=1.0$) بين زيادة $\gamma$ وزيادة معدلات الموت.
• محدودية التدريب: في سيناريوهات $\gamma$ العالية (مثلاً $\gamma \ge 30$)، يفشل التدريب القياسي في استعادة الميزات حتى بعد 2 مليون خطوة. عملية تعلم التحيز (bias learning) هي العائق؛ فالميزات ذات ما قبل التنشيط السالب الدائم تظل ميتة لأن التحيز لا يمكنه تعلم الإزاحة الكبيرة بسرعة كافية.
• محدودية AuxK: يعمل AuxK على تسريع استعادة ميزات Dead-by-TopK عبر توفير إشارات تدرج، لكنه لا يسرع عملية تعلم التحيز المطلوبة لاستعادة Dead-by-ReLU. وبالتالي، يساعد AuxK عند $\gamma$ المتوسطة ولكنه يفشل في حل الموت عند $\gamma$ العالية.
• فعالية تمركز المتوسط:
  • في البيانات الاصطناعية ($\gamma=40$)، يقلل تمركز المتوسط الميزات الميتة إلى ما يقرب من الصفر ويخفض خطأ إعادة البناء بمقدار عشرة أضعاف.
  • في النماذج الحقيقية (مثل ESM3، AlphaFold3)، يقلل تمركز المتوسط الموت الأولي من >80% إلى ما يقرب من الصفر.
  • جودة الميزة: تنتج SAEs الممركزة متوسطاً ميزات أكثر أحادية المعنى (monosemantic). في ESM3، استعادت SAE الممركزة متوسطاً مع 2,048 ميزة مفاهيم بيولوجية أكثر (100) من SAE الأساسية مع 8,192 ميزة (73).
• الموت المتبقي: لا يلغي تمركز المتوسط كل الموت. في الطبقات ذات الرتب المنخفضة جداً (مثل Evo1)، حيث يتركز التباين في اتجاهات قليلة جداً، لا تزال الميزات تموت بسبب منافسة TopK. يقترح المؤلفون استخدام PCA whitening أو Active Subspace Initialization كحلول لهذه الحالات المحددة.

5. الأهمية والادعاءات

تدعي الورقة أنها تقدم أساساً مبدئياً لفهم وتخفيف موت الميزة في SAEs، محولةً النموذج من "إصلاح ديناميكيات التدريب" إلى "تصحيح الهندسة الأولية".

• إرشادات عملية: يقترح المؤلفون سير عمل تشخيصي بسيط: احسب $\gamma$ للطبقة. إذا كانت $\gamma$ عالية، فإن تمركز المتوسط (تهيئة التحيز لمتوسط التنشيط) ضروري لمنع موت الميزة. إذا كانت $\gamma$ منخفضة، فإن التدريب القياسي يكفي.
• الكفاءة: يلغي تمركز المتوسط الحاجة إلى تقنيات الإحياء المكلفة حوسبياً (مثل AuxK) في أنظمة $\gamma$ العالية، ويسمح لقواميس أصغر بتحقيق نفس أو أفضل من قابلية التفسير مقارنة بالقواميس الأكبر غير الممركزة.
• رؤية نظرية: توضح الورقة أن التباين في أداء SAE عبر المجالات المختلفة (اللغة مقابل البيولوجيا) مدفوع بهندسة تنشيط النماذج المصدرية، وليس ببنية SAE نفسها.

تخلص الورقة إلى أنه بالنسبة لمعظم النماذج، فإن تهيئة تحيز SAE إلى الوسيط الهندسي (geometric median) للتنشيطات هي خطوة صفرية التكلفة وعالية التأثير تضمن أن حجم القاموس الفعال يطابق الحجم المقصود، مما يتيح تفسيراً آلياً أكثر موثوقية عبر عائلات النماذج المختلفة.