ملخص تقني: المشفرات التلقائية المتناثرة الواعية بالإشارة (Sign-Aware Gated Sparse Autoencoders)

بيان المشكلة

تعد المشفرات التلقائية المتناثرة (SAEs) أداة قياسية لاستخراج الميزات القابلة للتفسير من النماذج اللغوية الكبيرة (LLMs) عبر تعلم قواميس مفرطة الامتداد للميزات الكامنة. ومع ذلك، فإن متغيرات SAE القياسية (مثل تلك القائمة على ReLU أو Gated SAEs القياسية) تفرض عدم السالبية على التنشيطات الكامنة ($f_i(x) \geq 0$). يفرض هذا القيد على النموذج تعلم ميزات كامنة منفصلة للمفاهيم المتضادة تماماً (مثل "الضغط مرتفع جداً" مقابل "الضغط منخفض جداً") على طول نفس المحور الدلالي.

يؤدي "انقسام الإشارة" (sign splitting) هذا إلى هدر سعة القاموس، حيث يتطلب الأمر ميزتين لتمثيل اتجاه ميزة ثنائية الاتجاه واحدة. وبينما تسمح الترميز المتناثر الكلاسيكي بمعاملات ذات إشارة، تفتقر تطبيقات SAE القياسية عادةً إلى آليات لتمثيل الأدلة الموجبة والسالبة معاً على طول اتجاه فك ترميز مشترك دون التسبب في آثار انكماش L1 أو الحاجة إلى مضاعفة عرض النموذج.

المنهجية: المشفر التلقائي المتناثر ذو البوابة الواعي بالإشارة (SA-GSAE)

يقترح المؤلفون بنية SA-GSAE، وهي بنية مصممة لنمذجة الميزات المتضادة في الارتباط باستخدام ترميز كامن واحد. تعمم هذه الطريقة نموذج Gated SAE عبر تقديم آلية تباعد (sparsity) ذات بوابة ثنائية الجانب مع إشراف مساعد.

1. تنشيط Bi-Jump-ReLU

الابتكار الجوهري هو دالة تنشيط Bi-Jump-ReLU. لكل ميزة كامنة $i$، يحسب النموذج إسقاطاً محاذياً لفك الترميز $t_i(x)$. يتم تعريف "منطقة ميتة" (dead zone) قابلة للتعلم $[-\delta^-_i, \delta^+_i]$ عبر عتبات.

• اختيار القطبية: تحدد بوابة ما قبل التنشيط $\pi_i(x)$ القطبية $s_i(x) \in \{+1, -1, 0\}$. إذا تجاوز $\pi_i(x)$ العتبة الموجبة، يتم تفعيل الميزة بشكل موجب؛ وإذا انخفض عن العتبة السالبة، يتم تفعيلها بشكل سالب.
• المقدار الموقّع: بمجرد أن تختار البوابة قطبية ما، يقوم مسار مقدار منفصل بحساب قيمة التنشيط. ومن الأهمية بمكان أن هذا المسار يستخدم معامل كسب ($g^+_i$ أو $g^-_i$) وإزاحة مقدار مشتركة، مما يتجنب طرح العتبات من المقدار النشط (وهو ما يسبب انكماش L1).
• الاتجاه المشترك: يتم رسم كل من التنشيطات الموجبة والسالبة على عمود فك الترميز نفسه $D_{:,i}$، مما يسمح لميزة واحدة بتمثيل محور دلالي ثنائي الاتجاه.

2. هدف التدريب

يجمع فقد التدريب بين ثلاثة مكونات:

1. إعادة البناء الرئيسية: $\|x - D a(x) - b_{dec}\|^2_2$، حيث تحتوي $a(x)$ على تنشيطات Bi-Jump-ReLU الموقعة.
2. عقوبة تباعد البوابة: فقد hinge ثنائي الجانب $\Omega_{gate}(\pi_i(x))$ يُطبق على ما قبل تنشيط البوابة لتشجيع التباعد دون تقليص المقادير النشطة.
3. إعادة البناء المساعدة: يستخدم فقد مساعد $L_{aux}$ مسار فك ترميز مع توقف التدرج (stop-gradient). يشرف هذا الفقد مباشرة على البوابة، ويعلمها أي جانب من المنطقة الميتة يجب تجاوزه، بينما تتعلم إعادة البناء الرئيسية المقدار الموقّع. هذا الفصل يمنع البوابة من الانهيار (وهو نمط فشل شائع في SAEs الموقعة).

3. حجة كفاءة المعلمات

يقدم المؤلفون حجة نظرية لكفاءة المعلمات. إذا ظهر جزء $p$ من الميزات الحقيقية في شكل أزواج متضادة في الارتباط، فإن SAE القياسي يتطلب عرضاً $H$، بينما يتطلب نموذج SA-GSAE عرضاً $H_{\pm} = H(1 - p/2)$.

• يضيف نموذج SA-GSAE أربعة معلمات قياسية لكل ميزة كامنة (عتبتان، ومقياسان للمقدار) مقارنة بـ Gated SAE القياسي.
• يحدث صافي توفير المعلمات عندما يكون $p > \frac{8}{d_{in} + 4}$.
• بالنسبة لأحجام مخفية نموذجية في Transformer ($d_{in} = 2048$)، فإن هذه العتبة تبلغ تقريباً $0.39\%$. ويجادل المؤلفون بأن حتى جزء صغير من الأزواج المتضادة في الارتباط يجعل نهج SA-GSAE أكثر كفاءة في المعلمات بشكل صارم.

المساهمات الرئيسية

1. البنية: تقديم SA-GSAE مع Bi-Jump-ReLU، مما يتيح تقدير المقدار الموقّع والتباعد ذو البوابة ثنائية الجانب. تؤكد دراسات الاستئصال (ablation) أن البوابة ثنائية الجانب والفقد المساعد هما المكونان "الحاملان للعبء"؛ حيث يؤدي إزالة الفقد المساعد إلى فشل كارثي (98% من الميزات الكامنة ميتة).
2. المقدار المتماثل الافتراضي: يوضح المؤلفون أن ربط مقاييس المقدار الموجب والسالب ($r^+_i = r^-_i$) لا يختلف عملياً عن التوسع المستقل ($|\Delta R^2| \approx 0.0015$) على تنشيطات LLM. ويوصون بهذا المتغير المتماثل كخيار افتراضي لكفاءة المعلمات.
3. التحقق التجريبي: تقييم واسع النطاق على Pythia-1B و SmolLM3-3B عبر ثلاث نقاط ربط (مخرجات MLP، مخرجات الانتباه، والتدفق المتبقي).

النتائج

تقارن الورقة بين نصف عرض SA-GSAE ($H = 16,384$) وبين Gated SAE كامل العرض ($2H = 32,768$) و Gated SAE متوافق في العرض.

• تقليل كسر الميزات الميتة: يقلل نصف عرض SA-GSAE بشكل كبير من نسبة الميزات الكامنة الميتة (غير النشطة) مقارنة بـ Gated SAE كامل العرض.
  • في خلايا مخرجات MLP والتدفق المتبقي لـ Pythia-1B، كان الانخفاض بمقدار 100 إلى 500 ضعف (المتوسط الهندسي).
  • في خلايا الانتباه والتدفق المتبقي لـ SmolLM3-3B، كان الانخفاض بمقدار 2 إلى 4 أضعاف.
• دقة إعادة البناء:
  • في 3 من أصل 6 خلايا (كلا نقطتي ربط مخرجات MLP والتدفق المتبقي لـ Pythia-1B)، يهيمن نصف عرض SA-GSAE تماماً على Gated SAE كامل العرض عبر كامل نطاق $L_0$ (التباعد)، محققاً $R^2$ مساوياً أو أفضل مع عدد أقل بكثير من الميزات الميتة.
  • في الخلايا الثلاث المتبقية، كانت الفجوة في $R^2$ ضئيلة (ضمن $0.025$)، بينما ظل كسر الميزات الميتة منخفضاً بشكل ملحوظ.
• الاستقرار: عند العرض الكامل، يظهر SA-GSAE انهياراً قابلاً للتكرار في إعادة البناء على موقع التدفق المتبقي لـ SmolLM3-3B (MSE يصل إلى 6.0، $R^2$ إلى -4.3). يتجنب متغير نصف العرض هذا المرض تماماً، مما يوفر دافعاً عملياً للعمل عند نصف العرض.
• الاستخدام ثنائي القطب: يظهر تحليل المعايرة أن معظم الميزات الكامنة تحمل إشارة على كلا القطبين (نسبة ثنائية القطب عالية) في خلايا مخرجات MLP، مما يعزز مكاسب السعة. في طبقات الانتباه، تتركز البنية ثنائية القطب في مجموعة أصغر من الميزات ذات التنشيط الأعلى.

الأهمية والادعاءات

تدعي الورقة أنها أول مشفر تلقائي متناثر (SAE) ذو بوابة، وبطرفين، وبدون انكماش لمشاركة الميزات الموقعة. تكمن أهميتها الأساسية في:

1. الكفاءة: إثبات أن الوعي بالإشارة يسمح بتقليل عرض القاموس (نصف العرض) دون التضحો بجودة إعادة البناء، مما يحل فعلياً مشكلة عدم كفاءة "انقسام الإشارة".
2. الرؤية الهيكلية: إظهار أن القدرة على مشاركة اتجاهات فك الترميز للأزواج المتضادة في الارتباط ليست مجرد إمكانية نظرية بل ضرورة عملية لتعلم الميزات بكفاءة في LLMs، وخاصة في مخرجات MLP.
3. المتانة: تحديد أن الفقد المساعد ضروري لاستقرار التدريب وأن متغير المقدار المتماثل كافٍ للأداء العالي.

يعامل المؤلفون قواميس SAE كتحليلات مفيدة بدلاً من كونها قواعد حقيقية فريدة. ويخلصون إلى أن SA-GSAE بنصف العرض مع المقادير المتماثلة هو نقطة التشغيل الموصى بها، حيث يوفر استخداماً متفوقاً للسعة واستقراراً مقارنة بـ Gated SAEs غير الموقعة القياسية.