Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

ملخص تقني: توجيه النماذج اللغوية الكبيرة باستخدام المشفِّرات التلقائية المتناثرة (SAEs)

بيان المشكلة
اُقترحت المشفِّرات التلقائية المتناثرة (SAEs) كأداة لتفسير النماذج اللغوية الكبيرة (LLMs) عبر اكتشاف السمات أحادية المعنى داخل التدفق المتبقي، بناءً على فرضية التمثيل الخطي وفرضية التراكب. وبينما تمتلك سمات SAE القدرة النظرية على التحكم في توليد النموذج (التوجيه)، إلا أن الاختبارات المرجعية الحديثة مثل AxBench (Wu et al., 2025) أشارت إلى أن SAEs تؤدي أداءً ضعيفاً بشكل ملحوظ مقارنة بالنماذج المرجعية البسيطة مثل التلقين (prompting). وقد خلص Wu et al. (2025) إلى أن "النماذج المرجعية البسيطة تتفوق بشكل كبير على المشفِّرات التلقائية المتناثرة" في مهام التوجيه. علاوة على ذلك، اقترح عمل سابق (Wang et al., 2025) أن القابلية العالية للتفسير وفائدة التوجيه ترتبطان ارتباطاً وثيقاً بالتناثر العالي (منخفض $\ell_0$)، وهي حالة تتوفر غالباً في السمات الموسومة في مستودعات مثل Neuronpedia. ويجادل مؤلفو هذه الورقة بأن الأداء الضعيف الذي أبلغ عنه Wu et al. (2025) قد ينبع من استراتيجيات غير مثالية لتسمية واختيار السمات، بدلاً من كونه قصوراً متأصلاً في SAEs.

المنهجية
تقترح الورقة مساراً خاضعاً للإشراف لتسمية واختيار سمات SAE لتحسين أداء التوجيه، وذلك في تباين مع مناهج التسمية غير الخاضعة للإشراف أو المعتمدة على النماذج اللغوية الكبيرة.

1. مسار التسمية الخاضع للإشراف:

   • مصدر البيانات: يستخدم المؤلفون مجموعات بيانات Stack Exchange (مثل الأكاديمية، البيولوجيا، الرياضة) حيث تعمل الوسوم (tags) التي يحددها المستخدم كملصقات متعددة للحقيقة الأرضية (ground-truth).
   • مسابير السمات (Feature Probes): لكل سمة SAE، يتم إنشاء مسبار خطي عن طريق حساب تكرار تنشيط السمة عبر مجموعة بيانات. يتم إجراء تنبؤ ثنائي بناءً على ما إذا كان التكرار يتجاوز عتبة $\tau$.
   • درجة F1 المعايرة: لمطابقة السمات مع الملصقات، يحسب المؤلفون درجة "F1 المعايرة" ($F1^c$). يعدل هذا المقياس درجة F1 القياسية لمراعاة دعم الملصق (التكرار)، مما يمنع التحيز نحو الملصقات النادرة أو الشائعة. يتم اختيار العتبة المثلى $\tau$ لتعظيم هذه الدرجة.
   • إزالة الضجيج والاختيار: لضمان مطابقة عالية الجودة، يطبق المسار ثلاثة معايير:
     1. عتبة دعم الملصق: تصفية الملصقات التي يقل عدد ظهورها عن 50 لتقليل التباين.
     2. وكيل درجة المخرجات: استخدام عتبة ($10^{-3}$) بناءً على درجة المخرجات من Arad et al. (2025) لتصفية السمات ذات إمكانات التوجيه المتأصلة.
     3. اختيار Top-K: الاحتفاظ بأفضل 50 زوجاً من (السمة-الملصق) لكل فئة.

2. آلية التوجيه:

   • يستخدم المؤلفون نهج تحرير التنشيط الخاص بـ Templeton et al. (2024). أثناء الاستدلال، يتم تثبيت تنشيطات سمات معينة ($z_f$) عند قيمة $\alpha$. يتم الحفاظ على خطأ إعادة البناء، ويمرر المتجه اللاتيني المحرر عبر وحدة فك التشفير (decoder).
   • التقييم: يتم تقييم الطريقة باستخدام AxBench، الذي يقيم النص المولد من حيث الطلاقة، واتباع التعليمات، ودمج المفاهيم. يقوم المؤلفون بتحسين قوة التوجيه $\alpha$ بشكل فردي لكل زوج (سمة-ملصق) باستخدام التحقق المتقاطع، بدلاً من استخدام قيمة عالمية واحدة.

3. الإعداد التجريبي:

   • النماذج: أُجريت التجارب على نموذج Gemma 2 (9B) باستخدام Gemma Scope SAEs (بعرض 131 ألف) المدرجة في التدفق المتبقي عند الطبقتين 17 و32.
   • النماذج المرجعية: تشمل المقارنات النموذج المرجعي "NP random" (سمات مختارة عشوائياً مع ملصقات Neuronpedia) ونموذج توجيه التلقين من Wu et al. (2025).

النتائج الرئيسية

• تكافؤ الأداء مع LoRA: عندما يتم اختيار وتسمية السمات عبر المسار الخاضع للإشراف المقترح، تحقق SAEs أداء توجيه في اختبار AxBench يقترب من مستوى نماذج LoRA (Low-Rank Adaptation) المرجعية. وهذا يتفوق بشكل كبير على النتائج التي أبلغ عنها Wu et al. (2025).
• الصلاحية السببية: يختار المسار سمات تكون سببية بشكل مدهش لملصقاتها المحددة. حتى عند إزالة مكون "درجة المخرجات" (الذي يعد وكيلاً للقدرة على التوجيه) من عملية الاختيار، لا تزال السمات المختارة بواسطة التسمية الخاضعة للإشراف تُظهر أداء توجيه متفوقاً مقارنة باختيارات Neuronpedia العشوائية.
• استقلال التناثر: خلافاً لنتائج Wang et al. (2025)، يجد المؤلفون أن التناثر العالي (منخفض $\ell_0$) ليس حاسماً بشكل صارم لنجاح التوجيه. فقد كانت كل من نماذج SAE ذات التناثر المنخفض والعالي في نموذج Gemma Scope فعالة في مهام التوجح.
• النموذج المرجعي للتلقين: بينما تتحسن طريقة SAE المقترحة بشكل كبير فوق محاولات SAE السابقة، يشير المؤلفون إلى أن التلقين البسيط يظل نموذجاً مرجعياً قوياً، ويرجع ذلك على الأرجح إلى أن النماذج اللغوية الكبيرة مدربة صراحةً على اتباع التعليمات.

الأهمية والادعاءات
تعد هذه الورقة بمثابة رد جزئي على الادعاء بأن SAEs غير فعالة في التوجيه. يجادل المؤلفون بأن النتائج السلبية في Wu et al. (2025) لم تنصف SAEs "حق الإنصاف" بسبب الاعتماد على ملصقات موجودة مسبقاً، والتي قد تكون غير مثالية، والافتقار إلى اختيار السمات الخاضع للإشراف.

تكمن الأهمية الأساسية في إثبات أن:

1. التسمية مهمة: طريقة تسمية سمات SAE أمر بالغ الأهمية. فالنهج الخاضع للإشراف باستخدام المقاييس المعايرة وعتبات الدعم ينتج سمات ذات تأثير سببي حقيقي على توليد النموذج.
2. متانة SAEs: يمكن لـ SAEs أن تكون منافسة لطرق الضبط الدقيق منخفضة الرتبة (LoRA) في التوجيه، مما يؤكد فائدتها كأداة للتفسير.
3. الحقيقة الأرضية السببية: في سياق بحثي، يؤكد توجيه السمات الناجح "الحقيقة الأرضية" لملصق السمة، مما يميزها عن آثار مجموعات البيانات (تعدد المعنى/polysemanticity) التي قد تضلل التفسير القائم على الارتباط.

يحافظ المؤلفون على نبرة متواضعة، مقرين بأنه بينما تعد SAEs قوية للبحث وفهم المكونات الداخلية للنماذج، فإن التلقين يظل نموذجاً مرجعياً يصعب التغلب عليه في التطبيقات العملية بسبب طبيعة تدريب النماذج اللغوية الكبيرة. كما يشيرون إلى أن توجيه السمات يتضمن "ضرراً محكوماً" للنموذج، مما يجعله أقل ملاءمة لبيئات الإنتاج مقارنة بالضبط الدقيق القياسي.