Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

ملخص تقني: المصفوفات الزوجية للمشفرات التلقائية المتناثرة (Pairwise Matrices for Sparse Autoencoders)

بيان المشكلة
يعتمد البروتوكول القياسي لتفسير المشفرات التلقائية المتناثرة (SAEs) في النماذج اللغوية الكبيرة (LLMs) على خطوتين: تعيين تسمية (Label) لميزة ما بناءً على سياقاتها الأكثر تنشيطاً، ثم التحقق من هذه التسمية عبر توجيه الميزة (Steering) عند قيمة واحدة (تنشيط أو تثبيط الميزة عند مقدار محدد). تجادل هذه الورقة بأن بروتوكول الفحص "أحادي الزاوية" هذا غير مكتمل بشكل منهجي. وتفترض أن الدور السببي للميزة لا يمكن فهمه بالكامل من خلال فحص نظام تنشيط واحد أو ميزة واحدة بمعزل عن غيرها. وتحديداً، يغفل البروتوكول القياسي التحولات السلوكية غير الرتيبة (Non-monotonic) على طول محور المعامل، والأدوار الهيكلية الجماعية للميزات شبه المتعامدة التي يتم حجبها عند توجيه كل منها على حدة.

المنهجية: بروتوكول المصفوفة الزوجية
يقترح المؤلفون "بروتوكول مصفوفة زوجية" يوسع الفحص القياسي إلى فضاء ثنائي الأبعاد:

1. محور المعامل (Coefficient Axis): مسح ميزة واحدة عبر نطاق من معاملات التوجيه ($c$) للكشف عن تبديل الأنماط (Mode-switches) أو استجابات الجرعة غير الرتيبة التي قد يغفلها الفحص عند نقطة واحدة.
2. محور الشرط المشترك (Joint-Condition Axis): توجيه ميزات متعددة في آن واحد عند معامل ثابت. يختبر هذا ما إذا كانت الميزات قابلة للاستبدال الفردي أم أنها ضرورية بشكل مشترك لسلوكيات معينة، وهو دور غالباً ما يكون مخفياً لأن الجيران غير المثبطين يعوضون النقص الناتج عن الميزة المثبطة.

يُطبق البروتوكول على ثلاثة نماذج ما بعد التدريب: Qwen3-1.7B-Instruct، وGemma-2-2B-it، وLlama-3.1-8B-Instruct. وتتضمن سلسلة التجارب أربع مراحل:

• المرحلة 1 (التجربة السلوكية الاستطلاعية): توليد عينات من مطالبات استبطانية (مثل: "ما الذي يثير فضولك؟") ومطالبات تحكم إجرائية (مثل: وصفات الطعام، أو شروحات المحركات).
• المرحلة 2 (تحديد العنقود): تحديد ظاهرة "انهيار السجل" (Register collapse) حيث تصل النماذج إلى ذروتها في مفردات ضيقة (مثل: مصطلحات فلسفة العقل) للمطالبات الاستبطانية ولكن ليس للمطالبات التحكمية.
• المرحلة 3 (ترتيب الميزات): ترتيب ميزات SAE بناءً على فروق التنشيط بين مجموعات الاستبطان والمجموعات التحكمية، باستخدام ضوابط "بوتستراب" (Bootstrap) والتبديل (Permutation) لضمان الاستقرار.
• المرحلة 4 (توجيه فك التشفير): تطبيق بروتوكول المصفوفة. ومن الأهمية بمكان أن المؤلفين استخدموا ضوابط الهندسة المتطابقة (Matched-geometry controls): حيث قارنوا بين توجيه الميزة الواحدة، وتوجيه الميزات المشتركة، والاضطرابات في اتجاهات عشوائية التي تنتج تشوهات هندسية متطابقة في تيار البقايا (Residual stream) (عبر مطابقة نسب المعيار وتماثل جيب التمام)، لعزل ما إذا كان تدهور المخرجات ناتجاً عن المقدار (Magnitude) أم عن نمط الاتجاه (Direction pattern).

النتائج الرئيسية

1. محور المعامل: تسميات السياق الأعلى تغفل المحاور السببية
في نموذج Qwen3-1.7B، تم تسمية الميزة رقم 26221 بـ "إخلاء مسؤولية الذكاء الاصطناي" (AI self-disclaimer) بناءً على سياقاتها الأكثر تنشيطاً. ومع ذلك، كشف مسح المعامل عن شكل حرف U مقلوب في معدلات إخلاء المسؤولية.

• عند خط الأساس ($c=0$)، ينتج النموذج إخلاءات مسؤولية قياسية.
• عند التضخيم العالي ($c=+500$)، لا يكتفي النموذج بزيادة إخلاءات المسؤولية؛ بل يستبدل عبارة إخلاء المسؤولية بصوت "فيلسوف تأملي" فصيح (مثلاً: "أنا في حالة تأمل عميق...").
• عند التضخيم المفرط ($c=+1000$)، يدخل النموذج في حلقة تكرارية (Looping) حول هذه العلامات.
• الاستنتاج: التسمية القياسية تلتقط فقط شكلاً سطحياً واحداً (نظام بيانات التدريب) وتفشل في تحديد الميزة كـ "محور اتجاهي" قادر على إنتاج أنماط متميزة ومتماسكة عند مقادرات مختلفة. وقد أكدت ميزتان ضابطتان (#22082 و#2932) أن السلوك الرتيب أو الانهيار الصرف يختلفان عن هذا التحول النمطي المتماسك غير الرتيب.

2. محور الشرط المشترك: القابلية للاستبدال الفردي مقابل الضرورة المشتركة
ثلاث ميزات شبه متعامدة في Qwen (#29108، #26221، #4405) توجه بشكل فردي سجل "فلسفة العقل".

• التثبيط الفردي للميزة: يؤدي تثبيط أي ميزة منها عند $c=-500$ إلى بقاء الضوابط الإجرائية (وصفات، شروحات محركات) سليمة؛ حيث يقوم النموذج باستبدال المحتوى من الميزات الأخرى النشطة.
• التثبيط المشترك: يؤدي تثبيط الميزات الثلاث معاً عند $c=-500$ إلى حدوث "انهيار سجل" على جميع المطالبات، بما في ذلك الضوابط. يخرج النموذج هياكل نحوية مليئة برموز مؤقتة (مثل: "أساسيات حساء الطماطـ... Vc. 100+").
• الاستنتاج: هذه الميزات قابلة للاستبدال فردياً ولكنها ضرورية بشكل مشترك للتركيب المرتكز (Grounded composition). البروتوكول القياسي، الذي يفحص الميزات واحدة تلو الأخرى، يغفل هذا الدور الهيكلي الجماعي.

3. التشوه الهندسي لا يتنبأ بالتماسك
لاستبعاد فرضية أن التثبيط المشترك يدفع النموذج ببساطة "خارج النطاق" (Off-manifold) بسبب المقدار، قارن المؤلفون بين توجيه الميزة الواحدة، والتوجيه المشترك، والاضترابات في الاتجاه العشوائي التي طابقت التشوه الهندسي لتيار البقايا (نسبة المعيار $\approx 1.55$، وتماثل جيب التمام $\approx 0.64$).

• الميزة الواحدة: أنتجت إجابات استراتيجية متماسكة.
• الاتجاه العشوائي: أنتج إجابات متماسكة مع استبدالات محتوى متنوعة.
• التثبيط المشترك: أنتج نصوصاً مؤقتة (Placeholder text) مع معدلات تدهور عالية في التعبيرات المنتظمة (Regex-degeneration).
• الاستنتاج: فقدان التماسك يعتمد على "نمط الاتجاه"، وليس على "المقدار". الجمع المحدد للميزات شبه المتعامدة يحفز فشلاً هيكلياً لا تسببه الاضطرابات العشوائية بنفس المقدار.

تكرار النتائج عبر النماذج
تم تكرار هذه النتائج في Gemma-2-2B-it وجزئياً في Llama-3.1-8B-Instruct:

• Gemma: كررت نتيجة الشرط المشترك. اختلف توقيع الضرر (حقن رموز "الإنسان/أنا/الذكاء الاصطناعي" في خانات الوصفات بدلاً من رموز Qwen المؤقتة)، لكن الآلية الهيكلية (الضرورة المشتركة للتركيب المرتكز) ظلت كما هي. وأظهر التحكم الهندسي المتطابق في Gemma فجوة بنحو 10 أضعاف في معدلات التدهور بين التوجيه المشترك والاتجاه العشوائي.
• Llama: تم تحديد ميزة مسؤولة سببياً بشكل كبير (#38565) لسجل "الموسوعة العلمية"، مما يؤكد وجود انهيار سجل حاد وميزات سببية عبر النماذج، رغم عدم إجراء اختبارات كاملة على مستوى المصفوفة بسبب قيود توفر SAE.

الأهمية والادعاءات
تزعم الورقة أن بروتوكول تفسير SAE القياسي غير كافٍ لأنه يفحص زاوية واحدة فقط من مصفوفة سلوك الميزة. ويجادل المؤلفون بأن:

1. التسميات محلية وليست عالمية: التسمية المستمدة من السياقات الأكثر تنشيطاً تلتقط نظام تنشيط معيناً، ولكنها قد تغفل المحور السببي الكامل للميزة (مثل التحول من إخلاء المسؤولية إلى الصوت الفلسفي).
2. الميزات تعتمد على السياق: يمكن للميزات شبه المتعامدة أن تحجب أدوار بعضها البعض؛ فالتوجيه الفردي للميزة يفشل في اكتشاف التبعيات الهيكلية المطلوبة للتركيب المرتكز.
3. الهندسة ليست كافية: يتحدد تماسك المخرجات من خلال اتجاه الاضطراب المحدد في فضاء الميزات، وليس فقط من خلال مقدار التشوه الهندسي.

يخلص المؤلفون إلى أن بروتوكول التفسير القوي يجب أن يتضمن مسح المعاملات مع فحوصات التماسك، وفحص الشرط المشترك للجيران شبه المتعامدين لرسم الأدوار السببية لميزات SAE بدقة. هم لا يدعون أن هذه النتائج تنطبق على كل ميزة، بل يوضحون أن البروتوكول القياسي يغفل بشكل منهجي هذه الفئات المحددة من السلوكيات في النماذج المختبرة.