Constructing Interpretable Features from Compositional Neuron Groups

ملخص تقني: بناء سمات قابلة للتفسير من مجموعات عصبية تركيبية

بيان المشكلة
يتمثل التحدي المركزي في التفسير الآلي (mechanistic interpretability) في تحديد وحدات التحليل المناسبة للنماذج اللغوية الكبيرة (LLMs) التي تفسر مخرجات النموذج بشكل سببي. وبينما ركزت الأبحاث المبكرة على الخلايا العصبية الفردية، تشير الأدلة إلى أن الخلايا العصبية غالبًا ما تشفر مفاهيم متعددة (تعدد المعاني/polysemanticity)، مما يستدعي التحول نحو تحليل الاتجاهات في فضاء التنشيط. تعتمد النهج غير الخاضعة للإشراف الحالية على المشفرات التلقائية المتناثرة (SAEs) المدربة على تنشيطات التيار المتبقي (residual stream) لتعلم اتجاهات السمات من الصفر. ومع ذلك، تواجه الـ SAEs قيودًا كبيرة: فهي غالبًا ما تعاني في التقييمات السببية (التوجيه/steering)، وتفتقر إلى التفسير الجوهري لأن سماتها المستخلصة ليست مرتبطة صراحةً بالحسابات الداخلية للنموذج، كما أن سماتها ليست مقيدة بفضاء التمثيل الخاص بالنموذج. هناك حاجة لمنهج يكتشف سمات قابلة للتفسير بطريقة غير خاضعة للإشراف مع الحفاظ على رابط سببي مباشر مع آليات النموذج.

المنهجية
يقترح المؤلفون تفكيك تنشيطات الطبقة المتعددة الطبقات (MLP) مباشرة باستخدام تحليل المصفوفات شبه غير السالب (SNMF). وبخلاف الـ SAEs، التي تتعلم اتجاهات جديدة، تقوم هذه الطريقة بتمثيل السمات كمجموع خطي متناثر من الخلايا العصبية الموجودة والمتنشطة معًا داخل الـ MLP.

1. الصياغة: بالنظر إلى مصفوفة $A \in \mathbb{R}^{d_a \times n}$ من تنشيطات الـ MLP (حيث $d_a$ هو البعد الداخلي و $n$ هو عدد الرموز/tokens)، تقوم الطريقة بتفكيك $A$ إلى مصفوفتين:

   • $Z \in \mathbb{R}^{d_a \times k}$: مصفوفة من $k$ من سمات الـ MLP، حيث يحدد كل عمود منها مجموعة خطية متناثرة من الخلايا العصبية.
   • $Y \in \mathbb{R}^{k \times n}_{\geq 0}$: مصفوفة معاملات غير سالبة تربط المدخلات بالسمات.
     يتبع التفكيك الصيغة $A \approx ZY$.

2. آلية التفسير:

   • التناثر (Sparsity): يتم تقييد أعمدة $Z$ لتكون متناثرة باستخدام عامل "الفائز يأخذ الكل" (winner-take-all) القاسي، مما يضمن أن كل سمة تنشط مجموعة فرعية صغيرة فقط من الخلايا العصبية.
   • التأسيس السببي (Causal Grounding): تقوم المصفوفة غير السالبة $Y$ بتشفير الرموز (tokens) التي ساهمت في إنشاء السمة بشكل صريح، مما يسمح بالتعيين المباشر لتسميات المفاهيم النصية بناءً على السياقات ذات التنشيط العالي.
   • الربط بالتيار المتبقي (Mapping to Residual Stream): يتم ربط كل متجه سمة $z_i$ في فضاء التنشيط بالتيار المتبقي عبر أوزان مخرجات الـ MLP ($W_V$)، مما يحدد سمة التيار المتبقي $f_i = W_V z_i$. وهذا يضمن أن السمات متجذرة في المسارات الحسابية الفعلية للنموذج.

3. التحسين (Optimization): تستخدم الطريقة التحديثات الضربِيّة (Ding et al., 2010) لتقليل معيار فوروبينيوس (Frobenius norm) بين $A$ و $ZY$، مع فرض التناثر على $Z$.

المساهمات الرئيسية

• استخدام SNF لتفكيك الـ MLP: يقدم البحث طريقة غير خاضعة للإشراف لتفكيك تنشيطات الـ MLP إلى سمات قابلة للتفسير محددة بمجموعات من الخلايا العصبية المتنشطة معًا، بدلاً من تعلم اتجاهات عشوائية من الصفر.
• تفوق التوجيه السببي (Causal Steering): يوضح المؤلفون أن السمات المستمدة من SNF تتفوق على نماذج SAEs المتطورة (مثل GemmaScope و Llamascope) وعلى خط الأساس القوي الخاضع للإشراف (Difference-in-Means) في مهام التوجيه السببي، بينما تؤدي أداءً مشابهًا في اكتشاف المفاهيم.
• كشف التركيب الهرمي: من خلال تطبيق SNMF المتكرر، يظهر المؤلفون أن سمات الـ MLP هي سمات تركيبية. فالمفاهيم دقيقة التفاصيل (مثل أيام الأسبوع المحددة) تتشكل من خلال دمج "الخلايا العصبية الجوهرية" المشتركة مع خلايا عصبية حصرية. يكشف هذا عن بنية هرمية حيث تتكون المفاهيم الأوسع (مثل "يوم أسبوع") من مفاهيم فرعية أكثر تحديدًا، مما يعكس بفعالية ظاهرة "انقسام السمات" التي تُلاحظ غالبًا في الـ SAEs.
• إعادة استخدام الخلايا العصبية: يؤكد التحليل أن السمات ذات الصلة دلاليًا تشترك في مجموعة جوهرية من الخلايا العصبية، حيث تتحكم الخلايا العصبية الحصرية في تعزيز أو كبح المفاهيم الفرعية المحددة.

النتائج
أُجريت التجارب على نماذج Llama 3.1-8B و Gemma 2-2B و GPT-2 Small.

• اكتشاف المفاهيم: حققت سمات SNF درجات اكتشاف إيجابية لغالبية السمات (>75%)، مما يشير إلى أنها تنشط للمدخلات المرتبطة بالمفهوم وتظل غير نشطة للمدخلات المحايدة. كان الأداء مشابهًا أو متفوقًا على الـ SAEs المدربة على مخرجات الـ MLP.
• التوجيه السببي (Concept Steering): في تقييمات التوجيه السببي (التي تقيس القدرة على توجيه توليد النموذج نحو مفهوم ما مع الحفاظ على السلاسة)، تفوقت SNF باستمرار على الـ SAEs في جميع الطبقات. كما طابقت أو تجاوزت في كثير من الأحيان أداء خط الأساس (Difference-in-Means) الخاضع للإشراف.
• التحليل الهرمي: نجح التطبيق المتكرر لـ SNMF في دمج السمات دقيقة التفاصيل (مثل "الاثنين"، "الثلاثاء") في مفاهيم أعلى مستوى (مثل "يوم أسبوع"، "عطلة نهاية الأسبوع"). أكدت التدخلات السببية أن تضخيم "الخلايا العصبية الجوهرية" يعزز جميع الرموز ذات الصلة، بينما تضخيم "الخلايا العصبية الحصرية" يعزز رموزًا محددة ويكبح أخرى.

الأهمية والادعاءات
يزعم البحث أن SNF يوفر أداة بسيطة وفعالة لتحديد السمات القابلة للتفسير في النماذج اللغوية الكبيرة. ومن خلال تفكيك تنشيطات الـ MLP مباشرة، تربط هذه الطريقة السمات بمكونات النموذج المحددة المسؤولة عن تكوينها. تشير النتائج إلى أن الـ MLP يعمل عبر تحديثات إضافية تتكون من مجموعات عصبية قابلة للتفسير. يضع هذا العمل SNF كبديل قابل للتطبيق للـ SAEs، حيث يقدم أداءً سببيًا أفضل وتفسيرًا جوهريًا دون الحاجة إلى إشراف. علاوة على ذلك، فإن اكتشاف التركيب الهرمي للخلايا العصبية يوفر منظورًا جديدًا لفهم كيفية بناء النماذج اللغوية الكبيرة لمفاهيم معقدة من لبنات بناء عصبية قابلة لإعادة الاستخدام، مما يوسع الدور الوظيفي للخلايا العصبية بما يتجاوز ترميز المفهوم الواحد.

يقر المؤلفون بوجود قيود، بما في ذلك التركيز الحالي على عدد السمات $k < 500$ والاعتماد على النماذج اللغوية الكبيرة كحكام للتقييم، رغم تسجيلهم توافقًا قويًا مع الأحكام البشرية. ويقترحون أن العمل المستقبلي يمكن أن يستكشف التوسع إلى قيم $k$ أكبر واستخدام التدرج المنحدر المتجه (projected gradient descent) للتحسين.