Interpretability-Guided Layer Selection over Subspace Projection: SAEs as Stethoscopes, Not Scalpels, for Raw Task Vector Model Editing

ملخص تقني: اختيار الطبقات الموجه بالتفسيرية عبر إسقاط الفضاء الجزئي

بيان المشكلة
تحتاج النماذج اللغوية الكبيرة (LLMs) بشكل متزايد إلى "تعديل جراحي" للنماذج لتعزيز قدرات مجال محدد دون التكلفة الحسابية أو النسيان الكارثي المرتبط بالضبط الدقيق الكامل. هناك مساران بحثيان رئيسيان يعالجان هذا الأمر: حساب المهام (Task Arithmetic)، الذي يعامل فروق الأوزان بين النماذج المضبوطة والنماذج الأساسية كـ "متجهات مهام" تراكمية في فضاء الأوزان، والتفسيرية الآلية (Mechanistic Interpretability - MI)، التي تستخدم المشفّرات التلقائية المتفرقة (SAEs) لتفكيك فضاء التنشيط إلى ميزات قابلة للتفسير من أجل التدخل.

تشير فرضية سائدة إلى وجود خط إنتاج تآزري: استخدام الـ SAEs لتحديد الميزات ذات الصلة بالمجال، ثم حقن "متجهات المهام" فقط من خلال تلك الميزات المحددة (إسقاط الفضاء الجزئي). تقيم هذه الورقة البحثية هذه الفرضية بصرامة على مهام الاستدلال الرياضي باستخدام نموذج Gemma-3-4B-IT، وتكشف عن نمط فشل جوهري في هذا النهج.

المنهجية
تقارن الورقة بين خطي إنتاج للنماذج المعدلة بتوجيه SAE (موضح في الشكل 1):

1. النهج الفاشل (إسقاط SAE):

• العملية: يتم إسقاط متجهات المهام ($\Delta W$) على الفضاء الجزئي الذي تشغله متجهات فك التشفير الخاصة بـ SAE للمجال المحدد قبل الحقن.
• الآلية: يحاول هذا النهج تصفية تعديلات فضاء الأوزان من خلال اتجاهات فضاء التنشيط.
• النتيجة: يعمل هذا كعنق زجاجة معلوماتي شديد، حيث يتخلص من حوالي 97% من طاقة التعديل. ويعزو المؤلفون ذلك إلى عدم توافق هندسي: إذ تشغل متجهات فضاء فك التشفير لـ SAE المنطوق الهندسي للتنشيط (تلتقط الانتظامات الإحصائية للتمثيلات)، بينما توجد متجهات المهام في فضاء الأوزان (تشفر التغييرات الحسابية). إن إسقاط تعديلات فضاء الأوزان عبر اتجاهات فضاء التنشيط يخلط بين بنيتين هندسيتين متمايزتين، مما يؤدي إلى فقدان شبه كامل للإشارة الوظيفية.

2. النهج المقترح (SAE كـ سماعة طبيب، وليس كمشرط):

• العملية: تُستخدم الـ SAEs حصريًا للتشخيص (اختيار الطبقة)، وليس للتدخل (التصفية).
• الخطوة 1 (استخراج متجه المهمة): يتم استخراج متجه مهمة عبر ضبط دقيق باستخدام LoRA على مجموعة بيانات خاصة بمجال معين (مثل نظرية الأعداد).
• الخطوة 2 (اختيار الطبقة الموجه بـ SAE): يتم حساب درجة خصوصية (SP) لكل طبقة $l$. لكل طبة $l$، تمثل الدرجة أقصى خصوصية لميزات SAE الخاصة بها، حيث الخصوصية هي نسبة متوسط التنشيط للمدخلات المستهدفة مقابل المجالات الأخرى. يتم اختيار الطبقات التي تحقق $SP(l) \geq \tau_{SP}$ (على سبيل المثال، 4.0).
• الخطوة 3 (الحقن الخام الانتقائي): يتم حقن متجه المهمة الخام غير المصفى ($\Delta W$) فقط في الطبقات المختارة، مع توسيع نطاقه بمعامل عالمي $\alpha$. لا يتم تطبيق أي إسقاط أو قناع (masking) على المتجه نفسه.
• الرؤية الجوهرية: يحافظ هذا النهج على 100% من طاقة التعديل مع حصر التعديلات في المناطق ذات الصلة بالمجال. لاحظ المؤلفون قانون حفظ تجريبي: كلما انخفض عدد الطبقات المختارة، زاد معامل القياس الأمثل $\alpha$ تناسبياً ($n_{layers} \times \alpha_{opt} \approx 11.2$).

النتائج الرئيسية
تم التقييم على معيار Minerva Math (7 موضوعات، تشمل نظرية الأعداد، العد والاحتمالات، الجبر، إلخ) باستخدام Gemma-3-4B-IT:

• فشل الإسقاط: لم يسجل نهج إسقاط SAE (حقن المتجهات المسقطة في الطبقات المختارة) أي تحسن ذي دلالة إحصائية عبر أي من الموضوعات السبعة، حتى عند زيادة عرض ميزة SAE من 16 ألف إلى 262 ألف. وقد احتفظ النهج بنحو 2-3.5% فقط من طاقة التعديل.
• نجاح الحقن الخام: أدى النهج المقترح (حقن المتجهات الخام في الطبقات المختارة بواسطة SAE) إلى تحسين الأداء بشكل ملحوظ:
  • نظرية الأعداد: ارتفขึ้นت الدقة من 29.6% إلى 39.4% ($z = +3.41, p = 0.0007$).
  • إجمالاً: أظهر 5 من أصل 7 موضوعات تحسينات ذات دلالة إحصائية؛ ولم يتدهور أي منها بشكل ملحوظ.
  • المقارنة: أدى دمج LoRA الكامل (تطبيق $\Delta W$ على جميع الطبقات الـ 34) إلى تدهور الأداء في عدة موضوعات بسبب التداخل.
• المتانة: النهج متين تجاه معامل القياس $\alpha$ ضمن نطاق واسع (0.70–1.10) وهو حتمي تماماً بدقة float64.

المساهمات الرئيسية

1. الإطار المنهجي: يقترح "اختيار الطبقات الموجه بـ SAE مع حقن متجه المهمة الخام"، موضحاً أن الـ SAEs فعالة في تحديد أين نعدل (التشخيص) ولكنها غير فعالة في تصفية ماذا نحقن (التدخل).
2. النتيجة السلبية الجوهرية: توثق الورقة أن إسقاط متجهات المهام على الفضاءات الجزئية لميزات SAE يتخلص من ~97% من طاقة التعديل ولا يحقق أي مكاسب. يُقدم هذا كإسهام علمي مركزي، يتحدى الافتراض الحدسي بأن اختيار الميزات في فضاء التنشيط يمكن أن يفلتر مباشرة تحديثات فضاء الأوزان.
3. الدليل التجريبي على عدم التطابق الهندسي: تقدم الورقة دليلاً قوياً على أن اتجاهات SAE في فضاء التنشيت ومتجهات المهام في فضاء الأوزان ليست قابلة للتبادل، مما يدعم الأدبيات الحديثة التي تشكك في موثوقية الـ SAEs كأدوات تدخل تتجاوز مرحلة الاستقصاء.
4. الاستبعاد الشامل (Ablation): تتضمن الورقة أكثر من 30 تكويناً لاختبار عرض الميزات، وعتبات اختيار الطبقات، ومصادر متجهات المهام، ومعاملات القياس.

الأهمية والادعاءات
تدعي الورقة أن التمييز بين فضاء التنشيط وفضاء الوزن هو "محور حامل للوزن" في مشكلة تعديل النموذج. تكمن الأهمية الأساسية في إعادة تعريف دور أدوات التفسيرية:

• الـ SAEs كـ سماعات طبيب: هي قيمة لتشخيص التخصص المجالي على مستوى الطبقة.
• الـ SAEs ليست مشارط: لا ينبغي استخدامها لتصفية تعديلات فضاء الأوزان جراحياً عبر الإسقاط.

يخلص المؤلفون إلى أن التعديل الجراحي الفعال يتطلب فصلاً للأدوار: استخدم الـ SAEs لتحديد الطبقات المستهدفة، ولكن احقن متجه المهمة الخام وغير المصفى للحفاظ على الإشارة الوظيفية. يوفر هذا النهج إطاراً مبدئياً، خالياً من التدريب (بعد التدريب)، وحتمياً لتعزيز القدرات المجالية دون نسيان كارثي. تشير النتائج إلى أن فعالية هذا الاختيار التشخيصي تعتمد على "حدة" متجه المهمة نفسه، مما يتطلب بيانات تدريب مركزة للمجال.