ملخص تقني: تفكيك فضاء التمثيل إلى فضاءات فرعية قابلة للتفسير باستخدام التعلم غير الخاضع للإشراف

بيان المشكلة

تهدف التفسيرية الميكانيكية (Mechanistic Interpretability) إلى كشف الخوارزميات والدوائر الداخلية للشبكات العصبية. وبينما تم إحراز تقدم كبير في تحديد المكونات (رؤوس الانتباه، وMLPs)، والسمات المتفرقة (عبر التلقائية الذاتية المتفرقة - SAEs)، والفضاءات الفرعية المحددة، إلا أن الأساليب الحالية تواجه قيوداً. فالتليل القائم على المكونات غالباً ما يتطلب بيانات مضادة (counterfactual) متخصصة للتدخل السببي. أما السمات المتفرقة فتمنح قابلية للتفسير ولكنها تؤدي إلى دوائر تعتمد على المدخلات وتعدل من حسابات النموذج. أما الأساليب الحالية القائمة على الفضاءات الفرعية، فغالباً ما تعتمد على التعلم الخاضع للإشراف الموجه بنماذج سببية مجردة يحددها البشر، مما يتطلب من الباحثين توقع آليات معينة مسبقاً.

السؤال الجوهري الذي تعالجه هذه الورقة هو: هل من الممكن إيجاد فضاءات فرعية "طبيعية" وقابلة للتفسير داخل فضاء التمثيل لنماذج عصبية بطريقة غير خاضعة للإشراف تماماً، دون الوصول إلى سمات حقيقية أو فرضيات محددة من قبل البشر؟

المنهجية: تقليل مسافة الجار (NDM)

يقترح المؤلفون طريقة تقليل مسافة الجار (Neighbor Distance Minimization - NDM)، وهي طريقة غير خاضعة للإشراف لتقسيم فضاء التمثيل إلى فضاءات فرعية متعامدة وغير محاذية للقواعد (non-basis-aligned).

الحدس الجوهري

تستند الطريقة إلى فرضية أن التمثيلات العصبية تظهر تنافياً متبادلاً (mutual exclusiveness) ضمن مجموعات السمات. إذا كانت مجموعة من السمات متنافية (أي أن واحدة فقط أو لا شيء منها يكون نشطاً في وقت واحد)، فيمكن دمجها في فضاء فرعي مخصص. وعلى العكس من ذلك، يجب تمثيل السمات من مجموعات مختلفة (التي قد تتواجد معاً) بشكل متعامد لتجنب التداخل.

• التفسير الهندسي: في الفضاء المقسم بشكل صحيح، ستستقر نقاط البيانات عند إسقاطها على فضاء فرعي محدد على عدد قليل من الخطوط المركزة (التي تمثل السمات النشطة لتلك المجموعة). وبالتالي، سيكون لكل نقطة جار قريب جداً ضمن ذلك الفضاء الفرعي.
• هدف التحسين: يسعى NDM إلى إيجاد مصفوفة متعامدة $R$ وتكوين أبعاد $c$ يقلل المسافة بين كل تنشيط وأقرب جار له داخل كل فضاء فرعي.

الخوارزمية

1. التحويل: تقوم مصفوفة متعامدة $R$ بتدوير وعكس تنشيطات النموذج $h$. يتم تقسيم الفضاء المتحول إلى فضاءات فرعية بناءً على تكوين الأبعاد $c = [d_1, \dots, d_S]$.
2. دالة الخسارة: يقلل الهدف متوسط المسافة إلى أقرب جار داخل كل فضاء فرعي $s$:
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   حيث $\hat{h}_{n^*}^{(s)}$ هو أقرب جار لـ $\hat{h}_n^{(s)}$ في الفضاء الفرعي $s$.
3. تكوين الأبعاد: بما أن عدد الفضاءات الفرعية وأبعادها غير معروفة، تبدأ الطريقة بفضاءات فرعية صغيرة ومتساوية الحجم. أثناء التدريب، تقوم الطريقة بتقدير المعلومات المتبادلة (Mutual Information - MI) بين الفضاءات الفرعية بشكل دوري باستخدام مُقدّر KSG. إذا تجاوزت المعلومات المتبادلة بين فضاءين فرعيين حداً معيناً، يتم دمجهما. تستمر هذه العملية حتى لا يتجاوز أي زوج من الفضاءات هذا الحد، مما يؤدي فعلياً إلى إيجاد تقسيم تكون فيه الفضاءات الفرعية مستقلة قدر الإمكان.

المساهمات والنتائج الرئيسية

1. التحقق من النموذج التجريبي (Toy Model)

في بيئة تجريبية محكومة حيث تُعرف مجموعات السمات الحقيقية، نجح NDM في استعادة الفضاءات الفرعية المتعامدة المخصصة لكل مجموعة سمات. تقلل الطريقة المسافة إلى أقرب جار، مما يؤدي إلى تقسيم حيث يشفر كل فضاء فرعي مجموعة سمات واحدة فقط، مما يؤكد الارتباط النظري بين التنافي المتبادل، والتراكب (superposition)، والتعامد في الفضاءات الفرعية.

2. التقييم الكمي على GPT-2 Small

قيم المؤلفون NDM على نموذج GPT-2 Small باستخدام ترقيع تنشيط الفضاءات الفرعية (subspace activation patching) على دوائر معروفة (دوائر تحديد المفعول غير المباشر ودوائر "أكبر من").

• المقياس: قاموا بقياس تركيز تأثيرات الترقيع باستخدام معامل جيني (Gini coefficient). يشير معامل جيني المرتفع إلى أن قطعة معينة من المعلومات (مثل الرمز السابق) تتركز في فضاء فرعي واحد.
• الأداء: تفوق NDM بشكل كبير على النماذج المرجعية (Identity, Random, PCA, و SAE-feature clustering). حقق NDM متوسط معامل جيني قدره 0.71، وهو أعلى بكثير من عتبة 0.6 للتركيز المرضي، بينما تراوحت النماذج المرجعية بين 0.21 و0.38.
• الدليل: تظهر النتائج أن NDM يجد فضاءات فرعية تتوافق مع "المتغيرات" عالية المستوى في الدوائر المعروفة، مثل الرمز السابق أو موقع الفاعل، بشكل مستقل عن القيم التي تتخذها تلك المتغيرات.

3. التحليل النوعي عبر InversionView

باستخدام InversionView، حلل المؤلفون الصور العكسية (المدخلات التي ترسم تنشيطات متشابهة) للفضاءات الفرعية المكتشفة.

• القابلية للتفسير: وُجد أن الفضاءات الفرعية تشفر جوانب متميزة وقابلة للتفسير من السياق، مثل الرمز الحالي، والرمز السابق، وموقع الرمز، والموضوع العام.
• الاتساق: كان وظيفة الفضاء الفرعي متسقة عبر المدخلات المختلفة (على سبيل المثال، يشفر فضاء فرعي معين الرمز الحالي باستمرار)، مما يشير إلى أن هذه الفضاءات الفرعية تعمل كـ "متغيرات" مستقرة للنموذج.

4. القابلية للتوسع في النماذج الأكبر

تم تطبيق الطريقة على Qwen2.5-1.5B و Gemma-2-2B للتحقيق في سيناريوهات صراع المعرفة (المعرفة البارامترية مقابل معرفة السياق).

• النتائج: حدد NDM فضاءات فرعية منفصلة تدير توجيه المعرفة البارامترية و توجيه معرفة السياق. أظهرت تجارب الترقيع أن فضاءات فرعية محددة لها تأثيرات قوية تحت مدخلات مضادة مصممة لكسر آلية واحدة مع ترك الأخرى سليمة.
• الأهمية: يشير هذا إلى أنه حتى في النماذج الأكبر التي لا توجد بها دوائر حقيقية معروفة، يمكن لـ NDM الكشف عن هياكل وظيفية ذات معنى وقابلة للفصل.

الأهمية والادعاءات

تدعي الورقة أن NDM يقدم منظوراً جديداً لفهم باطنيات النماذج من خلال تفكيك فضاء التمثيل إلى فضاءات فرعية قابلة للتفسير وغير معتمدة على المدخلات، وذلك دون إشراف.

• الوحدات الأساسية الجديدة: يقترح المؤلفون أن هذه الفضاءات الفرعية يمكن أن تعمل كوحدات أساسية لـ دوائر الفضاءات الفرعية (subspace circuits). وبخلاف دوائر السمات التي تعتمد على المدخلات، تعمل دوائر الفضاءات الفرعية على "المتغيرات" (مجموعات من السمات) ويمكن بناؤها من خلال تحليل أوزان النموذج (على سبيل المثال، أي الفضاءات الفرعية يقرأ إليها رأس انتباه معين ويكتب إليها).
• الاكتشاف غير الخاضع للإشراف: تثبت الطة أن التقسيمات "الطبيعية" موجودة في النماذج الواقعية، مدفوعة بالبنية الإحصائية للبيانات (التنافي المتبادل) بدلاً من الفرضيات البشرية.
• القيود: يقر المؤلفون بأن التقسيمات الحالية قد لا تكون دقيقة بما يكفي (على سبيل المثال، تفقد الفضاءات الفرعية الصغيرة جداً للمتغيرات ذات مجموعات القيم الصغيرة) وأن بعض الفضاءات الفرعية تظل صعبة التفسير. كما يشيرون إلى أن الطريقة تعتمد على فرضية التمثيل الخطي (Linear Representation Hypothesis) وأن التحسين قد يعلق أحياناً في النهايات الصغرى المحلية (local minima).

ختاماً، تجادل الورقة بأن تفكيك الفضاء عبر تقليل مسافة الجار هو مسار قابل للتطبيق نحو اكتشاف "المتغيرات" والدوائر التي تحكم سلوك النماذج العصبية، مما يوفر إطاراً قابلاً للتوسع والتفسير للتحليل الميكانيكي.