Tracking Equivalent Mechanistic Interpretations Across Neural Networks

إليك ملخص تقني مفصل للورقة البحثية "تتبع التفسيرات الميكانيكية المتكافئة عبر الشبكات العصبية" (Tracking Equivalent Mechanistic Interpretations Across Neural Networks) من إعداد آلان صن وماريا تونيفا (ICLR 2026).

1. بيان المشكلة

تهدف التفسيرية الميكانيكية (Mechanistic Interpretability - MI) إلى الهندسة العكسية للشبكات العصبية لاكتشاف العمليات الخوارزمية المحددة (الدوائر - circuits) التي تستخدمها لأداء المهام. ومع ذلك، تواجه التفسيرية الميكانيكية تحديين حرجين يتعلقان بالقابلية للتوسع والتعميم:

1. الافتقار إلى الصلاحية الدقيقة: لا يوجد تعريف صارم لما يشكل "تفسيراً صالحاً"، مما يؤدي إلى عمليات اكتشاف عشوائية (ad hoc).
2. عدم القابلية للتمييز (Non-Identifiability): توضح الأعمال الحديثة (مثل Méloux et al., 2025) وجود علاقة "متعدد لمتعدد" بين الخوارزميات عالية المستوى (التفسيرات) والدوائر منخفضة المستوى. يمكن لدائرة واحدة أن تدعم تفسيرات متعددة، ويمكن لتفسير واحد أن يتم تنفيذه بواسطة دوائر مختلفة عديدة. وهذا يجعل من الصعب التحقق مما إذا كان نموذجان يتشاركان في نفس المنطق الأساسي دون إعادة بناء ذلك المنطق صراحة، وهو أمر مكلف حوسبياً للنماذج الكبيرة.

يقترح المؤلفون حل مشكلة فرعية مخففة: التكافؤ التفسيري (Interpretive Equivalence). الهدف هو تحديد ما إذا كان نموذجان مختلفان ينفذان نفس الخوارزمية عالية المستوى (التفسير) دون الحاجة إلى وصف أو تحديد تلك الخوارزمية صراحة.

2. المنهجية الجوهرية

تقدم الورقة إطاراً نظرياً وخوارزمية عملية تعتمد على المبدأ القائل بأن التفسيرين متكافئان إذا وفقط إذا كانت مجموعات التنفيذ الممكنة لهما متكافئة.

أ. الإطار النظري

صاغ المؤلفون مفاهيم التفسيرية الميكانيكية باستخدام التجريد السببي (Causal Abstraction):

• الدوائر ($K$): رسم بياني سببي يمثل المسارات الحسابية الدنيا (أو الكافية) للنموذج.
• التفسيرات ($A$): تجريد سببي عالي المستوى للدائرة. ومن المهم ملاحظة أن التفسير يُعرَّف بالنسبة لمستوى تجريد محدد (خريطة المحاذاة $\pi$).
• التنفيذات ($\Pi^{-1}(A)$): مجموعة جميع تكوينات الدائرة (إعدادات الأوزان) التي تؤول، تحت فئة محاذاة معينة $\Pi$، إلى نفس التفسير $A$.
• التكافؤ التفسيري ($d_{interp}$): يُعرَّف كمسافة "هاوسدورف" (Hausdorff distance) بين مجموعات تنفيذ التفسيرين. إذا تداخلت المجموعات بشكل كبير، فإن التفسيرين متكافئان.
• الضغط التفسيري ($\kappa$): قطر مجموعة التنفيذ. يشير الضغط العالي إلى تجريد فضفاض (دوائر كثيرة ترتبط بتفسير واحد)، بينما يشير الضغط المنخفض إلى ربط وثيق.

ب. الخوارزمية: التطابق (Congruity)

لتقدير التكافؤ التفسيري دون حصر جميع التنفيذات (وهو أمر مستعصٍ حوسبياً)، يقترح المؤلفون خوارزمية التطابق (Congruity)، وهي خوارزمية تعتمد على تشابه التمثيلات (Representation Similarity).

المنطق:
إذا تشارك نموذجان $h_1$ و $h_2$ في نفس التفسير $A$، فإن تمثيلاتهما الداخلية يجب أن تكون غير قابلة للتمييز عن تمثيلات النماذج الأخرى التي تنفذ $A$ أيضاً.

1. توليد التنفيذات: باستخدام التدخلات السببية (مثل "الترقيع النشط" - activation patching أو استئصال المكونات غير الدائرية)، يتم توليد "متغيرات" من النماذج. هذه المتغيرات متكافئة سببياً مع النموذج الأصلي ولكنها تمتلك أوزاناً/بنيات مختلفة، مما يعني أنها تأخذ عينات من مجموعة التنفيذ $\Pi^{-1}(A)$.
2. قياس التشابه: حساب تشابه التمثيل ($d_{repr}$) بين الحالات الخفية لهذه النماذج. ويُعرف هذا بأنه خطأ التقريب الخطي ثنائي الاتجاه (مدى قدرة مجموعة واحدة من التمثيلات على التحول خطياً إلى المجموعة الأخرى).
3. مقياس التطابق: تقوم الخوارهازمية بأخذ عينات من التنفيذات $h_1, h_1^*$ من النموذج 1، و $h_2$ من النموذج 2. وتتحقق مما إذا كان $d_{repr}(h_1, h_1^*) \leq d_{repr}(h_1, h_2)$. إذا كانت النماذج التي تمتلك نفس التفسير أكثر تشابهاً مع بعضها البعض باستمرار مما هي عليه مع النماذج ذات التفسيرات المختلفة، فإن النماذج تُعتبر "متطابقة".

3. المساهمات الرئيسية

1. تعريف التكافؤ التفسيري: صياغة مفهوم التكافؤ بناءً على تكافؤ مجموعات التنفيذ بدلاً من المطابقة الخوارزمية الصريحة، مما يعالج مشكلة عدم القابلية للتمييز.
2. خوارزمية التطابق: تطوير طريقة عملية ومؤتمتة لتقدير التكافؤ التفسيري باستخدام تشابه التمثيل والتدخلات السببية، متجاوزة الحاجة إلى الاكتشاف اليدوي للدوائر.
3. الضمانات النظرية:
   • النتيجة الرئيسية 1 (الحد الأعلى): إثبات أن تشابه التمثيل يضع حداً أعلى للتكافؤ التفسيري، بتأثير من الضغط التفسيري.
   • النتيجة الرئيسية 2 (الحد الأدنى): إثبات أنه إذا كانت التفسيرات متكافئة، فيجب أن تكون تمثيلاتها متشابهة، بشرط أن تكون خريطة المحاذاة مستقرة (متصلة ليبشيتز - Lipschitz continuous).
   • النتيجة الرئيسية 3: إرساء العلاقة بين مقياس التطابق والحدود النظرية، وإظهار أن التطابق يقدر بفعالية المسافة بين مجموعات التنفيذ.
4. الصياغات الجديدة: تقديم الضغط التفسيري كمقياس لجودة التجريد، وتقديم تعريف صارم للتفسيرات باعتبارها تجريدات للدوائر.

4. النتائج التجريبية

تحقق المؤلفون من نهجهم عبر ثلاثة محاور:

• المعايرة على مهام تجريبية (كشف التبديل - Permutation Detection):

  • إنشاء 6 تفسيرات متميزة ومبرمجة يدوياً لمهمة كشف التبديل $n$ باستخدام لغة RASP.
  • توليد 100 متغير نموذج لكل تفسير.
  • النتيجة: نجح مقياس التطابق في تحديد التشابه العالي (التطابق) بين النماذج التي تشترك في نفس التفسير (القطر في الخريطة الحرارية) والتشابه المنخفض بين التفسيرات المختلفة. كما رصد أيضاً التشابهات "واسعة النطاق" (مثل النهج القائم على الفرز مقابل النهج القائم على العد).

• الاختزال إلى نماذج أبسط (تحديد المفعول غير المباشر - IOI):

  • التطبيق على نماذج GPT-2 و Pythia بأحجام متفاوتة (من 85 مليون إلى 2.9 مليار معلمة) في مهمة IOI.
  • النتيجة: أكد التطابق أن نماذج Pythia بأحجام مختلفة تشترك في نفس التفسير (تطابق عالٍ داخل المجموعة). كما ميز بين عائلة Pythia وعائلة GPT-2، اللتين تستخدمان دوائر مختلفة لنفس المهمة. يوضح هذا القدرة على "اختزال" تفسير نموذج كبير إلى نموذج أصغر وأكثر قابلية للتفسير.

• الاختزال إلى مهام أبسط (توقع الرمز التالي مقابل تحديد أجزاء الكلام - POS):

  • بحث ما إذا كان توقع الرمز التالي مكافئاً تفسيرياً لتحديد أجزاء الكلام (POS) لأنواع معينة من الرموز.
    % النتيجة: وجد أن توقع "الرموز النحوية" (مثل علامات الترقيم النهائية، أو الأقواس المغلقة) أظهر تطابقاً عالياً مع دوائر الـ POS، بينما لم تظهر الرموز المعتمدة دلالياً (مثل أدوات التعريف وحروف الجر) ذلك. يشير هذا إلى تفكيك ميكانيكي لتوقع الرمز التالي بناءً على نوع الرمز.

5. الأهمية والتأثير

• القابلية للتوسع: توفر مساراً لتفسير النماذج الكبيرة عبر التحقق من تكافؤها مع نماذج أصغر تم تفسيرها بالفعل، مما يتجنب التكلفة الحوسبية لتحليل الشبكات الضخمة مباشرة.
• التقييم الصارم: توفر مقياساً كمياً ذا أساس إحصائي (التطابق) لتقييم جودة وأمانة التفسيرات الميكانيكية، متجاوزة الدراسات النوعية الوصفية.
• الأتمتة: تضع حجر الأساس للاكتشاف المؤتمت للتفسيرات. فبدلاً من وضع فرضيات خوارزمية يدوياً، يمكن للباحثين استخدام "التطابق" لتجميع النماذج بناءً على منطقها الأساسي.
• الأساس النظري: تسد الفجوة بين نظرية التجريد السببي وتشابه التمثيل العملي، وتقدم أول ضمانات تربط بين تفسيرات النموذج، ودوائره، وتمثيلاته في آن واحد.

باختصار، تنقل هذه الورقة البحثية نموذج التفسير الميكانيكي من "البحث عن الخوارزمية الدقيقة" إلى "التحقق مما إذا كان نموذجان يتشاركان في نفس الفئة الخوارزمية"، مما يوفر إطاراً قابلاً للتوسع وذا أساس نظري لفهم الشبكات العصبية المعقدة.