Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer

ملخص تقني: المُمثَّل ليس هو المُحسَّب

بيان المشكلة
تسعى التفسيرية الآلية (Mechanistic interpretability) إلى فهم كيفية دمج الشبكات العصبية للمكونات ذات الصلة بالمهمة لحل المطالبات المهيكلة. في اللغات الطبيعية والرؤية الحاسوبية، نادراً ما يتم تحديد العلاقات الداخلية المطلوبة لهذا الدمج بدقة كافية لتعريف خوارزمية مرشحة. تعالج هذه الورقة هذه الفجوة باستخدام الحساب، وتحديداً استخراج خانة الرقم (base-digit extraction)، كإطار عمل أكثر وضوحاً حيث تكون دالة المدخلات-المخرجات معروفة ويمكن تعريف الخوارزميات المرشحة صراحةً. تتضمن المهمة نموذج "ترانسفورمر" (Transformer) يستقبل عدداً عشرياً $N$، وأساساً $B$، وموقع خانة $D$، ويتنبأ بمعامل $B^D$ في التوسع ذي الأساس $B$ للعدد $N$. الحل في الصيغة المغلقة هو $y = \lfloor N/B^D \rfloor \mod B$.

السؤال المركزي هو ما إذا كان النموذج ينفذ فرضية خوارزمية "مرحلية" توحي بها هذه الصيغة المغلقة: حساب $B^D$، ثم $N/B^D$، ثم أخذ القيمة الصحيحة (floor)، وأخيراً تقليل الناتج بمقياس (modulo) $B$. وتحديداً، يبحث المؤلفون في ثلاثة أسئلة متميزة غالباً ما يتم الخلط بينها في مجال التفسيرية: (1) هل يمكن للنموذج حل المهمة؟ (2) هل الكميات المستمدة من الصيغة المغلقة ممثلة داخل الشبكة؟ (3) هل تلك الكميات هي الوسطاء السببيون (causal intermediates) المستخدمون لإنتاج الإجابة؟

المنهجية
قام المؤلفون بتدريب نماذج "ترانسفورمر" مكونة من 10 طبقات (decoder-only) من الصفر على مهمة استخراج خانة الرقم باستخدام ثلاثة بذور عشوائية مختلفة. تضمنت بيانات التدريب $N \in \{0, \dots, 999\}$، و $B \in \{2, \dots, 30\}$، ومواقع خانات $D$ متنوعة. تم تقييم النماذج بشكل تلقائي (autoregressively) على تقاطعات (العدد-الأساس) المحجوزة لضمان التعميم القوي بدلاً من مجرد الحفظ.

لتحليل الآليات الداخلية، استخدمت الدراسة نهجاً متعدد المراحل:

1. الاستقصاء الخطي (Linear Probing): تم تدريب مخرقات خطية على تنشيطات مجمدة لاختبار ما إذا كانت كميات الصيغة المغلقة ($B^D$، و $N/B^D$، و $\lfloor N/B^D \rfloor$، والإجابة النهائية) قابلة للاستخلاص خطياً من مسارات البقايا (residual streams) في طبقات مختلفة.
2. استئصال الانتباه (Attention Ablation): قام المؤلفون بإجراء عمليات استئصال مستهدفة لمسارات الانتباه من تدفق رموز $D$ ($D_{ones}$) إلى تدفقات المخرجات ($O[0]$ و $O[1]$). وقاسوا انخفاض الأداء عند حجب الانتباه من طبقات محددة (عبر مسحات من الضحل إلى العميق ومن العميق إلى الضحل) لتحديد التبعيات السببية.
3. رقعة التنشيط (Activation Patching): لتحديد ما هي المعلومات التي تحملها المسارات السببية، أجرى المؤلفون تجارب رقعة المفتاح/القيمة (key/value patching). قاموا باستبدال ناقلات المفتاح/القيمة لـ $D_{ones}$ من مثال "مانح" (donor) في مثال "مصدر" (source). ومن خلال تغيير ما إذا كان المانح يختلف عن المصدر في $N$ أو $B$ أو $D$، اختبروا ما إذا كان المسار يحمل معلومات خاصة بموقع الخانة أم بالوسطاء الحسابيين الأوسع.
4. البحث عن الدائرة المتفرقة (Sparse Circuit Search): أُجري بحث جشع من اليمين إلى اليسار لتحديد مجموعة دنيا من مسارات الانتباه الكافية لأداء المهمة، مما كشف عن هيكل التوجيه العام للنموذج.

النتائج الرئيسية

• كفاءة المهمة: حققت النماذج أداءً يقارب الكمال في مجموعات الاختبار المحجوزة، بمتوسط دقة للإجابة الدقيقة بلغ 99.83% عبر ثلاث بذور. وهذا يثبت أن النماذج تعلمت بالفعل رسم الخرائط للمهمة.
• التمثيل (الاستقصاء): أظهرت المخرقات الخطية أن الوسطاء في الصيغة المغلقة يمكن استخلاصهم خطياً من مسارات البقايا بترتيب يعكس الخوارزمية المرحلية: أصبح $B^D$ قابلاً للاستخلاص خطياً في طبقات أكثر ضحالة (أبكر) من $N/B^D$ (والكميات الشبيهة بالخارج/quotient)، والتي ظهرت بدورها قبل الإجابة النهائية. إن حقيقة تطابق ترتيب الظهور الطبقي مع الترتيب الخوارزمي للعمليات كانت السبب الرئيسي في أن الفرضية المرحلية بدت معقولة تمثيلياً. (كان بعض هذا الاستخلاص موجوداً حتى عند نقطة البداية، مما يشير إلى أنه ناتج جزئياً عن بنية النموذج/هندسة البيانات وليس فقط عن التعلم الخالص).
• الاستخدام السببي (الاستئصال والرقعة): رغم التمثيل القوي للوسطاء المرحليين، كشفت الاختبارات السببية عن آلية مختلفة.
  • الحساسية المبكرة: كان سلوك المخرجات أكثر حساسية للتواصل المبكر من $D_{ones} \to O$ (تحديداً الطبقات 0-1). أدى حجب هذه الطبقات المبكرة إلى انخفاض حاد في الأداء، بينما كان لحجب الطبقات اللاحقة تأثير ضئيل.
  • نقل المعلومات الانتقائي: أظهرت تجارب الرقعة أن مسار $D_{ones} \to O$ يحمل معلومات فعالة سلوكياً وهي انتقائية للغاية لـ $D$. عندما اختلف المانح في $N$ أو $B$ فقط، ظل مخرج النموذج المرقع دون تغيير (مطابقاً للمصدر). وعندما اختلف المانح في $D$ فقط، تغير المخرج ليتطابق مع المانح.
  • التوجيه المتعدد العوامل (Factorized Routing): كشف البحث في الدائرة المتفرقة أن $N$ و $B$ و $D$ يتم توجيههم عبر هياكل محلية منفصلة تماماً تلتقي متأخرة عند مسارات المخرجات. لا يوجد دليل على وجود وسيط واحد موحد من الصيغة المغلقة يتم نقله من جانب المطالبة (prompt) إلى المخرجات.

المساهمات والادعاءات الرئيسية
تتمثل المساهمة الأساسية للورقة في ملاحظة تفكيكية (dissociative observation): النموذج يمثل الكميات التي تجعل الحل الخوارزمي المرحلي يبدو معقولاً (فهي قابلة للاستخلاص خطياً)، ومع ذلك، فإن المسار السببي المحدد لا ينقل هذه الكميات إلى المخرجات.

يزعم المؤلفون أن "المُمثَّل ليس هو المُحسَّب". في هذا السياق، يشير "المُحسَّب" إلى الوسطاء السببيين الذين يُستخدمون فعلياً لتشكيل الإجابة. وتوضح الدراسة أن:

1. المخرقات قد تختلف عن الواقع السببي: نجحت المخرقات الخطية في تحديد وجود الوسطاء الخوارزميين، لكن التدخلات السببية (الاستئصال والرقعة) أثبتت أن هذه الوسطاء ليست هي المحركات الأساسية للمخرجات.
2. قابلية الاستخلاص $\neq$ الاستخدام السببي: قابلية الاستخلاص العالية لكمية ما لا تضمن أنها وسيط سببي متعلم؛ فقد تعكس إمكانية الوصول التي توفرها البنية أو عملية الترميز (tokenization) والتي يتم صقلها لاحقاً بالتدريب ولكن لا تُستخدم في المسار السببي المحدد نحو المخرجات.
3. آلية استخراج خانة الرقم: يحل النموذج المهمة عن طريق توجيه $N$ و $B$ و $D$ عبر مسارات منفصلة ودمجهم في مرحلة متأخرة، مع الاعتماد على التواصل المبكر الانتقائي لـ $D$ بدلاً من النقل المرحلي للقيم الشبيهة بالخارج (quotient-like values).

الأهمية
تعد هذه الورقة بمثابة تحذير مباشر وقابل للاختبار ضد الاعتماد حصرياً على المخرقات الخطية في التفسير الميكانيكي. فحتى في سياق وجود خوارزمية معروفة وصريحة وأداء مثالي للمهمة، يمكن أن تختلف الآلية السببية الداخلية بشكل كبير عن الفرضية الخوارزمية البديهية. يجادل المؤلفون بأن التفسير الميكانيكي يتطلب إثبات كيفية استخدام الكميات سببياً، وليس فقط إثبات وجودها. يكمل هذا العمل الأبحاث الحالية حول دوائر "الترانسفورمر" وآليات الحساب من خلال إظهار أن المسارات الحدسية أو غير الخوارزمية يمكن أن تحل مهام تكون فيها الوسطاء الخوارزمية النظيفة ممثلة بوضوح ولكنها غير مستخدمة سببياً.