ملخص تقني: الأبطال الخفيون وتضخمات التدرج

بيان المشكلة

يُعد الإسناد القائم على التدرج (Gradient-based attribution) أداة أساسية في التفسير الآلي، ويُستخدم على نطاق واسع في عمليات التقليم (pruning)، واكتشاف الدوائر، وتدقيق نماذج المحولات (Transformer models). والافتراض السائد هو أن حجم تدرج المكون يشير بشكل موثوق إلى أهميته السببية في دفع سلوك النموذج، لا سيما فيما يتعلق بالتعميم خارج التوزيع (OOD). ومع ذلك، تجادل هذه الورقة بأن هذا الافتراض ظل غير مختبر إلى حد كبير مقابل التدخلات السببية. وإذا فشل حجم التدرج بشكل منهجي في تحديد المكونات المعمارية التي تقود الحوسبة الفعلية، فإن خطوط العمل التي تعتمد عليه تخاطر بتقليم مكونات حاسمة أو تحديد "دوائر" ليست سوى مجرد آثار ناتجة عن طريقة الإسناد بدلاً من كونها هياكل حوسبية حقيقية.

المنهجية

يقيم المؤلفون موثوقية الإسناد التدرجي باستخدام إعداد تجريبي مضبوط مصمم لعزل الهياكل السببية:

• المهام والنماذج: تستخدم الدراسة اختبارين خوارزميين هما: عكس التسلسل (Sequence Reversal) وفرز التسلسل (Sequence Sorting) باستخدام أعداد صحيحة $x \in \{1, \dots, 99\}$. النماذج هي محولات (Transformers) من نوع "decoder-only" بـ $L=4$ طبقات و $H=4$ رؤوس (20 مكوناً إجمالياً: 16 رأساً للانتباه و4 وحدات MLP). تم اختيار هذه المهام لأن هياكلها السببية قابلة للقياس بالكامل ودوائرها بسيطة نسبياً، مما يمثل "أفضل سيناريو" للإسناد التدرجي.
• حجم التدرج ($G$): لكل مكون، يحسب المؤلفون متوسط معيار فروبينيوس (Frobenius norm) الطبيعي للتدرج عبر 50 دفعة (batch) خارج التوزيع (OOD). لضمان مقارنة عادلة بين الطبقات الفرعية غير المتجانسة (مثل مصفوفات الانتباه مقابل مصفوفات MLP)، يتم تطبيع التدرجات بالقسمة على الجذر التربيعي لعدد المعلمات. يعزل هذا المقياس $W_V$ و $W_{out}$ للحد من مساهمة المكون في مسار المتبقي (residual stream).
• الأهمية السببية ($C$): تُقاس الضرورة الوظيفية عبر تجارب الاستئصال (ablation) على أطوال تسلسل OOD ($N \in \{8, 9, 10, 11\}$). تم استخدام خطين أساسيين:
  • استئصال المتوسط (Mean Ablation): استبدال مخرجات المكون بمتوسط تنشيطه.
  • استئصال الصفر (Zero Ablation): استبدال المخرج بمتجه صفري.
  • تُقاس الدقة كطابق تسلسلي دقيق.
• تكميم الفجوة: يتم قياس عدم الاتساق باستخدام ارتباط سبيرمان ($\rho$) بين حجم التدرج والأهمية السببية. تُصنف المكونات بناءً على فرق الرتبة ($\Delta_i$):
  • الأبطال الخفيون (Hidden Heroes): تدرج منخفض ولكنها ضرورية سببياً ($\Delta_i \le -6$).
  • تضخمات التدرج (Gradient Bloats): تدرج مرتفع ولكن تأثيرها السببي ضئيل ($\Delta_i \ge 6$).
  • المتطابقة (Aligned): اتفاق بين المقياسين ($|\Delta_i| < 6$).
• التحقق: تمتد الدراسة لتشمل ما يصل إلى 10 بذور عشوائية (random seeds) وتتضمن تجارب استئصال مشتركة لاختبار التكرار (redundancy).

النتائج الرئيسية

1. الفشل المنهجي للإسناد التدرجي

يعتمد الارتباط بين حجم التدرج والأهمية السببية على المهمة بشكل كبير وغالباً ما ينهار:

• عكس التسلسل: يُظهر ارتباطاً متوسطاً ($\rho = 0.72$).
• فرز التسلسل: يُظهر انهياراً شديداً ($\rho = 0.27$).
• البذور الفردية: في بذور محددة، ينخفض الارتباط إلى ما يقرب من الصفر ($\rho \approx 0.00$) أو يصبح تنبؤياً سلبياً ($\rho = -0.18$)، مما يشير إلى أن التدرجات العالية يمكن أن تضلل فعلياً فيما يتعلق بالضرورة الوظيفية.

2. الانقلاب الهيكلي على مستوى الطبقات

الفشل ليس ضوضاء عشوائية بل يظهر هيكلاً مستقراً على مستوى الطبقات:

• تضخمات التدرج (Gradient Bloats): تتركز في الطبقات المبكرة (تحديداً الطبقة 1). تتلقى هذه المكونات إشارات تدرج عالية ولكنها غير ضرورية فردياً.
• الأبطال الخفيون (Hidden Heroes): تتركز في الطبقات المتأخرة (تحديداً الطبقة 3). تمتلك هذه المكونات إشارات تدرج منخفضة ولكنها لا غنى عنها سببياً.
• الاستقرار: تشغل رؤوس معينة أدواراً ثابتة عبر البذور (على سبيل المثال، L3 H3 هو بطل خفي في 7/10 بذور فرز؛ L1 H1 و L1 H3 هما تضخمات في 6/10 بذور فرز).

3. مفارقة التكرار والقدرة فوق الجمعية (Superadditivity)

تم تحديد الآلية التي تقود الفشل على أنها التكرار الجماعي:

• الاستئصال الفردي مقابل المشترك: عند استئصال "تضخمات التدرج" فردياً، يكون انخفاض الدقة ضئيلاً (3.1% لكل مكون). ومع ذلك، عند استئصالها بشكل مشترك، تنهار الدقة بنسبة 43.8%.
• القدرة فوق الجمعية (Superadditivity): الضرر المشترك أكبر بـ 14 مرة من مجموع التنبؤات الفردية. يكشف هذا أن "التضخمات" تشكل دائرة موزعة ومكررة حيث تعوض المكونات بعضها البعض.
• قصور الطرق من الدرجة الأولى: الإسناد التدرجي، الذي يقيس فقط حساسية الخسارة المحلية، يخصص إشارة عالية لجميع المكونات النشطة في دائرة مكررة، مما يفشل في التمييز بين الوحدات المكررة فردياً والوحدات الحرجة فردياً.

4. التأثير على التعميم

• الأبطال الخفيون: يؤدي استئصال هذه المكونات إلى انخفاض مدمر في دقة OOD (متوسط التغير هو $-36.4\% \pm 22.8\%$ في مهمة العكس)، رغم تصنيفات التدرج المنخفضة الخاصة بها.
• تضخمات التدرج: بينما هي أقل أهمية فردياً، فإن إزالتها الجماعية تكشف عن التكرار الخفي، مما يسبب تبايناً كبيراً في نتائج التقليم اعتماداً على الطوبولوجيا المحددة للدائرة في كل بذرة.

الأهمية والادعاءات

تدعي الورقة أن حجم التدرج هو وكيل (proxy) معكوس بشكل منهجي للأهمية السببية في المهام الخوارزمية، مدفوعاً بتقسيم العمل حيث تتعلم الطبقات المبكرة مستخلصات ميزات واسعة ذات تدرج عالٍ، بينما تنفذ الطبقات المتأخرة منطقاً متفرقاً ولا غنى عنه سببياً.

• الرؤية الميكانيكية: تشير النتائج إلى أن "الدوائر" التي يتم تحديدها عبر الطرق القائمة على التدرج قد تكون مجرد آثار ناتجة عن طريقة الإسناد، حيث تتجاهل المحركات الحقيقية للتعميم (الأبطال الخفيون) بينما تبالغ في تقدير ميزات الطبقة المبكرة المكررة (تضخمات التدرج).
• شرط مسبق للادعاءات: يجادل المؤلفون بأن التحقق السببي (عبر الاستئصال أو الترقيع/patching) يجب أن يكون شرطاً مسبقاً لأي ادعاءات على مستوى الدائرة أو استراتيجيات تقليم، حيث إن الاستدلالات القائمة على التدرج وحدها غير كافية وقد تكون مدمرة للتعميم خارج التوزيع (OOD).
• النطاق: تضع الدراسة هذه النتائج كحد أدنى لفشل الإسناد؛ ويقترح المؤلفون أن الفجوة قد تتفاقم في البيئات الأكثر واقعية مع وجود تكرار وتعقيد أكبر.

تختتم الورقة بالدعوة إلى إعادة تقييم طرق الإسناد في ضوء طوبولوجيا الدوائر المكررة، وتسلط الضل على الحاجة إلى تتبع الديناميكيات الزمنية لعملية "النمو المفاجئ" (grokking) لفهم كيفية ظهور هذه الهياكل الطبقية أثناء التدريب.