Task complexity shapes internal representations and robustness in neural networks

ملخص تقني: تعقيد المهام يشكل التمثيلات الداخلية والمتانة في الشبكات العصبية

بيان المشكلة
حققت الشبكات العصبية نجاحاً واسع النطاق، لكنها لا تزال "صناديق سوداء" غامضة إلى حد كبير، لا سيالما فيما يتعلق بكيفية تشكيل تمثيلاتها الداخلية بواسطة تعقيد البيانات المدخلة والمشكلات التي تحلها. وبينما تسعى التفسيرية الآلية (Mechanistic Interpretability) إلى الهندسة العكسية لمعلمات الشبكة، هناك حاجة لفهم كيف يؤثر صعوبة المهمة على طوبولوجيا التمثيلات المتعلمة ومتانتها. وتحديداً، من غير الواضح ما إذا كانت دقة قيم الأوزان (weight magnitudes) أم التنظيم الهيكلي للاتصالات (مثل أنماط الإشارات/الرموز) هو الأكثر أهمية لأداء النموذج عبر المهام ذات الصعوبة المتفاوتة.

المنهجية
يتناول المؤلفون نماذج الإدراك المتعدد الطبقات (MLPs) من منظور علم الشبكات، حيث يتم تمثيل كل طبقة كرسم بياني ثنائي التجزئة (bipartite graph) موزن وموقع. ويقارنون بين مهام التصنيف "السهلة" و"الصعبة" باستخدام مجموعتي بيانات MNIST وFashion-MNIST. يتم تحديد صعوبة المهمة أولياً باستخدام مقياس التشابه الهيكلي (SSIM) لاختيار أزواج الفئات ذات التشابه البصري العالي (صعبة) والتشابه البصري المنخفض (سهلة)، وإن كان تعريف التعقيد الجوهري يُحدد لاحقاً من خلال استجابة الشبكة للاضطرابات.

تستخدم الدراسة خمسة مجسات (probes) مستقلة عن البيانات لقياس مدى تأثير صعوبة المهمة على متانة الشبكة:

1. التقليم (Pruning): إزالة الحواف ذات الأوزان المطلقة الأصغر بشكل تكراري.
2. التثني (Binarization): تقليص جميع الأوزان إلى $\pm 1$ (مع الحفاظ على الإشارة فقط).
3. حقن الضجيج (Noise Injection): إضافة ضجيج منتظم بمتوسط صفري بسعة متفاوتة إلى الأوزان.
4. قلب الإشارة (Sign Flipping): قلب إشارات الأوزات ذات المقدار الأصغر.
5. العشوائية في الشبكة ثنائية التجزئة (Bipartite Network Randomization): خلط الاتصالات مع الحفاظ على خصائص هيكلية محددة (مثل توزيعات الدرجة، والحفاظ على الإشارة).

تُطبق هذه المجسات على نماذج MLPs مدربة على مهام تصنيف ثنائية سهلة وصعبة. بالإضافة إلى ذلك، يطبق المؤلفون هذه المجسات على طبقات فردية من نموذج DistilBERT مدرب مسبقاً ومعدل لمهام التعرف على الكيانات المسماة (NER) لاختبار القدرة على التعميم خارج نطاق نماذج MLP البسيطة.

النتائج الرئيسية

• التثني والمتانة: يؤدي تثني الأوزان في النماذج المدربة على مهام صعبة إلى انهيار الدقة إلى مستويات الصدفة. في المقابل، تظل النماذج المدربة على مهام سهلة متينة تجاه عملية التثني.
• التحولات الطورية في التقليم: عند تقليم الحواف ذات المقادير المنخفضة من نماذج المهام الصعبة المثنية، يُلاحظ حدوث تحول طوري حاد في الأداء عند مستوى ندرة مميز. ومن المثير للاهتمام أن التقليم يمكن أن يحسن أحياناً دقة نماذج المهام الصعبة المثنية، مما يشير إلى إزالة الضجيج الضار.
• الرنين العشوائي (Stochastic Resonance): حقن ضجيج متوسط في النماذج المثنية يمكن أن يعزز الدقة، مما يشبه تأثير الرنين العشوائي. يقابل ذروة الأداء هذا القلب الأمثل للإشارات للأوزات ذات المقدار الصغير.
• هيكل الإشارة مقابل المقدار: تكشف تجارب العشوائية في الشبكة ثنائية التجزئة أن الحفاظ على هيكل الإشارة (الاتصالات الموجبة والسالبة) وتوزيعات الدرجة كافٍ للحفاظ على دقة عالية في المهام السهلة، بينما الحفاظ على مقادير الأوزان الدقيقة ليس ضرورياً. وإذا تم تعطيل هيكل الإشارة، تنخفض الدقة إلى مستوى الصدفة.
• المتانة على مستوى الطبقة في المحولات (Transformers): في حالة دراسة DistilBERT، وُجد أن الطبقات المبكرة هي الأقل متانة تجاه التثني والتقليم، حيث تنخفض الدقة بسرعة. بينما تُظهر الطبقات الأعمق مرونة ملحوظة، حيث تحافظ على درجات F1 عالية حتى عند تثنيها أو عشوائيتها، ويرجع ذلك على الأرجح إلى الاتصالات المتبقية (residual connections).
• قياس تعقيد المهمة: يقترح المؤلفون مقياساً لتعقيد المهمة يكون مستقلاً عن النموذج والنمط، ويُعرف بالفجوة في الأداء بين الشبكات كاملة الدقة ونظيراتها المثنية أو المختلطة. تشير الفجوة الكبيرة إلى مهمة أصعب.

الأهمية والادعاءات
يزعم البحث أنه يحدد مقياساً جديداً لتعقيد المهمة، مستقل عن البيانات، بناءً على متانة التمثيلات المتعلمة تجاه الاضطرابات الهيكلية. وتبرز النتائج أن المهام الأسهل تعتمد أكثر على التنظيم المحدد للاتصالات الموجبة والسالبة (الطوبولوجيا الثنائية الموقعة) أكثر من اعتمادها على القيم العشرية الدقيقة للأوزان. وعلى العكس من ذلك، تعتمد المهام الصعبة بشكل أكبر على مقادير الأوزان الدقيقة.

من الناحية العملية، يقترح المؤلفون أن هذه الرؤى تقدم استراتيجيات لضغط النماذج والتفسيرية بما يتوافق مع تعقيد المهمة. على سبيل المثال، الطبقات أو النماذج المدربة على مهام يهيمن فيها هيكل الإشارة (مثل المهام الأسهل أو طبقات المحولات الأعمق) قد تكون مرشحة للتثني وقت الاستنتاج (inference time) دون فقدان كبير في الدقة. يربط هذا العمل بين علم الشبكات والتعلم العميق، مطبقاً أدوات مثل النماذج الصفرية (null models) والعشوائية الرسومية للكشف عن سلوكيات تشبه التحولات الطورية في فضاءات أوزان الشبكات العصبية اعتماداً على صعوبة المهمة.