OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

ملخص تقني: مؤشر OUI ككمية هيكلية قابلة للرصد

بيان المشكلة
تعتمد تشخيصات تدريب الشبكات العصبية الحالية بشكل كبير على مقاييس خارجية مثل الخسارة (loss)، والدقة (accuracy)، والمعايرة النهائية. هذه المقاييس غالباً ما تكون متأخرة، مما يضغط السرد الداخلي لعملية التدريب، وتفشل في الكشف عن الأنظمة الهيكلية المحددة التي تدخلها الشبكة خلال عملية التعلم. وبينما تمثل دالات التنشيط (activation functions) مصدر القدرة التعبيرية للشبكة — من خلال تمكين تقسيم فضاء المدخلات إلى مناطق وظيفية متميزة عبر أنماط التنشيط — فإن التشخيصات القياسية نادراً ما تراقب تطور هذه الهياكل الداخلية. تؤدي هذه الفجوة إلى عمليات بحث مكلفة عن المعلمات الفائقة (hyperparameters)، والكشف المتأخر عن الإخفاقات، ونقص في قابلية التفسير فيما يتعلق بديناميكيات التدريب.

المنهجية والتعريف
يتمحور البحث حول مؤشر الإفراط في التخصيص/نقص التخصيص (OUI)، والذي أُعيد تعريفه هنا ككمية هيكلية قابلة للرصد (structural observable) لديناميكيات التعلم. يتبنى المؤلفون صياغة قائمة على الدفعات (batch-based formulation) (Fernández-Hernández et al., 2026) لمراقبة التدريب آنياً:

1. قناع التنشيط (Activation Masking): بالنسبة لطبقة $l$ تحتوي على $d_l$ من الوحدات ودُفعة $B_t$، يتم تعريف قناع ثنائي $m^{(l)}_{b,n}(t)$ لكل عصبون $n$ وعينة $x_b$، يشير إلى ما إذا كان ما قبل التنشيط (preactivation) موجباً.
2. عدّ التنشيط (Activation Counting): لكل عصبون، يتم حساب عدد العينات النشطة $s^{(l)}_n(t)$ في الدفعة.
3. عدّ الأقلية (Minority Count): يتم حساب المقياس $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$. تكون هذه القيمة مرتفعة عندما يقوم العصبون بتقسيم الدفعة بطريقة متوازنة، ومنخفضة عندما يكون العصبون نشطاً أو غير نشط باستمرار (منحاز).
4. حساب OUI: يكون الـ OUI للوحدة (module) هو متوسط قيم عدّ الأقلية هذه مقسوماً على $\lfloor B/2 \rfloor$.

إجرائياً، يشير ارتفاع OUI إلى أن العديد من الوحدات تقوم بتقسيم دفعة الاختبار بطريقة متوازنة، مما يعكس بنية تنشيط داخلية غنية. بينما يشير انخفاض OUI إلى أن الوحدة قد أصبحت منحازة، حيث تتصرف الوحدات بشكل موحد عبر المدخلات.

النتائج الرئيسية والأدلة
يجمع البحث الأدلة من ثلاثة مجالات متميزة لإثبات فائدة OUI كإشارة مبكرة وخالية من التسميات (label-free signal):

• التعلم الخاضع للإشراف (التنظيم - Regularization): في تجارب DenseNet-BC-100 على مجموعة بيانات CIFAR-100، انفصلت مسارات OUI مبكراً (حوالي 15% من التدريب) لقيم مختلفة من اضمحلال الأوزان (weight decay). ارتبطت قيم OUI المرتفعة بتعميم أفضل، بينما توقعت قيم OUI المنخفضة أنظمة نقص التخصيص أو الإفراط في التخصيص قبل أن تتمكن مقاييس التحقق القياسية من التمييز بينهما.
• التعلم التعزيزي (PPO Actor-Critic): عند إعادة صياغته لنموذج PPO، نجح OUI في التمييز بين أنظمة معدل التعلم في وقت مبكر من التدريب. ومن الأهمية بمكان أن البحث يلاحظ وجود عدم تماثل هيكلي: حيث تشغل النماذج المثلى للمُقيّم (critics) نطاق OUI متوسطاً، بينما تميل النماذجة القوية للمُنفذ (actors) إلى العمل عند قيم OHI أعلى. هذا يشير إلى أن النظام الهيكلي "الجيد" يعتمد على السياق.
• تقارب أنماط التنشيط (Activation-Pattern Convergence): بالاستناد إلى عمل حديث (Pérez-Corral et al., 2026)، يشير البحث إلى أن أنماط التنشيط غالباً ما تستقر بشكل ملحوظ قبل تحديثات المعلمات. في تدريب ViT-B126، وصلت مقاييس تقارب التنشيط إلى حالة التشبع بينما استمرت الخسارة في التحسن، مما يدعم رؤية ذات مقياسين زمنيين حيث تقوم الشبكات بصقل الأوزان ضمن أنظمة تنشيط مستقرة.

المساهمات
المساهمة الأساسية لهذا البحث ليست خوارزمية جديدة، بل هي إعادة صياغة مفاهيمية وتوليف للأدلة الموجودة:

1. كمية هيكلية قابلة للرصد: يجادل البحث بأن OUI يجب أن يُفهم كأول كمية عملية قابلة للرصد للبعد الهيكلي الداخلي للتعلم، وليس مجرد وسيلة استدلالية لضبط المعلمات الفائقة.
2. رؤية متمحورة حول التنشيط: يقترح البحث "نظرية تعتمد على التنشيط لديناميكيات التدريب"، مفترضاً أن الهياكل التنشيطية الداخلية تصبح معلوماتية وقابلة للتطبيق قبل مرحلة التقارب، مما يوفر بعداً للتدريب لا تلتقطه مقاييس النهاية.
3. توليف الأدلة: يوحد البحث النتائج عبر التعلم الخاضع للإشراف، والتعلم التعزيزي، والتحكم عبر الإنترنت ليظهر نمطاً متكرراً: يمكن للملاحظات القائمة على التنشيط الكشف عن مصير عملية التدريب في وقت مبكر.
4. التوجه البحثي: يحدد البحث الأسئلة المفتوحة الضرورية لتقدم هذه الرؤية، بما في ذلك "البنية الطورية" للتدريب (التنظيم الهيكلي المبكر مقابل الصقل المتأخر)، و"كفاية" أنظمة التنشيط بالنسبة لأدوار ومهام محددة، والارتباط النظري بين هذه الملاحظات والمفاهيم الرسمية للاستقرار والتعميم.

الأهمية والادعاءات
يزعم البحث أن النظر إلى OUI ككمية هيكلية قابلة للرصد ينقل المنظور من مراقبة النتائج الخارجية المتأخرة إلى مراقبة التنظيم الهيكلي الداخلي. وهذا له آثار عملية فورية على الفحص المبكر في مرحلة التدريب المسبق للنماذج التأسيسية (foundation models)، حيث تكون الإخفاقات في المراحل المتأخرة باهظة التكلفة. علاوة على ذلك، فإنه يقترح تحولاً في التحكم الوظيفي، مما يسمح بتنظيم التدريب عبر إشارات أقرب إلى ما تفعله الشبكة وظيفياً بالبيانات، بدلاً من مجرد ما يفعله المُحسِّن (optimizer) بالمعلمات.

يتبنى المؤلفون موقفاً متواضعاً، معترفين بأن OUI هو حالياً "ركيزة تجريبية" نحو نظرية أوسع. كما يشيرون إلى القيود، مثل التعريف الطبيعي لـ O_UI لأنماط ReLU، وخطر حدوث حلقات تغذية راجعة مربكة إذا استُخدم كإشارة تحكم آنية. ويخلص البحث إلى أنه إذا ثبتت صحة التحول من اعتبار التنشيطات مجرد نواتج ثانوية مخفية إلى اعتبارها موضوعات دراسة صريحة، فإن نظرية تعتمد على التنشيط ستصبح خطوة ضرورية لفهم كيفية تعلم الشبكات العصبية.