ملخص تقني: تحسين الطبقة الأخيرة بالصيغة المغلقة

بيان المشكلة

تُحسَّن الشبكات العصبية العميقة عادةً باستخدام التدرج الاشتقاقي العشوائي (SGD) أو متغيراته، حيث تُعامل جميع الطبقات بشكل موحد. ومع ذلك، تحت دالة خسارة المربعات، تمتلك الأوزان المثلى للطبقة الخطية الأخيرة في الشبكة العصبية حلاً بالصيغة المغلقة (تحديداً حل انحدار ريدج - ridge regression) نظراً للميزات الناتجة عن الهيكل الأساسي (backbone).

يعامل SGD القياسي الطبقة الأخيرة كمجموعة من المعلمات التي يتم تحديثها عبر خطوات تدرجية، متجاهلاً هذه الأمثلية التحليلية. وهذا يخلق عدم تطابق: فبينما تتطلب معلمات الهيكل الأساسي ($\theta$) تحسيناً تكرارياً، يمكن نظرياً حساب أوزان الطبقة الأخيرة ($W$) مباشرة. علاوة على ذلك، في الإعدادات العشوائية مع الدفعات الصغيرة (mini-batches)، يؤدي حساب الصيغة المغلقة بشكل ساذج لكل دفعة إلى فرط ملاءمة (overfitting) شديد لتلك الدفلة المحددة، مما يسبب عدم استقرار. والأساليب الموجودة التي تحاول الاستفضاء من هذا (على سبيل المثال، في الاستدلال السببي) غالباً ما تتطلب الانتشار العكسي (backpropagation) عبر معكوس الصيغة المغلقة، وهو أمر مكلف حاسوبياً، أو تفصل الطبقة الأخيرة عن الهيكل الأساسي، مما يؤدي إلى عدم استقرار في التحسين.

المنهجية

يقترح المؤلفون إجراء تدريب يعامل الطبقة الأخيرة كدالة حتمية ضمنية لمعلمات الهيكل الأساسي، بحيث يتم تحسين الهيكل الأساسي فقط مع ضمان بقاء الطبقة الأخيرة مثالية عند كل خطوة.

1. الأساس النظري (الحالة الحتمية)

بالنسبة لهيكل أساسي ثابت $\theta$، فإن الطبقة الأخيرة المثلى $W^\star(\theta)$ تقلل من خسارة المربعات المنظمة:
$$W^\star(\theta) = \arg\min_W \sum \|y_i - W\phi_\theta(x_i)\|^2 + \beta\|W\|_F^2$$
يستفيد المؤلفون من مبرهنة الغلاف (Envelope Theorem) لإثبات أن تدرج الخسارة المركبة $L^\star(\theta) = L(W^\star(\theta), \theta)$ بالنسبة لـ $\theta$ هو نفسه تدرج الخسارة الأصلية حيث تكون $W$ ثابتة عند $W^\star(\theta)$:
$$\nabla_\theta L^\star(\theta) = \nabla_\theta L(W^\star(\theta), \theta)$$
هذه النتيجة الحاسمة تعني أنه لا يلزم إجراء انتشار عكسي عبر عملية معكوس المصفوفة المطلوبة لحساب $W^\star(\theta)$. بدلاً من ذلك، تقوم الخوارزمية بالتناوب بين:

1. حساب $W_{t+1} = W^\star(\theta_t)$ (تحديث الصيغة المغلقة).
2. تحديث $\theta_{t+1} = \theta_t - \alpha \nabla_\theta L(W_{t+1}, \theta_t)$ (انتشار عكسي قياسي عبر الهيكل الأساسي).

2. التكيف العملي (الدفعات الصغيرة العشوائية)

في الإعداد العشوائي، يؤدي حساب $W^\star$ على دفعة صغيرة واحدة إلى فرط الملاءمة. ولمعالجة ذلك، يقترح المؤلفون منظم تقريبي (proximal regularizer) يعاقب المسافة بين الحل المغلق الحالي والتقدير السابق $W_t$. تصبح الدالة الهدف:
$$L_{B_t, W_t}^{\text{prox}}(W, \theta) = \sum_{(x,y) \in B_t} \|y - W\phi_\theta(x)\|^2 + \lambda \|W - W_t\|_F^2$$
الحل المغلق لهذا المنظم التقريبي هو:
$$W^\star_{B_t, W_t}(\theta) = (Y_t \phi_\theta(X_t)^\top + \lambda W_t)(\phi_\theta(X_t)\phi_\theta(X_t)^\top + \lambda I)^{-1}$$
هذه الصيغة تنفذ فعلياً مرشح كالمان تقريبي (approximate Kalman filter) على الطبقة الأخيرة، حيث تجمع المعلومات من الدفعات السابقة بينما تتكيف مع الدفعة الحالية. تقوم الخوارزمية بتحديث الهيكل الأساسي عبر SGD ثم إعادة ضبط الطبقة الأخيرة باستخدام هذا الحل المغلق التقريبي.

3. التوسع في التصنيف

بينما صُممت الطريقة أساساً للتراجع (regression)، فقد تم توسيعها لتشمل التصنيف عبر معاملة الأهداف بنظام "one-hot" كأهداف لخسارة المربعات. ويتم تفسير المخرجات عبر عملية $\arg\max$. يشير المؤلفون إلى أنه بينما يعمل هذا النهج التجريبي جيداً مع أعداد الفئات الصغيرة إلى المتوسطة، فإنه لا يضمن تطبيع الاحتمالات (probability normalization).

المساهمات الرئيسية

1. إطار التحسين: خوارزمية عملية تدمج تحديثات الطبقة الأخيرة ذات الصيغة المغلقة في مسارات SGD القياسية دون الحاجة للانتشار العكسي عبر عملية معكوس المصفوفة، وذلك بالاستفادة من مبرهنة الغلاف.
2. التنظيم التقريبي (Stochastic Regularization): صيغة تقريبية تمنع فرط الملاءمة في إعدادات الدفعات الصغيرة من خلال تنظيم الطبقة الأخيرة نحو تقديرها السابق، وهو ما يُفسر كفلترة كالمان تقريبية.
3. التحليل النظري:
   • نظام NTK: إثبات التقارب إلى الحد الأدنى العالمي في حد عرض NTK اللانهائي، رغم عدم التقعر في دالة الخسارة في فضاء الدوال.
   • تحليل الخطوة الواحدة: حد نظري يحدد تفوق خطوة الصيغة المغلقة على خطوة التدرج الاشتقاقي، موضحاً أن المكسب مرتبط برقم الحالة (تباين القيم المفردة) لمصفوفة الميزات.
4. التحقق التجريبي: أظهرت الطريقة تحسينات على SGD القياسي وعلى خط الأساس الساذج لانحدار ريدج ذو الصيغة المغلقة ("$\ell_2$ c.f. ridge ($\beta$)").

النتائج التجريبية

تم تقييم الطريقة ("$\ell_2$ c.f. proximal ($\lambda$)") مقابل SGD/Adam القياسي لخسارة المربعات، وضد خط أساس انحدار ريدج الساذج ("$\ell_2$ c.f. ridge ($\beta$)").

• الكيمياء الكمية (QM9): تفوقت الطريقة التقريبية باستمرار على SGD القياسي، خاصة عند أحجام الدفعات الصغيرة حيث فشل خط الأساس الساذج في التقارب. كما أظهرت متانة تجاه اختيار محسن الهيكل الأساسي (SGD مقابل Adam).
• مشغلات نيورال فورييه (FNO): في تعلم المشغل لمعادلة بورجرز اللزجة، ظلت الطريقة التقريبية فعالة عبر أحجام الدفعات المختلفة، بينما فشل خط الأساس الساقط عند الدفعات الصغيرة. تعاملت الطريقة بفعالية مع درجات الحرية المكانية عالية الأبعاد.
• المتغير الأداة للميزات العميقة (DFIV): في الاستدلال السببي، ألغت الطريقة الحاجة لإعادة تقدير الطبقات الأخيرة على مجموعة البيانات الكاملة بعد التدريب، محققة أداءً يضاهي استراتيجيات إعادة التقدير مع كفاءة حاسوبية عالية.
• التصنيف (CIFAR-100, ImageNet): في CIFAR-100، حققت الطريقة دقة مماثلة أو أفضل من الـ Cross Entropy لأعداد الفئات الصغيرة إلى المتوسطة. ومع ذلك، في ImageNet (عدد كبير من الفئات)، كان أداؤها أقل من Cross Entropy، مما يسلط الضوء على محدودية خسارة المربعات في التصنيف عالي الكثافة.

الأهمية والادعاءات

يزعم البحث أن الاستفادة من الحل بالصيغة المغلقة للطبقة الأخيرة هي استراتيجية قابلة للتطبيق وفعالة لتسريع التحسين وتحسين الاستقرار، لا سيما في مهام التراجع وفي أنظمة الدفعات الصغيرة.

• الأهمية النظرية: يوفر العمل أول تحليل للنقاط الحرجة للدالة المعدلة في فضاء الدوال ويثبت التقارب إلى الحد الأدنى العالمي في نظام NTK، معالِجاً مشكلة عدم التقعر المتأصلة في المسألة.
• الأهمية العملية: يحل التنسيق التقريبي مشكلة فرط الملاءمة المتأصلة في تحديثات الصيغة المغلقة للدفعات الصغيرة، مما يجعل الطريقة متينة ومتوافقة مع مسارات التدريب القياسية.
• القيود: يذكر المؤلفون صراحة أن الطريقة مقيدة حالياً بخسارة المربعات. وبينما تعمل جيداً في التصنيف ذي الفئات القليلة، إلا أنها تؤدي أداءً أقل من Cross Entropy في التصنيف واسع النطاق (ImageNet)، مما يشير إلى أن تكييف هذا النهج مع خسارة الـ Cross-entropy هو اتجاه ضروري للعمل المستقبلي. كما تترتب على الطريقة تكلفة حاسوبية إضافية (معكوس المصفوفة) تتناسب مع أبعاد الطبقة الأخيرة، مما يجعلها أبطأ من SGD القياسي في حالات الطبقات الأخيرة الكبيرة جداً في الدفعات الصغيرة، وإن كانت هذه التكلفة تتضاءل مع زيادة حجم الهيكل الأساسي.