ملخص تقني: عندما تتوافق الخسائر: موازنة أوزان الخسارة المركبة القائمة على التدرج لتدريب مسبق فعال

صياغة المشكلة

تستخدم أنظمة التعلم العميق الحديثة بشكل متكرر نموذجاً ذا مرحلتين: التدريب المسبق (Pretraining) على بيانات واسعة النطاق، غالباً ما تكون غير مصنفة، يليه التكيف (Adaptation) مع مهام تنزيلية (Downstream tasks). في العديد من مسارات التدريب المسبق، لا تكون دالة الهدف عبارة عن خسارة واحدة، بل هي مزيج مرجح من عدة حدود خسارة (على سبيل المثال: التنبؤ بالرمز التالي، أو خسائر التباين، أو أهداف الانحدار). وتعد الأوزان النسبية لهذه الحدود عبارة عن معاملات فائقة (Hyperparameters) حاسمة تؤثر بشكل كبير على جودة التمثيلات المتعلمة والأداء في المهام التنزيلية.

حالياً، يعتمد اختيار هذه الأوزان على الضبط اليدوي، أو البحث العشوائي، أو التحسين البايزي (Bayesian optimization). وهذه الطرق مكلفة حاسوبياً للتدريب المسبق واسع النطاق لأنها تتطلب العديد من عمليات التدريب المستقلة. علاوة على ذلك، فإن القيم الافتراضية الساذجة، مثل التوزين الموحد، غالباً ما تفشل في مراعاة المساهمات المتفاوتة والتعارضات بين حدود الخسارة المختلفة. تعالج الورقة الحاجة إلى طريقة فعالة لضبط أوزان الخسارة الخطية في أهداف التدريب المسبق المركبة لتعظيم الأداء في المهام التنزيلية دون تحمل تكلفة عمليات تدريب كاملة متكررة.

المنهجية: التدريب المسبق المحاذي للتدرج (GraP)

يقترح المؤلفون التدريب المسبق المحاذي للتدرج (Gradient-aligned Pretraining - GraP)، وهو طريقة تحسين ثنائية المستوى (Bilevel optimization) تعتمد على التدرج وتتعلم أوزان الخسارة عبر الإنترنت (Online). الفكرة الجوهرية هي محاذاة تدرج التدريب المسبق المركب مع تدرج هدف تنزلي.

1. صياغة التحسين ثنائي المستوى

تُصاغ المشكلة كمسألة تحسين ثنائية المستوى حيث تقوم الحلقة الخارجية بتحسين أوزان الخسارة $w$ لتقليل الخسارة التنزيلية $L_{down}$، بينما تقوم الحلقة الداخلية بتحسين بارامترات النموذج $\theta$ لتقليل خسارة التدريب المسبق المركبة $L_{pre}(w)$.
$$\min_{w} L_{down}(\theta^*(w)) \quad \text{subject to} \quad \theta^*(w) = \arg\min_{\theta} \sum_{k=1}^K w_k L_k(\theta)$$

2. قاعدة التحديث القائمة على التدرج

باستخدام نهج الانتشار العكسي المقتطع (Single-step SGD)، اشتق المؤلفون قاعدة تحديث للأوزان. يكون تدرج الخسارة التنزلية بالنسبة للأوزان متناسباً مع الضرب الداخلي بين التدرج التنزلي وتدرجات التدريب المسبح الفردية:
$$\frac{\partial L_{down}}{\partial w_k} \propto -\eta \, g_{down}^\top g_k$$
حيث $g_{down}$ هو التدرج التنزلي و $g_k$ هو تدرج الحد $k$-الخامس من التدريب المسبق. الهدف هو تعظيم المحاذاة بين التدرج المركب $\sum w_k g_k$ والتدرج التنزلي.

3. تقريب فضاء التضمين (Embedding-Space Approximation)

إن التنفيذ الساذج سيتطلب حساب $K$ من عمليات الانتشار العكسي الكاملة عبر النموذج للحصول على $g_k$. لتقليل التكلفة الحسابية، يحسب GraP التدرجات بالنسبة لـ تضمين العمود الفقري المشترك (Shared backbone embedding) $z$ بدلاً من فضاء البارامترات الكامل.
$$\tilde{g}_k = \nabla_z L_k(h_k(z))$$
بما أن الخسائر تُطبق عبر رؤوس منفصلة فوق نفس التضمين، فإن حساب هذه التدرجات أقل تكلفة بكثير من عمليات الانتشار العكسي الكاملة. يصبح هدف التحسين هو تعظيم المحاذاة في هذا الفضاء التمثيلي المشترك:
$$\arg\max_{w} \frac{w^\top \tilde{G} \tilde{g}_{down}}{\|w^\top \tilde{G}\|}$$

4. استراتيجية التطبيع (Normalization Strategy)

تجادل الورقة ضد تطبيع الأوزان نفسها (مثل $\sum w_k = 1$) أو معيار $L_2$ الخاص بها، لأن ذلك يمكن أن يشوه الاتجاه الأمثل للتدرج المركب. بدلاً من ذلك، يفرض GraP قيداً على معيار $L_2$ للتدرج المركب نفسه ($\|\sum w_k g_k\| = 1$). يضمن هذا التركيز على اتجاه التحديث بدلاً من حجمه، مما يستعيد اتجاه المحاذاة الأمثل تحت الهدف المحلي.

5. كفاءة الخوارزمية

تتطلب الخوارزمية الناتجة فقط تمريرة أمامية واحدة وتمريرة عكسية واحدة عبر العمود الفقري في كل تكرار. يتم إعادة استخدام التدرجات المحسوبة للرؤوس لتحديث كل من أوزان الخسارة وبارامترات العمود الفقري. وهذا يقلل من العبء الإضافي لضبط المعاملات الفائقة إلى حوالي 30% فوق عملية تدريب واحدة، مقارنة بالتكاليف التي تفوق بمراحل عملية التحسين البايزي.

المساهمات الرئيسية

1. صياغة المشكلة: صاغ المؤلفون اختيار وزن خسارة التدريب المسبق كمسألة تحسين ثنائية المستوى تستهدف الأداء التنزلي بشكل صريح.
2. رؤية التطبيع: حلل المؤلفون استراتيجيات التطبيع وأثبتوا أن تقييد معيار متجه التحديث (التدرج المركب) يتفوق على تقييد الأوزان نفسها، مما يحافظ على اتجاه المحاذاة الأمثل.
3. خوارزمية فعالة: يقترح المؤلفون GraP، وهي خوارزمية ذات تعقيد $O(1)$ فيما يتعلق بعدد خطوات الانتشار الأمامي-الخلفي بالنسبة لعدد المعاملات الفائقة. وهي تستفيد من محاذاة التدرج في الفضاء التمثيلي المشترك لتجنب عمليات الانتشار العكسي المتعددة.
4. الكفاءة التجريبية: تحقق الطريقة أداءً يضاهي أو يتفوق على البحث القياسي للمعاملات الفائقة (مثل البحث البايزي) مع كونها أكثر كفاءة بنحو 50 ضعفاً، مما يجعل الضبط ممكناً في الإعدادات التي تكون فيها الطرق التقليدية غير مجدية حاسوبياً.
5. تحديد الفائض: تظهر الطريقة القدرة على تحديد وتقليل أوزان حدود الخسارة الزائدة (مثل تعيين وزن قريب من الصفر لخسائر تباين محددة في مهام الرؤية) لتعمل بفعالية كآلية تلقائية لاختيار الخسارة.

النتائج التجريبية

تم تقييم الطريقة في مجالين: نمذجة تسلسل الأحداث والرؤية الحاسوبية ذاتية الإشراف.

نمذجة تسلسل الأحداث

• مجموعات البيانات: Churn, AgePred, AlfaBattle, MIMIC-III, و Taobao.
• الإعداد: تضمن التدريب المسبق هدفاً مركباً من التنبؤ بالرمز التالي (NTP) عبر عدة حقول وخسارة تباين.
• الأداء: طابقت GraP أو حسنت الخطوط المرجعية المضبوطة بعناية (بما في ذلك GradNorm و DWA و MGDA و PCGrad) والتحسين باستخدام Optuna. حققت باستمرار أفضل النتائج على مجموعتي بيانات Churn و MIMIC-III عبر نماذج RNN و Transformer و HT-Transformer.
• الكفاءة: مقارنة بالتحسين البايزي (Optuna)، الذي يتطلب عشرات عمليات التدريب المستقلة، حققت GraP أداءً مشابهاً في عملية تدريب واحدة مع عبء إضافي معتدل (متوسط تباطؤ بنسبة 44% في الإنتاجية).

الرؤية الحاسوبية ذاتية الإشراف

• الإعداد: تم التقييم باستخدام CIFAR-10، و CIFAR-100، و ImageNet-100 باستخدام إطار عمل All4One (الذي يجمع بين أهداف Barlow Twins و BYOL و NNCLR).
• الأداء: في هذا الإعداد، حيث تكون الأهداف غالباً متوازنة جيداً، حققت GraP أداءً مقارباً لمعاملات All4One الافتراضية وطرق تعلم المهام المتعددة الأخرى.
• اختيار الخسارة: بشكل ملحوظ، خصصت GraP وزناً قريباً من الصفر لخسارة Attn-NNCLR. وقد أدت إزالة هذه الخسارة يدوياً إلى نتائج مماثلة، مما يؤكد قدرة الطريقة على تحديد الأهداف ذات التأثير المنخفض أو الزائدة.

دراسات الاستئصال (Ablation Studies)

• تسرب الملصقات (Label Leakage): أظهرت التجارب التي غيرت كسر البيانات المصنفة المستخدمة لضبط الأوزان متانة الطريقة، مما يشير إلى أن الملصقات توفر إشارة توجيه ضعيفة بدلاً من إشراف مباشر للعمود الفقدي.
• التطبيع: تفوق التطبيع المقترح لمعيار التدرج المركب على التطبيع القياسي لمجموع الأوزان.
• التدريب المساعد: تفوق التدريب المسبق باستخدام GraP متبوعاً بالضبط الدقيق الخاضع للإشراف على التدريب المساعد المشترك، ويرجع ذلك على الأرجمل إلى تقليل الإفراط في التخصيص (Overfitting) على البيانات المحدودة.

الأهمية والادعاءات

تدعي الورقة أن تحسين وزن الخسارة القائم على التدرج هو بديل عملي وفعال للتعلم متعدد المهام الكلاسيكي والبحث القائم على البحث للمعاملات الفائقة. تكمن أهميتها الأساسية في جعل ضبط المعاملات الفائقة ممكناً في سيناريوهات التدريب المسبق واسعة النطاق مع وجود عدة حدود خسارة، حيث تكون الطرق التقليدية مكلفة حاسوبياً للغاية.

يؤكد المؤلفون أن GraP لا تتطلب عمليات تدريب متعددة، مما يجعلها مناسبة للإعدادات ذات الميزانيات الحسابية المحدودة. وبينما تفترض الطريقة وجود رؤوس منفصلة لكل خسارة، فإنها تتعامل بفعالية مع المقايضات بين الأهداف المتعارضة من خلال محاذاة اتجاه تحديث التدريب المسبق مع الهدف التنزلي. يشير العمل إلى أنه في مسارات التدريب المسبق المعقدة، يمكن للمحاذاة التلقية عبر الإنترنت لأوزان الخسارة أن تنتج تمثيلات تضاهي أو تتفوق على تلك التي يتم الحصول عليها من خلال الضبط اليدوي المكلف أو البحث في الصندوق الأسود.