Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning

ملخص تقني: DualOpt: التحسين المنفصل للتدريب من الصفر والضبط الدقيق

1. بيان المشكلة

يعتمد التعلم العميق الحديث على نموذجين متميزين للتدريب: التدريب من الصفر (التهيئة العشوائية) والضبط الدقيق (التعلم بنقل المعرفة من النماذج سابقة التدريب). تتعامل المحسنات الحالية (مثل SGD وAdam) مع هذين النموذجين بشكل موحد عبر التركيز أساساً على تقليل دالة الخسارة من خلال تحديثات المعلمات. ومع ذلك، فإن نهج "المقاس الواحد الذي يناسب الجميع" هذا يفشل في معالجة التحديات الفريدة لكل منهما:

• التدريب من الصفر: يتطلب توازناً دقيقاً بين التقارب السريع والتعميم القوي لمنع الإفراط في التخصيص (overfitting)، خاصة في الطبقات العميقة.
• الضبط الدقيق: يواجه خطر النسيان الكارثي (catastrophic forgetting)، حيث يفقد النموذج المعرفة العامة القيمة التي اكتسبها أثناء مرحلة ما قبل التدريب أثناء تكيفه مع المهام الجديدة اللاحقة.

2. المنهجية

يقترح المؤلفون DualOpt، وهو إطار عمل تحسين مبتكر يقوم بفصل الاستراتيجيات لهذين السيناريوهين.

أ. للتدريب من الصفر: اضمحلال الوزن لكل طبقة في الوقت الفعلي

• التطبيق في الوقت الفعلي: غالباً ما يتأخر اضمحلال الوزن التقليدي عن تحديث المعلمات، مما قد يؤدي نظرياً إلى زيادة الأوزان بدلاً من تنظيمها. يقوم DualOpt بتطبيق الاضمحلال على كل من الأوزان الحالية وعنصر التحديث في آن واحد: $\theta_{t+1} = \theta_t - \eta_t U_g^t - \lambda(\theta_t - \eta_t U_g^t)$. يضمن هذا أنه عندما تقترب $\lambda$ من 1، يتم دفع الأوزان بفعالية نحو الصفر، مما يعزز الاستقرار.
• تدرج مستويات الطبقات: إدراكاً بأن الطبقات العميقة أكثر عرضة للإفراط في التخصيص من الطبقات الضحلة، يتم تغيير معدل الاضمحلال $\lambda_i$ خطياً مع عمق الطبقة $i$، مما يوفر تنظيماً أقوى لمكونات الشبكة الأكثر عمقاً.

ب. للضبط الدقيق: استعادة الأوزان (Weight Rollback) وعقوبة الطبقة

• آلية استعادة الأوزان: للتخفيف من نسيان المعرفة، يقدم DualOpt حداً لـ "الاستعادة" يسحب الأوزان المحدثة للوراء نحو الأوزان الأصلية سابقة التدريب ($\theta_0$). تصبح قاعدة التحديث: $\theta_{t+1} = (1 - \lambda)(\theta_t - \eta_t g_t) + \lambda\theta_0$. يحافظ هذا على التوازن بين التكيف مع المهمة والاحتفاظ بالمعرفة.
• اضمحلال عقوبة الطبقة: قوة الاستعادة ليست موحدة. فالطبقات الضحلة (التي تلتقط الميزات العامة مثل الملمس/اللون) تتلقى عقوبة استعادة أعلى للحفاظ عليها، بينما تتلقى الطبقات العميقة (التي تلتقط الدلالات الخاصة بالمهمة) عقوبة أقل.
• معدل اضمحلال متنوع: يقدم إطار العمل أسّاً قدرياً $\gamma$ لتعديل منحنى الاضمحلال، مما يسمح للمحسن بالتكيف مع درجة التشابه بين نطاقات ما قبل التدريب والنطاقات اللاحقة للمهمة.

3. المساهمات الرئيسية

• التحسين المنفصل: إطار عمل موحد يوفر استراتيجيات متخصصة ومبنية رياضياً لكل من التدريب من الصفر والضبط الدقيق.
• آليات تنظيم مبتكرة: تقديم اضمحلال الوزن لكل طبقة في الوقت الفعلي وآلية استعادة الأوزın.
• المرونة المتكيفة مع المهام: القدرة على تعديل مستويات العقوبة بناءً على عمق الطبقة وتشابه النطاق عبر المعامل $\gamma$.
• التوافق الواسع: تم تصميم DualOpt ليتم دمجه في المحسنات الشائعة الحالية مثل SGD وAdam.

4. النتائج التجريبية

أجرى المؤلفون تقييمات واسعة النطاق عبر 10 مجموعات بيانات ومهام متعددة (التصنيف، الكشف، والتجزئة):

• التصنيف: حقق DualOpt أداءً رائدًا (SOTA) عبر مجموعات البيانات العامة، والدقيقة،وطويلة الذيل، وعبر النطاقات. على سبيل المثال، في نموذج ViT-B، تفوق بشكل كبير على النماذج المرجعية مثل VPT وLoRA.
• المهام واسعة النطاق: في ImageNet، حسن DualOpt دقة Top-1 لكل من نماذج ViT-B وSwin-B.
• الكشف والتجزئة: أظهر فعالية في المهام المعقدة، حيث حسن mAP في Mask R-CNN (COCO2017) وmIoU في UperNet (ADE20K).
• الكفاءة: العبء الحسابي ضئيل جداً ($O(N)$ complexity)، حيث لا يضيف سوى جزء ضئيل جداً من عمليات الـ FLOPs والذاكرة أثناء التدريب مع انعدام العبء أثناء الاستدلال.
• الاحتفاظ بالمعرفة: في "اختبارات النسيان" (مجموعة بيانات PACS)، نجح DualOpt في الحفاظ على دقة عالية في النطاقات السابقة مع تعظيم الأداء في النطاقات اللاحقة.

5. الأهمية

يمثل DualOpt تحولاً من "التحسين العام" إلى "التحسين المدرك للنموذج". ومن خلال الاعتراف بالاختلافات الهيكلية والوظيفية بين الطبقات والأهداف المتباينة للتدريب مقابل الضبط الدقيق، توفر هذه الطريقة وسيلة أكثر كفاءة وقوة لتدريب الشبكات العصبية العميقة الحديثة. إن قدرته على تحسين الأداء دون زيادة تكلفة الاستدلال تجعله عملياً للغاية للنشر في العالم الحقيقي.