ملخص تقني: Seesaw: تسريع التدريب عبر موازنة جدولة معدل التعلم وحجم الدفعة

بيان المشكلة

يتزايد تقييد تدريب النماذج اللغوية الكبيرة (LLM) بمرور الوقت الفعلي (wall-clock time)، حيث يمتد غالباً لعدة أشهر للنماذج المتطورة. وتتمثل إحدى الاستراتيجيات الرئيسية لتقليل هذه المدة في زيادة حجم الدفعة (batch size)، مما يستفيد من الحوسبة المتوازية لتقليل العدد الإجمالي لخطوات التحسين المتتالية. ومع ذلك، فإن مجرد زيادة حجم الدفعة بشكل غير محدود يؤدي إلى عوائد متناقصة بعد تجاوز "حجم الدفعة الحرج" (CBS)، حيث تنخفض كفاءة العينات.

بينما استخدمت عمليات تدريب حديثة واسعة النطاق (مثل LLaMA وNemotron وOLMo) جداول "تصاعد الدفعة" (batch ramp)—التي تزيد حجم الدفعة تدريجياً على مدار عملية التدريب—إلا أن هذه الاستراتيجيات تُضبط حالياً بشكل تجريبي (heuristic). وهناك نقص في التبرير النظري لكيفية الموازنة المثلى بين اضمحلال معدل التعلم وتصاعد حجم الدفعة، لا سيما للمحسنات التكيفية مثل Adam. السؤال المركزي الذي تعالجه الورقة هو: ما هو جدول حجم الدفعة الأمثل لتقليل وقت التشغيل المتسلسل دون التضحية بأداء النموذج؟

المنهجية

الإطار النظري

يطور المؤلفون إطاراً مبدئياً يعتمد على الانحدار الخطي المشوش (noisy linear regression) لإثبات وجود تكافؤ بين اضمحلال معدل التعلم وتصاعد حجم الدفعة.

1. تكافؤ SGD: تقدم الورقة أول إثبات (غير تقاربي/finite-sample) يوضح أنه بالنسبة لـ "الانحدار الاشتقاقي العشوائي" (SGD) على الانحدار الخطي المشوش، فإن العملية التي يتضاعف فيها حجم الدفعة كل مرحلة مع بقاء معدل التعلم ثابتاً، تكافئ (حتى معامل ثابت في المخاطرة الزائدة) عملية يكون فيها حجم الدفعة ثابتاً ويتم فيها خفض معدل التعلم إلى النصف في كل مرحلة، بشرط أن تستهلك كلتا العمليتين نفس العدد الإجمالي من نقاط البيانات.
2. التمديد إلى SGD الموحد (NSGD): لسد الفجوة مع المحسنات التكيفية مثل Adam، يحلل المؤلفون "الـ SGD الموحد" (Normalized SGD)، وهو نموذج تحليلي قابل للقياس لـ Adam. يقدمون الافتراض 2، الذي يفترض أنه في نظام هيمنة التباين (variance-dominated regime) الملاحظ في الممارسة العملية، فإن معايير مربعات التدرج المتوقعة تهيمن عليها الضوضاء المضافة (تتدرج كـ $O(1/B)$). بموجب هذا الافتراض، يتقلص NSGD فعلياً إلى SGD مع معدل تعلم مُعاد قياسه.
3. شرط التكافؤ: يشتق التحليل علاقة محددة مطلوبة للحفاظ على ديناميكيات الخسارة عند تعديل كلا المعاملين. بالنسبة لعامل اضمحلال معدل التعلم $\alpha$ وعامل زيادة حجم الدفعة $\beta$، تظل العمليات متكافئة إذا تم الحفاظ على ثبات حاصل ضرب $\alpha\sqrt{\beta}$.

خوارزمية Seesaw

بناءً على التكافؤ النظري، يقترح المؤلفون Seesaw، وهو مجدول يوازن ديناميكياً بين معدل التعلم وحجم الدفعة:

• الآلية: كلما كان المجدول القياسي (مثل اضمحلال جيب التمام/cosine decay) سيقلل معدل التعلم بمعامل $\alpha$، يقوم Seesaw بدلاً من ذلك بخفض معدل التعلم بمعامل $\sqrt{\alpha}$ وزيادة حجم الدفعة بمعامل $\alpha$.
• القيد: يحدد المؤلفون حداً نظرياً لمنع التباعد. أقصى مخطط تصاعد يحافظ على الاستقرار يتم تعريفه بـ $\alpha = \sqrt{\beta}$. تجاوز هذا الحد (أي زيادة حجم الدفعة بشكل عدواني للغاية بالنسبة لاضمحلال معدل التعلم) يؤدي إلى التباعد.
• التنفيذ: صُمم Seesaw ليكون بديلاً جاهزاً للاستخدام (drop-in replacement) للمجدولات الحالية. في الممارسة العملية، يقرب اضمحلال جيب التمام باستخدام اضمحلال الخطوات (step decay)، حيث يتم إطلاق زيادات حجم الدفعة عند عدد محدد من الرموز (tokens) حيث كان من المفترض خفض معدل التعلم.

المساهمات الرئيسية

1. التكافؤ النظري: تؤسس الورقة لأول تكافؤ غير تقاربي بين اضمحلال معدل التعلم وتصاعد حجم الدفعة لـ SGD، وتمدد ذلك إلى SGD الموحد تحت نظام هيمنة التباين.
2. مجدول Seesaw: تقديم خوارزمية مبدئية تستبدل اضمحلال معدل التعماء القياسي بجدول مرتبط لمعدل التعلم وحجم الدفعة، وهو مبرر نظرياً للحفاظ على ديناميكيات الخسارة.
3. تحليل التسريع: يشتق المؤلفون حداً نظرياً أعلى لتقليل وقت التشغيل المتسلسل. من خلال استخدام أكثر مخطط تصاعد استقراراً وعدوانية ($\alpha = \sqrt{\beta}$) مقابل خط الأساس لاضمحلال جيب التمام، يتم حساب أقصى تسريع نظري وهو $(1 - 2/\pi) \approx 36.3\%$.

النتائج التجريبية

قيم المؤلفون Seesaw على نماذج ذات 150 مليون، 300 مليون، و600 مليون معلمة تم تدريبها بمقياس Chinchilla ($D=20N$) باستخدام كود OLMo.

• تساوي الأداء: يطابق Seesaw ديناميكيات خسارة التحقق لجداول اضمحلال جيب التمام القياسية عبر جميع أحجام النماذج عند التدريب عند حجم الدفعة الحرج.
• تقليل وقت التشغيل: يحقق Seesaw تقليلاً كبيراً في وقت التشغيل المتسلسل، حيث يقلل وقت الجدار الفعلي (wall-clock time) بنسبة تقارب 36%، وهو ما يقترب بشدة من الحد النظري المستمد من التحليل.
• المتانة: يعمل الأسلوب بفعالية مع AdamW وإعدادات اضمحلال الوزن المختلفة.
• حدود العدوانية: تؤكد التجارب التي غيرت معالم $\alpha$ و $\beta$ القيد النظري. الجداول الأكثر عدوانية من $\alpha = \sqrt{\beta}$ (على سبيل المثال، مضاعفة حجم الدفعة مع إبقاء معدل التعلم ثابتاً أو خفضه ببطء شديد) تؤدي إلى التباعد أو أداء دون المستوى.
• حد حجم الدفعة الحرج: لاحظ المؤلفون أن استراتيجية Seesaw فعالة حتى حجم الدفعة الحرج. بعد هذه النقطة، حيث لا تعود الضوضاء هي المهيمنة على معيار التدرج، ينهار التكافؤ، ويؤدي Seesaw إلى أداء أسوأ من اضمحلال جيب التمام القياسي.

الأهمية والادعاءات

تدعي الورقة أنها توفر أساساً نظرياً صارماً لممارسة "تصاعد الدفعة"، مما ينقلها من الضبط التجريبي إلى استراتيجية تحسين مبدئية. ومن خلال إثبات أن اضمحلال معدل التعلم وتصاعد حجم الدفعة قابلان للتبادل تحت شروط معينة، يوفر Seesaw طريقة عملية لتسريع تدريب LLM دون المساس بجودة النموذج.

يؤكد المؤلفون أن Seesaw يعمل كـ بديل جاهز للاستخدام للمجدولات الحالية في المحسنات التكيفية. تكمن الأهمية الرئيسية في القدرة على تقليل وقت الجدار لتدريب النماذج الكبيرة بنحو الثلث، مما يعالج عنق الزجاجة في الأجهزة حيث تتجاوز متطلبات التدريب التحسينات في الأجهزة. كما توضح العملة حدود هذه الاستراتيجية، مشيرة إلى أنها تعتمد على نظام هيمنة التباين وقد لا تنطبق بمجرد تجاوز أحجام الدفعة للحد الحرج حيث تهيمن حدود معيار التدرج.