ملخص تقني: خوارزمية "آدم-الاضمحلال بوابات الكوسين" (CGAD) لنموذج "دي لوكو" المنفصل (Decoupled DiLoCo)

1. بيان المشكلة

في أنظمة "دي لوكو المنفصل غير المتزامن" (Asynchronous Decoupled DiLoCo)، يقوم العمال (workers) بتنفيذ خطوات تحسين محلية متعددة قبل تبادل التدرجات الزائفة (pseudo-gradients) مع خادم بارامترات عالمي. ويتمثل التحدي الحرج في هذه البنية في التقادم (staleness): حيث قد تكون التدرجات الزائفة المطبقة في الجولة الخارجية $t$ قد حُسبت قبل $\tau$ من الجولات بسبب تأخير الشبكة، أو تعثر العمال (stragglers)، أو ميزانيات عدم التزامن.

المحسن الخارجي القياسي لـ DiLoCo هو "SGD مع زخم نيستروف" (Nesterov momentum). وتطبق هذه الطة خطوة تحديث موحدة لكل تدرج زائف وارد دون مراعاة لعمره ($\tau$). ومع زيادة $\tau$، يتراكم مخزن الزخم (momentum buffer) رؤية قديمة ومتقادمة لمشهد الخسارة (loss landscape). ونتيجة لذلك، يتخذ المحسن خطوات تتجاوز المسارات التي لم تعد تهبط في منحنى الخسارة الحالي، مما يؤدي إلى عدم الاستقرار أو التباعد، لا سيما مع زيادة حجم النموذج. وتشير التحليلات النظرية الحالية لـ "momentum-SGD غير المتزامن" إلى أن معدلات التقارب تتدهور بعامل يتناسب مع $\tau_{max}^2$ (مربع أقصى تأخير).

2. المنهجية: آدم-الاضمحلال ببوابة الكوسين (CGAD)

يقترح المؤلفون خوارما "آدم-الاضمحلال ببوابة الكوسين" (CGAD)، وهو بديل جاهز للاستخدام (drop-in replacement) لمحسن "نيستروف" الخارجي، والذي يشترط التحديثات صراحةً بناءً على عمر التدرج الزائف.

الآلية الجوهرية

تقوم CGAD بتعديل تحديث Adam القياسي عن طريق تغيير مقياس كل تدرج زائف وارد $g_f$ للقطعة (fragment) $f$ بمعامل $\sigma(\tau)$ قبل دخوله إلى مخازن العزم الأول ($m$) والثاني ($v$):
$$\sigma(\tau) = \gamma(\tau) e^{-\alpha \tau}$$

حيث:

• الاضمحلال الأسي ($e^{-\alpha \tau}$): ينمذج اضمحلال المعلومات للتدرجات المتقادمة. ومع زيادة $\tau$، يتم تقليل مساهمة التدرج في مخازن الزخم بشكل أسي.
• بوابة الكوسين ($\gamma(\tau)$): دالة قطع سلسة محددة كالتالي:
  $$\gamma(\tau) = \frac{1}{2} \left(1 + \cos\left(\frac{\pi \tau}{\tau_{cut}}\right)\right) \cdot \mathbb{I}[\tau \le \tau_{cut}]$$
  تساوي هذه البوابة 1 للتدرجات الحديثة، وتضمحل بسلاسة لتصل إلى 0 عند نقطة القطع المختارة $\tau_{cut}$، وتلغي المساهمات تماماً عندما يكون $\tau > \tau_{cut}$.

الخيارات التصميمية الرئيسية

1. البوابة قبل التخزين (Pre-Buffer Gating): يتم تطبيق المقياس $\sigma(\tau)$ على التدرج قبل تحديث مخازن العزم الأول ($m$) والثاني ($v$). وهذا يمنع التدرجات المتقادمة من تضخيم العزم الثاني ($v$)، مما قد يؤدي إلى إضعاف التحديثات الحديثة اللاحقة.
2. نسخة القطع لكل قطعة (PA-CGAD): بالنسبة للمجدولات ذات التزامن الجزئي (مثل Streaming DiLoCo)، تتبع الطريقة عمر كل قطعة ($a_f$) وتتحكم في التحديثات بناءً على $\max(\tau, a_f)$، مما يسمح بنموذج موحد للتقادم لكل من تأخير الشبكة وتأخير الجدولة.
3. المعلمات الفائقة (Hyperparameters): تقدم الطريقة معلمتين فائقتين، هما $\alpha$ (معدل الاضمحلال) و $\tau_{cut}$ (نقطة القطع)، مع قيم افتراضية ($\alpha=0.2, \tau_{cut}=32$) تنتقل عبر أحجام النماذج المختلفة.

3. المساهمات النظرية

يقدم البحث حداً للتقارب غير التقاربي (non-asymptotic convergence bound) لتحديث تكيفي ذو بوابة مثالية على أهداف سلسة غير محدبة.

• الاستقلال عن انحياز التقادم: يعتمد حد التقارب الخاص بانحياز التقادم على معلمة البوابة $\alpha$ (تحديداً $O(1/e^\alpha)$) بدلاً من التأخير الأقصى الفعلي $\tau_{max}$.
• المقارنة مع التحليل القياسي: تولد التحليلات القياسية لـ "momentum-SGD غير المتزامن" حداً معقداً يتناسب مع $\tau_{max}^2$. ومن خلال استبدال هذا بحد يعتمد على $\alpha$، تقوم آلية البوابة نظرياً بفصل عقوبة التقارب عن توزيع أسوأ حالات التأخير، بشرط أن يكون $\tau_{cut} \ge 1/\alpha$.
• النطاق: يشير المؤلفون إلى أن هذا هو دافع لآلية البوابة وليس نظرية تقارب كاملة لـ Adam التجريبي، حيث تفترض الخطوات المعيارية المحدودة بدلاً من اشتقاقها من الإحصاءات التجريبية.

4. النتائج التجريبية

أُجريت التجارب على تدريب نماذج لغوية من طراز Llama بثلاثة أحجام: 25 مليون، 1 مليار، و7 مليارات بارامتر، مع تأخيرات محكومة تصل إلى $\tau=16$.

الاستقرار والتقارب

• حجم 1 مليار: عند $\tau=16$، تسبب وصفة "نيستروف" القياسية في التباعد (الخسارة $\approx 319$)، بينما حققت CGAD خسارة قدرها 7.44، وهي مقاربة لأدائها عند $\tau=0$ (7.48). فقدت طريقة نيستروف القدرة على التقارب تماماً عند $\tau \ge 8$.
• حجم 25 مليون: ظلت CGAD والأساليب الأخرى المدركة للتقادم (Adam-Decay, SDM, Delayed Nesterov) مستقرة، بينما تسبب نيستروف في التباعد عند $\tau \ge 4$. عند هذا الحجم، كانت الاختلافات بين الطرق المدركة للتقادم ضئيلة.

ضمان الحجم والمتانة (Scale Insurance and Robustness)

تظهر أهم نتيجة عند حجم 7 مليارات في ظل ظروف قيود الذاكرة (أوزان bf16، و 8-bit AdamW):

• تباين البذرة إلى البذرة (Seed-to-Seed Variance): أقرب خط أساس، وهو Adam-Decay (الذي يستخدم CGAD بدون قطع الكوسين)، أظهر زيادة بمقدار 27 ضعفاً في الانحراف المعياري ($\sigma$) من بذرة إلى أخرى مع توسع النموذج من 25 مليون إلى 7 مليارات (من 0.07 إلى 1.89 عند $\tau=8$). في المقابل، ظل $\sigma$ الخاص بـ CGAD ثابتاً (حوالي 0.38).
• خطر التشغيل لمرة واحدة (Single-Shot Risk): باستخدام "المتوسط + $\sigma$" كمؤشر لخطر التشغيل لمرة واحدة، تجاوز خطر Adam-Decay عند (7 مليار / $\tau=8$) (وهو 13.19) مستوى الخسارة العشوائية (10.83) بمقدار 2.4 نات (nats)، مما يعني احتمالية عالية للفشل في عملية إنتاج واحدة. أما خطر CGAD (11.28) فقد ظل تحت هذا العتبة.
• آلية الفشل: يعزو المؤلفون فشل Adam-Decay عند 7 مليارات إلى تراكم ضوضاء التقريب المربعة في مخزن العزم الثاني ($v$) الناتجة عن التدرجات المتقادمة التي لا يتم تصفيرها تماماً. وتمنع نقطة قطع الكوسين في CGAD ذلك من خلال التصفير الصارم للمساهمات بعد $\tau_{cut}$.

حساسية الضبط

• نيستروف مقابل CGAD: حتى عندما تمت إعادة ضبط نيستروف (بإزالة الزخم تماماً)، لم يستطع مضاهاة أداء إعداد CGAD المضبوط عند التأخيرات العالية. تطلب نيستروف المضبط معلمات فائقة مختلفة لأنظمة التأخير المختلفة، بينما حافظت CGAD على المتانة عبر النطاق الكامل.
• الحساسية للمعلمات الفائقة: تتغير $\alpha$ المثلى قليلاً مع الحجم (0.2 لـ 25 مليون، 0.4 لـ 1 مليار عند $\tau=8$)، لكن القيمة الافتراضية $\alpha=0.2$ تظل قوية عبر نطاق التأخير الكامل.

5. الأهمية والادعاءات

يزعم البحث أن CGAD هي الخيار الأكثر متانة للتوسع في تدريب DiLoCo غير المتزامن، حيث تعالل تحديداً هشاشة زخم نيستروف تحت تأخيرات كبيرة محكومة.

• ضمان الحجم (Scale Insurance): المساهمة الأساسية هي قطع الكوسين، الذي يعمل كـ "ضمان للحجم". وبينما يكفي الاضمحلال الأسي وحده (Adam-Decay) للنماذج الأصغر أو إعدادات الدقة العالية، فإن القطع الصلب ضروري للنماذج الضخمة (7 مليار فأكثر) التي تعمل مع حالات محسّنة (8-bit/bf16). فهو يمنع تراكم التباين المتقادم الذي يؤدي إلى تباين هائل من بذرة لأخرى وفشل التشغيل لمرة واحدة.
• التوافق الجاهز (Drop-in Compatibility): تتطلب CGAD تعديلاً من سطر واحد فقط في تطبيقات Adam الحالية، وتضيف معلمتين فائقتين مع قيم افتراضية تنتقل عبر الأحجام.
• الأثر العملي: بالنسبة للتدريب غير المتزامن في مرحلة النماذج الرائدة، توفر الطريقة الفرق بين عملية تدريب ناجحة تُنتج نموذجاً جاهزاً، وبين عملية تفشل (تتجاوز خسارة الصدفة).

يظل المؤلفون متواضعين فيما يتعلق بالنطاق النظري، مع الإقرار بأن حد التقارب ينطبق على تحديث مثالي، وأن التفوق التجريبي تم إثباته تحديداً ضمن عائلة DiLoCo وسياق تدريب Llama. كما أشاروا إلى أن عدد الخطوات الداخلية ($H=8$) المستخدم في التجارب أقل من إعدادات DiLoCo الإنتاجية ($H=100-500$)، رغم أن دراسات الحساسية تشير إلى أن الترتيب يظل قائماً عند قيم $H$ أعلى.