🤖 machine learning

Optimistic Dual Averaging Unifies Modern Optimizers

تقدم هذه الورقة البحثية SODA، وهو تعميم لأسلوب Optimistic Dual Averaging يوحد المحسنات الحديثة مثل Muon وLion تحت إطار عمل واحد، ويقدم غلافاً عملياً للقضاء تلقائياً على ضبط اضمحلال الوزن (weight decay) مع تحسين الأداء باستمرار عبر مختلف مقاييس التدريب.

المؤلفون الأصليون: Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ضخم ومعقد (نموذج تعلم عميق) كيف يمشي. يتعلم الروبوت من خلال اتخاذ خطوات، لكنه أحياناً يتعثر، أو يتجاوز الحد المطلوب، أو يرتبك بسبب التعليمات المشوشة. لمساعدته على التعلم بشكل أسرع وأكثر استقراراً، يستخدم المهندسون "المُحسِّنات" (optimizers)—وهي وصفات رياضية تقرر بالضبط حجم كل خطوة وفي أي اتجاه.

على مدار العقد الماضي، ابتكر الباحثون وصفات جديدة ومبتكرة (مثل Adam وLion وMuon وNAdam). لكل وصفة "خلطتها السرية"، لكن يبدو أنها جميعاً تعمل جيداً لأسباب مختلفة. تكمن المشكلة في أن ضبط هذه الوصفات يشبه محاولة خبز كعكة مثالية بدون وصفة: عليك أن تخمن الكمية الصحيحة من "تضاؤل الوزن" (weight decay) (وهو مقبض يمنع الروبوت من أن يصبح جامحاً للغاية) لكل حجم نموذج جديد ومدة تدريب معينة.

تقدم هذه الورقة البحثية SODA (المتوسط المزدوج التفاؤلي العشوائي - Stochastic Optimistic Dual Averaging). فكر في SODA ليس كوصفة كعكة جديدة، بل كـ غلاف عالمي يمكنك وضعه فوق أي وصفة موجودة بالفعل لجعله يعمل بشكل أفضل تلقائياً.

إليك تفصيل لكيفية عمله، باستخدام تشبيهات بسيطة:

1. "النظرة الاستشرافية" المتفائلة (The "Optimistic" Look-Ahead)

معظم المُحسِّنات تشبه السائق الذي ينظر فقط إلى الطريق أمامه مباشرة. يرى مطباً، فيتفاعل، ثم ينعطف.
SODA يشبه السائق الذي ينظر للأمام قليلاً. إنه يستخدم تقنية "التفاؤل" لتخمين أين سيكون الطريق قبل أن يصل إليه.

التشبيه: تخيل أنك تسير في ممر. المُحسِّن القياسي ينتظر حتى تصطدم بالحائط لكي ينعطف. أما المُحسِّن "المتفائل" فيرى الحائط قادماً، فيميل للأمام قليلاً وينعطف قبل أن تصطدم به. هذا يمنع الروبوت من التمايل ذهاباً وإياباً، مما يسمح له بالتحرك بسلاسة وسرعة أكبر.

2. ذاكرة "المتوسط المزدوج" (The "Dual Averaging" Memory)

تحتاج المُحسِّنات أيضاً إلى تذكر الماضي. هل يتذكرون كل خطوة اتخذوها على الإطلاق؟ أم يتذكرون الخطوة الأخيرة فقط؟
يستخدم SODA طريقة "المتوسط المزدوج". بدلاً من مجرد التفاعل مع الخطوة الحالية، فإنه يحتفظ بمتوسط تراكمي لكل "الدفعات" (gradients) التي شعر بها طوال الوقت.

التشبيه: فكر في متسلق يحاول إيجاد أدنى نقطة في وادٍ ضبابي.
- المُحسِّن القياسي: "أشعر بمنحدر نحو اليسار، لذا سآخذ خطوة يساراً".
- SODA: "شعرت بمنحدر يساراً قبل 10 خطوات، ومنحدر يميناً قبل 5 خطوات، ومنحدر يساراً للتو. إذا قمت بمتوسط كل تلك المشاعر، فإن المسار الحقيقي هو في الواقع للأمام واليسار قليلاً".
  من خلال حساب متوسط "المشاعر" (gradients) عبر الزمن، يقوم SODA بتصفية الضجيج ويجد المسار الحقيقي بموثوقية أكبر.

3. "الغلاف السحري" (لا مزيد من الضبط اليدوي) (The "Magic Wrapper")

أكبر صداع لمهندسي الذكاء الاصطناعي هو تضاؤل الوزن (Weight Decay). هذا الإعداد يعمل مثل "المقود"، الذي يبقي خطوات الروبوت بعيدة عن الجموح.

الطريقة القديمة: عليك تخمين طول المقود المثالي. إذا كان الروبوت صغيراً، فأنت بحاجة إلى مقود قصير. إذا كان الروبوت ضخماً، فأنت بحاجة إلى مقود طويل. إذا قمت بالتدريب لفترة طويلة، فستحتاج لتغيير طول المقود مرة أخرى. إنها لعبة تخمين مستمرة.
طريقة SODA: اكتشف المؤلفون أنه إذا قمت بلف أي مُحسِّن (مثل Adam أو Muon) بغلاف SODA، فلن تحتاج إلى تخمين طول المقود بعد الآن.
- يقوم SODA بتعديل المقود تلقائياً بناءً على قاعدة بسيطة: 1 مقسوماً على عدد الخطوات المتخذة حتى الآن.
- التشبيه: تخيل مقوداً يقصر طوله تلقائياً بينما تمشي مسافة أبعد. لا تحتاج للإمساك بالمقود؛ فالمقود يعرف تماماً مدى شدته عند الخطوة 1، أو الخطوة 100، أو الخطوة 10,000.

4. ماذا أثبتوا؟

تزعم الورقة أن SODA يوحد العديد من أفضل المُحسِّنات الحديثة (مثل Muon وLion وNAdam) تحت مظلة رياضية واحدة. وتظهر أن هذه الطرق "المبتكرة" المختلفة هي في الواقع مجرد نسخ خاصة من نفس فكرة "المتوسط المتفائل".

النتائج:

أداء أفضل: عندما قام المؤلفون بلف المُحسِّنات الشهيرة بغلاف SODA، تعلمت النماذج بشكل أسرع ووصلت إلى معدلات خطأ أقل.
لا عمل إضافي: لم يضطروا لضبط أي مقابض جديدة. لقد طبقوا الغلاف فحسب.
التفوق على الأفضل: في اختباراتهم، تفوق SODA حتى على النسخ "الأفضل ضبطاً" من المُحسّنات الأصلية. كانت المُحسّنات الأصلية تحتاج إلى إنسان لضبط تضاؤل الوزن بعناية للحصول على نتائج جيدة؛ أما SODA فقد فعل ذلك تلقائياً وبشكل أفضل.

الملخص

فكر في SODA كـ "طيار آلي ذكي" يمكنك إلحاقه بأي محرك سيارة موجود (مُحسِّن).

ينظر للأمام (التفاؤل) لتجنب المطبات.
يتذكر الرحلة (المتوسط) للبقاء على المسار.
يضبط المكابح تلقائياً (تضاؤل الوزن) بناءً على المسافة التي قطعتها، بحيث لا تضطر أبداً لتخمين قوة الكبح.

تخلص الورقة إلى أن هذا التعديل البسيط والتلقائي يجعل تدريب نماذج الذكاء الاصطناعي الكبيرة أكثر استقراراً، وأسرع، وأقل اعتماداً على التخمين البشري.

ملخص تقني: المتوسط المزدوج المتفائل يوحد المحسنات الحديثة

بيان المشكلة

تطور تحسين التعلم العميق عبر محورين رئيسيين: الهندسة والتكيف (تصميم التحديثات باستخدام معايير ضمنية أو مسبقات تعكس بنية النموذج، مثل Adam وMuon) وتركيب المكونات (الجمع بين التغذية الراجعة للتدرج، والزخم، والجداول الزمنية لتحقيق الاستقرار، مثل Lion والطرق الخالية من الجدولة/schedule-free). وبينما تبدو العديد من المحسنات الحديثة (مثل Muon وLion وAdEMAMix وNAdam) متمايزة، إلا أنها تفتقر إلى إطار نظري موحد يشرح العلاقة بينها ويوفر توجيهاً مبدئياً لضبط المعلمات الفائقة (hyperparameters).

هناك تحدٍ محدد ومستمر وهو ضبط تلاشي الوزن (weight decay). في التدريب متعدد الحقب (multi-epoch)، يعمل تلاشي الوزن كمنظم يقيد معايير التكرارات. ومع ذلك، حتى في التدريب أحادي الحقبة حيث يكون الإفراط في التخصيص (overfitting) أقل إثارة للقلق، يظل تلاشي الوزن مفيداً في كثير من الأحيان. تشير قواعد القياس الحديثة إلى ضبط تلاشي الوزن بما يتناسب مع $1/d$ (بُعد النموذج)، ولكن من الصعب الفصل بين الاعتماد على بُعد النموذج $d$ مقابل أفق التدريب $n$ . علاوة على ذلك، تختلف قيم تلاشي الوزن المثلى بشكل كبير عبر المحسنات المختلفة (على سبيل المثال، يتطلب Lion تلاشياً أكبر بكثير من AdamW)، مما يستلزم عملية ضبط مكلفة لكل محسن.

المنهجية: SODA

يقدم المؤلفون SODA (المتوسط المزدوج المتفائل العشوائي - Stochastic Optimistic Dual Averaging)، وهو تعميم للمتوسط المزدوج المتفائل (ODA) الذي يوحد المعالجة المزدوجة للتدرجات والمعالجة الأولية للتكرارات.

الإطار النظري

يعمم SODA عملية المتوسط المزدوج القياسية:
$x_{k+1} \in \arg \min_{x \in X} \gamma_k \langle d_k, x \rangle + h_k(x)$
عبر إدخال تسلسل استكمال أولي (primal extrapolation sequence) $(y_k)$ ومتغير مزدوج متفائل $(\bar{m}_{k+1})$ . يحافظ الخوارزم على:

المعالجة المزدوجة: متوسط تدرج يعتمد على الزخم $m_{k+1}$ ومتوسط متفائل $\bar{m}_{k+1}$ يدمج التدرج الحالي $\nabla f(y_k, \xi_k)$ .
المعالجة الأولية: تحديث التكرار $x_{k+1}$ ونقطة استكمال $y_{k+1}$ ، يتم التحكم فيهما بواسطة المعاملات $\lambda_k$ و $\bar{\lambda}_k$ .

قواعد التحديث هي:
$\begin{aligned} m_{k+1} &= (1 - \alpha_k)m_k + \alpha_k \nabla f(y_k, \xi_k) \\ \bar{m}_{k+1} &= (1 - \bar{\alpha}_k)m_{k+1} + \bar{\alpha}_k \nabla f(y_k, \xi_k) \quad (\text{التفاؤل}) \\ z_{k+1} &\in \partial h_k^*(-\gamma_k \bar{m}_{k+1}) \\ x_{k+1} &= (1 - \lambda_k)x_k + \lambda_k z_{k+1} \\ y_{k+1} &= (1 - \bar{\lambda}_k)x_{k+1} + \bar{\lambda}_k z_{k+1} \quad (\text{الاستكمال الأولي}) \end{aligned}$
حيث أن $h_k$ هو منظم (خريطة المرآة/mirror map) يحدد الهندسة (مثل $\ell_\infty$ لـ Lion، أو الطيفية لـ Muon).

توحيد المحسنات الموجودة

يوضح الورقة أنه باختيار معاملات وهندسات محددة، يستعيد SODA عدة محسنات حديثة كحالات خاصة:

NAdam / Lion / Muon: يتم استعادتها تحت نظام "التحديث" (Modernized regime) حيث $\bar{\lambda}_k = 0$ $\overset{ˉ}{λ}_{k} = 0$ (لا يوجد استكمال أولي لنقطة تقييم التدرج) و $\bar{\alpha}_k > 0$ $\overset{α}{ˉ}_{k} > 0$ (التفاؤل).
- Lion: يستخدم هندسة $\ell_\infty$ (أي $h_k = K^*$ ) ومعاملات زخم محددة.
- Muon: يستخدم هندسة طيفية وزخم نيستروف (Nesterov momentum) حيث $\bar{\alpha}_k = \alpha_k$ .
- NAdam: يستخدم هندسة $\ell_\infty$ سلسة مع قياس تكيفي.
يربط الجدول 1 في الورقة هذه الطرق صراحةً باختياراتها من متوسط التدرج ( $\alpha_k$ )، والتفاؤل ( $\bar{\alpha}_k$ )، والهندسة ( $h_k$ ).

غلاف SODA (The SODA Wrapper)

المساهمة العملية الرئيسية هي غلاف SODA (الخوارزمية 1) الذي يمكنه تغليف أي محسن أساسي (مثل Adam، Lion، Muon) دون إدخال معلمات فائقة جديدة.

التكوين: يقوم بضبط $\bar{\lambda}_k = 0$ (مطابق لنظام "التحديث")، ويستخدم متوسط تكرار موحد $\lambda_k = 1/(k+2)$ ، ويقوم بتغيير حجم خطوة التعلم $\gamma_k = (k+2)\eta_k$ .
إزالة تلاشي الوزن: يقوم الغلاف بتثبيت التحديثات عند نقطة البداية $z_0$ بدلاً من الأصل. قاعدة التحديث الناتلة تنفذ فعلياً جدول تلاشي وزن $\mu_k = 1/(k+2)$ .
التفسير: يجادل المؤلفون بأنه في هذا الإطار، ليس تلاشي الوزن مجرد منظم، بل هو شكل من أشكال المتوسط الأولي (primal averaging). هذا التلاشي المستند نظرياً بنسبة $1/k$ يلغي الحاجة إلى ضبط معلمة منفصلة لتلاشي الوزن.

المساهمات الرئيسية

التوحيد عبر التفاؤل والازدواج: يوفر SODA قالباً واحداً يستعيد Muon وLion وNAdam وغيرها كحالات متفائلة من المتوسط المزدوج، مما يوضح علاقاتها الهيكلية.
الضمانات النظرية: يستمد الإطار اختيارات المعلمات الفائقة (تحديداً جدول تلاشي $1/k$ ) التي تستند إلى تحليل التقارب للدوال المحدبة الناعمة ( $L$ -smooth convex functions). إنه يعيد صياغة تلاشي الوزن كآلية للمتوسط الأولي.
الغلاف الخالي من المعلمات: يزيل غلاف SAGA المقترح الحاجة لضبط تلاشي الوزن لأي محسن أساسي مع الحفاظ على الأداء أو تحسينه.
التحقق التجريبي: تظهر التجارب الواسعة تحسينات متسقة عبر أحجام النماذج وآفاق التدريب.

النتائج التجريبية

أجريت التجارب على nanoGPT باستخدام مجموعة بيانات FineWeb100، مع مقارنة المحسنات المغلفة بـ SODA بالنماذج المرجعية المضبوطة.

النقل عبر الأفق (Transfer Across Horizon): وُجد أن تلاشي الوزن الأمثل لـ Muon ينخفض مع زيادة أفق التدريب، مما يناقض قواعد القياس الثابتة (مثل $1/d$ ). تفوق غلاف SODA باستمرار على Muon حتى عندما مُنح Muon أفضل تلاشي وزن تم ضبطه له، وذلك باستخدام تلاشي ديناميكي $1/(k+2)$ (الشكل 1).
القابلية العامة للتطبيق: حسن الغلاف الأداء لكل من Adam وMuon وScion عبر آفاق تدريب مختلفة (1 $\times$ و4 $\times$ خطوات Chinchilla) دون أي ضبط إضافي (الشكل 2).
القياس (Scaling): عند رفع حجم النموذج من 64 مليون إلى 1 مليار معلمة (باتباع مقياس Chinchilla)، تفوق SODA باستمرار (وتحديداً النسخة المتفائلة SODA $^\dagger$ ) على المحسنات الأساسية (Scion/uScion)، مع اتساع فجوة الأداء مع زيادة حجم النموذج (الشكل 4).
التبسيط: بسّط تكوين SODA $^\dagger$ نموذج Muon المرجعي عبر استبدال Adam بـ Lion لجميع الطبقات واستخدام معلمة زخم واحدة، ومع ذلك حقق أداءً تنافسياً أو متفوقاً.

الأهمية والادعاءات

يزعم البحث أن SODA يقدم آلية مبدئية لنقل استراتيجيات التحسين عبر مختلف آفاق التدريب وأحجام النماذج دون الحاجة لضبط المعلمات الفائقة.

إعادة صياغة تلاشي الوزن: يفترض المؤلفون تحولاً في المنظور: يجب فهم تلاشي الوزن ليس فقط كمنظم ضد الإفراط في التخصيص، بل كشكل من أشكال المتوسط الأولي الذي يثبت مسار التحسين عند نقطة البداية.
الأثر العملي: من خلال توحيد المحسنات الحديثة تحت إطار SODA، يوفر المؤلفون غلافاً "جاهزاً للاستخدام" (plug-and-play) يلغي العملية المرهقة والمكلفة لضبط تلاشي الوزن، وهي عملية حاسمة بشكل خاص مع جعل أحجام النماذ تجعل الضبط اليدوي باهظ التكلفة.
التواضع: يقر المؤلفون بالقيود، مشيرين إلى أن تحليلهم النظري يقتصر حالياً على الحالة المحدبة (رغم أنها معلوماتية تجريبياً للتعلم العميق) ويركز على التدريب أحادي الحقبة. ويقترحون أن التدريب متعدد الحقب قد لا يزال يتطلب معلمة لقوة التنظيم بسبب مخاوف الإفراط في التخصيص.

باختصار، يوحد SODA مساحة تصميم المحسنات الحديثة من خلال عدسة المتوسط المزدوج المتفائل، ويوفر طريقة مستندة نظرياً وخالية من المعلمات لتحسين استقرار التدريب والأداء عبر مختلف المقاييس.