ملخص تقني: عندما يلتقي مُحسّن Muon بالتدريب الخصومي

بيان المشكلة

لا يزال التدريب الخصومي (Adversarial Training - AT) هو الدفاع التجريبي الأكثر موثوقية ضد الهجمات الخصومية، ومع ذلك، فإن متانته تعتمد بشكل حاسم على كيفية حل مشكلة التحسين (min-max) الأساسية. وبينما يعد "الاشتقاق المتدرج العشوائي" (SGD) هو المُحسّن الافتراضي للتدريب الخصومي نظرًا لمتانته الملحوظة، فإن المُحسّنات التكيفية مثل AdamW غالبًا ما تحسن التدريب القياسي ولكنها تعطي متانة أدنى. مؤخرًا، برز مُحسّن Muon كبديل عالي الأداء للتدريب واسع النطاق، حيث يستخدم تحديثات مصفوفية متعامدة عبر التحلل القطبي التقريبي. ومع ذلك، فإن تأثير هندسة هذا المُحسّن المحدد على المتانة الخصومية تحت نماذج تهديد قوية وغير متجانسة لا يزال غير مستكشف. تعالج هذه الورقة السؤال التالي: هل يمكن للتحسين المتعامد أن يحسن التدريب الخصومي، وما هي الآليات النظرية والتجريبية التي تحكم هذا السلوك؟

المنهجية

تستخدم الدراسة نهجًا مزدوجًا يجمع بين التحليل النظري لقاعدة تحديث Muon والتقييم التجريبي الشامل عبر بنيات ونماذج تهديد متعددة.

التحليل النظري

يحلل المؤلفون قاعدة تحديث Muon، حيث يتم تحويل التدرج المتراكم للزخم $M_t$ إلى عامل قطبي تقريبي $U_t$ (متعامد) قبل تحديث الأوزان $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$.

• سقف استقرار المعيار الطيفي (Spectral-Norm Stability Ceiling): تثبت الورقة أن التحديث القطبي يفرض سقفًا هيكليًا على المعيار الطيفي لتحديثات المصفوفات. وخلافًا للمُحسّنات التكيفية التي يمكن أن تظهر نموًا طيفيًا غير محدود، تضمن تحديثات Muon المتعامدة بقاء المعيار الطيفي للأوزان محدودًا بدالة في معدل التعلم، واضمحلال الوزن، وخطأ التقريب ($\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$).
• ديناميكيات التدرج: تشير النتائج النظرية إلى أن Muon يهبط في الخسارة الخصومية على طول اتجاه المعيار النووي (nuclear-norm direction). وهذا يوفر ضمان هبوط لكل خطوة أكبر هيكليًا مقارنة بخطوات التدرج القياسية، لا سي‌ما في وجود تدرجات خصومية ذات تباين عالٍ.
• حدود المتانة: من خلال وضع حدود للمعايير الطيفية للطبقات، يستنتج المؤلفون حدًا هيكليًا لثابت ليبشيتز (Lipschitz constant) لدالة الهامش، مما يربط هندسة تحديث المُحسّن بمتانة النموذج ضد هجمات $\ell_p$-المحدودة.

التقييم التجريبي

قام المؤلفون بتكييف Muon للتدريب الخصومي باستخدام خوارزمية "الاشتقاق المتدرج المتعدد التلقائي" (Auto Projected Gradient Descent - APGD) كحلقة هجوم داخلية. أُجريت التجارب على:

• مجموعات البيانات: CIFAR-10 و ImageNet.
• البنيات: PreActResNet-18، و WideResNet (WRN-34-10, WRN-34-20)، و Vision Transformers (ViT-B, ViT-L).
• نماذج التهديد: $\ell_\infty$، و $\ell_1$، و $\ell_2$، واتحاداتهم.
• المقارنات: SGD، و AdamW، و Sharpness-Aware Minimization (SAM).

المساهمات الرئيسية

1. إعادة النظر في اختيار المُحسّن كعامل أمني: تحدد الورقة أن هندسة التحديث المصفوفي المتعامد هي عامل حاسم وغير مستكشف في التدريب الخصومي، متجاوزة المقارنة التقليدية بين SGD و AdamW.
2. التحليل الآلي لـ Muon: يقدم المؤلفون تفسيرًا نظريًا لسلوك Muon، موضحين أن قاعدة التحديث القطبي الخاصة به تفرض سقفًا لمعيار المُشغل (operator-norm) على التحديثات المصفوفية. هذا يمنع النمو الطيفي غير المستقر الذي يُلاحظ غالبًا مع المُحسنات التكيفية، مما يقدم تفسيرًا تشخيصيًا لمكاسب المتانة.
3. التقييم المنضبط متعدد المعايير: تقدم الدراسة مقارنة منهجية بين SGD و AdamW و Muon عبر إعدادات متنوعة. وتوضح المقايضات بين التحديثات المتعامدة (Muon) والاضطراب الواعي بالحدة (SAM)، مظهرة أن Muon يعمل كبديل لهندسة المُحسّن وليس كمجرد بديل مباشر.

النتائج الرئيسية

• الأداء مقابل AdamW: يتفوق Muon بشكل كبير على AdamW في التدريب الخصومي عبر كل من الشبكات العصبية الالتفافية (CNNs) ومحولات الرؤية (ViTs). في بنيات ViT، غالبًا ما يعاني AdamW من عدم استقرار التدريب أو الانهيار إلى أداء قريب من العشوائية، بينما يحافظ Muon على الاستقرار والمتانة التنافسية.
• الأداء مقابل SGD: في مجموعات البيانات صغيرة النطاق (CIFAR-10) مع شبكات CNN فائقة البارامترات (مثل WRN-34-10/20)، يحقق Mu_una متانة اتحادية (union robustness) تضاهي أو تتفوق على SGD. ومع ذلك، في مجموعات البيانات واسعة النطاق مثل ImageNet، لا يزال SGD يؤدي بشكل أفضل حاليًا، مما يشير إلى أن Muon أكثر حساسية لضبط المعلمات الفائقة (معدل التعلم، وفترة الإحماء) عند النطاقات الكبيرة.
• المقارنة مع SAM: يحسن Muon هندسة التحديث دون التكلفة الحسابية الإضافية لخطوة اضطراب الوزن المطلوبة في SAM. وبينما قد يحقق SAM متانة أعلى قليلاً في إعدادات محددة، إلا أن Muon يقدم بديلًا أكثر كفاءة مع استقرار مماثل.
• الافراط المتين (Robust Overfitting): تلاحظ الدراسة أن Muon، مثله مثل SGD، عرضة لـ "الافراط المتين" في مراحل التدريب المتأخرة. ويظل التوقف المبكر استراتيجية ضرورية لـ Muon.
• المتانة في الصندوق الأسود (Black-Box Robustness): تُظهر النماذج المدربة بواسطة Muon قدرة عالية على النقل (transferability)، حيث تحافظ على متانة عالية ضد هجمات النقل في الصندوق الأسود، مما يشير إلى أن المكاسب ليست مجرد نتاج لمسارات التحسين في الصندوق الأبيض.

الأهمية والادعاءات

تدعي الورقة أن هندسة المُحسّن هي عامل ذو صلة أمنية في التدريب الخصومي. ومن خلال تقديم Muon، يوضح المؤلفون أن التحديثات المتعامدة يمكن أن توفر بديلًا مستقرًا لـ SGD، خاصة في السيناريوهات التي تفشل فيها المُحسّنات التكيفية (مثل المحولات) أو عندما تكون الكفاءة الحسابية مصدر قلق مقارنة بـ SAM.

يخلص المؤلفون بتواضع إلى أن Muon لا يهيمن عالميًا على SGD؛ بل يقدم "هندسة تحديث متعامدة مستقرة" غالبًا ما تحسن التحسين المتين المبكر. تسلط النتائج الضوء على أنه بينما يعد Muon أداة قوية للتدريب الخصومي، فإن فعاليته في النطاقات الكبيرة (ImageNet) تتطلب مزيدًا من تصميم المعلمات الفائقة والجداول الزمنية. يربط العمل بين التحلل القطبي والاستقرار الطيفي، مما يشير إلى أن التحكم في هندسة التحديث لا يقل أهمية عن شكل فضاء الخسارة لتحقيق المتانة.