🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

تقدم هذه الورقة البحثية Pion، وهو مُحسِّن طيفي عالي التردد (high-pass spectral optimizer) يُحسِّن من أداء Muon عبر كبح مكونات التدرج الضوضائية والحفاظ على التخصص لكل رأس (per-head specialization)، مما يحقق أداءً واستقراراً فائقين في تدريب نماذج الرؤية واللغة والعمل (vision-language-action) وفي التعلم التعزيزي مع مكافآت قابلة للتحقق حيث تواجه Muon وAdamW صعوبات.

المؤلفون الأصليون: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "إعادة التفكير في Muon لما بعد مرحلة التدريب المسبق" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: مُحسِّن جديد للروبوتات والمنطق

تخيل أن تدريب الذكاء الاصطنا-ي يشبه تعليم طالب. لفترة طويلة، كان أفضل معلم (المُحسِّن - optimizer) لنماذج اللغات الكبيرة (LLMs) هو AdamW. مؤخرًا، ظهر معلم جديد أكثر تقدمًا يُدعى Muon. يتميز Muon ببراعته في مرحلة "التدريب المسبق" (pretraining)—وهي المرحلة التي يقرأ فيها الذكاء الاصطنا-ي الإنترنت بأكمله لاكتساب المعرفة العامة. يعمل Muon عن طريق معاملة دماغ الذكاء الاصطنا-ي كآلة موسيقية، مما يضمن أن كل نوتة (اتجاه رياضي) تُعزف بنفس مستوى الصوت لتشجيع الاستكشاف الجريء.

ومع ذلك، اكتشف مؤلفو هذه الورقة أن Muon يعاني من خلل كبير عندما تحاول استخدامه في مهمتين محددتين ومتقدمتين:

تعليم الروبوتات (VLA): تحويل نموذج لغوي ذكي إلى روبوت يمكنه الرؤية، والتحدث، والحركة.
تعليم الرياضيات/المنطق (RLVR): استخدام المكافآت لتعليم الذكاء الاصطنا-ي حل المسائل الصعبة مثل الألغاز الرياضية.

في هذه السيناريوهات الجديدة، غالبًا ما يفشل Muon، مما يتسبب في جعل الروبوت يتحرك بتعثر أو يجعل برنامج حل المسائل الرياضية ينسى كل ما تعلمه. يقترح المؤلفون معلمًا جديدًا يُدعى Pion الذي يعالج هذه المشكلات.

المشكلة: لماذا يفشل Muon في المواقف الجديدة؟

لفهم المشكلة، تخيل عملية تعلم الذكاء الاصطنا-ي كأنها نظام صوتي يحتوي على العديد من السماعات (الاتجاهات الرياضية).

1. مشكلة الروبوت (مشكلة "الرتبة المنخفضة" - Low-Rank)

عند تدريب روبوت، يكون الجزء من الدماغ الذي يتحكم في الأذرع ("وحدة الحركة") بسيطًا جدًا. هو يحتاج فقط للتحرك في اتجاهات محددة قلي العدد.

التشبيه: تخيل جوقة غنائية حيث يمتلك 3 مغنين فقط الكلمات الصحيحة، بينما الـ 97 الآخرين يطلقون مجرد همهمات عشوائية.
ما يفعله Muon: Muon يشبه مهندس صوت يقوم برفع مستوى الصوت لكل مغنٍ إلى نفس المستوى تمامًا. إنه يجعل المغنين الثلاثة الجيدين صاخبين، ولكنه يرفع أيضًا صوت الـ 97 مغنيًا الضجيجيين إلى نفس المستوى. النتيجة؟ يصاب الروبوت بالارتباك بسبب الضجيج ويتحرك بشكل غير منتظم.
الحل: أنت بحاجة إلى نظام يبقي المغنين الجيدين صاخبين ولكنه يكتم صوت المغنيين الضجيجيين.

2. مشكلة الرياضيات (مشكلة "انخفاض نسبة الإشارة إلى الضجيج")

عند تعليم الذكاء الاصطنا-ي حل المسائل الرياضية باستخدام المكافآت (RLVR)، تكون التغذية الراجعة "ضوضائية" جدًا. يخمن الذكاء الاصطنا-ي، يحصل على مكافأة، ثم يحاول مرة أخرى. الإشارة (الدرس الرياضي الفعلي) ضعيفة، والضجيج (التخمين العشوائي) قوي.

التشبيه: تخيل محاولة سماع همسة وسط إعصار.
ما يفعله Muon: يحاول Muon جعل الهمسة والإعصار بنفس مستوى الصوت. هذا يؤدي إلى طمس الهمسة تمامًا، مما يتسبب في "انهيار" الذكاء الاصطنا-ي وتوقفه عن التعلم.
الحل: أنت بحاجة إلى مرشح (فلتر) يضخم الهمسة ولكنه يحجب رياح الإعصار.

الحل: ظهور Pion

ابتكر المؤلفون Pion (وهو اختصار لـ sPectral hIgh-pass Optimization on momeNtum). فكر في Pion كأنه معدل صوت ذكي (Equalizer) نسي Muon تضمينه.

بدلاً من رفع كل مستويات الصوت بالتساوي، يستخدم Pion عملية من خطوتين:

التعزيز (Promotion): يقوم بتضخيم الإشارات المهمة والواضحة ("رأس" الصوت).
الكبح (Suppression): يقوم بنشاط بكتم الإشارات الضعيفة والضوضائية ("ذيل" الصوت).

يُسمى هذا "مرشح تمرير عالي" (High-Pass filter). تمامًا كما يقوم مرشح التمرير العالي في الموسيقى بقطع ضجيج "الباص" المنخفض ليسمح للأصوات الواضية بالظهور، يقوم Pion بقطع الضجيج الرياضي ليسمح لاتجاهات التعلم المفيدة بالظهور.

الميزات الرئيسية لـ Pion:

بديل جاهز للاستخدام (Drop-in Replacement): يمكن وضعه في كود التدريب الحالي تمامًا حيث يوضع Muon. لا يتطلب المزيد من قوة الكمبيوتر أو الوقت؛ فهو بنفس السرعة.
وضع "لكل رأس" (Per-Head Mode): بالنسبة للمسائل الرياضية، يمكن لـ Pion التعامل مع أجزاء مختلفة من دماغ الذكاء الاصطنا-ي (تسمى "رؤوس الانتباه") بشكل فردي. الأمر يشبه إدراك أن بعض الطلاب في الفصل جيدون في الهندسة بينما الآخرون جيدون في الجبر، وإعطائهم واجبات منزلية مختلفة، بدلاً من معاملة الفصل بأكمله ككتلة واحدة كبيرة.

النتائج: الروبوتات والرياضيات يصبحان أكثر ذكاءً

اختبر المؤلفون Pion في مجالين رئيسيين:

1. الروبوتات الحقيقية (VLA)

الاختبار: قاموا بتدريب روبوتات على التقاط الأشياء (مثل الخيار أو المكعبات) ووضعها في أوعية أو أطباق.
النتيجة:
- AdamW: عانى الروبوت، فكان يسقط الأشياء كثيرًا أو يخطئ الهدف.
- Muon: أدى الروبوت بشكل أفضل ولكنه ظل متذبذبًا ويصطدم بالأشياء أحيانًا لأنه كان "يستمع" إلى الكثير من الضجيج.
- Pion: كان حركة الروبوت سلسة ودقيقة. في أحد الاختبارات، حقق Pion نسبة نجاح 100% بعد 1,500 خطوة، بينما حقق Muon 97% وحقق AdamW 32% فقط.
- العالم الحقيقي: حتى أنهم اختبروا هذا على ذراع روبوت حقيقية (Franka Research 3)، وظل Pion هو المتفوق، حيث نجح في التقاط الأشياء ووضعها بموثوقية أكبر بكثير من الآخرين.

2. الاستدلال الرياضي (RLVR)

الاختبار: علموا نماذج الذكاء الاصطنا-ي (Qwen3) حل المسائل الرياضية (مجموعات بيانات MATH و GSM8K) باستخدام التعلم التعزيزي.
النتيجة:
- Muon: تعرض النموذج لـ انهيار. انخفضت دقة النموذج إلى ما يقرب من الصفر لأن الضجيج طغى على إشارة التعلم.
- AdamW: تعلم النموذج ببطء ولكن بثبات.
- Pion: تعلم النموذج بشكل أسرع وحقق دقة أعلى من AdamW، ونجح في التنقل عبر بيئة الرياضيات الضوضائية.

الملخص

تجادل الورقة بأن Muolo هو أداة رائعة لمرحلة "القراءة" الأولية لتدريب الذكاء الاصطنا-ي، لكنه "صاخب" وغير تمييزي للغاية للمهام الدقيقة مثل التحكم في الروبوتات أو حل المسائل الرياضية. Pion هو الأداة الجديدة التي تعمل مثل سماعات إلغاء الضجيج لتدريب الذكاء الاصطنا-ي: فهي تبقي إشارات التعلم المهمة واضحة وصاخبة مع إسكات الضجيج المشتت، مما يؤدي إلى روبوتات أذكى وحلول رياضية أفضل دون إبطاء أي شيء.

ملخص تقني: إعادة التفكير في Muon لما بعد مرحلة ما قبل التدريب

بيان المشكلة

تحدد الورقة البحثية القيود الجوهرية لـ Muon (المُحسّن المتعامد عبر زخم Newton–Schulz)، وهو مُحسّن مدرك للمصفوفات حقق نجاحًا في مرحلة ما قبل تدريب النماذج اللغوية الكبيرة (LLM)، عند تطبيقه على نظامين تدريبيين ناشئين: تدريب الرؤية واللغة والحركة (VLA)، والتعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR).

يعمل Muon عن طريق دفع جميع القيم المفردة (singular values) لمصفوفة الزخم نحو 1 عبر تكرارات Newton–Schulz (NS)، مما يؤدي فعليًا إلى تبييض طيفي موحد (uniform spectral whitening). وبينما يعزز هذا الاستكشاف في مرحلة ما قبل التدريب، يرى المؤلفون أنه يسبب "عدم تطابق طيفي" (spectral mismatch) في المهام اللاحقة:

في تدريب VLA: تكون تدرجات وحدة الحركة (action-module) بطبيعتها منخفضة الرتبة (low-rank) (أي ذات رتبة فعالة منخفضة أو erank). عملية التبييض الموحدة التي يقوم بها Muon تضخم اتجاهات الذيل الضوضائية (التي تهيمن على الطيف منخفض الرتبة) لتصبح بنفس مقدار القيم المفردة الرائدة والمعلوماتية، مما يؤدي إلى إفساد التحديث.
في مرحلة ما بعد التدريب لـ RLVR: تظهر تدرجات السياسة (policy gradients) نسبة إشارة إلى ضجيج (SNR) منخفضة بسبب المكافآت على مستوى المسار وآليات الاستقرار (مثل القص أو أخذ العينات بالأهمية). يقوم التبييض الموحد لـ Muon بتضخيم هذا الضجيج العشوائي، مما يؤدي إلى انهيار السياسة. بالإضافة إلى ذلك، يعامل Muon إسقاطات الانتباه ككتل واحدة، متجاهلاً التباين النوعي لكل رأس (per-head heterogeneity) (أي مقاييس التحديث المتخصصة) الموروثة من مرحلة ما قبل التدريب.

تعالج المتغيرات الحالية مثل Low-Rank Muon (LRMuon) مشكلات الرتبة ولكنها تعتمد على عمليات SVD أو التخطيط (sketching) المكلفة حاسوبيًا، مما يجعلها غير قادرة على مضاهاة قابلية التوسع التي يتميز بها Muon.

المنهجية: Pion

يقترح المؤلفون Pion (المُحسّن ذو المرشح الطيفي عالي التردد للزخم)، وهو بديل جاهز للاستخدام (drop-in replacement) لـ Muon يحافظ على كفاءته الحسابية (التكلفة لكل خطوة مطابقة لـ Muon) ولكنه يستبدل التبييض الموحد بـ مرشح طيفي عالي التردد (high-pass filter).

الآلية الجوهرية: تكرار NS عالي التردد

يعيد Pion تصور تكرار NS كخريطة متعددة الحدود قياسية $f(\sigma)$ تعمل على القيم المفردة المعيرة $\sigma \in [0, 1]$ . بدلًا من استخدام متعدد حدود واحد يدفع جميع القيم $\sigma \to 1$ ، يقسم Pion خطوات $k=5$ لـ NS إلى تسلسل ترقية + كبح (Promotion + Suppression) يتكون من مرحلتين:

مرحلة الترقية ( $f_p$ ): تُطبق لمدة $k_p$ من الخطوات. صُمم هذا المتعدد الحدود لتعظيم القيم المفردة بشكل رتيب، مما يرفع الاتجاهات المعلوماتية فوق عتبة الكبح مع الحفاظ على ترتيبها النسبي. تم اشتقاق المعاملات لتعظيم الميل عند الأصل ( $a_p = 1.875$ ) مع تثبيت $\sigma=1$ .
مرحلة الكبح ( $f_s$ ): تُطبق لمدة $k_s = k - k_p$ من الخطوات. يعمل هذا المتعدد الحدود على تثبيت القيم الرائدة عند 1 بينما يدفع القيم الصغيرة والضوضائية نحو 0. وهو يفرض مشتقة صفرية عند الأصل ( $f'_s(0)=0$ ) للقضاء على التضخيم الخطي للضجيج.

تنشئ الخريطة المركبة الناتلة مرشح تمرير عالي (high-pass filter) حاد: يتم الحفاظ على القيم المفردة المهيمنة (تثبيتها بالقرب من 1)، بينما يتم كبح الذيل الضوضائي (تقليصه نحو 0). يتم التحكم في قوة القطع (cutoff strength) عبر المعامل الفائق $k_p$ (عدد خطوات الترقية).

وضع "لكل رأس" (Per-Head Mode)

لمعالجة القصور المتعلق بتخصص رؤوس الانتباه، يقدم Pion وضع "لكل رأس". بدلًا من تطبيق تكرار NS على مصفوفة الأوزان بأكملها، يقوم بإعادة تشكيل إسقاطات الانتباه على طول بُعد الرأس وتطبيق NS عالي التردد بشكل مستقل لكل رأس. هذا يحافظ على مقاييس التحديث المتباينة المطلوبة عبر الرؤوس دون تكبد تكلفة حسابية إضافية تتجاوز مجرد إعادة التشكيل (reshape) البسيط.

المساهمات الرئيسية

تحديد الإخفاقات الطيفية: تعد هذه الورقة الأولى التي توضح بشكل منهجي أن التبييض الطيفي الموحد لـ Muon يضر بعمليات VLA (بسبب تدرجات الحركة منخفضة الرتبة) وRLVR (بسبب تدرجات SNR المنخفضة)، مما يؤدي إلى أداء دون المستوى أو انهيار النموذج.
مُحسّن Pion: اقتراح Pion، الذي يعيد تصميم تكرارات NS إلى آلية "ترقية + كبح" ثنائية المرحلة. يحقق تأثير تمرير عالي (high-pass) بنفس التكلفة الحسابية لـ Muon، متجنبًا عمليات SVD المكلفة.
التكيف لكل رأس: تقديم وضع التطبيق لكل رأس الذي يحترم التباين النوعي لرؤوس الانتباه المدربة مسبقًا، وهو أمر بالغ الأهمية لاستقرار مرحلة ما بعد التدريب لـ RLVR.
التحقق التجريبي الشامل: تجارب مكثفة تظهر تفوق Pion المستمر على كل من AdamW وMuon عبر إعدادات متنوعة، بما في ذلك المحاكاة والنشر في بيئات الروبوت الحقيقية.

النتائج التجريبية

تدريب VLA (مجموعات LIBERO و LIBERO-Plus)

الإعداد: تدريب VLA-Adapter ( $\ell_1$ -regression) و VLANeXt (flow-matching) على مجموعات LIBERO.
النتائج:
- يتفوق Pion باستمرار على Muon وAdamW. في مهمة LIBERO Object، يصل Pion إلى نسبة نجاح 100% بعد 1,500 خطوة، مقارنة بـ 97.0% لـ Muon و32.2% لـ AdamW.
- يُظهر Pion تقاربًا أسرع ومتانة أعلى تحت تغيرات التوزيع (مثل الضوضاء، واضطرابات الروبوت) في اختبار LIBERO-Plus.
- التقييم على روبوت حقيقي: على روبوت Franka Research 3 باستخدام هيكل $\pi0.5$ ، حقق Pion متوسط معدل نجاح قدره 85.6% في مهام الإمساك والوضع، متفوقًا بشكل كبير على Muon (38.9%) وAdamW (31.1%).

ما بعد التدريب لـ RLVR (نماذج Qwen3-1.7B/4B)

الإعداد: ضبط نماذج Qwen بدقة على MATH و GSM8K باستخدام خوارزميات GRPO و GMPO.
النتائج:
- انهيار Muon: يفشل Muon تمامًا في إعدادات RLVR، حيث تنخفض الدقة إلى ما يقرب من الصفر بسبب تضخيم الضجيج.
- نجاح Pion: يستعيد Pion إشارة تدريب ذات معنى، متفوقًا على AdamW عبر جميع أحجام النماذج والاختبارات. على سبيل المثال، في Qwen3-1.7B مع GRPO على MATH، يحقق Pion نموًا مستقرًا في الدقة بينما ينهار Muon.
- دراسة الاستبعاد (Ablation): فشل متغير "Low-pass Muon" (LPMuon) الذي يقوم بالترشيح في الاتجاه المعاكس (الإبقاء على القيم الصغيرة واستبعاد الكبيرة)، مما يؤكد أن طبيعة التمرير العالي (high-pass) لـ Pion هي العامل الحاسم للنجاح.

الأهمية والادعاءات

تزعم الورقة أن Pion يقدم حلاً جاهزًا للاستخدام وفعالًا حاسوبيًا لمشكلات عدم التطابق الطيفي المتأصلة في تطبيق Muon على الأنظمة غير المتعلقة بمرحلة ما قبل التدريب. من خلال استبدال التبييض الموحد بمرشح تمرير عالي يمكن التحكم فيه، يعمل Pion على استقرار التدريب في بيئات VLA (منخفضة الرتبة) وRLVR (منخفضة SNR) حيث يفشل Muon.

يؤكد المؤلفون أن مزايا Pion ليست مجرد ميزات معمارية، بل تنبع من تصحيح جوهري للانحياز الاستقرائي الطيفي للمُحسّن. يشير عملهم إلى أنه بينما يكون الاستكشاف الطيفي الموحد مفيدًا في مرحلة ما قبل التدريب، فإن الانتقائية الطيفية (الحفاظ على الإشارة، وقمع الضجيج) ضرورية للتكيف الفعال والاستنتاج في المهام اللاحقة. وتؤكد النتائج على أجهزة الروبوت الحقيقية أن هذه التحسينات الخوارزمية تترجم إلى مكاسب ملموسة في أداء المهام الفيزيائية.