🤖 machine learning

\textit{Stochastic} MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent

تقدم هذه الورقة سياسات تدفق المتوسط العشوائية (SMFP)، وهي فئة سياسات توليدية من خطوة واحدة تجمع بين تقدير الإنتروبيا القابل للتتبع وانحدار المرآة خارج السياسة للتعامل بفعالية مع توزيعات الأفعال متعددة الأنماط مع الحفاظ على كفاءة الاستدلال واستقرار التدريب عبر اختبارات MuJoCo المرجعية.

المؤلفون الأصليون: Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Ye Shi, Liang Bai, Tianyuan Yu, Yanwei Fu

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Ye Shi, Liang Bai, Tianyuan Yu, Yanwei Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت كيف يمشي، أو يركض، أو يرقص. للقيام بذلك، يحتاج الروبوت إلى "دماغ" (سياسة - Policy) يقرر الحركة التالية التي سيقوم بها بناءً على ما يراه. تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لبناء ذلك الدماغ، تسمى سياسات تدفق المتوسط العشوائي (Stochastic MeanFlow Policies - SMFP).

إليك قصة كيفية عمل هذه الطريقة الجديدة، مشروحة من خلال تشبيهات بسيطة.

المشكلة: "النموذج الموحد للجميع" مقابل "الفنان البطيء"

في عالم تعلم الروبوتات، كان هناك تقليدياً نوعان رئيسيان من الأدمغة، وكلاهما يعاني من عيب كبير:

الدماغ الغاوسي (المفكر السريع والبسيط):
- كيف يعمل: يشبه الروبوت الذي يختار دائماً الحركة "المتوسطة". إذا كان يحتاج للقفز، فإنه يحسب الارتفاع المثالي ويقفز.
- الجيد فيه: سريع للغاية وسهل الحساب.
- السيئ فيه: بسيط للغاية. إذا كانت المهمة تتضمن طرقاً متعددة للنجاح (مثل القفز فوق حاجز بالذهاب يساراً أو يميناً)، فإن هذا الدماغ يصاب بالارتباك. يحاول حساب متوسط الخيارين فينتهي به الأمر بالقفز مباشرة في وسط الحاجز. لا يمكنه التعامل إلا مع "نمط" واحد من السلوك في كل مرة.
الدماغ التوليدي (الفنان المبدع والبطيء):
- كيف يعمل: يشبه الروبوت الذي يتخيل آلاف الحركات الممكنة، ويرسم مسوداتها، ثم يختار الأفضل بينها. يمكنه التعامل مع المواقف المعقدة ذات الحلول المتعددة (متعدد الأنماط).
- الجيد فيه: تعبيري للغاية ويمكنه إيجاد حلول إبداعية.
- السيئ فيه: بطيء. يستغرق وقتاً طويلاً لـ "رسم" كل حركة لأنه يتعين عليه المرور عبر خطوات عديدة. كما أنه من الصعب قياس مدى "إبداع" أو "استكشاف" هذا الدماغ، مما يجعل من الصعب تعليم الروبوت تجربة أشياء جديدة بأمان.

الهدف: الجمع بين أفضل ما في العالمين

أراد الباحثون دمج سرعة "المفكر البسيط" مع إبداع "الفنان المبدع". كما أرادوا استخدام استراتيجيتين محددتين للتعليم:

الاستكشاف (SAC): تشجيع الروبوت على تجربة حركات عشوائية ومخاطرة للتعلم بشكل أسرع.
الاستقرار (Mirror Descent): التأكد من أن الروبوت لا يغير عاداته بشكل جذري، حتى لا ينسى ما تعلمه بالفعل.

المشكلة؟ عندما تدمج هاتين الاستراتيجيتين التعليميتين، يصبح "التحرك المثالي" الذي يجب أن يهدف إليه الروبوت شكلاً معقداً ذا قمم متعددة (مثل سلسلة جبال ذات عدة قمم). "المفكر البسيط" (الغاوسي) لا يمكنه رؤية إلا قمة واحدة، لذا يفشل. أما "الفنان المبدع" (التوليدي) فيمكنه رؤية جميع القمم ولكنه بطيء جداً ويصعب التحكم فيه.

الحل: SMFP (خدعة "الخطوة الواحدة" السحرية)

ابتكر المؤلفون SMFP، وهو نوع جديد من الأدمغة يحل هذا اللغز. إليك كيف يعمل باستخدام استعارة إبداعية:

مفه far "تدفق المتوسط" (MeanFlow):
تخيل أنك تحاول توجيه قارب من بحيرة هادئة (الضجيج/Noise) إلى وجهة محددة (الإجراء/Action).

الطرق التوليدية القديمة: يجب على القارب أن يبحر عبر نهر متعرج، ويقوم بالعديد من التعديلات الصغيرة بمرور الوقت للوصول إلى هناك. هذا بطيء.
SMFP: أدرك الباحثون أنه يمكنهم حساب متوسط السرعة والاتجاه اللازمين للانتقال من البحيرة إلى الوجهة في "قفزة واحدة". الأمر يشبه الانتقال الآني للقارب مباشرة إلى المكان الصحيح في خطوة واحدة، بدلاً من الإبحار ببطء.

اللمسة "العشوائية" (Stochastic):
عادةً، تكون طريقة "الانتقال الآني" هذه حتمية (أي أنها تذهب دائماً إلى نفس المكان بالضبط). ولكن لتعليم الروبوت الاستكشاف، نحتاج لأن يكون غير متوقع قليلاً.

تضيف SMFP عامل "عشوائية" أو "تذبذب". الأمر يشبه قول: "انتقل آنياً إلى الوجهة، ولكن مع وجود مساحة صغيرة من الحرية أو التذبذب".
والأهم من ذلك، أن هذه "المساحة من التذبذب" سهلة القياس رياضياً. وهذا يسمح للروبوت بمعرفة مدى استكشافه بدقة دون إجراء حسابات معقدة.

لماذا يهم هذا؟

السرعة: لأنها تستغرق خطوة واحدة فقط لاتخاذ القرار بشأن الحركة (بدلاً من 20 خطوة في الطرق التوليدية القديمة)، يمكن للروبوت التفكير بشكل فوري تقريباً. إنها بسرعة "المفكر البسيط" القديم.
الذكاء: لأنها تستخدم منطق "الانتقال الآني"، يمكنها التعامل مع المواقف المعقدة ذات الحلول المتعددة (مثل "الفنان المبدع").
الاستقرار: لقد نجحت في الجمع بين طريقتي التعليم: "تجربة أشياء جديدة" (الاستكشاف) و"عدم التغيير بسرعة كبيرة" (الاستقرار). هذا يخلق هدفاً معقداً بما يكفي ليتعلم الروبوت المهام الصعبة، ولكن لا يزال بإمكان الروبوت الوصول إليه بكفاءة.

النتائج

اختبر الباحثون هذا الدماغ الجديد في سبعة مهام مختلفة لمحاكاة الروبوتات (مثل الجري، المشي، أو الوقوف).

الأداء: تفوقت SMFP على أفضل الطرق الموجودة أو ساوتها، بما في ذلك الطرق البطيئة والمعقدة.
الكفاءة: حققت هذه الدرجات العالية مع كونها سريعة للغاية، مع انعدام التأخير تقريباً في اتخاذ القرارات.

باخت-القول: SMF P هي طريقة جديدة لتعليم الروبوتات تكون سريعة بما يكفي للاستخدام في الوقت الفعلي، وذكية بما يكفي للتعامل مع المشكلات المعقدة ذات الخيارات المتعددة، مع الحفاظ على استقرار وسلامة الروبوت أثناء عملية التعلم. إنها تسد الفجوة بين "السريع والبسيط" و"الذكي والبطيء".

ملخص تقني: سياسات التدفق المتوسط العشوائية (SMFP)

1. بيان المشكلة

تواجه التعلم المعزز عبر السياسة غير المتصلة (off-policy) عبر الإنترنت للتحكم المستمر عالي الأبعاد مقايضة جوهرية بين قدرة التعبير عن السياسة وقابلية التحسين.

تمثيل السياسة: توفر السياسات الغاوسية القياسية استدلالاً سريعاً وتقديراً قابلاً للحساب للإنتروبيا (الاعتلاج)، لكنها تفشل في نمذجة توزيعات الأفعال المعقدة ومتعددة الأنماط. وفي المقابل، توفر السياسات التوليدية (مثل الانتشار أو السياسات القائمة على التدفق) قدرة تعبيرية غنية متعددة الأنماط، ولكنها تعاني من احتمالات غير قابلة للحساب، وصعوبة في تقدير الإنتروبيا، وزمن استدلال مرتفع بسبب أخذ العينات التكراري.
منهجية التحسين: هناك توتر بين الاستكشاف المدفوع بالإنتروبيا المنتظمة (مثل Soft Actor-Critic، SAC)، والذي يعزز الاستكشاف الواسع ولكنه قد يؤدي إلى عدم الاستقرار، وبين تحديثات النزول المرآتي (Mirror Descent - MD)، التي تضمن تحسينات مستقرة ومحافظة للسياسة من خلال تقييد التحديثات لتبقى قريبة من السياسة السابقة.
الصراع الجوهري: إن الجمع بين تعظيم الإنتروبيا بأسلوب SAC وبين قيود النزول المرآتي يخلق توزيع هدف متعدد الأنماط (مزيج من توزيع بولتزمان المستحث من القيمة والسياسة السابقة). لا تستطيع السياسات الغاوسية أحادية النمط تمثيل هذا الهدف، مما يؤدي إلى عدم تطابق في التمثيل. وبينما يمكن للسياسات التوليدية التعبيرية سد هذه الفجوة نظرياً، إلا أنها تفتقر عادةً إلى آلية قابلة للحساب للتحكم الصريح في الإنتروبيا، مما يجعل الجمع بين الاستكشاف المدفوع بالإنتروبيا واستقرار النزول المرآتي غير مجدٍ من الناحية العملية.

2. المنهجية: سياسات التدفق المتوسط العشوائية (SMFP)

يقترح المؤلفون سياسات التدفق المتوسط العشوائية (SMFP)، وهو إطار عمل للسياسة التوليدية ذات الخطوة الواحدة المصمم لحل الصراعات المذكورة أعلاه عبر الجمع بين خرائط "الضوضاء إلى الفعل" القائمة على تدفق المتوسط (MeanFlow) وإعادة بارامتريّة غاوس.

2.1 إعادة البارامترية العشوائية

تعيد SMFP صياغة هوية "تدفق المتوسط" الحتمية إلى خريطة عشوائية. فبدلاً من حقل سرعة حتمي بحت، تتنبأ السياسة $g_\theta$ بكل من متوسط الفعل والانحراف المعياري الشرطي:
$g_\theta(a_t, b, t) = \underbrace{a_t - u_\theta(a_t, b, t)}_{\text{المتوسط } \mu} + \underbrace{\sigma_\theta(a_t, b, t) \odot \epsilon}_{\text{العشوائية } \sigma}$
حيث $a_t$ هو الاستيفاء (interpolation) بين الضوضاء والفعل، و $u_\theta$ هو متوسط السرعة المتعلم، و $\epsilon$ هو ضوضاء غاوسية قياسية. يسمح هذا الهيكل للسياسة بإخراج الأفعال في تمريرة أمامية واحدة (استدلال خطوة واحدة) مع الحفاظ على توزيع غاوسي شرطي.

2.2 بديل الإنتروبيا القابل للحساب

الابتكار الرئيسي هو اشتقاق بديل إنتروبيا قابل للحساب. بما أن الإنتروبيا الهامشية للسياسة التوليدية غير قابلة للحساب، فإن SMFP يعظم حداً أدنى بناءً على الإنتروبيا الشرطية المعطاة للضوضاء الكامنة $e$ .

يستخدم الهدف لوغاريتم الانحراف المعياري المتوقع للغاوسي المتوقع: $\mathbb{E}[\sum \log \sigma^{(i)}_\theta]$ .
لمنع انهيار التباين دون دفع النمو غير المحدود للإنتروبيا، يتم تطبيق منظم إنتروبيا بنمط المفصلة (hinge-style)؛ حيث يتفعل فقط عندما ينخفض لوغاريتم الانحراف المعياري المعياري عن عتبة $\kappa_\sigma$ ، مما يضمن مقياس ضوضاء أدنى للاستكشاف.

2.3 تحسين النزول المرآتي خارج السياسة

تدمج SMFP التحكم في الإنتروبيا هذا مع النزول المرآتي خارج السياسة. يجمع هدف التحسين بين:

تعظيم القيمة: خسارة تعلم Q القياسية.
تنظيم الإنتروبيا: بديل الإنتروبيا الشرطي القابل للحساب الموصوف أعلاه.
قيد النزول المرآتي: حد تباعد KL الذي يثبت التحديث على السياسة السابقة $\pi_{\theta_{old}}$ .

بما أن توزيع الهدف للنزول المرآتي غير معلمي وغير معيرم (unnormalised)، تستخدم SMFP نهج الانحدار الموزون. فهي تأخذ عينات من الأفعال من السياسة السابقة وتزنها بمصطلح قائم على الميزة (advantage) (يُقدر كـ $\max(0, Q(s,a) - V(s))$ ) لأسقاط السياسة التوليدية على الهدف الأمثل. هذا يتجنب الحاجة إلى تقييم كثافة صريح للهدف.

2.4 اختيار الفعل الموجه بالقيمة

لتقليل التباين بشكل أكبر، تستخدم SMFP أخذ عينات "الأفضل من K" (Best-of-K). لكل حالة، يتم توليد $K$ من مرشحات الأفعال بالتوازي (باستخدام vmap في JAX)، ويتم اختيار الفعل ذو أعلى قيمة Q. يعمل هذا كفلتر رفض خفيف الوزن مع زمن استدلال مهمل.

3. المساهمات الرئيسية

بنية SMFP: تقديم سياسة توليدية عشوائية ذات خطوة واحدة تجمع بين تعبيرية تدفق المتوسط وإعادة البارامترية الغاوسية، مما يتيح استدلال الخطوة الواحدة مع دعم التحكم الصريح في الإنتروبيا.
التحكم في الإنتروبيا القابل للحساب: اشتقاق حد أدنى للإنتروبيا الشرطية يجعل التعلم المعزز للنزول المرآتي المنظم بالإنتروبيا فعالاً عملياً لأول مرة مع السياسات التوليدية.
هدف موحد: دالة خسارة موحدة تعمل على تحسين الاستكشاف المدفوع بالإنترपिता، والنزول المرآتي الموزون بالقيمة، والاستدلال التوليدي ذو الخطوة الواحدة بشكل مشترك، مما يحل عدم التطابق في التمثيل بين الأهداف متعددة الأنماط والسياسات أحادية النمط.
التحقق التجريبي: إثبات أن الجمع بين تنظيم الإنتروبيا بأسلوب SAC والنزول المرآتي مفيد عند دعمه بسياسات توليدية تعبيرية، على عكس النتائج في الإعدادات الغاوسية فقط.

4. النتائج التجريبية

قيم المؤلفون SMFP على سبعة اختبارات معيارية للتحكم المستمر في MuJoCo (Hopper, Walker2D, Ant, HalfCheetah, Humanoid, HumanoidStandup, Swimmer) عبر 30 بذرة عشوائية.

الأداء: حققت SMFP أفضل أداء إجمالي عبر جميع الاختبارات، متفوقة على كل من القواعد الغاوسية الكلاسيكية (PPO, TD3, SAC) والقواعد التوليدية الحديثة (القائمة على الانتشار مثل DIME, QVPO؛ والقائمة على التدفق مثل SAC Flow, FPMD).
الكفاءة: على عكس سياسات الانتشار التكرارية التي تتطلب 16-20 خطوة أخذ عينات، تحافظ SMFP على استدلال الخطوة الواحدة (NFE=1). على بطاقة NVIDIA RTX 5090، حققت SMFP أداءً قوياً مع زمن استدلال مهمل (0.42 مللي ثانية)، وهو ما يماثل السياسات الغاوسية القياسية وأسرع بكثير من الطرق التوليدية التكرارية.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة منظم الإنتروبيا إلى تدهور الأداء، مما يؤكد الحاجة إلى الاستكشاف العشوائي.
- أدى إزالة حد النزول المرآتي إلى تقليل الاستقرار، خاصة في المهام عالية الأبعاد مثل Humanoid.
- أظهرت الطريقة متانة تجاه تغيرات المعلمات الفائقة لدرجة حرارة الإنتروبيا ( $\alpha$ ) ومعامل النزول المرآتي ( $\lambda$ ).

5. الأهمية والادعاءات

يزعم البحث أن SMFP تمثل خطوة كبيرة للأمام في التعلم المعزز عبر السياسة غير المتصلة عبر الإنترنت من خلال النجاح في سد الفجوة بين النمذجة التوليدية التعبيرية والتحسين المستقر والمنظم بالإنتروبيا.

الفعالية العملية: يذكر المؤلفون أن SMFP تجعل "التعلم المعزز للنزول المرآتي المنظم بالإنتروبيا فعالاً عملياً لأول مرة". فشلت المحاولات السابقة للجمع بين هذه الأهداف تحت المعلمات الغاوسية بسبب عدم القدرة على تمثيل الأهداف متعددة الأنماط؛ وتتغلب SMFP على ذلك من خلال طبيعتها التوليدية.
التوازن المثالي: يوضح العمل أنه من الممكن الاحتفاظ بـ القدرة التعبيرية متعددة الأنماط للسياسات التوليدية واستقرار النزول المرآتي دون التضحية بـ سرعة الاستدلال المطلوبة للتحكم في الوقت الفعلي.
القيود: يشير المؤلفون بتواضع إلى أن البديل القابل للحساب يعتمد تحديداً على هيكل إعادة البارامترية لـ MeanFlow. قد يتطلب التوسع إلى فئات توليدية أخرى آليات جديدة لحدود الإنتروبيا. بالإضافة إلى ذلك، يستخدم التنفيذ الحالي معلمات فائقة ثابتة لـ $\alpha$ و $\lambda$ ، مما يترك مخططات الوزن التكيفية كعمل مستقبلي.

باختصار، توفر SMFP إطار عمل مبدئي حيث يتم الحفاظ على المزايا المتكاملة للسياسات التولية التعبيرية والتحكم الفعال القائم على غاوس في الإنتروبيا، مما يتيح تعلماً معززاً مستقراً وعالي الأداء في المجالات المستمرة المعقدة.