🤖 machine learning

Score-Based One-step MeanFlow Policy Optimization

تقدم هذه الورقة البحثية خوارزمية "تحسين سياسة تدفق المتوسط أحادي الخطوة القائم على الدرجة" (SOM)، وهي خوارزمية "ممثل-ناقد" تتيح توليد سياسة بكفاءة في خطوة واحدة في التعلم التعزيزي عبر الإنترنت من خلال بناء حقل سرعة مستهدف مباشرة من دالة (Q)، مما يحقق أداءً رائدًا مع تقليل العبء الحسابي بشكل كبير مقارنة بطرق الانتشار ومطابقة التدفق التقليدية متعددة الخطوات.

المؤلفون الأصليون: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Score-Based One-step MeanFlow Policy Optimization" (SOM)، مقسمة إلى مفاهيم بسيطة مع تشبيهات من الحياة اليومية.

المشكلة الكبرى: "الطنجرة البطيئة" مقابل "الميكروويف"

تخيل أنك تعلم روبوتًا كيف يمشي. في الماضي، كانت أفضل طريقة لتعليمه هي إعطاؤه تعليمات بسيطة ذات اتجاه واحد (مثل "امشِ للأمام"). هذه الطريقة سريعة، لكن الروبوت يكون محدودًا؛ فلا يمكنه تعلم حركات معقدة مثل "امشِ للأمام، ثم اقفز، ثم در حول نفسك" لأنه لا يعرف سوى اتجاه واحد فقط.

لحل هذه المشكلة، بدأ الباحثون باستخدام النماذج التوليدية (Generative Models) (مثل نماذج الانتشار/Diffusion models). فكر في هذه النماذج كأنها "طنجرة بطيئة" (Slow Cooker).

كيف تعمل: لمعرفة الحركة المثالية، يبدأ الروبوت بوعاء من الضجيج العشوائي (التشويش) ثم يقوم بـ "إزالة الضجيج" تدريجيًا خطوة بخرطة، ويقوم بتنقية الحركة مرارًا وتكرارًا حتى تصبح حركة مثالية.
العيب: هذا يستغرق وقتًا طويلاً. الأمر يشبه طبخ حساء يحتاج إلى 4 ساعات. في لعبة فيديو تعمل بالوقت الفعلي أو عند التحكم في سيارة، أنت تحتاج إلى إجابة الآن. الانتظار لمدة 4 ساعات من أجل حركة واحدة هو أمر بطيء للغاية.

مؤخرًا، تم اختراع طريقة جديدة تسمى MeanFlow. وهي تشبه "الميكروويف". فهي تدعي أنها تطبخ نفس الوجبة في خطوة واحدة فقط. ومع ذلك، كانت هناك مشكلة كبيرة: لاستخدام الميكروويف، كنت بحاجة إلى "وصفة" (توزيع مستهدف) لا يمكنك الحصول عليها إلا إذا كنت تعرف بالفعل الحركات المثالية. ولكن في التعلم المعزز (Reinforcement Learning)، الروبوت هو من يتعلم الحركات المثالية، لذا فهو لا يملك الوصفة بعد.

الحل: SOM (نظام "الملاح GPS")

ابتكر مؤلفو هذه الورقة البحثية نظام SOM (Score-Based One-step MeanFlow Policy Optimization). لقد حلوا مشكلة "الوصفة المفقودة" بحيث يمكن للروبوت استخدام الميكروويف (التوليد في خطوة واحدة) دون الحاجة إلى الوجبة المطبوخة مسبقًا.

إليك كيف فعلوا ذلك، باستخدام تشبيه نظام الملاحة GPS:

1. الخريطة المفقودة (التوزيع المستهدف)

عادةً، لتدريب ميكروويف يعمل في خطوة واحدة، تحتاج إلى خريطة توضح بالضبط أين توجد "الأفعال الجيدة". في التعلم عبر الإنترنت (Online Learning)، لا يملك الروبوت هذه الخريطة بعد.

الطريقة القديمة: كان الروبوت يحاول تخمين الخريطة عن طريق القيام بـ 100 تخمين عشوائي، والتحقق من أي منها كان الأفضل، والأمل في أن يكون ذلك كافيًا. هذه الطريقة غير فعالة وتصبح أصعب كلما زاد تعقيد المهمة (مثل محاولة العثف إبرة في كومة قش عبر النظر إلى قشة واحدة في كل مرة).

2. الحيلة الجديدة: استخدام "الدرجة" (الميل/Gradient)

أدرك المؤلفون أنهم ليسوا بحاجة إلى الخريطة بأكملها. هم فقط بحاجة إلى إشارة GPS.

هم يعاملون "الناقد" (Critic) الخاص بالروبوت (وهو جزء من الذكاء الاصطناعي الذي يحكم على مدى جودة الحركة) كأنه تلة. النقاط العالية على التلة هي الحركات الجيدة؛ والنقاط المنخفضة هي الحركات السيئة.
بدلًا من محاولة رسم التلة بأكملها، هم ينظرون فقط إلى الميل (المنحدر/Gradient) عند موقع الروبوت الحالي.
التشبيه: تخيل أنك معصوب العينين فوق تلة. أنت لا تحتاج إلى خريطة للجبل بأكمله لتجد القمة. أنت فقط بحاجة إلى الشعور بالاتجاه الذي ينحدر فيه الأرض للأعلى. إذا استمررت في المشي صعودًا، فستصل في النهاية إلى القمة.
يستخدم SOM "الناقد" لحساب هذا "الميل" (الدرجة/Score) ويخبر الروبوت: "تحرك في الاتجاه الذي يرتفع فيه الميل".

3. القفزة الواحدة

بسبب امتلاكهم لمعلومات "الميل" هذه، يمكنهم تخطي عملية إزالة الضجيج البطيئة والتدريجية.

الطريقة القديمة (الانتشار/Diffusion): ابدأ من أسفل التلة، وخذ 20 خطوة صغيرة للأعلى، مع التحقق من اتجاهك في كل مرة. (بطيئة).
طريقة SOM: انظر إلى الميل، احسب المتجه المثالي، واقفز مباشرة إلى قمة التلة في قفزة واحدة عملاقة. (سريعة).

لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية هذا النظام على MuJoCo، وهي مجموعة شهيرة من بيئات ألعاب الفيديو حيث تتعلم الروبوتات المشي، الجري، والسباحة.

السرعة: نظام SOM سريع بشكل مذهل. فهو يولد حركة في خطوة واحدة، بينما تستغرق الطرق المتقدمة الأخرى من 10 إلى 100 خطوة. هذا يعني أن الروبوت يمكنه التفكير والتحرك بشكل أسرع بكيد.
الأداء: رغم كونه أسرع، إلا أن SOM في الواقع أفضل في المهام. فقد حقق أعلى الدرجات في معظم ألعاب المشي والجري.
التعقيد: يعمل بشكل جيد بشكل خاص في المهام الصعبة ذات الأجزاء المتحركة الكثيرة (مثل روبوت Humanoid)، حيث تعاني الطرق القديمة لإيجاد المسار الصحيح.

ملخص "السحر"

العائق: الطرق السريعة السابقة كانت تحتاج إلى "مفتاح إجابات مثالي" للتدريب، وهو ما لا يتوفر في التعلم عبر الإنترنت.
الاختراق: يقوم SOM بإنشاء "هدف" بشكل فوري باستخدام "ميل" (Gradient) الناقد لتوجيه الروبوت.
النتيجة: يتعلم الروبوت توليد حركات معقدة وعالية الجودة في خطوة واحدة، مما يجعله أسرع وأذكى من الطرق السابقة.

باختصار: يعلم SOM الروبوت كيفية القفز مباشرة إلى أفضل حركة من خلال اتباع منحدر النجاح "للأعلى"، متجاوزًا بذلك عملية الصعود البطيئة خطوة بخطوة بالكامل.

ملخص تقني: تحسين سياسة MeanFlow أحادية الخطوة القائمة على الدرجة (SOM)

1. بيان المشكلة

اعتمد التعلم المعزز (RL) في فضاءات العمل المستمرة بشكل متزايد على النماذج التوليدية، مثل الانتشار (diffusion) ومطابقة التدفق (flow matching)، للتغلب على قيود التعبير للسياسات الغاوسية أحادية المنوال. يمكن لهذه النماذج التقاط توزيعات العمل المعقدة ومتعددة الأنماط، مما يتيح استكشافًا أغنى وسلوكيات مثالية متنوعة. ومع ذلك، لا تزال هناك عقبة حرجة: تتطلب سياسات الانتشار ومطابقة التدفق القياسية عمليات إزالة ضجيج (denoising) تكرارية متعددة الخطوات لتوليد عمل واحد. وهذا يؤدي إلى عبء حسابي كبير عند الاستدلال، وهو أمر ضار بشكل خاص في التعلم المعزز عبر الإنترنت (online RL)، حيث يتداخل الاستدلال للسياسة باستمرار مع عملية جمع البيانات.

بينما تم اقتراح MeanFlow كحل لتقليل أخذ العينات إلى تقييم واحد للشبكة عبر تعلم حقل سرعة متوسط، فإن تطبيقه المباشر على التعلم المعزز عبر الإنترنت يعوقه شرط أساسي: بناء حقل السرعة المستهدف يتطلب عادةً عينات من التوزيع المستهدف (السياسة المثلى). في التعلم المعزز عبر الإنترنت، لا تتوفر هذه العينات الحقيقية، حيث يجب على الوكيل تعلم التوزيع المستهدف بالتزامن مع السياسة. وتواجه النهج الحالية التي تحاول تجاوز ذلك (مثل أخذ عينات Best-of-N) صعوبة في التوسع مع زيادة أبعاد العمل.

2. المنهجية

يقترح المؤلفون تحسين سياسة Score-Based One-step MeanFlow (SOM)، وهو خوارزمية "ممثل-ناقد" (actor-critic) تتيح تدريب MeanFlow في بيئة تعلم معزز عبر الإنترنت بالكامل دون الحاجة إلى عينات صريحة من التوزيع المستهدف. يكمن الابتكار الجوهري في بناء حقل السرعة المستهدف مباشرة من دالة Q (Q-function) عبر تقدير الدرجة (score estimation).

2.1 دالة الطاقة المعتمدة على الزمن

تعامل الطريقة دالة Q السالبة كطاقة للتوزيع المستهدف. وتحت إطار عمل التعلم المعزز المنظم بالإنتروبيا، تتبع السياسة المثلى توزيع بولتزمان:
$\pi^*(a|s) \propto \exp(\alpha Q(s, a))$
حيث $\alpha$ هو معامل درجة الحرارة. يعرّف المؤلفون دالة طاقة تعتمد على الزمن $Q_t(s, a_t)$ تحافظ على بنية بولتزمان هذه عبر خطوات الانتشار $t \in [0, 1]$ . يتم اشتقاق درجة التوزيع عند أي خطوة زمنية $t$ كما يلي:
$\nabla_{a_t} \log p_t(a_t|s) = \nabla_{a_t} Q_t(s, a_t)$
ومن الأهمية بمكان أنه بينما يكون حساب $Q_t$ في صيغة مغلقة أمرًا مستعصيًا، فإن الطريقة تتطلب فقط تدرجه، والذي يمكن تقريبه.

2.2 تقدير الدرجة عبر تكيف iDEM

لتقدير الدرجة $\nabla_{a_t} Q_t(s, a_t)$ دون عينات مستهدفة، تكيف SOM مقدر مطابقة طاقة إزالة الضجيج المتكررة (iDEM). بدلاً من أخذ عينات من التوزيع المستهدف الحقيقي، تأخذ الطة عينات من أعمال مرشحة من مقترح غاوسي ممركز عند الحالة المشوشة الحالية $a_t$ . يتم إعادة وزن هذه المرشحات بناءً على قيم Q الخاصة بها لتقريب التوقع البعدي. ويصبح مقدر الدرجة الناتج هو:
$\nabla_{a_t} Q_t(s, a_t) \approx \nabla_{a_t} \log \sum_{i=1}^K \exp(\alpha Q(s, a^{(i)}_{0|t}))$
حيث $a^{(i)}_{0|t}$ هي عينات مسحوبة من توزيع غاوسي مشروط على $a_t$ . هذا يعمل بفعالية على توجيه تحديثات العمل نحو مناطق القيم العالية مع الحفاظ على الاستكشاف من خلال الضجيج.

2.3 بناء حقل السرعة

يتم دمج الدرجة المقدرة في معادلة التدفق الاحتمالي (PF-ODE) لاشتقاق حقل السرعة المستهدف. بالنسبة لـ SDE الحفاظ على التباين (VP)، يتم تعريف حقل السرعة كالتالي:
$v_t(a_t|s) = -\frac{1}{2}\beta(t) \left( a_t + \nabla_{a_t} Q_t(s, a_t) \right)$
يقوم حقل السرعة هذا بنقل الضجيج مباشرة نحو أنماط القيم العالية الناجمة عن دالة Q الحالية. بعد ذلك، يتم تدريب سياسة MeanFlow $u_\theta$ لتلبية هوية MeanFlow باستخدام هذا الحقل المستهدف، مع تقليل الخسارة:
$\mathcal{L}(\theta) = \mathbb{E} \left[ \| u_\theta(a_t, r, t, s) - \text{sg}(u^{\text{new}}_{\text{tgt}}) \|^2_2 \right]$
حيث يتم اشتقاق $u^{\text{new}}_{\text{tgt}}$ من سرعة PF-ODE.

2.4 تفاصيل التنفيذ

التطبيع (Normalization): يتم تطبيع تدرج الدرجة ليكون بوحدة طول واحدة وإعادة قياسه بمعامل قابل للضبط $w$ لاستقرار التدريب عبر مقاييس المكافأة المتغيرة.
تدريب الناقد (Critic Training): يتم تحديث الناقد باستخدام هدف بلمان التوزيعي مع شبكات Q توأم.
أفضل-من-N (Best-of-N): بينما المساهمة الأساسية هي السرعة القائمة على الدرجة، يدمج المؤلفون أخذ عينات BoN أثناء تحديثات الناقد لتسريع التدريب عن طريق اختيار أعلى مرشح من حيث قيمة Q من بين عدة عينات لتقدير القيمة المستهدفة.

3. المساهمات الرئيسية

تحديد العقبة: حددت الورقة عدم وجود عينات التوزيع المستهدف كعائق رئيسي أمام تطبيق MeanFlow في التعلم المعزز عبر الإنترنت.
بناء السرعة القائمة على الدرجة: تقترح طريقة مبتكرة لبناء حقل السرعة المستهدف مباشرة من تدرجات دالة Q، مما يتجاوز الحاجة إلى عينات مستهدفة صريحة.
টি
خوارزمية SOM: تقديم SOM، وهي خوارزمية ممثل-ناقد تدمج MeanFlow مع التعلم المعزز عبر الإنترنت، مما يحقق تعلم سياسة تعبيري مع أخذ عينات عمل في خطوة واحدة.
التحقق التجريبي: إثبات أن SOM تحقق أداءً رائدًا (SOTA) في مهام الحركة (locomotion) مع تقليل وقت التدريب والاستدلال بشكل كبير مقارنة بالنماذج المرجعية للانتشار ومطابقة التدفق التكرارية.

4. النتائج التجريبية

قيم المؤلفون SOM على تسع مهام تحكم مستمر من MuJoCo v4 (بما في ذلك Ant, HalfCheetah, Hopper, Humanoid, Walker2d, Swimmer, Pusher, Reacher, و InvertedDoublePendulum).

الأداء: حققت SOM أعلى متوسط عائد في أربعة من أصل خمسة معايير للحركة، وثاني أعلى عائد في Hopper-v4. كان التحسن أكثر وضوحًا في Humanoid-v4 (أبعاد العمل العالية)، حيث تفوقت SOM على ثاني أفضل طريقة بفارق واضح، مما يشير إلى أن النهج القائم على التدرج يتوسع بشكل جيد مع الأبعاد.
الكفاءة: كما هو موضح في الجدول 2، تحقق SOM وقت استدلال خطوة واحدة قدره 0.218 مللي ثانية في HalfCheetah-v4، مقارنة بـ 0.6–1.5 مللي ثانية للنماذج المرجعية التكرارية (التي تتطلب 10-100 خطوة إزالة ضجيج). كما تم تقليل وقت التدريب بشكل كبير أيضًا.
تحليل السياسة: تشير التصورات (t-SNE و Q-landscapes) إلى أن SOM تركز عينات العمل بإحكام حول أنماط Q العالية، بينما تميل الطرق أحادية الخطوة المنافسة (مثل MFP) إلى الانهيار إلى أنماط مفردة أو التوزع بشكل منتشر.
المتانة: أظهرت التجارب مع دوال Q المشوشة أن مقدر الدرجة المُنعم غاوسيًا في SOM يظل متينًا، حيث يقوم بمتوسط أخطاء الناقد الخشنة بفعالية مع الحفاظ على الهيكل المحلي بالقرب من أنماط القيم العالية.

5. الأهمية والادعاءات

تدعي الورقة أن SOM تحل التوتر بين التعبيرية للسياسات التوليدية والقيود الحسابية للتعلم المعزز عبر الإنترنت. من خلال اشتقاق السرعة المستهدفة مباشرة من دالة Q، تمكن SOM سياسات MeanFlow من التدريب في بيئات التعلم عبر الإنترنت بالكامل حيث لا تتوفر عينات مستهدفة.

يؤكد المؤلفون أن SOM تحقق أداءً رائدًا (state-of-the-art) بخطوة توليد واحدة فقط، مما يقدم حلاً عمليًا لتطبيقات التحكم في الوقت الفعلي حيث يكون زمن انتقال الاستدلال أمرًا بالغ الأهمية. ويشيرون إلى أنه بينما تقتصر الطريقة حاليًا على مهام التحكم المستمر (MuJoCo) وتعتمد على جودة الناقد المتعلم، إلا أنها تمثل خطوة مهمة نحو تحسين السياسة الفعال والتعبيري. وتشير الأعمال إلى أن الاتجاهات المستقبلية تشمل توسيع SOM لتشمل الإعدادات ذات الأبعاد العالية أو القابلة للمراقبة جزئيًا (مثل التحكم البصري) ودمج نقاد أكثر تقدمًا مدركين لعدم اليقين.