🤖 AI

EXPO: Stable Reinforcement Learning with Expressive Policies

تقترح الورقة البحثية خوارزمية تحسين السياسة التعبيرية (EXPO)، وهي خوارزمية تعلم تعزيزي عبر الإنترنت ذات كفاءة في استخدام العينات، تعمل على تثبيت التدريب للسياسات التعبيرية من خلال فصل تعظيم القيمة عن السياسة الأساسية المعقدة واستخدام سياسة تعديل غاوسية خفيفة الوزن بدلاً من ذلك لتحسين الإجراءات آنياً، مما يحقق تحسينات كبيرة في كفاءة استخدام العينات لكل من الضبط الدقيق والتدريب عبر الإنترنت باستخدام البيانات غير المتصلة بالإنترنت.

المؤلفون الأصليون: Perry Dong, Qiyang Li, Dorsa Sadigh, Chelsea Finn

نُشر 2026-05-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Perry Dong, Qiyang Li, Dorsa Sadigh, Chelsea Finn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية أداء مهمة معقدة، مثل لضم الإبرة أو التنقل في متاهة. لديك أداتان رئيسيتان: مكتبة ضخمة من مقاطع الفيديو التي تظهر بشرًا يؤدون المهمة (الـ مجموعة البيانات غير المتصلة - offline dataset)، وطريقة ليدفع الروبوت لتجربة الأشياء والتعلم من أخطائه في الوقت الفعلي (التعلم التعزيزي المتصل - online Reinforcement Learning).

يقدم البحث طريقة جديدة تسمى EXPO (تحسين السياسة التعبيرية - Expressive Policy Optimization) لحل مشكلة محددة: كيف تأخذ روبوتًا هو بالفعل بارع جدًا في محاكاة الحركات البشرية (بفضل مكتبة الفيديو) وتعلمه كيف يصبح أفضل وأكثر موثوقية دون أن تكسره؟

إليك تفصيل بسيط للمشكلة والحل، باستخدام بعض التشبيهات من الحياة اليومية.

المشكلة: الفنان "المفرط في التعقيد"

تستخدم معظم طرق تدريب الروبوتات القياسية سياسات "غاوسية" (Gaussian) بسيطة. فكر في هذه السياسات كأنها مجموعة أدوات "التلوين بالأرقام". إنها مستقرة، وسهلة الفهم، ويعرف الروبوت تمامًا كيف يعدل ضربات فرشاته للحصول على نتيجة أفضل.

ومع ذلك، غالبًا ما تستخدم الروبوتات الحديثة سياسات "تعبيرية" (مثل نماذج الانتشار - Diffusion models). هذه السياسات تشبه الفنانين المهرة الذين يمكنهم رسم مشاهد معقدة وواقعية للغاية. يتم تدريبهم على مجموعات بيانات ضخمة لمحاكاة البشر بشكل مثالي. ولكن هنا تكمن المشكلة:

المشكلة: إذا حاولت إخبار فنان ماهر: "اجعل لوحتك تساوي قيمة مالية أكبر"، وكان عليه تغيير عمليته الإبداعية المكونة من 100 خطوة بالكامل للقيام بذلك، فإن التعليمات ستضيع وسط الضجيج. "التدرج" (الإشارة التوجيهية) يصبح غير مستقر. الأمر يشبه محاولة توجيه سفينة سياحية ضخمة عن طريق دفع دفة صغيرة؛ السفينة لا تنعطف، أو تنعطف بعنف وتتحطم.
النتيجة: محاولة تحسين هذه الروبوتات المعقدة مباشرة لرفع مستوى أدائها غالبًا ما يجعلها غير مستقرة أو يتسبب في جعلها تنسى ما تعلمته.

الحل: "المحرر" و"المختار"

يحل EXPO هذه المشكلة من خلال التوقف عن محاولة تعديل "دماغ" الفنان المبدع المعقد مباشرة. بدلاً من ذلك، يستخدم نهج الفريق المكون من خطوتين:

1. الفنان الأساسي (المحاكي المستقر)

ما هو: هذا هو سياسة الروبوت المعقدة الأصلية المدربة على بيانات الفيديو غير المتصلة.
الدور: يعمل كـ أساس موثوق. يتم تدريبه باستخدام "تعلم التقليد" (Imitation Learning)، وهو ما يعني ببساطة "انسخ البشر". لا يُطلب منه تعظيم المكافآت أو تغيير منطقه الداخلي المعقد؛ هو فقط يستمر في فعل ما يفعله جيدًا.
التشبيه: فكر في هذا كـ طاهٍ محترف يعرف كيفية طهي قطعة لحم (ستيك) مثالية بناءً على وصفة. نحن لا نطلب من الطاهي إعادة اختراع الطبخ؛ نحن فقط نتركه يطبخ.

2. المحرر (المعدل خفيف الوزن)

ما هو: سياسة صغيرة وبسيطة وسريعة (توزيع غاوسي).
الدور: هذا هو مساعد الطاهي أو متذوق الطعام. ينظر إلى قطعة اللحم التي طبخها الطاهي ويجري تعديلات صغيرة ومحلية. "ربما إضافة رشة ملح أكثر"، أو "خفض الحرارة قليلاً".
لما لماذا ينجح: لأن المحرر بسيط ولا يقوم إلا بتغييرات صغيرة (لديه "قيد مسافة" حتى لا يفسد الطبخة)، فهو مستقر جدًا. يتعلم كيف يدفع أفعال الطاهي نحو مكافآت أعلى دون الحاجة لفهم عملية الطبخ المعقدة المكونة من 100 خطوة.
التشبيه: المحرر يشبه نظام الـ GPS الذي يعطي توجيهات بسيطة خطوة بخبطوة لسائق يعرف بالفعل كيفية القيادة. الـ GPS لا يقود السيارة؛ هو فقط يقترح تصحيحات مسار صغيرة.

3. "المُختار" اللحظي (المدير)

ما هو: خطوة اتخاذ قرار تحدث فورًا في كل مرة يحتاج فيها الروبوت للقيام بفعل ما.
الدور: يقوم النظام بطلب بضعة أفكار (أفعال) من الفنان الأساسي ويطلب من المحرر تعديل تلك الأفكار. ثم ينظر إلى جميع الخيارات (الأصلية والمعدلة) ويختار الخيار الذي يقول "دالة القيمة" (مسجل النقاط) إنه الأفضل.
التشبيه: تخيل حكم برنامج مواهب. الحكم لا يعيد كتابة الأغنية. بدلاً من ذلك، يؤدي المغني (الفنان الأساسي)، ويقوم مهندس الصوت (المحرر) بتعديل طفيف في مستوى الصوت، ثم يختار الحكم النسخة التي تبدو الأفضل. يستخدم الحكم بعد ذلك "النسخة الأفضل" لتعليم النظام للمرة القادة.

لماذا يعد هذا أمرًا بالغ الأهمية؟

يدعي البحث أنه من خلال فصل "الدماغ المعقد" (الأساسي) عن "التحسين" (المحرر)، يحقق EXPO انتصارين رئيسيين:

الاستقرار: ليس عليك محاربة الرياضيات المعقدة لنموذج الانتشار. أنت فقط تدفع المخرجات برفق، وهو أمر أكثر أمانًا بكثير.
الكفاءة: يتعلم الروبوت أسرع بمعدل 2 إلى 3 مرات من الطرق السابقة. يستخدم البيانات غير المتصلة للحصول على بداية جيدة، ويستخدم "المحرر" المتصل لصقل تلك المهارات بسرعة دون التحطم.

"بونص الإنتروبي" (عندما تكون البيانات شحيحة)

يذكر البحث أيضًا وضعًا خاصًا عندما تكون مكتبة فيديوهات البيانات غير المتصلة صغيرة جدًا أو مملة. في هذه الحالة، يضيف النظام قليلًا من "العشوائية" (الإنتروبي) إلى المحرر.

التشبيه: إذا كان الطاهي يعرف فقط كيفية طهي الستيك، فيتم إخبار المحرر بـ "تجربة إضافة توابل غريبة" فقط ليرى ما سيحدث. هذا يشجع الروبوت على استكشاف أشياء جديدة لم يرها في الفيديوهات، مما يمنعه من الوقوع في روتين ثابت.

الملخص

EXPO هو أسلوب يسم لك أخذ روبوت معقد للغاية ومدرب مسبقًا (الـ "فنان الماهر") وضبطه بدقة للأداء في العالم الحقيقي دون كسره. يفعل ذلك من خلال الحفاظ على استقرار الروبوت المعقد واستخدام "محرر" صغير وبسيط لإجراء تعديلات ذكية وصغيرة. يقوم النظام بعد ذلك باختيار أفضل نتيجة من هذه التعديلات للتعلم منها.

النتيجة هي روبوت يتعلم بشكل أسرع، وبشكل أكثر استقرارًا، ويمكنه التعامل مع مهام معقدة عجزت الطرق السابقة عن تحسينها.

إليك ملخص تقني مفصل لورقة البحث "EXPO: Stable Reinforcement Learning with Expressive Policies".

1. بيان المشكلة

تتناول الورقة تحدي ضبط السياسات التعبيرية (expressive policies) (مثل نماذج الانتشار - diffusion models، أو سياسات مطابقة التدفق - flow-matching policies) باستخدام التعلم التعزيزي عبر الإنترنت (online RL) بناءً على مجموعة بيانات غير متصلة بالإنترنت (offline dataset).

الصراع الجوهري: بينما تتفوق السياسات التعبيرية في التقاط توزيعات الأفعال المعقدة ومتعددة الأنماط (multi-modal) عبر التعلم بالتقليد (imitation learning)، إلا أنه من الصعب تحسينها مباشرة باستخدام التعلم التعزيزي (RL).
مشكلة عدم الاستقرار: تتميز السياسات التعبيرية بأنها مُعلمة بسلاسل طويلة من خطوات إزالة الضجيج (denoising steps). يؤدي تمرير تدرجات القيمة (من دالة Q) مباشرة عبر هذه السلاسل الطويلة لتحديث معلمات السياسة إلى انتشار غير مستقر للتدرجات، مما يجعل تعظيم القيمة المستقر أمراً مستحيلاً تقريباً.
الفجوة: صُممت أساليب التعلم التعزيزي عبر الإنترنت الحالية للسياسات الغاوسية البسيطة، وتفشل في الاستفادة من قدرة النماذج التعبيرية سابقة التدريب. وعلى العكس من ذلك، فإن الأساليب التي تحاول ضبط السياسات التعبيرية غالباً ما تعاني من مشاكل في التقارب أو كفاءة العينات.

2. المنهجية: EXPO (تحسين السياسة التعبيرية)

يقترح المؤلفون EXPO، وهو خوارزمية تعلم تعزيزي عبر الإنترنت فعالة في استهلاك العينات، تقوم بفصل السياسة التعبيرية عن تحسين القيمة المباشر. بدلاً من تحسين السياسة التعبيرية مقابل دالة القيمة، يقوم EXPO ببناء سياسة "على الطاير" (on-the-fly - OTF) تعظم القيمة باستخدام مكونين متميزين:

أ. بنية السياسة ذات المكونين

السياسة التعبيرية الأساسية ( $\pi_{base}$ ):
- الدور: توليد مرشحات أفعال متنوعة وعالية الجودة بناءً على مجموعة البيانات غير المتصلة بالإنترنت.
- التدريب: يتم تدريبها باستخدام هدف تعلم تقليد (IL) مستقر (مثل نماذج الانتشار الاحتمالية لإزالة الضوضاء). وهي لا يتم تدريبها صراحةً لتعظيم قيمة Q، مما يحافظ على استقرارها وقدرتها على نمذجة التوزيعات المعقدة.
سياسة التعديل خفيفة الوزن ( $\pi_{edit}$ ):
- الدور: سياسة غاوسية صغيرة تأخذ فعلاً تم أخذ عينة منه من $\pi_{base}$ وتقوم بـ "تعديله" لتعظيم قيمة Q.
- التدريب: يتم تدريبها باستخدام خسارة RL قياسية منتظمة بالاعتلاج (entropy-regularized) لتعظيم $Q(s, a + \hat{a})$ .
- القيد: يضمن قيد مسافة التعديل (بتقليص $\hat{a}$ إلى $[-\beta, \beta]$ ) بقاء التعديلات محلية، مما يمنع السياسة من الانحراف بعيداً جداً عن توزيع السلوك. وهذا يسمح لسياسة التعديل بحل مشكلة تحسين محلية أبسط.

ب. استخراج السياسة "على الطاير" (OTF)

بدلاً من تحديث معلمات $\pi_{base}$ لتتوافق مع دالة Q، يقوم EXPO ببناء سياسة ديناميكية $\pi_{OTF}$ أثناء الاستنتاج ووقت التدريب:

أخذ العينات: أخذ عينات لـ $N$ من الأفعال من $\pi_{base}$ .
التعديل: تطبيق $\pi_{edit}$ على كل فعل لتوليد $N$ من المرشحات المعدلة.
الاختيار: اختيار الفعل الوحيد صاحب أعلى قيمة Q من بين المرشحات الأصلية والمعدلة.
- يُستخدم هذا الفعل المختار لكل من التفاعل مع البيئة (أخذ العينات) وأهداف التراجع لفرق الوقت (TD backup targets).

ج. التراجع بالاعتلاج (Entropy Backup) في الأنظمة محدودة البيانات

في السيناريوهات ذات مجموعات البيانات الصغيرة، يقدم المؤلفون آلية التراجع بالاعتلاج. نظرًا لأن السياسات التعبيرية (مثل الانتشار) تفتقر إلى صيغة مغلقة للاعتلاج، فإنهم يبنون توزيع عينات ناعم (soft sampling distribution) فوق $N$ من الأفعال المرشحة بوزن يعتمد على قيم Q الخاصة بها. وهذا يسمح لانتظام الاعتلاج بتشجيع الاستكشاف دون الحاجة إلى حساب اعتلاج بصيغة مغلقة للسياسة الأساسية.

3. المساهمات الرئيسية

تعظيم القيمة المستقر: حددت الورقة أن تجنب تمرير التدرج المباشر عبر سلسلة إزالة الضجيج للسياسة التعبيرية هو المفتاح للاستقرار. ومن خلال نقل عبء تعظيم القيمة إلى سياسة تعديل محلية وصغيرة، يحقق EXPO تدريباً مستقراً.
التحسين المنفصل: تفصل الطريقة بين نمذجة توزيعات السلوك المعقدة (التي تتعامل معها $\pi_{base}$ عبر IL) وبين تعظيم القيمة (التي تتعامل معها $\pi_{edit}$ عبر RL).
الاستخراج على الطاير (OTF): يضمن استخدام سياسة OTF لكل من أخذ العينات وأهداف TD أن التغييرات في دالة Q تنعكس فوراً في سلوك الوكيل، على عكس الأساليب التي تتطلب تحديثات معلمات بطيئة لتتوافق السياسة مع دالة Q.
استقلالية السياسة: رغم تطبيقه مع سياسات الانتشار، إلا أن الإطار العام مستقل عن نوع المعلمات المستخدمة في السياسة التعبيرية الأساسية.

4. النتائج التجريبية

قام المؤلفون بتقييم EXPO في 12 مهمة تحكم مستمر صعبة عبر 4 مجالات (Antmaze, Adroit, Robomimic, MimicGen)، وجميعها تتميز بمكافآت متفرقة (sparse rewards).

كفاءة العينات: حقق EXPO تحسناً بمعدل 2-3 أضعاف في كفاءة العينات مقارنة بالأساليب الرائدة السابقة (بما في ذلك IDQL, Cal-QL, DAC, و RLPD).
الضبط الدقيق من "خارج الإنترنت" إلى "عبر الإنترنت" (Offline-to-Online Fine-Tuning):
- نجح EXEXPO في ضبط السياسات سابقة التدريب دون حدوث انهيار في الأداء، وهي مشكلة شائعة تعاني منها الأساليب الأخرى عند الانتقال من التدريب المسبق (offline) إلى التعلم عبر الإنترنت (online).
- تفوق بشكل كبير على النماذج المرجعية في مهام التحكم الدقيق (مثل تمرير إبرة، أو تكديس الكتل) حيث تكون الدقة والاستكشاف أمرين حاسمين.
دراسات الاستئصال (Ablation Studies):
- الـ OTF في تراجع TD: وُجد أن استخدام الأفعال المعظمة للقيمة في هدف TD (وليس فقط لأخذ العينات) كان أمراً حاسماً؛ حيث أدى استخدام تحديثات تشبه SARSA إلى تقليل الأداء بشكل كبير.
- تعديلات الأفعال: أدى حذف سياسة التعديل إلى أداء ضعيف، خاصة في المهام التي تتطلب استكشافاً يتجاوز مجموعة البيانات الضيقة المتاحة.
- التراجع بالاعتلاج: في سيناريوهات نقص البيانات، سمحت آلية التراجع بالاعتلاج لـ EXPO بتعلم سياسات شبه مثالية حتى عندما كانت مجموعة البيانات الأولية غير كافية لنجاح سياسة IL قياسية.

5. الأهمية

سد الفجوة: يوفر EXPO حلاً عملياً للمشكلة طويلة الأمد المتمثلة في دمج السياسات التوليدية القوية (الانتشار/مطابقة التدفق) في حلقة التعلم التعزيزي عبر الإنترنت.
تطبيقات الروبوتات: هذه الطريقة مهمة بشكل خاص للروبوتات، حيث تشيع النماذج سابقة التدريب على مجموعات بيانات ضخمة، ولكن النشر في العالم الحقيقي يتطلب تكيفاً وضبطاً دقيقاً عبر الإنترنت، وهو ما تجد أساليب RL الحالية صعوبة في القيام به باستقرار.
الكفاءة: من خلال تجنب التكلفة الحسابية لتمرير التدرج عبر سلاسل إزالة الضجيج الطويلة لكل خطوة تدرج، يوفر EXPO مساراً قابلاً للتنفيذ حسابياً للضبط الدقيق عالي الأداء للتعلم التعزيزي.

القيود: تشير الورقة إلى أن أخذ عينات من أفعال كثيرة لعملية تراجع TD مكلف حسابياً لكل دفعة (batch)، وتفترض الطريقة وجود معرفة سابقة معقولة (مجموعة بيانات غير متصلة بالإنترنت أو سياسة سابقة التدريب) لبدء التدريب.