🤖 machine learning

OGPO: Sample Efficient Full-Finetuning of Generative Control Policies

تقدم هذه الورقة البحثية خوارزمية OGPO، وهي خوارزمية خارج السياسة (off-policy) ذات كفاءة في العينات تتيح الضبط الدقيق الكامل لسياسات التحكم التوليدية لتحقيق أداء رائد في مهام روبوتية متنوعة، بما في ذلك الضبط الدقيق للسياسات ضعيفة التهيئة دون بيانات خبير، وذلك من خلال الاستفادة من أهداف PPO المعدلة والمثبتات العملية للتخفيف من حدة الاستغلال المفرط للمنتقد (critic over-exploitation).

المؤلفون الأصليون: Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine, Abhishek Gupta, Hongkai Da, Paarth Shah, Max Simchowitz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا تعلم كيفية أداء مهمة ما من خلال مراقبة البشر وهم يقومون بها، تمامًا مثل طالب حفظ كتابًا مدرسيًا. يستخدم هذا الروبوت "سياسة تحكم توليدية" (GCP). فكر في هذه الـ GCP ليس كمجرد مجموعة بسيطة من التعليمات، بل كـ فنان مبدع يرسم لوحة خطوة بخضوة، بدءًا من مسودة ضبابية ثم يقوم بتنقيحها حتى تصبح واضحة.

المشكلة هي أن هذا "الفنان" جامد. إذا تغير العالم الحقيقي قليلاً (مثل تحريك كوب بمقدار بوصتين إلى اليسار)، فقد يفشل الروبوت لأنه متمسك بشدة بما رآه في الكتاب المدرسي. ولإصلاح ذلك، نحتاج إلى تعليم الروبوت من خلال التجربة والخطأ (التعلم التعزيزي). لكن القيام بذلك يكون مكلفًا للغاية عادةً: حيث يتعين عليك ترك الروبوت يحاول جسديًا، ويفشل، ويتحطم آلاف المرات لكي يتعلم.

إليك OGPO (تحسين السياسة التوليدية خارج السياسة - Off-policy Generative Policy Optimization).

تقدم الورقة البحثية OGPO كوسيلة فائقة الكفاءة لتعليم هذا الروبوت دون الحاجة إلى آلاف التحطيمات الجسدية. وإليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. العملية ذات المرحلتين: "الحلم" مقابل "الواقع"

أدرك المؤلفون أن "فنان" الروبوت يعمل في طبقتين:

طبقة الواقع (البيئة): حركة ذراع الروبوت الفعلية في العالم الحقيقي. هذه العملية بطيئة، ومكلفة، ومحفوفة بالمخاطر (قد تكسر الأشياء).
طبقة الحلم (إزالة الضجيج): العملية الذهنية الداخلية حيث "يتخيل" الروبوت الحركة، ويقوم بتنقيحها من مجرد ضجيج إلى خطة واضحة. هذه العملية حسابية بحتة—تحدث داخل عقل الكمبيوتر وهي مجانية وفورية.

تحاول معظم الطرق السابقة التعلم من طبقة "الواقع" مباشرة، وهو أمر بطيء. لكن OGPO ذكية لأنها تقطع الاتصال بين الاثنين. فهي تسمح للروبوت بالتعلم من طبقة "الحلم" الرخيصة، ولكن باستخدام "قاضٍ" ليخبره ما إذا كان حلمه جيدًا أم لا.

2. "القاضي" (الناقد)

تحتفظ OGPO بـ "قاضٍ" منفصل (شبكة عصبية تسمى الناقد/Critic) قد شاهد الروبوت وهو يفشل وينجح في العالم الحقيقي.

عندما يكون الروبوت في طبقة "الحلم"، فإنه يولد العديد من الإجراءات المحتملة المختلفة (مثل فنان يرسم 32 نسخة مختلفة من اللوحة).
ينظر القاضي إلى هذه المسودات ويقول: "هذه تبدو وكأنها ستنجح"، أو "هذه ستؤدي إلى تحطم".
بعد ذلك، يقوم الروبوت بتحديث "أسلوب الفنان" الخاص به بناءً على ملاحظات القاضي، دون الحاجة إلى تحريك ذراعه جسديًا مرة أخرى لتلك المحاولات المحددة.

هذا يشبه لاعب الشطرنج الذي يتدرب ضد مدرب خبير. يمكن للاعب أن يتخيل 100 حركة مختلفة في ذهنه، ويقول المدرب: "الحركة (أ) سيئة، والحركة (ب) رائعة". يتعلم اللاعب فورًا دون الحاجة للعب 100 مباراة حقيقية.

3. سحر "الضبط الدقيق الكامل"

حاولت بعض الطرق القديمة إصلاح الروبوت عن طريق تعديل الخطوة الأولى فقط من "الحلم" (مثل تغيير المسودة الأولية) أو إضافة طبقة "تصحيح" صغيرة فوقها.

أما OGPO فهي مختلفة. فهي تقوم بتحديث العملية الفنية بأكملها. فهي تخبر الروبوت: "ليس فقط لوحتك النهائية كانت خاطئة، بل إن مسودتك الأولى، وتظليلك الثاني، وخطك الثالث كانت كلها غير دقيقة تمامًا".
وهي تفعل ذلك باستخدام تقنية تسمى PPO (طريقة قياسية لتعليم الذكاء الاصطناعي)، ولكن تم تكييفها بحيث يمكنها النظر إلى سلسلة خطوات "الحلم" بأكملها في وقت واحد.

4. لماذا يعد هذا أمرًا بالغ الأهمية (النتائج)

تدعي الورقة أن OGPO تعد نقطة تحول لثلاثة أسباب:

إنها فعالة للغاية في استهلاك العينات: تتعلم بشكل أسرع بكثير من الطرق الأخرى لأنها تعيد استخدام البيانات القديمة وتقوم بمعظم التعلم في "الحلم" (الحسابات) بدلاً من "الواقع" (الحركة الجسدية).
تعمل مع نقاط البداية السيئة: حتى لو بدأ الروبوت بسياسة تنجح بنسبة 50% فقط (أو كانت "مقبولة" فقط)، يمكن لـ OGPO رفعها إلى نجاح يقترًب من 100% دون الحاجة إلى أي نماذج بشرية خبيرة جديدة. إنها تتعلم فقط من أخطائها ونجاحاتها الخاصة.
تتعامل مع المهام المعقدة: اختبرت الورقة OGPO في مهام صعبة مثل:
- إدخال وتد في ثقب (يتطلب دقة عالية).
- تعليق أداة على رف (يتطلب تخطيطًا طويل الأمد ومتعدد الخطوات).
- تحريك الأشياء بذراعين (يتطلب التنسيق).
- مناورة اليد الماهرة (مثل يد إنسان تحرك قلمًا).

5. الترقية "+OGPO"

وجد المؤلفون أيضًا أن OGPO الأساسية قد تصبح أحيانًا "واثقة أكثر من اللازم" أو ترتبك بسبب قاضٍ سيء. لذا، ابتكروا +OGPO، والتي تضيف بعض شبكات الأمان:

مخزن النجاح (Success Buffer): يحتفظ بسجل خاص يحتوي فقط على المرات التي نجح فيها الروبوت، ويجبر الروبوت على تذكر تلك اللحظات الجيدة، مما يمنعه من نسيان كيفية النجاح أثناء محاولته أن يصبح أسرع.
الحكم المتحفظ (Conservative Judging): يجعل القاضي متشائمًا قليلاً في البدا، حتى لا يتحمس الروبوت تجاه "فوز" لم يكن في الحقيقة سوى ضربة حظ.

الملخص

باختًا، OGPO هي طريقة تدريب جديدة لمتحكمات الروبوت تعامل عملية "التفكير" الداخلية للروبوت كملعب رخيص وسريع. فهي تستخدم "قاضيًا" تم تدريبه على بيانات العالم الحقيقي لانتقاد محاولات الروبوت الخيالية، مما يسمح للروبوت بتعلم مهارات معقدة وعالية الدقة بعدد قليل جدًا من التجارب الجسدية. إنها تشبه تعليم عازف بيانو عزف مقطوعة موسيقية من خلال جعله يتدرب في ذهنه بينما يقوم قائد الأوركسترا بتصحيح صورته الذهنية، بدلاً من جعله يضغط على المفاتيح الخاطئة على بيانو حقيقي ألف مرة.

ملخص تقني: OGPO – تحسين السياسة التوليدية خارج السياسة (Off-Policy Generative Policy Optimization)

بيان المشكلة

يتطلب التحكم في الروبوتات المستقلة سياسات تكون قوية تجاه التغيرات البيئية وفعالة من حيث استهلاك العينات للتدريب. وبينما برزت سياسات التحكم التوليدية (GCPs) — مثل نماذج الانتشار (diffusion) أو النماذج القائمة على التدفق (flow-based models) — كأدوات قوية لتعلم الروبوتات، فإن الضبط الدقيق لها عبر التعلم التعزيزي (RL) يواجه تحديات كبيرة. تواجه الطرق الحالية مقايضة بين كفاءة استهلاك العينات ومدى تحسين السياسة:

الضبط الدقيق الجزئي (Partial Finetuning): الطرق التي تكتفي بتوجيه الضجيج الأولي أو تعلم تصحيحات متبقية (residual corrections) تكون فعالة في استهلاك العينات، لكنها تكافح لاستكشاف سلوكيات جديدة أو تحسين السياسات ذات التهيئة الضعيفة.
الضبط الدقيق الكامل (Full Finetuning): الطرق التي تُحدث العملية التوليدية بأكملها (مثل DPPO) يمكنها تحقيق أداء عالٍ، ولكنها غالبًا ما تكون "داخل السياسة" (on-policy)، مما يؤدي إلى ضعف كفاءة استهلاك العينات وارتفاع تكاليف البيانات.
عدم استقرار التدرج (Gradient Instability): إن الانتشار العكسي المباشر عبر خطوات إزالة الضجيج المتكررة لنموذج GCP لتعظيم قيم Q يؤدي غالبًا إلى انفجار التدرجات أو عدم دقة تدرجات الأفعال، لا سيما في المهام الغنية بالتلامس (contact-rich tasks).

المشكلة الجوهرية التي يتم معالجتها هي كيفية تحقيق ضبط دقيق كامل للسياسة التوليدية بكفاءة في استهلاك العينات دون التضحية بالقدرة على استكشاف سلوكيات جديدة أو اشتراط كميات هائلة من بيانات الخبراء.

المنهجية: OGPO و OGPO+

تقترح الورقة البحثية تحسين السياسة التوليدية خارج السياسة (OGPO)، وهو خوارزمية تفصل بين التفاعلات المكلفة مع البيئة وبين التوليد الحسابي "الرخيص" لمسارات الأفعال.

1. صياغة MDP ثنائية المستوى

تعتمد OGPO إطار عمل عملية ماركوف لاتخاذ القرار (MDP) ثنائية المستوى:

الـ MDP الخارجي ( $M_{ENV}$ ): يمثل ديناميكيات البيئة حيث تُنفذ الأفعال وتُستقبل المكافآت.
الـ MDP الداخلي (Denoising MDP): يمثل خطوات الحساب المتكررة داخل الـ GCP (مثل خطوات التدفق أو الانتشار) التي تولد الفعل $a_{t,0}$ من ضجيج أولي $a_{t,K}$ .

2. استراتيجية التحسين المنفصلة

على عكس الطرق السابقة "داخل السياسة" (مثل DPPO) التي تُحسن الـ MDP ثنائي المستوى بشكل مشترك، تقوم OGPO بقطع الاتصال بين المستويين:

تعلم الناقد خارج السياسة (Off-Policy Critic Learning): تتعلم الخوارزمية دالة Q ( $Q_{\phi}$ ) للـ MDP البيئي الخارجي باستخدام تعلم الفرق الزمني (TD) التقليدي "خارج السياسة" على مخزن إعادة التشغيل (replay buffer) لانتقالات البيئة. يضمن هذا كفاءة عالية في استهلاك العينات من خلال إعادة استخدام بيانات البيئة.
استخراج السياسة داخل السياسة (On-Policy Policy Extraction): بدلاً من الانتشار العكسي للتدرجات عبر سلسلة الـ GCP باستخدام دالة Q (وهو أمر غير مستقر)، تعامل OGPO مسار إزالة الضجيج كـ "استجابة" لسياق الحالة (state context). تستخدم القيمة Q المتعلمة للفعل النهائي المنفذ كـ مكافأة نهائية للـ MDP الداخلي لإزالة الضجيج.
التحسين بأسلوب PPO: تطبق الخوارزمية هدف PPO على مسارات إزالة الضجيج. تقوم بحساب نسبة عينات أهمية مُخمدة (Annealed Importance Sampling - AIS) عبر سلسلة إزالة الضجيج، وتحسن السياسة لتعظيم الميزة (advantage) بالنسبة لسياسة مستهدفة. يتجنب هذا الاشتقاق عبر دالة Q وسلسلة الـ GCP بأكملة في وقت واحد.

3. المكونات التقنية الرئيسية

أخذ عينات المسارات المتعددة (Multiple Trajectory Sampling): مستوحاة من GRPO المستخدم في النماذج اللغوية الكبيرة (LLMs)، تقوم OGPO بأخذ عينات من مسارات إزالة ضجيج متعددة بالتوازي لكل حالة في مخزن إعادة التشغيل. يسمح هذا بتقليل التباين في تقدير الميزة ويلغي الحاجة إلى شبكة قيمة منفصلة.
حقن الضجيج غير المنحاز (Debiased Noise Injection): بالنسبة للسياسات القائمة على التدفق، تقدم OGPO تصحيحًا لعملية استنتاج المعادلات التفاضلية التصادفية (SDE). يضمن ذلك أن إضافة الضجيج من أجل الاستكشاف (لجعل الاحتمالات غير منفردة) لا يغير التوزيعات الهامشية للأفعال، مما يحافظ على محاذاة السياسة مع نموذج التدفق الأصلي.
متغيرات OGPO+: لمعالجة استغلال الناقد المفرط وانخفاض الأداء أثناء الانتقال من "خارج الخط" (offline) إلى "داخل الخط" (online)، قدم المؤلفون OGPO+:
- تنظيم مخزن النجاح (Success Buffer Regularization): يضيف حدًا لخسارة نسخ السلوك (BC loss) باستخدام المسارات الناجحة فقط لتثبيت السياسة على السلوكيات الجيدة المعروفة.
- المزايا المحافظة (OGPO+CA): يستخدم مُقدّر ميزة محافظًا يقوم فقط بتحديث السياسة إذا اتفقت مجموعة (ensemble) من النقاد على إشارة الميزة، مما يخفف من تأثير تقديرات قيم Q الشاذة.
- تنظيم $\chi^2$ (OGPO+ $\chi^2$ ): يضيف حدًا تنظيميًا يعتمد على تباعد $\chi^2$ بين السياسة الحالية والسياسة المرجعية التي يتم تحديثها ببطء لمنع التحسين المفرط للنقاد غير المتقنين، خاصة في المجالات القائمة على البكسل.

المساهمات الرئيسية

الابتكار الخوارزمي: تقديم OGPO، وهي أول طريقة تمكن من الضبط الدقيق الكامل للسياسة بكفاءة في استهلاك العينات لنماذج GCP عبر الجمع بين تعلم الناقد خارج السياسة واستخراج نمط PPO داخل السياسة فوق مسارات إزالة الضجيج.
التحسين المنفصل: نهج مبتكر يستفيد من عدم التماثل في تكاليف العينات (خطوات البيئة المكلفة مقابل خطوات الحساب الرخيصة لإزالة الضجيج) لإجراء تحسين منفصل، متجنبًا عدم استقرار الانتشار العكسي عبر الزمن (BPTT) في نماذج GCP.
المتغيرات القوية (OGPO+): تطوير تحسينات نمطية (مخزن النجاح، المزايا المحافظة، تنظيم $\chi^2$ ) التي تعمل على تثبيت التدريب، وتخفيف استغلال الناقد المفرط، وتمكين الضبط الدقيق من سياسات نسخ السلوك ذات التهيئة الضعيفة دون الحاجة لبيانات خبراء.
التحقق التجريبي الشامل: تجارب واسعة تثبت تفوق OGPO على أفضل الطرق المرجعية (بما في ذلك DPPO، وDSRL، وEXPO، وQC) عبر مهام متنوعة تشمل الإدخال عالي الدقة، والتحكم طويل الأمد، والتحكم الماهر.

النتائج

قيمت الورقة بحثًا OGPO على عدة اختبارات، بما في ذلك Robomimic (SQUARE, TOOLHANG, TRANSPORT)، و Franka Kitchen، و Adroit Hand، و LIBERO.

كفاءة استهلاك العينات: تحقق OGPO+ أداءً رائدًا بأقل عدد من تفاعلات البيئة مقارنة بالأسالٍ "داخل السياسة" مثل DPPO. في مهام Robomimic، تصل OGPO+ إلى معدلات النجاح النهائية بسرعة أكبر بنحو 10 أضعاف من DPPO.
أداء المهام: تحقق OGPO+ معدلات نجاح عالية في المهام الصعبة، بما في ذلك الإدخال عالي الدقة (TOOLHANG) والنقل ثنائي اليد طويل الأمد (TRANSPORT)، حيث غالبًا ما تفشل أو تكون غير مستقرة طرق الضبط الدقيق الجزئي (DSRL، EXPO).
القدرة على العمل ببيانات خبراء صفرية: بشكل فريد، يمكن لـ OGPO+ ضبط سياسات نسخ السلوك ذات التهيئة الضعيفة لتصل إلى نجاح كامل للمهمة دون أي بيانات خبراء في مخزن إعادة التشغيل عبر الإنترنت، معتمدة فقط على الخبرة التي جمعتها بنفسها.
الاستكشاف: تشير التوضيحات المرئية (UMAP) إلى أن OGPO تشجع على توسع المخطط (manifold expansion)، مما يسمح للسياسة باستكشاف مناطق القيمة العالية خارج نطاق بيانات العروض التوضيحية الأولية، بينما تميل النماذج المرجعية مثل QC وDSRL إلى البقاء قريبة من التوزيع الأولي.

الأهمية والادعاءات

تدعي الورقة أن OGPO تمثل تحولًا جذريًا في كيفية تحسين السياسات التوليدية للروبوتات. فمن خلال فصل التفاعل المكلف مع البيئة عن عملية توليد السياسة، تتغلب OGPO على عدم كفاءة استهلاك العينات في الطرق "داخل السياسة" مع الاحتفاظ بالقوة التعبيرية لتحديثات السياسة الكاملة.

يؤكد المؤلفون أن طريقتهم هي الوحيدة المعروفة القادرة على ضبط نماذج GCP بدقة من الصفر (أو من تهيئة ضعيفة) للوصول إلى معدلات نجاح عالية باستخدام البيانات التي جمعتها بنفسها فقط، دون الحاجة إلى مجموعات بيانات ضخمة من عروض الخبراء غير المتصلة بالإنترنت. تشير هذه القدرة إلى مستقبل يمكن فيه تحسين السياسات الروبوتية ذاتيًا أثناء النشر بأقل قدر من التدخل البشري. ويشير العمل إلى أن مفتاح النجاح لا يكمن فقط في بنية النموذج التوليدي، بل في آلية الاستخراج (PPO فوق سلاسل إزالة الضجيج مقابل BPTT أو التوجيه)، مما يسمح بتعلم مستقر، ومعبر، وفعال في استهلاك العينات في البيئات المعقدة والغنية بالتلامس.