🤖 machine learning

Trajectory First: A Curriculum for Discovering Diverse Policies

تقترح هذه الورقة البحثية "المسار أولاً" (Trajectory First)، وهو إطار تعلم منهجي يتكون من مرحلتين يستفيد من مسار مسبق قائم على منحنيات السبلين (spline) لتوليد سلوكيات متنوعة وعالية المكافأة، ثم يقوم لاحقًا بتقطيرها في سياسات تفاعلية، مما يتغلب على مشكلات الاستكشاف المحدود وتنوع السلوك الموجودة في أساليب التعلم المعزز الحالية المقيدة بالتنوع للمهام المعقدة مثل التلاعب الروبوتي.

المؤلفون الأصليون: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية دفع صندوق ثقيل عبر غرفة. معظم مدربي الروبوتات التقليديين يعلمون الروبوت إيجاد طريقة واحدة مثالية للقيام بذلك: "ادفع من اليسار، حركه للأمام، وانتهى الأمر". إذا أصبحت الأرض زلقة أو تحرك الصندوق من مكانه، فقد تفشل هذه الاستراتيجية الوحيدة، ويصبح الروبوت عالقاً.

تجادل هذه الورقة البحثية بأن الروبوت الذكي يجب أن يتعلم طرقاً مختلفة عديدة لحل المشكلة نفسها. ربما تكون إحدى الاستراتيجيات هي الدفع من اليسار، وأخرى من اليمين، وثالثة هي الرفع والحمل. امتلاك "صندوق أدوات" من الاستراتيجيات يجعل الروبوت أكثر قوة ومتانة.

ومع ذلك، فإن تعليم الروبوت ليكون متنوعاً أمر صعب للغاية. فإذا قلت للروبوت ببساطة "كن متنوعاً"، فغالباً ما سيرتبك. قد يحاول أن يكون مختلفاً عبر التلويح بأذرعه في الهواء (وهو فعل مختلف ولكنه عديم الفائدة) أو قد يعلق في محاولة إيجاد طريقة جديدة ويصطدم بالأشياء عن طريق الخطأ.

يقترح المؤلفون طريقة تدريب جديدة تسمى "المسار أولاً" (Trajectory First). فكر فيها كمنهج تعليمي يتكون من خطوتين، مثل معلم شيف خبير يدرب متدرباً جديداً.

الخطوة 1: مرحلة "محاكي الطيران" (الاستكشاف)

بدلاً من تعليم الروبوت كيفية التفاعل خطوة بخطوة فوراً، يأخذ المؤلفون الروبوت أولاً خارج "العالم الحقيقي" ويضعونه في محاكي طيران حيث يمكنه تخطيط حركات كاملة دفعة واحدة.

التشبيه: تخيل أنك تحاول إيجاد أفضل مسار عبر متاهة ضخمة وضبابية. إذا كنت تأخذ خطوة واحدة في كل مرة وتنظر حولك (الطريقة المعتادة)، فقد تعلق في طريق مسدود.
خدعة الورقة البحثية: يستخدم المؤلفون أداة رياضية تسمى B-spline. فكر في هذا كأنك ترسم سلكاً ناعماً ومرناً عبر المتاهة. لا يتحرك الروبوت خطوة بخطوة؛ بل يقوم فقط بتعديل شكل السلك.
الهدف: يستخدمون "محرك بحث" (استراتيجية تطورية) لتحريك هذه الأسلاك ذهاباً وإياباً حتى يجدوا مسارات مختلفة عديدة تنجح في إيصال الروبوت إلى الهدف. هم لا يبحثون عن المسار المثالي بعد؛ بل يريدون فقط مجموعة كبيرة من المسارات الناجحة المختلفة.
لماذا ينجح هذا: لأنهم يحركون "السلك" بأكمله دفعة واحدة، يمكن للروبوت القفز من جانب إلى آخر في المتاهة فوراً، ليكتشف طرقاً لن يجدها الروبوت الذي يتحرك خطوة بخطوة لأنه سيكون خائفاً جداً من اتخاذ الخطوة الأولى.

الخطوة 2: مرحلة "العالم الحقيقي" (التقطير)

الآن بعد أن أصبح لدى الروبوت مكتبة من "الأسلاك" الناجحة والمتنوعة (المسارات)، حان الوقت لتعليمه كيفية القيادة في الحياة الواقعية.

التشبيه: تأخذ كل تلك المسارات المثالية من محاكي الطيران وتعلم المتدرب كيفية القيادة بشكل تفاعلي. يتعلم المتدرب: "إذا رأيت الجدار على اليسار، أتجه يميناً. إذا رأت الجدار على اليمين، أتجه يساراً".
التحدي: عادةً، عندما تنتقل من المحاكي إلى الحياة الواقعية، ينسى الروبوت تنوعه ويعود للقيام بطريقة واحدة آمنة ومملة فقط.
إصلاح الورقة البحثية: يقدمون ثلاثة "مثبتات" للحفاظ على تنوع الروبوت:
1. العينات المتماثلة (Symmetric Sampling): يقومون بخلط بيانات المحاكي القديمة مع البيانات الجديدة من العالم الحقيقي بنسبة 50/50. الأمر يشبه قولك للمتدرب: "تذكر المسارات الرائعة التي وجدناها في المحاكي؟ استمر في ممارستها بينما تتعلم الطريق الجديد".
2. خدعة "الأفضل حتى الآن": يقومون باستمرار بتحديث تعريف "النجاح". بدلاً من قول "يجب أن تكون مثالياً"، يقولون "يجب أن تكون على الأقل بجودة أفضل شيء رأيناه حتى الآن". هذا يمنع الروبوت من أن يصبح جشعاً جداً في وقت مبكر جداً ويقضي على تنوعه.
3. التحديثات السريعة: يجعلون الروبوت يتعلم من أخطائه بشكل أسرع من المعتاد. بما أن تعريف "التنوع" يتغير مع تعلم الروبوت، فإنه يحتاج إلى تحديث دماغه بسرعة لمواكبة الهدف المتغير.

النتائج

اختبر المؤلفون هذا على روبوتات كان عليها دفع مكعبات، والضغط على أزرار، والتنقل في متاهات.

الطريقة القديمة: وجدت الروبوتات طريقة أو طريقتين فقط لإنجاز المهمة، وغالباً ما كانت تعلق في نفس "القمة المحلية" (نفس الحل الآمن والممل).
الطريقة الجديدة: اكتشفت الروبوتات مجموعة واسعة من الحلول الإبداعية. بالنسبة لمهمة الضغط على الزر، استخدم بعض الروبوتات كوعهم، واستخدم آخرون معاصمهم، واستخدم آخرون أجسادهم بالكامل للضغط على الزر. جميعهم أنجزوا المهمة، لكنهم فعلوها بطرق مختلفة تماماً.

باختصار

تدعي الورقة أنه لجعل الروبوت متنوعاً وقوياً حقاً، لا يمكنك فقط أن تطلب منه "أن يكون مختلفاً" أثناء تعلمه خطوة بخطوة. يجب عليك أولاً أن تتركه يتخيل العديد من الخطط الناجحة المختلفة في مساحة مرنة وآمنة (مرحلة "المسار أولاً")، ثم تعلمه بعناية كيفية تنفيذ تلك الخطط في العالم الحقيقي دون أن يفقد إبداعه.

يحل هذا النهج مشكلة وقوع الروبوتات في حلقات مفرغة محلية، ويضمن امتلاكها "صندوق أدوات" غني من الاستراتيجيات للتعامل مع التغييرات غير المتوقعة في بيئتها.

ملخص تقني: المسار أولاً: منهج دراسي لاكتشاف سياسات متنوعة

بيان المشكلة

غالباً ما تفترض طرق التعلم المعزز (RL) توزيعات أفعال أحادية المنوال، مما ينتج سياسة واحدة قد تكون هشة تجاه الاضطرابات البيئية وعرضة للوقوع في الأمثلة المحلية (local optima). وبينما يؤدي اكتشاف مجموعة من السياسات المتنوعة إلى تعظيم المتانة، فإن طرق تحسين التنوع المقيدة الموجودة حالياً غالباً ما تفشل في المهام المعقدة الغنية بالتلامس مثل التلاعب بالروبوتات.

يتمثل التحدي الجوهري المحدد في نقص الاستكشاف. ففي مجالات مثل التلاعب بالروبوتات، يتم توسط حالات الأشياء عبر تلامسات متقطعة، مما يخلق خرائط غير سلسة بين الأفعال والحالات تهيمن عليها انقطاعات التلامس. وبناءً على ذلك، فإن أهداف البحث عن التنوع تميل للانهيار إلى عدد قน้อย من الأنماط لأن الاستراتيجيات البديلة نادراً ما يتم اكتشافها لتعزيزها. وتعتل طرق الاستكشاف المحلية القياسية (مثل الضجيج الغاوسي في فضاء السياسة) في سد الفجوات بين الـ "مانيفولد" (manifolds) عالية المكافأة والمنفصلة في هذه البيئات.

المنهجية: منهج دراسي ذو مرحلتين

يقترح المؤلفون "المسار أولاً" (Trajectory First)، وهو منهج درسي مصمم للتغلب على اختناقات الاستكشاف من خلال فصل استكشاف المسارات العالمي عن تعلم السياسة التفاعلية. يتكون هذا النهج من مرحلتين متمايزتين:

المرحلة الأولى: البحث عن الجدة المقيد (CNS) في فضاء المسار

بدلاً من تحسين معاملات الشبكة العصبية مباشرة، تستكشف المرحلة الأولى مساحة المسارات مفتوحة الحلقة (open-loop trajectories) باستخدام استراتيجية تطورية (ES).

التمثيل البارامتري باستخدام الـ Splines: يتم تمثيل المسارات $\tau$ كـ B-splines محددة بنقاط تحكم $\omega$ . يوفر هذا انحيازاً استقرائياً (inductive bias) سلساً ويقلل من أبعاد مساحة البحث مقارنة بتسلسلات الأفعال الخام.
هدف التحسين: الهدف هو إيجاد مجموعة من معاملات المسار $\Omega_n$ التي تعظم التنوع مع مراعاة قيد القرب من المثالية ( $v_{\omega_i} \geq \alpha v^*$ ).
البحث عن الجدة المقيد: يقدم المؤلفون هدفاً لاجرانج (Lagrangian objective) يوازن بين مكافأة الجدة الذاتية (بناءً على إنتروبيا مجموعة المسارات، والتي تُقدر عبر مسافة k-NN) والمكافأة الخارجية للمهمة.
خوارزمية التحسين: يتم تحسين نقاط التحكم $\omega$ باستخدام خوارزمية CMA-ES، وهي فعالة للغاية لمساحة المعاملات متوسطة الحجم لـ B-splines. وهذا يسمح للخوارزمية بـ "القفز" بين الأنماط واكتشاف ركائز متنوعة وعالية المكافأة قد تفوتها عملية البحث المحلي في فضاء السياسة.

المرحلة الثانية: التقطير إلى سياسات تفاعلية

يتم تقطير المسارات المتنوعة المكتشفة في المرحلة الأولى إلى مجموعة من السياسات التفاعلية المشروطة بالمهارة $\Pi_n$ باستخدام تعلم خارج السياسة (off-policy learning) مقيد.

الإطار العملي: يتبنى المؤلفون إطار عمل Domino، حيث يتم التعامل مع تدرج هدف التنوع كمكافأة ذاتية.
تقنيات الاستقرار: لضمان استقرار التقطير من بيانات المسارات "خارج السياسة" إلى السياسات التفاعلية "داخل السياسة" في مهام التلاعب الغنية بالتلامس، تم إدخال ثلاثة تعديلات حاسمة:
1. أخذ العينات المتماثل (Symmetric Sampling): تتكون دفعات التدريب من 50% من البيانات "داخل السياسة" (online) و50% من مسارات CNS المفلترة (المختارة من أفضل 25% من العوائد). وهذا يمنع انهيار التنوع أثناء الانتقال إلى التعلم المعزز داخل السياسة.
2. خدعة $v_{max}$ : بدلاً من الاعتماد على سياسة خبيرة واحدة لتقدير القيمة المثلى $v^*$ ، يقوم المؤلفون بتحديث $v^*$ كأقصى أداء تم تحقيقه عبر جميع المهارات وتاريخ التدريب بأكره ( $v^* \leftarrow \max\{v^*, \max_i v_i\}$ ). يوفر هذا هدفاً مستقراً ومتزايداً رتيباً لقيد دون المثالية، مما يمنع خنق هدف التنوع بسبب ضغط المثالية المبكر.
3. تحديث عالي للسياسة بالنسبة للبيانات (High UTD): على عكس التعلم المعزز القياسي (offline-to-online) حيث يتم تحديث الناقد (critic) بشكل متكرر والسياسة بشكل غير متكرر، تزيد هذه الطريقة من تكرار تحديث السياسة (على سبيل المثال، 4 تحديثات لكل خطوة بيئة). وهذا ضروري لأن المكافأة الذاتية تعتمد على إشغال الحالة (state occupancy) لمجموعة السياسات الحالية؛ حيث يسمح التحديث المتكرر للسياسة للوكيل بمواكبة المشهد الذاتي المتغير.

المساهمات الرئيسية

التحديد التجريبي لاختناقات الاستكشاف: يوضح هذا العمل أن طرق تحسين التنوع المقيدة الموجودة (مثل Domino) تفشل في اكتشاف سياسات متنوعة في مهام التلاعب بالروبوتات بسبب عدم قدرة الاستكشاف المحلي على الربط بين مناطق عالية المكافأة ومنفصلة.
منهج درسي "المسار أولاً": نهج ذو مرحلتين يستخدم البحث التطوري عبر مسارات B-splines لتوليد ركائز متنوعة وعالية المكافأة، والتي يتم تقطيرها لاحقاً إلى سياسات تفاعلية.
وصفة الاستقرار: مجموعة من التقنيات (أخذ العينات المتماثل، خدعة $v_{max}$ ، وHigh Policy UTD) التي تمكن التعلم المستقر من "خارج السياسة" إلى "داخل السياسة" لأهداف التنوع، مما يعالج عدم استقرار المكافآت الذاتية في السياقات المقيدة.

النتائج التجريبية

تم تقييم الطريقة في أربع مهام روبوتية: التنقل في المتاهة (Maze Navigation)، دفع المكعب (Cube Pushing)، ضغط الزر (Button Pressing)، وقلب المكعب (Cube Flipping).

التنوع مقابل الأداء: حقق المنهج المقترح زيادة قدرها 1.5 ضعف في التنوع السلوكي مقارنة بأقوى خط أساس (Domino) مع الحفاظ على أداء مهمة مماثل.
النتائج الخاصة بكل مهمة:
- في التنقل في المتاهة، اكتشف المنهج أعلى عدد من المسارات المتميزة، بينما مال خط الأساس للتركيز حول المسارات الآمنة والخالية من الاصطدامات.
- في ضغط الزر، غالباً ما ينهار خط الأساس لاستخدام وصلة روبوتية واحدة لجميع المهارات. نجح المنهج المقترح في اكتشاف استراتيجيات تلاعب بكامل الجسم باستخدام وصلات روبوتية مختلفة.
- في قلب المكعب، وجد المنهج أنماط تلامس وملفات قوة متنوعة، بينما فشلت نماذج الاستكشاف القائمة على الضجيج بسبب الاصطدامات المتكررة والمكافآت السلبية.
المتانة: ظل المنهج متيناً في ظل مواصفات المكافأة العدائية (مثل عقوبات الاصطدام العالية) حيث فشلت خطوط الأساس في التفاعل مع الأشياء تماماً، حيث وفرت مرحلة CNS بداية دافئة (warmstart) داخل مناطق عالية المكافأة.

الأهمية والادعاءات

يزعم البحث أن الاختناق الرئيسي في تحسين التنوع المقيد في مجال الروبوتات ليس هدف التعلم نفسه، بل الاعتماد على الاستكشاف المحلي. من خلال إدخال انحياز استقرائي عبر مسارات B-splines، يمكّن المؤلفون من اكتشاف أنماط تلامس متنوعة لا يمكن الوصول إليها عادةً عبر البحث في فضاء السياسة القياسي.

يضع المؤلفون هذا العمل كحل لمعضلة "الاستكشاف والاستغلال" (exploration-exploitation) في تحسين التنوع. ويجادلون بأنه بينما يفترض العمل السابق أن السلوكيات المتنوعة عالية المكافأة يسهل الوصول إليها تحت تحسين السياسة عبر الإنترنت، فإن هذا الافتراض يفشل في مهام التلاعب المعقدة. يجسّر المنهج الدراسي المقترح الفجوة بين الاستكشاف العالمي على مستوى المسار والتحكم التفاعلي، ويقدم وصفة عملية لتدريب وكلاء متنوعين ومتيناً. ويشير المؤلفون بتواضع إلى القيود، مثل الاعتماد على ميزات حالة محددة يدوياً لقياس التنوع، والتحول الثابت بين المراحل، مما يشير إلى أن العمل المستقبلي يمكن أن يستكشف التبديل التكيفي وتعلم التمثيل من الملاحظات الخام.