🤖 AI

Goal-Conditioned Decision Transformer for Multi-Goal Offline Reinforcement Learning

تقدم هذه الورقة البحثية "محول قرار مشروط بالهدف" (Goal-Conditioned Decision Transformer) يستفيد من البيانات المجمعة مسبقاً (offline data) لحل مهام روبوتية معقدة ومتعددة الأهداف ذات مكافآت متفرقة بكفاءة، مما يظهر أداءً فائقاً على النماذج المرجعية المتطورة للتعلم عبر الإنترنت (online baselines) على منصة فرانكا إيميكا باندا (Franka Emika Panda).

المؤلفون الأصليون: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم ذراع آلي القيام بمهام معقدة، مثل التقاط مكعب ووضعه في مكان محدد. عادةً، سيتعين عليك ترك الروبوت يجرب، يفشل، يصطدم بالأشياء، ويتعلم من أخطائه في العالم الحقيقي. لكن هذا أمر خطير، ومكلف، ويؤدي لتآكل الروبوت.

تقدم هذه الورقة البحثية طريقة أكثر ذكاءً وأماناً لتعليم الروبوتات باستخدام التعلم غير المتصل (Offline Learning). فكر في الأمر على هذا النحو: بدلاً من ترك الروبوت يتدرب في الوقت الفعلي، نقوم بإعطائه مكتبة ضخمة من "فيديوهات منزلية" لروبوتات أخرى (أو خبراء) وهي تؤدي مهاماً معينة. ثم يقوم الروبوت بدراسة هذه الفيديوهات ليتعلم كيفية الحركة، دون أن يلمس العالم الحقيقي أبداً أثناء التدريب.

إليك تفصيل طريقتهم الجديدة، باستخدام تشبيهات بسيطة:

1. المشكلة: الروبوت "أحادِي المهمة"

معظم الروبوتات تشبه الطلاب الذين يدرسون لامتحان واحد محدد فقط. إذا علمت روبوتاً دفع مكعب أحمر، فقد لا يعرف كيف يدفع مكعباً أزرق أو يصل إلى كوب. إنه يفتقر إلى القدرة على التعميم (Generalization).

2. الحل: "محول القرار المشروط بالهدف" (Goal-Conditioned Decision Transformer)

ابتكر المؤلفون نموذج ذكاء اصطناعي جديداً يسمى Goal-Conditioned Decision Transformer. وإليك كيف يعمل:

جزء الـ "Transformer" (القارئ الخارق): تخيل طالباً لا يحفظ الخطوات فحسب، بل يفهم "قصة" الحركة. هذا النموذج يقرأ تسلسلاً من الأحداث (أين كان الروبوت، ماذا فعل، وماذا حدث بعد ذلك) كأنه يقرأ كتاباً. إنه يستخدم بنية "Transformer" (نفس التقنية التي تقف وراء برامج الدردشة المتقدمة) لفهم سياق القصة بأكملها، وليس فقط الجملة الأخيرة.
جزء الـ "Goal-Conditioned" (نظام تحديد المواقع GPS): الروبوتات القياسية قد تُؤمر فقط بـ "افعل هذا". أما هذا النموذج الجديد فيُقال له: "افعل هذا لتصل إلى ذلك المكان المحدد".
- التشبيه: تخيل أنك تعطي توجيهات لسائق.
  - الطريقة القديمة: "انعطف يساراً، ثم يميناً". (السائق لا يعرف الوجهة).
  - الطريقة الجديدة: "انعطف يساراً، ثم يميناً لتصل إلى مطعم البيتزا".
- من خلال تغذية الروبوت صراحةً بـ "الهدف المنشود" (مطعم البيتزا) في ذاكرته جنباً إلى جنب مع تاريخ الحركات، يتعلم الروبوت أن مسارات مختلفة يمكن أن تؤدي إلى نفس الوجهة. إنه يتعلم كيف يكيف حركاته بناءً على المكان الذي يريد الوصول إليه.

3. خدعة "النظر إلى الوراء" (Hindsight)

تذكر الورقة تقنية تسمى Hindsight Experience Replay.

التشبيه: تخيل أن روبوتاً يحاول دفع مكعب إلى المطبخ، لكنه دَفعه بالخطأ إلى غرفة المعيشة. الروبوت العادي سيفكر: "لقد فشلت".
خدعة الـ Hindsight: تقول هذه الطريقة: "حسناً، أنت لم تصل إلى المطبخ، لكنك نجحت بالفعل في دفع المكعب إلى غرفة المعيشة! لنعتبر أن هذا كان الهدف منذ البداية". هذا يحول "الإخفاقات" إلى "دروس ناجحة"، مما يساعد الروبوت على التعلم بشكل أسرع بكثير من البيانات الشحيحة.

4. التجربة: روبوت فرانكا باندا (Franka Panda)

اختبر الفريق هذه الطريقة على ذراع روبوتية حقيقية (Franka Emika Panda) في ثلاث مهام:

الوصول (Reach): لمس نقطة معينة.
الدفع (Push): تحريك مكعب إلى نقطة ما.
الالتقاط والوضع (PickAndPlace): رفع جسم ونقله.

وقارنوا "محول القرار المشروط بالهدف" الجديد مقابل:

التقليد السلوكي (Behavioral Cloning): مجرد نسخ الفيديوهات دون فهم "السبب".
TQC+HER: وهي طريقة قوية جداً للتعلم "المتصل" (Online Learning) تعتمد على التجربة والخطأ في الوقت الفعلي.

5. النتائج: الحصان الأسود هو الفائز

كانت النتائج مفاجئة ومبهرة:

السرعة: تدربت طريقتهم في 80 دقيقة، بينما استغرقت الطريقة القياسية (Online) 240 دقيقة.
الأداء: في المهام المعقدة (مثل الالتقاط والوضع)، تفوقت طريقتهم (Offline) في الواقع على الطريقة (Online) التي تدربت لساعات في العالم الحقيقي.
المتانة (Robustness): حتى عندما كانت "الفيديوهات" التي درسوها سيئة في الغالب (أخطاء عشوائية) مع وجود أمثلة جيدة قليلة فقط، استطاع النموذج تحديد كيفية النجاح. كان الأمر أشبه بطالب يمكنه اجتياز الاختبار حتى لو كان الكتاب المدرسي خاطئاً بنسبة 75%، طالما أن المنطق الأساسي موجود.
المكافآت الشحيحة (Sparse Rewards): في الحالات التي لا يتلقى فيها الروبوت إشارة "أحسنت!" إلا في النهاية تماماً، ظلت هذه الطريقة ثابتة، بينما ارتبكت الطرق الأخرى وفشلت.

الملخص

تزعم الورقة أنه من خلال معاملة تعلم الروبوت كأنها قراءة قصة ذات وجهة واضرة في الذهن، يمكننا تعليم الروبوتات مهاماً معقدة باستخدام البيانات المسجلة مسبقاً فقط. هذه الطريقة أسرع، وأكثر أماناً، وغالباً ما تكون أكثر فعالية من الطرق التقليدية التي تتطلب من الروبوت التدرب جسدياً في العالم الحقيقي. كما قاموا بإصدار مجموعة البيانات التي استخدموها ليتمكن الآخرون من تجربتها أيضاً.

ملخص تقني: محول القرار المشروط بالهدف للتعلم المعزز غير المتصل متعدد الأهداف

بيان المشكلة

تواجه التعلم المعزز (RL) في مجال الروبوتات تحديات حرجة تتعلق بكفاءة العينات والقدرة على التعميم عبر أهداف متنوعة. تتطلب خوارزميات الإنترنت (online) القياسية تفاعلاً مستمراً مع البيئة، وهو أمر غير عملي غالباً للأجهزة الحقيقية بسبب مخاطر السلامة، وتآكل الأجهزة، والقيود الزمنية. بينما توفر المحاكاة حلاً جزئياً، إلا أنها غالباً ما تعاني من فجوة "المحاكاة إلى الواقع" (sim-to-real).

يعالج التعلم المعزز غير المتصل (Offline RL) هذه القيود من خلال تمكين الوكلاء من تعلم سياسات مثالية بالاعتماد كلياً على مجموعات بيانات تم جمعها مسبقاً، مما يلغي الحاجة إلى الاستكشاف عبر الإنترنت المحفوف بالمخاطر. ومع ذلك، تركز طرق التعلم غير المتصل الحالية غالباً على مهام ثابتة ومنفردة، وهو أمر غير كافٍ للروبوتات متعددة الأغراض. وعلاوة على ذلك، بينما نجح "محول القرار" (Decision Transformer - DT) في إعادة صياغة التعلم المعزز كمسألة نمذجة تسلسل مشروطة، فإن تطبيقه على سيناريوهات تعدد الأهداف غير المتصلة — وتحديداً تلك التي تنطوي على مكافآت متفرقة وتحكم روبوتي — لا يزال غير مستكشف بشكل كافٍ.

المنهجية

يقترح المؤلفون محول قرار مشروط بالهدف (GC-DT) تم تكييفه للتعلم المعزز متعدد الأهداف غير المتصل. وتتمثل المنهجية الجوهرية في تعديل بنية DT القياسية لمعالجة معلومات الهدف صراحةً ضمن إطار نمذجة التسلسل.

1. تكييف البنية

على عكس محولات DT القياسية التي تشترط على العوائد القياسية (scalar returns)، يدمج GC-DT بيانات الأهداف المهيكلة مباشرة في تسلسل المدخلات. في بيئات تعدد الأهداف، تكون مساحة الملاحظة عبارة عن قاموس يحتوي على:

$o_t$ : الملاحظة الحالية.
$g_d$ : الهدف المنشود.
$g_a$ : الهدف المتحقق.

يتم تعريف الحالة عند الخطوة الزمنية $t$ كزوج مرتب $s_t = (o_t, g_d, g_a)$ . ولتكييف المحول، يتم تسطيح هذه المتجهات ودمجها في متجه مدخل واحد:
$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$

من خلال تضمين الهدف المتحقق ( $g_a$ ) جنباً إلى جنب مع الهدف المنشود ( $g_d$ )، يمكن للنموذج استنتاج التقدم نحو الهدف ضمنياً دون الحاجة إلى مقاييس مسافة صريحة أو تشكيل للمكافأة (reward shaping). وهذا يسمح لنموذج التوليد الذاتي (autoregressive model) بإجراء عملية تخصيص ائتمان ممتدة زمنياً فيما يتعلق بتحقيق الهدف عبر المسار بأككامله.

2. مجموعة البيانات والتدريب

يتم تدريب النموذج بالكامل بشكل غير متصل باستخدام بيانات ناتجة من بيئة Franka Emika Panda عبر حزمة Panda-Gym. تتضمن مجموعة البيانات:

بيانات الخبراء (Expert Data): مسارات من وكلاء (TQC) الذين حققوا التقارب (converged) وتم تقييمهم عبر مليون خطوة زمنية.
بيانات عشوائية (Random Data): مسارات ناتجة عن وكلاء يختارون الأفعال بشكل موحد.
مزيج (Mixtures): تركيبات متنوعة من بيانات الخبراء والبيانات العشوائية لاختبار كفاءة البيانات والقدرة على تحمل الضجيج.

كما أصدر المؤلفون هذه المجموعة المتخصصة من البيانات لدعم قابلية التكرار.

3. المهام وهياكل المكافأة

يتم تقييم النهج في ثلاث مهام للتحكم الروبوتي: الوصول (Reach) (تحديد موقع النهاية الطرفية)، الدفع (Push) (تحريك مكعب)، والالتقاط والوضع (PickAndPlace) (رفع وتحريك جسم). يتم اختبار الأداء تحت هيكلين للمكافأة:

المكافآت المتفرقة (Sparse Rewards): تغذية راجعة ثنائية (0 للفشل، و-1 خلاف ذلك).
المكافآت الكثيفة (Dense Rewards): المسافة الإقليدية السالبة بين الهدف المتحقق والهدف المنشود.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

التوسيع الهيكلي: توسيع محول القرار للتعامل مع إعدادات تعدد الأهداف من خلال دمج التكييف الصريح للأهداف (الأهداف المنشودة والمتحققة) في تسلسل المدخلات.
إصدار مجموعة البيانات: إصدار مجموعة بيانات متخصصة للتعلم المعزز غير المتصل للتحكم الروبوتي متعدد الأهداف على منصة Franka Emika Panda.
التحقق التجريبي: إثبات أن نهج GC-DT يتفوق على خطوط الأساس عبر الإنترنت (online baselines) مثل (TQC+HER) والنسخ السلوكي (Behavioral Cloning - BC) في الإعدادات غير المتصلة، خاصة تحت إشارات المكافأة المتفرقة.

النتائج التجريبية

أُجريت التجارب باستخدام ثلاث بذور عشوائية، مع مقارنة GC-DT بكل من النسخ السلوكي (BC) و(TQC+HER).

الأداء المقارن

المهام المعقدة: في بيئات Push وPickAndPlace الأكثر تعقيداً مع المكافآت الكثيفة، تفوق GC-DT باستمرار على كل من TQC+HER وBC في متوسط العائد ومعدل النجاح.
الكفاءة: حقق GC-DT هذه النتيات بوقت تدريب أقل بكثير (80 دقيقة) مقارنة بخط الأساس عبر الإنترنت TQC+HER (240 دقيقة).
المكافآت المتفرقة: أظهر GC-DT قدرة فائقة على الصمود في إعدادات المكافأة المتفرقة. في مهمة PickAndPlace، حقق GC-DT عائداً أعلى بكثير (-7.63 مقابل -16.96 لـ TQC+HER) وحافظ على معدل نجاح بنسبة 97.8%، بينما انخفض معدل نجاح TQC+HER إلى 77.0%.

كفاءة البيانات والمتانة

حجم مجموعة البيانات: ظل الأداء ثابتاً بالنسبة لحجم مجموعة البيانات في مهمة Reach. أما بالنسبة للمهام المعقدة، فقد انخفض الأداء فقط عندما قلّت البيانات عن 250 ألف عينة؛ وحتى عند 100 ألف عينة، حافظ النموذج على نجاح يزيد عن 96% في الإعدادات الكثيفة.
نسبة بيانات الخبراء: أظهر النموذج متانة مفاجئة تجاه الضجيج. فحتى عندما كانت مجموعة البيانات تتكون من 25% فقط من بيانات الخبراء (مختلطة مع 75% من المسارات العشوائية)، حافظ GC-DT على نجاح يزيد عن 80% في المهام المعقدة. وانخفض الأداء بشكل حاد فقط تحت هذا الحد.

الأهمية والادعاءات

يزعم المؤلفون أن "محول القرار المشروط بالهدف" المقترح يسد الفجوة بفعالية بين التعلم المعزز غير المتصل والتحكم الروبوتي متعدد الأهداف. ويفترضون أن متانة النموذج، خاصة في إعدادات المكافأة المتفرقة، تنبع من قدرة المحول (Transformer) على إجراء تخصيص ائتمان طويل الأمد عبر آلية الانتباه الذاتي (self-attention).

وتؤكد الورقة أن هذا النهج يمكن أن يتفوق على السياسة الخبيرة نفسها المستخدمة لتوليد بيانات التدريب في المهام المعقدة مثل PickAndPlace. علاوة على ذلك، فإنها تثبت أن نمذجة التسلسل المشروطة بالهدف هي بديل قابل للتطبيق ومتين لطرق "الفاعل-الناقد" (actor-critic) التقليدية عبر الإنترنت، وهي قادرة على التعامل مع العروض غير المثالية والتغذية الراجعة المتفرقة دون الحاجة إلى تفاعل عبر الإنترنت.

تم تحديد العمل المستقبلي في توسيع هذا الإطار ليشمل إعدادات التعلم المستمر والتدريب باستخدام مسارات خبراء غير متجانسة.