🤖 machine learning

Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

تقدم هذه الورقة إطار عمل CFHRL، وهو إطار تعلم تعزيزي هرمي غير متصل بالإنترنت وموجه بالأهداف بشكل كامل، يقوم بتنقيح الأهداف البعيدة تكيفياً إلى أهداف فرعية قابلة للتنفيذ محلياً من خلال عملية هرمية من الخشن إلى الناعم، مما يخفف بفعالية من أخطاء التمهيد (bootstrapping errors) ويحسن الأداء في المهام طويلة المدى.

المؤلفون الأصليون: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "التنقيح التكيفي للأهداف الفرعية من الخشن إلى الناعم لتعلم التعزيز غير المتصل طويل الأمد المشروط بالهدف" (CFHRL)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: معضلة "البعيد جداً عن الرؤية"

تخيل أنك تحاول تعليم روبوت كيف يمشي عبر متاهة ضخمة ومعقدة للوصول إلى نقطة محددة في الطرف الآخر. لديك مكتبة فيديو لروبوتات أخرى تتحرك في الأنحاء، لكن لا يمكنك السماح للروبوت الجديد بالممارسة في الواقع (لأنه قد يكسر الأشياء أو يعلق). هذا هو "تعلم التعزيز غير المتصل المشروط بالهدف" (Offline Goal-Conditioned Reinforcement Learning).

المشكلة هي أنه إذا كان الهدف بعيداً جداً، يصاب الروبوت بالارتباك. الأمر يشبه محاولة تخمين حالة الطقس في مدينة تبعد 1000 ميل بناءً فقط على درجة الحرارة في حديقة منزلك. كلما زادت المسافة إلى الهدف، أصبح "تخمين" الروبوت (التقديرات الرياضية) مليئاً بالضجيج وغير موثوق. قد يعتقد أن المسار آمن بينما هو في الواقع طريق مسدود، ببساطة لأن الخطأ في حساباته قد تراكم عبر تلك المسافة الطويلة.

الحل القديم: "السلم الصلب"

حاول الباحثون سابقاً حل هذه المشكلة باستخدام "التعلم الهرمي" (Hierarchical Learning). فكر في الأمر كأنك تعطي الروبوت سلماً بderجات ثابتة.

العيب: السلم له درجات تفصل بينها مسافة متر واحد بالضبط.
المشكلة: إذا كان الهدف على بعد 10 أمتار، سيعمل السلم بشكل جيد. ولكن إذا كان الهدف على بعد 100 متر، فلا يزال على الروبوت تسلق 100 درجة، وتظل الأخطاء تتراكم. والأسوأ من ذلك، إذا كان الهدف على بعد 0.5 متر فقط، سيحاول الروبوت تسلق درجة غير موجودة، أو سيختار درجة بعيدة جداً بحيث لا يمكنه الوصول إليها في خطوة واحدة. "السلم" صلب للغاية؛ فهو لا يناسب كل المواقف.

الحل الجديد: CFHRL (الـ "GPS الذكي")

يقترح المؤلفون طريقة جديدة تسمى CFHRL. بدلاً من السلم الصلب، تخيل أن الروبوت لديه "نظام تحديد مواقع ذكي" (Smart GPS) يعمل بطريقة "من الخشن إلى الناعم" (Coarse-to-Fine).

إليك كيف يعمل، خطوة بخطوة:

1. مرحلة "التقريب من بعيد" (الخشن - Coarse)

عندما يرى الروبوت هدفاً بعيداً جداً، فإنه لا يحاول التخطيط لكل خطوة بدقة فوراً. بدلاً من ذلك، يسأل نفسه: "ما هو الاتجاه العام الكبير الذي يمكنني التوجه نحوه لأقترب أكثر؟"

التشبيه: تخيل أنك في نيويورك وتريد الذهاب إلى مقهى معين في لندن. أنت لا تخطط للخطوة الدقيقة التي ستتخذها عند خروجك من باب منزلك. أولاً، تخطط لـ "ركوب طائرة إلى لندن". هذا هو هدف خشن. ليس من الضرប أن يكون المكان المثالي؛ يكفي أن يكون خطوة كبيرة تجعلك تخرج من نيويورك.

2. مرحلة "التقريب من قريب" (الناعم - Fine)

بمجرد أن يقترب الروبوت من هدف "لندن" ذاك، يسأل مرة أخرى: "حسناً، الآن بعد أن وصلت إلى لندن، ما هو الاتجاه الكبير التالي؟" ربما "المشي إلى محطة القطار".

السر السحري: يستمر الروبوت في فعل ذلك. إنه يقسم الرحلة الضخمة إلى أجزاء أصغر فأصغر.
- الخطوة 1: اذهب إلى لندن (خشن).
- الخطوة 2: اذهب إلى المحطة (متوسط).
- الخطوة 3: اذهب إلى الشارع (ناعم).
- الخطوة 4: امشِ إلى الباب (ناعم جداً).

3. "علامة التوقف" (التوقف التكيفي - Adaptive Stopping)

هذا هو الجزء الأهم. يمتلك الروبوت "مستشعر إمكانية الوصول" الخاص به.

القاعدة: يستمر الروبوت في تقسيم الهدف إلى أجزاء فقط طالما أن الخطوة التالية تبدو صعبة جداً للقيام بها مباشرة.
التشبيه: تخيل أنك تقود سيارة. لست بحاجة للتخطيط لكل منعطف خلال الـ 100 ميل القادمة. أنت تحتاج فقط لمعرفة متى تصبح قريباً بما يكفي من شارع ما لتتمكن من الانعطاف إليه.
- إذا نظر الروبوت إلى هدف وقال: "يمكنني الوصول إلى تلك النقطة بسهما بمهاراتي الحالية"، فإنه يتوقف عن تقسيم الهدف أكثر من ذلك. ويذهب إلى هناك مباشرة.
- إذا قال: "تلك النقطة بعيدة جداً؛ قد أصطدم"، فإنه يقسم الهدف إلى هدف فرعي أصغر وأكثر أماناً.

لماذا هذا أفضل؟

لا مزيد من ألعاب التخمين: من خلال تقسيم الرحلة الطويلة إلى أجزاء أصغر يمكن التحكم فيها، لا يضطر الروبوت لتخمين الطقس على بعد 1000 ميل. عليه فقط تخمين الطقود لبضعة شوارع قادمة، وهذا أكثر دقة بكثير.
إنه يتكيف: إذا كان الهدف قريباً، يتخذ الروبوت خطوة واحدة كبيرة. وإذا كان الهدف بعيداً، يتخذ خطوات عديدة صغيرة. إنه لا يفرض "نموذجاً واحداً يناسب الجميع" كما في السلم.
يستخدم البيانات القديمة: يتعلم الروبوت كل هذا بمجرد مشاهدة مكتبة الفيديو (البيانات غير المتصلة). لا يحتاج إلى التجربة والفشل في العالم الحقيقي ليتعلم كيفية تقسيم الأهداف.

النتائج

اختبر الباحثون هذا النظام في محاكاة حاسوبية لروبوتات تتنقل عبر المتاهات وتحرك الأشياء.

الفائز: كان CFHRL أفضل بكثير في حل "المتاهات الطويلة والصعبة" مقارنة بالطرق القديمة.
الدليل: عندما قاموا بإزالة ميزات "الـ GPS الذكي" (مثل التوقف التكيفي)، تاه الروبوت مرة أخرى. وهذا أثبت أن القدرة على التوقف عن تنقيح الهدف عندما يصبح قريباً بما يكفي هي مفتاح النجاح.

الملخص

فكر في CFHRL كأنه دليل سياحي ذكي للروبوت. بدلاً من إعطاء الروبوت خريطة جامدة بنقاط تفتيش ثابتة، ينظر الدليل إلى الوجهة. إذا كانت بعيدة، يقول الدليل: "لنذهب إلى المدينة التالية". وإذا كانت قريبة، يقول: "حسناً، فقط امشِ مباشرة نحو الباب". هذا يمنع الروبوت من الشعور بالإرهاق بسبب المسافة ويجعله أكثر قدرة على النجاح.

ملخص تقني: صقل الأهداف الفرعية التكيفي من الخشن إلى الناعم لتعلم التعزيز الموجه بالأهداف في الأفق الطويل عبر البيانات غير المتفاعلة (Offline)

1. بيان المشكلة

يهدف تعلم التعزيز الموجه بالأهداف عبر البيانات غير المتفاعلة (Offline Goal-Conditioned Reinforcement Learning - GCRL) إلى تعلم سياسات تصل إلى أهداف متنوعة من مجموعة بيانات مسارات ثابتة دون الحاجة إلى تفاعل إضافي مع البيئة. وبينما تعد هذه الطريقة فعالة للمهام ذات الأفق القصير، إلا أنها تواجه تحديات كبيرة في المهام ذات الأفق الطويل.

ينبع الصعوبة الأساسية من تقدير القيمة في الأفق الطويل. ففي ظل وجود مكافآت نادرة لتحقيق الهدف، توفر أزواج (الحالة-الهدف) البعيدة إشرافاً مباشً ضعيفاً. وبناءً على ذلك، يجب على دالة القيمة نشر معلومات الهدف عبر العديد من عمليات التحديث بالاستدلال (bootstrapped updates). ومع زيادة المسافة الزمنية، تتراكم أخطاء التقريب على طول سلسلة التحديث (backup chain)، مما يؤدي إلى تقييمات غير دقة للأهداف البعيدة. إن تدريب سياسة مسطحة موجهة بالأهداف مباشرة على هذه التقديرات المشوشة للقيمة يؤدي إلى اتخاذ قرارات غير موثوقة في الأفق الطويل.

تحاول الطرق الهرمية الحالية التخفيف من حدة ذلك عبر إدخال أهداف فرعية وسيطة، مما يقلل من عملية الوصول طويلة الأمد إلى سلسلة من القرارات قصيرة المدى. ومع ذلك، تعتمد هذه الطرق غالباً على تجريدات زمنية ثابتة (مثل آفاق الأهداف الفرعية الثابتة) أو أعماق هرمية ثابتة. وغالباً ما تكون هذه المقاييس الثابتة غير متوافقة مع أزواج (الحالة-الهدف) ذات آفاق الوصول المتفاوتة:

الأهداف الفرعية المحلية للغاية قد لا تحقق سوى تقدم طفيف، حيث تهيمن أخطاء تقدير الأفق الطويل على الفروق البسيطة في القيمة، مما يؤدي إلى خيارات مضللة.
الأهداف الفرعية البعيدة للغاية قد تقع خارج نطاق التنفيذ الموثوق للسياسة منخفضة المستوى.

السؤال الجوهري الذي تعالجه الورقة هو ما إذا كان بإمكان وكيل هرمي يعمل عبر البيانات غير المتفاعلة أن يحدد بشكل تكيفي هدفاً وسيطاً مناسباً لكل زوج (حالة-هدف) محدد، بدلاً من الاعتماد على مقياس تفكيك محدد مسبقاً.

2. المنهجية: CFHRL

يقترح المؤلفون إطار عمل صقل الأهداف من الخشن إلى الناعم الهرمي (Coarse-to-Fine Hierarchical Goal Reinforcement Learning - CFHRL)، وهو إطار عمل كامل لتعلم التعزيز الموجه بالأهداف عبر البيانات غير المتفاعلة، يقوم بصقل الأهداف البعيدة تكيفياً قبل التنفيذ. يعمل إطار العمل على مبدأ أن الهدف الفرعي ليس بالضرورة أن يكون نقطة منتصف دقيقة أو مثالياً عالمياً؛ بل يحتاج فقط إلى توفير تقدم موثوق وتقليل صعوبة الوصول المتبقية.

2.1 المكونات الأساسية

يستخدم CFHRL ثلاث سياسات متعلمة يتم تنسيقها بواسطة تكلفة وصول مشتركة $D_\phi(s, g)$ ، مشتقة من دالة قيمة موجهة بالهدف:

مخطط الصقل ( $\pi_p$ ): يقترح أهدافاً وسيطة $u$ مشروطة بالحالة الحالية $s$ والهدف التخطيطي الحالي $g$ .
سياسة التجريد ( $\pi_z$ ): ترسم الهدف المصقول $\bar{g}$ إلى أمر محلي $z$ .
السياسة منخفضة المستوى ( $\pi_a$ ): ترسم الأمر $z$ إلى أفعال أولية $a$ .

2.2 الصقل التكيفي من الخشن إلى الناعم

بدلاً من الهيكل الهرمي الثابت، يستخدم CFHRL عملية صقل تكرارية مع قاعدة توقف تكيفية:

التهيئة: البدء بالهدف النهائي $g^{(0)} = g$ .
فحص القابلية للتنفيذ: عند مستوى الصقل $\ell$ ، يتم التحقق مما إذا كان الهدف الحالي $g^{(\ell)}$ قابلاً للتنفيذ محلياً من الحالة $s$ باستخدام تكلفة وصول متعلمة:
$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$
حيث $\epsilon_{exec}$ هو عتبة محددة.
حلقة الصقل: إذا تحقق الشرط، يتوقف الصقل، ويتم تمرير $g^{(\ell)}$ إلى وحدة التنفيذ. وإلا، يقترح المخطط هدفاً وسيطاً جديداً $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$ ، والذي يصبح الهدف التالي $g^{(\ell+1)}$ .
الإنهاء: تتكرر العملية حتى يصبح الهدف قابلاً للوصول محلياً أو يتم الوصول إلى أقصى عمق $K_{max}$ .

تضمن هذه الآلية أن يتم تحديد عمق التفكيك الفعال بناءً على إمكانية الوصول المقدرة لكل زوج (حالة-هدف)، وليس بناءً على مقياس زمني ثابت.

2.3 التعلم عبر البيانات غير المتفاعلة لمخطط الصقل

يتم تدريب المخطط بالكامل من البيانات غير المتفاعلة دون تفاعل عبر الإنترنت أو أهداف فرعية مصنفة يدوياً:

بناء المرشحين: للحالة $s_t$ والهدف $g$ ، يتم أخذ مجموعة من الأهداف الفرعية المرشحة $\mathcal{C}_D$ من مجموعة البيانات غير المتفاعة (الحالات المستقبلية إذا كان $g$ في نفس المسار، وإلا فمن توزيع إعادة التشغيل).
التسجيل (Scoring): يتم تسجيل المرشحين بواسطة تكلفة الوصول عند عنق الزجاجة:
$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$
هذا المقياس يفضل المرشحين الذين يقلصون الأفق المتبقي إلى أقصى حد.
هدف التدريب: يتم تدريب المخطط عبر التقليد الموزون الموجه بالقيمة. يتم وزن المرشحين باستخدام دالة softmax لنتائجهم السالبة، مما يشجع المخطط على تقليد الأهداف الفرعية المدعومة بإعادة التشغيل التي تفكك المشكلة إلى مشكلات وصول متبقية أسهل.

2.4 سياسات التنفيذ

يتم تدريب سياسات التجريد والسياسات منخفضة المستوى باستخدام تقليد السلوك الموزون بالتقدم على مقاطع الأفق القصير. تُعطى الانتقالات التي تزيد من القيمة المتعلمة نحو هدف محلي أوزان تقليد أعلى، مما يوجه السياسات نحو سلوك تقدمي محلي.

3. التحليل النظري

تقدم الورقة تحليلاً مبسطاً لتبرير سبب كون الصقل التكيفي أكثر متانة من اختيار النطاق المحلي الثابت تحت التقديرات المشوشة:

فشل النطاق الثابت: في الهيكل ذو النطاق المحلي الثابت، مع زيادة الأفق الإجمالي $T$ ، تتلاشى نسبة الإشارة إلى الضوضاء للتمييز بين التحركات المحلية الصحيحة والخاطئة. تقترب احتمالية اختيار المرشح الخاطئ من 0.5 عندما $T \to \infty$ .
كفاية التقلص التقريبي: يوضح التحليل أن التنبؤ بنقطة المنتصف الدقيقة ليس ضرورياً. يكفي أن تحافظ التكلفة المتعلمة على هامش خشن بين المرشحين الذين يقلصون الأفق (يقللون المسافة المتبقية بمعامل ثابت $\rho < 1$ ) وأولئك الذين لا يفعلون ذلك.
حدود الخطأ: يتم حصر احتمالية الفشل الإجمالي في مجموع فشل الصقل (الفشل في اختيار هدف فرعي يقلص الأفق) وأخطاء التنفيذ المحلي النهائية. هذا يدعم قاعدة التوقف المعتمدة على العتبة القيمة: استمر في الصقل طالما كان الهدف بعيداً جداً، وتوقف بمجرد تقدير أن الهدف قابل للتنفيذ محلياً.

4. النتائج التجريبية

قيم المؤلفون CFHRL على OGBench، وهو معيار للتحكم الموجه بالأهداف عبر البيانات غير المتفاعة، يغطي مهام الحركة (PointMaze, AntMaze, HumanoidMaze, AntSoccer) والتحكم بالأشياء (Cube, Scene).

الأداء: يحقق CFHRL أعلى درجة إجمالية (37.5) مقارنة بالنماذج المرجعية مثل HIQL (23.2) و GCIVL (16.5) والطرق المسطحة.
مكاسب الأفق الطويل: لوحظت أهم التحسينات في مهام المتاهة ذات الأفق الطويل (مثل PointMaze-Giant-Stitch)، حيث رفع CFHRL معدلات النجاح من 0% (للنماذج المرجعية المسطحة أو ذات الهيكل الثابت) إلى 57%.
دراسات الاستبعاد (Ablation Studies):
- التوقف التكيفي: أدى إزالة قاعدة التوقف التكيفي وفرض أعماق صقل ثابتة ( $K=2, 3$ ) إلى تدهور الأداء، مما يؤكد أن الصقل المفرط يراكم أخطاء المخطط.
- ضرورة المخطط: أدى استبدال المخطط المتعلم بأهداف فرعية عشوائية من البيانات إلى الفشل، مما يثبت وجوب اختيار الأهداف الفرعية بناءً على تكاليف الوصول المتعلمة.
- ميزانية المرشحين: أدى زيادة عدد مرشحي التدريب ( $N_c$ ) إلى تحسين الأداء حتى نقطة معينة ( $N_c=16$ )، مما يوازن بين جودة الإشراف وإنتاجية التدريب.
القيود: أداء CFHRL أقل من الطرق المعتمدة على القيمة المسطحة في مهام التحكم بالأشياء الغنية بالتلامس (Cube)، مما يشير إلى أن التفكيك الشبيه بنقاط الطريق (waypoint-like) أقل فعالية للمهام التي تتطلب ديناميكيات تلامس دقيقة.

5. الأهمية والادعاءات

تدعي الورقة ثلاث مساهمات رئيسية:

الصياغة: تصيغ تعلم GCRL طويل الأمد كعملية صقل أهداف بتوقيت توقف تكيفي، حيث يتم تحديد عمق التفكيك بناءً على القابلية للتنفيذ المتعلمة بدلاً من أفق ثابت.
الخوارزمية: تقدم هدف تقلص مدعوم بإعادة التشغيل يقوم بتدريب مخطط صقل مستدام دون الحاجة إلى بحث في الرسوم البيانية وقت الاختبار أو تفاعل عبر الإنترنت.
التحقق: تقدم تحليلاً مبسطاً ودراسات استبعاد تجريبية تثبت أن التقلص التقريبي والتوقف التكيفي يحسنان بفعالية الوصول إلى الأهداف في بيئات المتاهة.

يتبنى المؤلفون موقفاً متواضعاً، حيث يقرون بأن الطريقة تعتمد على جودة تكلفة الوصول المتعلمة وأن واجهة التجريد الحالية (تمثيل الأهداف المحلية البسيط) قد لا تكون كافية لمهام التحكم بالأشياء المعقدة التي تتطلب تسلسلات تلامس دقيقة. ويقترحون أن العمل المستقبلي يجب أن يركز على دمج التخطيط التكيفي مع تجريدات أكثر ثراءً متمحورة حول الأشياء وتوسيع إطار العمل ليشمل مقدرات قيمة أخرى لـ GCRL.