ملخص تقني: التخطيط ثنائي المستوى باستخدام التجريدات الرمزية المتعلمة من بيانات التفاعل

تعريف المشكلة

تواجه الوكلاء الروبوتية التي تعمل في بيئات مستمرة مقايضة جوهرية: فالتفكير المباشر في فضاءات الحالة المستمرة عالية الأبعاد أمر غير قابل للحل حوسبياً بسبب العدد اللانهائي أو الهائل من الحلول الممكنة، بينما غالباً ما يفشل التفكير الرمزي البحت لأنه يتخلص من المعلومات الهندسية والديناميكية الحرجة، مما يؤدي إلى فشل التنفيذ. تعتمد الطرق الحالية التي تتعلم التجريدات الرمزية من الاستكشاف الروبوتي غير الخاضع للإشراف عادةً على مجالات حتمية، وتفتقر إلى آليات للتحقق مما إذا كان المخطط الرمزي سينجح في العالم المستمر، ولا توفر أي ملاذ بديل عندما يكون التجريد غير كافٍ. تعالج هذه الورقة الحاجة إلى إطار عمل للتخطيط يجمع بين كفاءة التفكير الرمزي عالي المستوى ودقة التحقق من الديناميكيات المستمرة.

المنهجية

يقترح المؤلفون إطار عمل تخطيط عصبي-رمزي ثنائي المستوى يعمل من خلال مستويين متميزين، مدعومين بـ بنية نموذج مزدوج يتم تدريبها على بيانات تفاعل غير خاضعة للإشراف.

1. بنية النموذج المزدوج

يستخدم إطار العمل نموذجين عصبيين متخصصين مشتقين من بنية مشفر-فك تشفير (encoder-decoder) تم تدريبها على التنبؤ بآثار الأفعال:

• النموذج الرمزي ($M_{sym}$): يستخدم دالة تنشيط Gumbel-Sigmoid في طبقات عنق الزجاجة الخاصة به. صُمم هذا النموذج لاكتشاف رموز الأشياء الأحادية المنفصلة والرموز العلاقاتية (مثل "على"، "بجانب") لتوليد معاملات رمزية للتخطيط عالي المستوى.
• نموذج الديناميكيات ($M_{dyn}$): يستخدم دالة تنشيط Sigmoid قياسية في طبقات عنق الزجاجة الخاصة به. ورغم اشتراكه في نفس البنية، فقد تم تحسين هذا النموذج للتنبؤ الدقيق بالآثار المستمرة، حيث يعمل كنموذج ديناميكيات أمامي للتحقق والبحث منخفض المستوى.

2. عملية التعلم

يتعلم النظام من مجموعة بيانات من عينات التفاعل $(X, a, X')$، حيث تمثل $X$ الحالة المستمرة (مواضع الأشياء وأنواعها) وتمثل $a$ مهارات الالتقاط والوضع ذات المعاملات.

• اكتشاف الرموز: يقوم النموذج الرمزي برسم خرائط للحالات المستمرة إلى رموز منفصلة. يتم حساب الرموز العلاقاتية باستخدام آلية انتباه ذاتي (self-attention) تم تكييفها باستخدام Gumbel-Sigmoid للسماح بالتعلم التفاضلي للرموز المنفصلة.
• استخراج المعاملات: يتم تحويل الانتقالات المستمرة إلى مجموعات بيانات رمزية. تُعرف المعاملات كمجموعات من الشروط المسبقة والآثار بناءً على أكثر حالات ما بعد الفعل تكراراً في البيانات.
• بناء المجال الاحتمالي: بدلاً من المعاملات الحتمية، يبني إطار العمل مجال PPDDL (المنطق المخطط لغة وصف الفعل الاحتمالي). يتضمن كل معامل توزيعاً احتمالياً على الآثار الرمزية الممكنة بناءً على تكرارها التجريبي، مما يلتقط العشوائية في التفاعلات الواقعية.

3. خوارزمية التخطيط ثنائي المستوى

تتم عملية التخطيط عبر مستويين:

• المستوى 1: التخطيط الرمزي الاحتمالي مع التحقق
  • يولد النظام مجموعة من $N$ من مجالات PDDL عن طريق أخذ عينات من الآثار من التوزيعات الاحتمالية المتعلمة.
  • يبحث مخطط ذكاء اصطنا-كلاسيكي (Fast-Downward) عن خطط في هذه المجالات.
  • التحقق المستمر: يتم ترتيب الخطط الرمزية المرشحة حسب الاحتمالية. يُستخدم نموذج الديناميكيات ($M_{dyn}$) كمحاكي أمامي للتنبؤ بالنتيجة المستمرة لكل خطة مرشحة. إذا كانت الحالة النهائية المتوقعة ضمن عتبة التسامح ($\tau_{verify}$) من الهدف، يتم قبول الخطة.
• المستوى 2: البحث الأمامي المستمر كبديل (Fallback)
  • إذا لم تنجح أي خطة رمزية في اجتياز التحقق، يستدعي النظام بحث $A^*$ موزوناً في فضاء الحالة المستمرة.
  • يستخدم هذا البحث نموذج الديناميكيات للانتقالات بين الحالات، ويستخدم دالة كشف (heuristic) تعتمد على المسافة الإقليدية إلى الهدف.
  • لضمان القابلية للحوسبة، يستخدم البحث تقليم الأفعال الموجه بالهدف، حيث يولد فقط الأفعال الموجهة نحو الهدف (مثل تحريك الأشياء الموضوعة بشكل خاطئ نحو مواضعها المستهدفة) بدلاً من استكشاف فضاء الأفعال الكامل.

المساهمات الرئيسية

1. إطار عمل ثنائي المستوى: بنية مبتكرة تدمج التخطيط الرمزية الاحتمالي في المستوى العالي مع البحث الأمامي المستمر كبديل، مما يسد الفجوة بين التفكير المجرد والديناميكيات المستمرة.
2. مخطط النموذج المزدوج: تقديم نموذجين متخصصين—أحدهما لاكتشاف الرموز المنفصلة والآخر للتنبؤ الدقيق بالآثار المستمرة—مما يثبت أن نموذجاً واحداً لا يمكنه خدمة كلا الغرضين بشكل مثالي.
3. آلية التحقق: طريقة تستخدم نموذج الديناميكيات المستمرة للتحقق من الخطط الرمزية قبل التنفيذ، مما يؤدي فعلياً إلى تصفية الخطط الصالحة رمزياً ولكنها غير قابلة للتنفيذ ديناميكياً.
4. تعلم المعاملات الاحتمالية: تجاوز المجالات الحتمية لتعلم معاملات ذات آثار عشوائية، مما يسمح للمخطط باستكشاف المسارات الأقل احتمالاً ولكنها قد تكون ناجحة.

النتائج التجريبية

تم تقييم إطار العمل في مهام معالجة متعددة الأشياء في بيئة طاولة محاكية تحتوي على 2 إلى 4 أشياء وتسلسلات أفعال بطول 1 إلى 5.

• صلاحية النموذج: حقق نموذج الديناميكيات خطأ تنبؤ بالآثار أقل (1.96 سم) مقارداً بالنموذج الرمزي (3.33 سم)، مما يؤكد الحاجة إلى نماذج منفصلة للتنبؤ المستمر.
• الاحتمالي مقابل الحتمي: تفوق المخطط الاحتمالي بشكل كبير على الخط الأساسي الحتمي (على سبيل المثال، نسبة نجاح 73.0% مقابل 64.67% للمهام ذات الخطوة الواحدة)، مما يثبت أن مراعاة التوزيع الكامل للنتائج يحسن المتانة.
• أداء التحقق: حقق مدقق الخطط المستمر دقة متوسطة قدرها 0.91 ودرجة F1 بلغت 0.90. حققت الخطط التي تم التحقق منها نسبة نجاح 94.5%، بينما سجلت الخطط غير المتحقق منها معدل فشل 87.3%، مما يؤكد موثوقية آلية التصفية في استبعاد الخطط الفاشلة.
• الأداء العام: حقق المخطط ثنائي المستوى المقترح معدلات نجاح في التخطيط متكافئة إحصائياً مع البحث الأمامي المستمر الكامل ($p=0.71$). ومع ذلك، فقد حل معظم المشكلات باستخدام التفكير الرمزي الفعال، ولم يلجأ إلى البحث المستمر المكلف حوسبياً إلا عند الضرورة.

الأهمية

تزعم الورقة أن هذا النهج ينجح في التخفيف من قيود التخطيط الرمزي البحت (فقدان التفاصيل الهندسية) والتخطيط المستمر البحت (عدم القابلية للحوسبة). ومن خلال الجمع بين كفاءة التفكير الرمزي ودقة الديناميكيات المستمرة المتعلمة، يقدم إطار العمل حلاً قوياً لمعالجة الروبوتات. كما يثبت أنه يمكن للوكلاء تحقيق أداء تخطيط عالٍ يضاهي البحث المستمر الشامل مع الحفاظ على الكفاءة الحوسبية، بشرما تمكنهم من التحقق من الخطط الرمزية مقابل الديناميكيات الفيزيائية المتعلمة. يسلط العمل الضوء على أهمية النمذجة الاحتمالية والتحقق في جعل التجريدات الرمزية المتعلمة موثوقة للتنفيذ في العالم الحقيقي.