ملخص تقني: تعلم السياسات ثنائية المستوى فوق نماذج عالم رمزية للتخطيط طويل الأمد

بيان المشكلة

تعالج الورقة البحثية التحدي المتمثل في بناء وكلاء ذكاء اصطنا-ي جسدي قادرين على حل مشكلات التخطيط طويلة الأمد بشكل موثوق في فضاءات الحالة والفعل المستمرة مع أعداد متغيرة من الأجسام. وبينما أثبت التعلم بالتقليد من العروض التوضيحية فعاليته في التحكم الحركي منخفض المستوى (LL) والتحكم في الأشياء، إلا أنه يعاني في توليد خطط فعالة طويلة الأمد. وفي المقابل، تُعد المخططات الرمزية عالية المستوى (HL) فعالة في التخطيط طويل الأمد، لكنها غالباً ما تفشل في التعميم على الإعدادات ذات الحواس المتنوعة، والملاحظة الجزئية، والديناميكيات المعقدة منخفضة المستوى.

يصيغ المؤلفون المشكلة كتعلم سياسة مشروطة بالهدف $\pi(all | s_{ll}, g_{hl})$ تختار أفعالاً منخفضة المستوى ($a_{ll}$) لتحقيق أهداف عالية المستوى ($g_{hl}$). وتتكون مدخلات التعلم من:

1. عروض توضيحية منخفضة المستوى (LL): مسارات للحالات والأفعال مقترنة بأهداف عالية المستوى.
2. لغة التجريد ($D$): نظرية مجال تحدد المحمولات (predicates) ومخططات الأفعال.
3. دالة التوسيم ($L$): رسم خرائط من الملاحظات منخفضة المستوى إلى حالات رمزية عالية المستوى.

الهدف هو تعلم سياسة تعمم على الحالات والأهداف غير المرئية بطريقة "صفرية الاستباق" (zero-shot)، مع التعامل مع أعداد عشوائية من الأجسام وظروف العالم المفتوح.

المنهجية

يقترح المؤلفون نظام BISON، وهو نظام يتعلم سياسات ثنائية المستوى $(\pi_{hl}, \pi_{ll})$ عبر الجمع بين التقليد العصبي والتجريد الرمزي والتعميم الاستقرائي.

1. بنية السياسة ثنائية المستوى

يقسم النظام المشكلة إلى سيستين متميزتين:

• السياسة عالية المستوى (HL) ($\pi_{hl}$): سياسة رمزية تعمل على الحالات المجردة ($s_{hl}$) والأهداف ($g_{hl}$) لاقتراح أفعال عالية المستوى ($a_{hl}$).
• السياسة منخفضة المستوى (LL) ($\pi_{ll}$): سياسة عصبية (شبكة عصبية رسومية - GNN) تأخذ الحالة منخفضة المستوى الحالية ($s_{ll}$)، والفعل عالي المستوى المقترح ($a_{hl}$)، والهدف ($g_{hl}$) لإخراج أفعال مستمرة منخفضة المستوى ($a_{ll}$).

يتم تركيب السياسات بحيث أن $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$.

2. تعلم السياسة عالية المستوى ($\pi_{hl}$)

يتم تعلم السياسة عالية المستوى من العروض التوضيحية منخفضة المستوى عبر عملية مكونة من ثلاث خطوات (كما هو موضح في الشكل 2):

1. بناء المسارات عالية المستوى (HL Traces): يتم تطبيق دالة التوسيم $L$ على العروض التوضيحية منخفضة المستوى لاستخراج مسارات مجردة عالية المستوى (متواليات من الحالات والأفعال عالية المستوى).
2. تراجع الهدف (Goal Regression): يطبق المؤلفون تراجع الهدف (تقنية إعادة كتابة ما قبل الصورة) على هذه المسارات. تقوم هذه التقنية بحساب الحد الأدنى من الشروط التي يحقق بموجبها الفعل هدفاً ما. ومن خلال إرجاع الأهداف عكسياً عبر مسارات الأفعال، يستخرج النظام قواعد (الشرط $\mapsto$ الفعل) الأرضية.
3. التعميم الاستقرائي: يتم رفع القواعد الأرضية إلى المنطق من الدرجة الأولى باستبدال الأجسام المحددة بمتغيرات. ينتج عن ذلك مجموعة مدمجة من قواعد (الشرط $\mapsto$ الفعل) مع قيم أولوية بناءً على القرب من الهدف. هذه القواعد قابلة للتفسير ويمكنها التعميم على أعداد عشوائية من الأجسام.

السياسة عالية المستوى الناتجة هي مجموعة من القواعد المنطقية. ويتضمن التنفيذ إيجاد القاعدة القابلة للتطبيق ذات قيمة الأولوية الأدنى (الأولوية الأعلى) التي تستوفي شروط الحالة الحالية وشروط الهدف غير المحققة.

3. تعلم السياسة منخفضة المستوى ($\pi_{ll}$)

تُنفذ السياسة منخفضة المستوى كـ شبكة عصبية رسومية (GNN) تحتوي على أقل من 33,000 معلمة.

• ترميز المدخلات: تقوم الشبكة بتشفير الحالة منخفضة المستوى (حالة الوكيل وحالات الأجسام)، ومخطط الفعل عالي المستوى، وحقائق الهدف عالية المستوى.
• البنية: تستخدم تمرير الرسائل بين عقد الأجسام، وعقد الأفعال، وعقدة عالمية لتجميع المعلومات.
• التدريب: يتم تدريب الشبكة عبر التعلم بالتقليد (Behavior Cloning) على مجموعة بيانات من الأزواج $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ المستمدة من العروض التوضيحية، مع تقليل متوسط مربع الخطأ (MSE) بين الأفعال المتوقدة والحقيقية.

4. الضمانات النظرية

تضع الورقة البحثية خاصية الصقل الهابط غير الحتمي (NDRP)، مما يضمن إمكانية صقل أي حل للمشكلة عالية المستوى إلى حل للمشكلة منخفضة المستوى. علاوة على ذلك، يثبت النظرية 1 أنه في ظل ظروف استقلال الهدف المحدود بـ C (حيث يمكن تحقيق مكونات الهدف بشكل مستقل بأي ترتيب مع حجم سياسة محدود)، فإن السياسة عالية المستوى المتعلمة تعمم على المشكلات ذات الأعداد العشوائية من الأجسام والآفاق الزمنية.

المساهمات الرئيسية

1. نظام BISON: نهج لتعلم سياسات ثنائية المستوى $(\pi_{hl}, \pi_{ll})$ من عروض توضيحية منخفضة المستوى مقترنة بأهداف عالية المستوى، باستخدام نظرية مجال ودالة توسيم.
2. التعلم الرمزي عالي المستوى: تطبيق تراجع الهدف والتعميم الاستقرائي لتعلم سياسات عالية المستوى مدمجة ومعبرة. هذه السياسات ممثلة كقواعد (شرط $\mapsto$ فعل) من الدرجة الأولى، مما يسمح بالعمل في بيئات العالم المفتوح والملاحظة الجزئية والتعميم على أعداد أجسام عشوائية.
3. التعلم الفعال منخفض المستوى: تحقيق السياسات منخفضة المستوى عبر شبكة عصبية رسومية (GNN) مدمجة (أقل من 33 ألف معلمة) مشروطة بالأفعال عالية المستوى.
4. التحقق التجريبي: تجارب واسعة النطاق (21,600 حلقة) على اختبارات MetaWorld الموسعة، تُظهر تفوق الكفاءة، والتعميم، وقدرات التخطيط طويلة الأمد مقارنة بنماذج الرؤية-اللغة-الفعل (VLA)، والطرق من طرف إلى طرف (end-to-end)، والمخططات الرمزية الأساسية.

النتائج التجريبية

قيم المؤلفون BISON مقابل 8 نماذج أساسية (بما في ذلك SmolVLA وPureNN وPddlNN واستراتيجيات إعادة التخطيط المختلفة) عبر 8 بيئات ذات درجات متفاوتة من عدم اليقين (خارجي، داخلي، وعدم يقين الحالة).

• التعميم: نجح BISON في التعميم على بيئات تحتوي على المزيد من الأجسام (حتى 10 أجسام) وآفاق زمنية أطول مما رآه في التدريب (3 أجسام)، متفوقاً على نماذج GNN من نوع "من طرف إلى طرف" التي تدهور أداؤها بشكل كبير بعد 6 أجسام.
• المتانة: حقق BISON أعلى معدلات نجاح متوسطة عبر معظم البيئات، خاصة في السيناريوهات المعقدة حيث تعثرت أو فشلت نماذج إعادة التخطيط.
• الكفاءة: أظهر BISON كفاءة فائقة في الوقت والذاكرة في كل من التدريب والاستدلال مقارنة بالطرق من طرف إلى طرف وطرق إعادة التخطيط.
• القابلية للتوسع: عند تجاهل التنفيذ منخفض المستوى، تمكنت السياسات الرمزية عالية المستوى لـ BISON من حل مشكلات التخطيط لـ 10,000 جسم في أقل من دقيقة، متفوقة بشكل كبير على مخطط PDDL المتطور LAMA، الذي واجه صعوبة مع بضع مئات من الأجسام.
• أداء VLA: فشلت نماذج VLA المدربة مسبقاً (SmolVLA) في حل أي مهام في الاختبارات، مما يسلط الض الضوء على صعوبة تطبيقها مباشرة على المهام طويلة الأمد ومتعددة الأجسام دون تعديلات هيكلية محددة.

الأهمية والادعاءات

تدعي الورقة أن BISON يقدم حلاً مبتكراً لتحدي التخطيط طويل الأمد من خلال سد الفجوة بفعالية بين التعلم بالتقليد العصبي والاستدلال الرمزي.

• التخطيط الخالي من البحث: على عكس أنظمة التخطيط ثنائية المستوى التقليدية التي تبحث عن خطط عالية المستوى فوق تجريدات رمزية قبل الصقل، يقوم BISON باستقراء السياسات عالية المستوى مباشرة من العروض التوضيحية، مما يلغي الحاجة إلى البحث أثناء التنفيذ.
• القدرة على العمل في العالم المفتوح: إن ترميز السياسات كقواعد (شرط $\mapsto$ فعل) من الدرجة الأولى يسهل التخطيط في بيئات العالم المفتوح ويتعامل مع الملاحظة الجزئية، معالجاً بذلك قيود المخططات الرمزية البحتة.
• الكفاءة والقابلية للتوسع: ينتج النهج سياسات مدمجة تتسم بالكفاءة الحسابية وقادرة على التوسع إلى أعداد هائلة من الأجسام، وهي قدرة تفتقر إليها كل من الأساليب العصبية والرمزية البحتة.

يقر المؤلفون بوجود قيود، مشيرين إلى أن النهج يرث الاعتماد على جودة التجريد عالي المستوى (سواء كان متعلمًا أو معطى)، ولا يضمن المثالية للسياسات منخفضة المستوى. ومع ذلك، يؤكدون أن الطريقة توفر إطاراً قوياً للوكلاء الجسديين لحل المهام المعقدة وطويلة الأمد مع أعداد متغيرة من الأجسام.