🤖 machine learning

Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

تقدم هذه الورقة البحثية "شجرة سلوك مكافأة القناع" (MRBT)، وهي إطار عمل عصبي-رمزي يستفيد من النماذج اللغوية الكبيرة ومحللات التبعية (SMT solvers) لتوليد دوال تشكيل مكافآت وحجب إجراءات قابلة للتحقق، وتتميز بكونها نمطية وتفاعلية، مما يؤدي إلى تحسين كفاءة معدلات النجاح في التعلم التعزيزي بشكل كبير للمهام التركيبية التي تتضمن كائنات متنوعة.

المؤلفون الأصليون: Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية تنظيف منزل فوضوي. إذا قلت للروبوت فقط: "نظف المنزل"، ومنحته مكافأة كبيرة فقط عند إتمام المهمة بأكملها، فمن المرجح أن يصاب الروبوت بالارتباك. قد يكنس الأرضية، ثم يسقط المكنسة، ثم يحاول غسل النوافذ، ولا ينهي المهمة أبداً. الأمر يشبه محاولة تعلم رقصة معقدة من خلال الحصول على جائزة في نهاية الأغنية فقط؛ فلن تعرف أي الخطوات كانت صحيحة أو خاطئة أثناء المسير.

تقدم هذه الورقة البحثية طريقة أكثر ذكاءً لتعليم الروبوتات (أو الوكلاء المستقلين) كيفية التعامل مع المهام المعقدة متعددة الخطوات. يطلق المؤلفون على حلهم اسم MRBT (شجرة سلوك المكافأة المقنعة - Masking Reward Behavior Tree). وإليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "الصندوق الأسود" للمكافآت

في تدريب الروبوتات التقليدي (التعلم التعزيزي)، يتعين عليك تصميم "نظام مكافآت" يدوياً. عليك أن تقرر بالضبط ما الذي يحصل الروبوت بسببه على "نقطة" وما الذي يتلقى بسببه "عقوبة".

الجزء الصعب: إذا فشل الروبوت في خطوة صغيرة (مثل إسقاط مفتاح)، فقد لا يعرف نظام المكافآت البسيط كيف يخبر الروبوت بالعودة والمحاولة مرة أخرى. قد يستمر الروبوت في التسكع بلا هدف.
مشكلة الوحدات (Modularity): إذا غيرت المهمة قليلاً (على سبيل المثال، بدلاً من مفتاح أحمر، استخدم مفتاحاً أزرق)، فغالباً ما ستحتاج إلى إعادة كتابة نظام المكافآات بالكامل من الصفر.

2. الحل: "مدرب ذكي" مع قائمة مهام

يستخدم المؤلفون شجرة سلوك (Behavior Tree). فكر في هذا كخريطة تدفق أو قائمة مهام يتبعها الروبوت. وهي تقسم المهمة الكبيرة إلى خطوات صغيرة يمكن إدارتها (مهام فرعية).

خدعة "القناع" (Masking): تخيل أن الروبوت لديه يد مليئة بالأدوات. في بعض الأحيان، يحتاج إلى "إخفاء" (قناع) الأدوات التي لا يحتاجها الآن. على سبيل المثال، إذا كان من المفترض أن يمشي الروبوت نحو الباب، فإن النظام يقوم بـ "قناع" (إخفاء) زر "الالتقاط" حتى لا يحاول الروبوت بالخطأ التقاط الهواء. هذا يمنع الروبوت من إضاعة الوقت في إجراءات عديمة الفائدة.
خدعة "المكافأة": يمنح النظام مكافآت صغيرة لإنهاء كل خطوة في القائمة، وليس فقط للهدف النهائي. إذا أسقط الروبوت المفتاح، يقول النظام فوراً: "أوه لا، لقد أسقطته! عد إلى بداية هذه الخطوة"، بدلاً من ترك الروبوت يتسكع بلا هدف.

3. المكون السحري: "المهندس المعماري" للذكاء الاصطناعي (LLM)

تصميم هذه القوائم والقواعد يدوياً أمر صعب. لذا، استخدم المؤلفون نموذج لغة كبير (LLM) — وهو نفس نوع الذكاء الاصطناعي الذي يشغل برامج الدردشة الآلية — للقيام بالعمل الشاق.

تعطي الذكاء الاصطناعي نموذجاً (مثل استمارة فارغة) ووصفاً للمهمة (مثل "أحضر المفتاح من الغرفة الحمراء").
يقوم الذكاء الاصطعي بملء الفراغات: يكتب المنطق الخاص بـ "هل الباب مفتوح؟"، "هل المفتاح قريب؟"، ويقرر أي الأزرار يجب إخفاؤها في كل خطوة.
شبكة الأمان (حلّال SMT): بما أن الذكاء الاصطناعي قد يرتكب أخطاء، فقد أضاف المؤلفون "مدقق منطق" (حلّال SMT). هذا يشبه معلم رياضيات صارم يراجع عمل الذكاء الاصطناعي. إذا كتب الذكاء الاصطناعي قاعدة غير منطقية (مثل "الباب مفتوح" ولكن الروبوت لا يزال بعيداً)، فإن المدقق يكشف ذلك، ويخبر الذكاء الاصطناعي: "هذا خطأ"، ويطلب منه المحاولة مرة أخرى.

4. النتائج: روبوت يتعلم بشكل أسرع

اختبر الفريق هذا النظام في "ملعبين" مختلفين:

MiniGrid: عالم شبكي بسيط حيث يتعين على الروبوت العثور على مفاتيح، وفتح الأبواب، والوصول إلى هدف ما.
MuJoCo Fetch: محاكاة أكثر واقعية لذراع روبوت تلتقط الكتل.

وجدوا أن الروبوتات التي تم تدريبها باستخدام نظام MRBT الخاص بهم:

تعلمت بشكل أسرع بكثير: وصلت إلى الهدف في عدد أقل من المحاولات.
كانت أكثر نجاحاً: في المهام الأكثر صعوبة، نجحت بنسبة تزيد عن 80% من المرات، بينما كافحت الطرق الأخرى بنسبة أقل من 70%.
تعاملت مع الأخطاء بشكل أفضل: إذا أسقط الروبوت شيئاً، يقوم النظام فوراً بتوجيهه للعودة لإصلاح الخطأ، بدلاً من تركه يضيع.

5. لماذا يهم هذا (وفقاً للورقة البحثية)

يسلط المؤلفون الضوء على ثلاث قدرات خارقة لنظامهم:

القابلية للنقل (Transferability): قاموا بتدريب روبوت في عالم شبكي بسيط، وعمل بشكل جيد بشكل مدهش عند نقله إلى محاكي طائرة بدون طيار واقعي (AirSim). الأمر يشبه تعلم القيادة في موقف سيارات ثم القدرة على القيادة على طريق سريع حقيقي.
الوحدات (Modularity): إذا كنت تريد إضافة خطوة جديدة للمهمة (مثل "غسل النوافذ" بعد "تنظيف الأرضية")، يمكنك ببساطة دمجها في الشجرة دون إعادة بناء النظام بالكامل. إنه مثل إضافة فصل جديد إلى كتاب دون إعادة كتابة القصة بأكملها.
القابلية للتحقق (Verifiability): نظرًا لأنهم استخدموا "مدقق المنطق"، يمكنهم إثبات أن القواعد التي أنشأها الذكاء الاصطناعي صحيحة رياضياً، بدلاً من مجرد الأمل في أنها ستعمل.

باختاً: تظهر الورقة البحثية كيفية استخدام الذكاء الاصطناعي لكتابة "مدرب ذكي" للروبوتات تلقائياً. هذا المدرب يقسم المهام الكبيرة إلى خطوات صغيرة، ويخفي الأزرار غير المفيدة، ويصحح الأخطاء فوراً، مما يجعل الروبوتات تتعلم المهام المعقدة بشكل أسرع وأكثر موثوقية من ذي قبل.

ملخص تقني: تشكيل المكافأة وحجب الإجراءات للمهام التركيبية باستخدام أشجار السلوك والنماذج اللغوية الكبيرة

1. بيان المشكلة

غالًا ما تواجه الوكلاء المستقلون مهامًا معقدة تتطلب تفكيك هدف عالٍ المستوى إلى سلسلة من المهام الفرعية الأبسط، مثل التنقل إلى كائن ما، والتعامل معه، ثم المضي قدمًا نحو الهدف. وبينما يمكن لتعلم التعزيز (RL) تحسين السياسات لهذه المهام الفرعية، فإنه يعاني من انخفاض كفاءة العينات بدون وظائف مكافأة وأقنعة إجراءات محددة جيدًا. ويعد تصميم هذه المكونات يدويًا أمرًا صعبًا لأنه يتطلب:

تحديد المهام الفرعية المناسبة.
ضمان الاستجابة (Reactivity) للفشل في المهام الفرعية (على سبيل المثال، إذا أسقط الوكيل مفتاحًا، يجب عليه التراجع لالتقاطه مرة أخرى بدلاً من المضي قدمًا).
الحفاظ على النمطية (Modularity) عبر مختلف كائنات المهام (على سبيل المثال، يجب أن ينطبق نفس المنطق سواء كان الكائن "مفتاحًا أحمر" أو "مفتاحًا أزرق").

تفشل النهج المؤتمتة الحالية التي تستخدم النماذج اللغوية الكبيرة (LLMs) أو نماذج اللغة والرؤية (VLMs) غالبًا في معالجة الاستجابة للفشل بالكامل، أو نمطية المهام التركيبية، أو التحسين المشترك للمكافأة وحجب الإجراءات، رغم أنها قد تولد كود مكافأة أو آلات حالة محدودة.

2. المنهجية

يقترح المؤلفون أشجار سلوك المكافأة الحاجبة (Masking Reward Behavior Trees - MRBTs)، وهي بنية رمزية تعمل كدالة لتشكيل المكافأة ودالة لحجب الإجراءات في آن واحد. تدمج المنهجية ثلاث مكونات أساسية: قالب شجرة السلوك، والمواصفات المنطقية للتحقق، ومسار عمل مؤتمت باستخدام نموذج لغوي كبير (LLM) وحلال مسائل (SMT solver).

2.1. شجرة سلوك المكافأة الحاجبة (MRBT)

الـ MRBT هي شجرة سلوك (Behavior Tree) حيث تكون العقد الورقية عبارة عن آلات مكافأة سلوكية حاجبة (Masking Behavior Reward Machines - MBRMs).

البنية: تقوم شجرة السلوك بتنسيق التنفيذ عبر عقد التحكم (التتابع → والارتداد ?).
الأوراق: كل ورقة هي MBRM تخرج مكافأة قياسية وقناع إجراء منفصل بناءً على حالة الوكيل والمهمة.
الاستجابة (Reactivity): تمكن بنية شجرة السلوك من التراجع (Backtracking). إذا فشلت مهمة فرعية (مثل فشل تفاعل)، تعود شجرة السلوك إلى حالة سابقة، مما يضمن إعادة محاولة الوكيل للخطوة الضرورية بدلاً من تلقي مكافأة عن تسلسل غير مكتمل.
النمطية (Modularity): تستخدم MRBT أماكن محجوزة (Placeholders) للمهام الفرعية والصيغ المنطقية، مما يسمح لها بالتكيف مع سمات الكائنات المختلفة (مثل الألوان) ضمن مجال مهمة محدد.

2.2. قالب MRBT

صمم المؤلفون قالبًا محددًا لمهام التفاعل مع الكائنات المتسلسلة. بالنسبة لتسلسل من $k$ من المهام الفرعية، يتضمن القالب:

الصيغ المنطقية: لكل مهمة فرعية $i$ ، يحدد صيغة إتمام ( $\psi_i$ ) وصيغة قرب من الكائن ( $\phi_i$ ).
أقنعة الإجراءات: قناعان لكل مهمة فرعية: $\eta_{i,1}$ للملاحة و $\eta_{i,2}$ للتفاعل.
منطق التنفيذ: تنفذ شجرة السلوك تسلسلاً من الـ MBRMs. إذا اكتملت مهمة فرعية، تنتقل إلى التالية؛ وإذا كان الوكيل قريبًا من الكائن، فإنها تمكن التفاعل؛ وإلا، فإنها تمكن الملاحة. إذا فشلت مهمة فرعية (انتقال الحالة إلى الفشل)، تتراجع شجرة السلوك.

2.3. مسار التوليد والتحقق المؤتمت

لأتمتة إنشاء الـ MRBTs، طور المؤلفون مسار عمل (الشكل 1) يتضمن:

توليد النموذج اللغوي الكبير (LLM Generation): يأخذ نموذج لغوي كبير (ChatGPT-5) وصف المهمة، وقالب MRBT، ومحمولات البيئة (environment predicates) كمدخلات. يقوم بتوليد المهام الفرعية المحددة، والصيغ المنطقية ( $\psi_i, \phi_i$ )، وأقنعة الإجراءات ( $\eta_{i,1}, \eta_{i,2}$ ).
التحقق باستخدام حلال المسائل (SMT Verification): يتم بناء نموذج رمزي لديناميكيات البيئة ( $E_{sym}$ $E_{sy m}$ ) في حلال SMT (Z3). يتحقق الحلال من صحة الصيغ المنطقية المولدة مقابل ثلاثة مواصفات:
- صحة الإتمام (Completion Correctness): تضمن أنه إذا اكتملت المهمة النهائية، فقد اكتملت جميع المهام الفرعية.
- القرب من الكائن (Object Proximity): تضمن أن الوكيل قريب من الكائن مباشرة قبل إتمام المهمة الفرعية.
- المكافأة القصوى غير التراجعية (Non-regressive Maximal Reward): تضمن أنه بمجرد اكتمال مهمة فرعية، تظل مكتملة (لا يوجد تراجع) لتحقيق المكافأة القصوى.
التحسين (Refinement): إذا وجد حلال SMT مثالاً مضادًا (على سبيل المثال، مسار يكتمل فيه الوكيل المهمة دون استيفاء شرط المهمة الفرعية)، فإنه يولد مطالبة تصحيح (debug prompt). يتم إعادة توجيه المطالبة للنموذج اللغوي الكبير مع هذا المثال المضاد لتنقيح الصيغ المنطقية حتى تصبح قابلة للإرضاء (satisfiable).
تدريب التعلم العصبي الرمزي (Neurosymbolic RL Training): يتم دمج الـ MRBT التي تم التحقق منها في حلقة تعلم تعزيز عصبي رمزي (باستخدام PPO) لتدريب الوكيل. توفر الـ MRBT إشارة المكافأة وتقيد مساحة الإجراءات في كل خطوة.

3. المساهمات الرئيسية

إطار عمل MRBT: تقديم بنية رمزية تعمل كدالة للمكافأة وحجب الإجراءات معًا، مصممة خصيصًا للاستجابة والنمطية في المهام التركيبية.
قالب ومواصفات MRBT: قالب منهجي لبناء MRBTs لمهام التفاعل مع الكائنات المتسلسلة، مصحوبًا بمواصفات منطقية للتحقق من الصحة (الإتمام، القرب، وعدم التراجع) باستخدام حلال SMT.
مسار عمل مؤتمت: نظام يستخدم نموذجًا لغويًا كبيرًا لتوليد MRBTs وحلال SMT للتحقق منها وتحسينها، مما يضمن المتانة عبر مجال مهام متنوع.
تقييم شامل: تجارب عبر خمسة مجالات مهام في بيئتين (MiniGrid و MuJoCo Fetch) تحت ديناميكيات حتمية وعشوائية.
تحليل المزايا: إثبات قابلية نقل MRBTs (إلى AirSim)، ونمطيته (يتفوق في التوسع على Hierarchical Reward Machines)، وقابليته للتحقق (ضمانات نظرية عبر Z3).

4. النتائج التجريبية

قيم المؤلفون نهج MRBT مقابل نموذجين مرجعيين:

المهمة: مكافأة ثنائية تُعطى فقط عند إتمام المهمة بالكامل.
الإجراء: آلة مكافأة تعتمد على VLM-CaR تمنح مكافآت لإتمام المهام الفرعية ولكنها تفتقر إلى التراجع التفاعلي وحجب الإجراءات.
RBT (دراسة الاستبعاد): MRBT بدون حجب الإجراءات.

النتائج الرئيسية:

كفاءة التدريب والنجاح: حققت MRBTs باستمرار كفاءة تدريب ومعدلات نجاح في المهام أعلى مقارنة بالنماذج المرجعية ودراسة الاستبعاد RBT.
التعامل مع التعقيد: في أكثر مجالات المهام تعقيدًا (LockedRoom، 4 مهام فرعية، 36 متغيرًا)، حققت MRBTs متوسط معدل نجاح $\ge 80\%$ ، بينما حققت النماذج المرجعية $\le 70\%$ .
العشوائية: حافظت MRBTs على أداء عالٍ في البيئات العشوائية (مثل سقوط المفاتيم عشوائيًا)، مما يظهر قيمة التراجع التفاعلي.
قابلية النقل: انتقلت السياسات المدربة باستخدام MRBT في MiniGrid بنجاح إلى محاكي طائرة بدون طيار واقعي (AirSim)، محققة معدل نجاح 97% في الإعدادات الحتمية و94% في الإعدادات العشوائية، متفوقة على جميع دراسات الاستبعاد.
النمطية: تتوسع بنية MRBT بشكل أكثر نمطية من Hierarchical Reward Machines (HRMs)؛ حيث يتطلب إضافة مهمة فرعية إلى MRBT تخزينًا بمقدار $O(1)$ ، بينما تتطلب HRMs تخزينًا بمقدار $O(k)$ للحواف الراجعة.
التحقق: نجح حلال SMT في تحسين الصيغ المنطقية المولدة (مثل تصحيح عتبات القرب أو شروط الاستمرار) في أقل من 10 دقائق لمعظم المهام.

5. الأهمية والادعاءات

يدعي البحث أن MRBTs تقدم حلاً قويًا لأتمتة تشكيل المكافأة وحجب الإجراءات في المهام التركيبية. تكمن الأهمية في ثلاث مزايا رئيسية:

قابلية النقل: تسمح الطبيعة الرمزية لـ MRBTs للسياسات المدربة في المحاكاة بالانتقال بفعالية إلى محاكيات واقعية (AirSim) وكائنات مهام متنوعة.
النمطية: على عكس آلات الحالة المحدودة أو آلات المكافأة، تسمح بنية الشجرة لـ MRBTs بسهولة أكبر في التوسع والتعديل مع زيادة تعقيد المهمة.
القابلية للتحقق: من خلال دمج حلالات SMT، يوفر النهج ضمانات نظرية بأن منطق المكافأة وحجب الإجراءات صحيح فيما يتعلق بمواصفات المهمة، وهي ميزة ليست موجودة في النهج القائمة حصريًا على البيانات أو العروض التوضيحية.

يخلص المؤلفون إلى أنه بينما يتطلب النهج حلال SMT للتحقق، فإن الـ MRBTs الناتجة تحسن بشكل كبير كفاءة التعلم ونجاح المهمة، خاصة في البيئات المعقدة متعددة الخطوات حيث تكون الاستجابة للفشل أمرًا بالغ الأهمية. وقد تمت الإشارة إلى العمل المستقبلي لاستكشاف تعميم قالب MRBT بشكل أكبر.