💬 NLP

Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications

تقدم هذه الورقة البحثية تصميم المكافأة الهرمي من اللغة (HRDL) وحله، "من اللغة إلى المكافآت الهرمية" (L2HR)، لترجمة المواصفات البشرية الدقيقة إلى دالات مكافأة هرمية تضمن مواءمة سلوك وكيل الذكاء الاصطناعي بشكل أفضل مع التوقعات البشرية في المهام المعقدة طويلة المدى.

المؤلفون الأصليون: Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية طهي وجبة معقدة، مثل سلطة. أنت لا تريد فقط من الروبوت أن ينهي صنع السلطة؛ بل تريده أن يفعل ذلك بطريقة محددة. ربما تريد منه أن يقطع الطماطم أولاً، ثم البصل، وأخيراً الخس. أو ربما تريد منه تجنب الخطو على بقعة معينة في الأرض أثناء حمله للبيض.

هذا هو جوهر المشكلة التي تعالجها الورقة البحثية: كيف نعلم الذكاء الاصطناعي ليس فقط ماذا يفعل، بل كيف يفعل ذلك؟

إليك شرح مبسط لأفكار الورقة، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: التعليمات "المسطحة"

تقليدياً، عندما نبرمج الذكاء الاصطناعي، نعطيه مجموعة "مسطحة" من التعليمات. فكر في هذا كأنه قائمة مهام واحدة ضخمة حيث كل عنصر فيها هو مجرد "افعل س".

المشكلة: إذا قلت للروبوت "اصنع سلطة، لكن اقطع الطماطم قبل البصل"، فإن نظام التعليمات المسطحة يعاني. فهو يرى المهمة بأكملها ككتلة واحدة كبيرة. إنه لا يفهم أن "تقطيع الطماطم" هو خطوة متميزة تحدث قبل "تقطيع البصل".
النتيجة: قد يقطع الروبوت البصل أولاً، ثم الطماطم، ثم يصاب بالارتباك. قد يمشي أيضاً عبر "منطقة خطر" (مثل موقد ساخن) أثناء حمله لبيضة هشة لأنه لا يفهم سياق حمل البيضة.

تجادل الورقة بأن التعليمات المسطحة للمهام المعقدة تشبه محاولة وصف سيمفونية عن طريق سرد النوتات الموسيقية فقط دون ذكر الإيقاع أو الأجزاء. إنها تفتقر إلى الهيكل.

2. الحل: المدير "الهرمي"

يقترح المؤلفون طريقة جديدة للتفكير تسمى تصميم المكافآت الهرمي (Hierarchical Reward Design).

تخيل موقع بناء.

النهج المسطح: تخبر كل العمال "ابنوا منزلاً"، وتعطي مكافأة مقابل كل طوبة يضعونها. هم لا يعرفون ما إذا كانوا يبنون الأساس، أم الجدران، أم السقف. هم فقط يضعون الطوب عشوائياً حتى ينتهي المنزل.
النهج الهرمي: لديك مدير موقع (مستوى عالٍ) وفرق عمل (مستوى منخفض).
- المدير يحدد التسلسل: "أولاً، صب الأساس. ثم ابنِ الجدران. ثم ضع السقف".
- فرق العمل تنفذ التفاصيل: "حسناً، نحن الآن نصب الأساس. دعونا نخلط الإسمنت ونصبه بعناية".

في هذا النظام الجديد، يمتلك الذكاء الاصطناعي "عقلين" يعملان معاً:

العقل عالي المستوى: يقرر أي مهمة فرعية سيقوم بها تالياً (مثلاً: "اذهب لإحضار البيض").
العقل منخفض المستوى: يقرر كيف يؤدي تلك المهمة الفرعية المحددة (مثلاً: "امشِ بحذر حتى لا أسقط البيض").

3. الأداة السحرية: L2HR (تحويل اللغة إلى مكافآت هرمية)

تقدم الورقة أداة تسمى L2HR. هذا هو الجسر بين لغة البشر وكود الروبوت.

كيف تعمل: تتحدث إلى الذكاء الاصطناعي بلغة إنجليزية بسيطة. تقول له: "من فضلك احمل التفاح والبيض، ولكن تأكد من التناوب بينهما، ولا تمشِ بالقرب من الكرسي أثناء حمل البيض".
الترجمة: يستخدم L2HR نموذج لغة ضخماً (مثل الذي يشغل هذه الدردشة) لترجمة جملتك الإنجليزية إلى "أكواد مكافأة" منفصلة:
- كود للمدير: "أعطِ مكافأة إذا حمل الروبوت بيضة بعد تفاحة".
- كود لفريق العمل: "أعطِ عقوبة إذا اقترب الروبوت كثيراً من الكرسي أثناء حمل البيض".

4. لماذا هذا مهم (تشبيه "نظام الـ GPS")

فكر في الطريقة القديمة (المكافآت المسطحة) كأنها نظام GPS يعرف وجهتك النهائية فقط. يقول لك: "اذهب إلى المتجر". لا يهتم إذا كنت ستمر بمنطقة مدرسية أو تسلك طريقاً مختصراً خطيراً، طال-ما أنك ستصل.

الطريقة الجديدة (المكافآت الهرمية) تشبه نظام GPS ذكي مع مساعد طيار.

المساعد (المستوى العالي) يقول: "نحتاج للتوقف عند محطة الوقود قبل الذهما إلى المتجر".
السائق (المستوى المنخفض) يقول: "حسناً، أنا أتوقف عند محطة الوقود، وسأقود ببطء لأن هناك أطفالاً يلعبون في الجوار".

5. النتائج

اختبر الباحثون هذا في ثلاثة "عوالم" مختلفة:

عالم الإنقاذ (Rescue World): روبوت يسلم الإمدادات في منطقة كوارث.
iTHOR: روبوت في مطبخ افتراضي يلتقط التفاح والبيض.
المطبخ (Kitchen): روبوت يصنع سلطة بترتيب تقطيع محدد.

كانت النتائج واضحة:

المكافآت المسطحة: غالباً ما فشلت الروبوتات في اتباع تعليمات "الكيفية". قد تسلم الإمدادات ولكن بالترتيب الخاطئ، أو قد تسقط البيض بالقرب من الكرسي.
المكافآت الهرمية (L2HR): اتبعت الروبوتات التعليمات بدقة. لقد تناوبوا بين العناصر بشكل صحيح، وتجنبوا مناطق الخطر تحديداً عند حمل أشياء هشة، وقطعوا الخضروات بالترتيب المطلوب تماماً.

ملخص

تتعلق هذه الورقة بتطوير كيفية مخاطبة الذكاء الاصطناعي. بدلاً من إعطاء الذكاء الاصطناعي هدفاً واحداً غامضاً، نحن نعلمه كيفية تقسيم الأهداف الكبيرة إلى خطوات أصغر يمكن إدارتها واتباع قواعد حول كيفية أداء تلك الخطوات.

باستخدام اللغة إلى المكافآت الهرمية (L2HR)، يمكننا ببساطة أن نقول للذكاء الاصطناعي: "افعل هذا بهذه الطريقة"، وسيفهم هيكل المهمة، ويتصرف كأنه موظف بشري مسؤول أكثر مما هو آلة مرتبكة تحاول فقط إنجاز العمل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تصميم المكافآت الهرمي من اللغة: تعزيز توافق سلوك الوكيل مع المواصفات البشرية."

1. بيان المشكلة

مع نشر وكلاء الذكاء الاصطناعي في بيئات معقدة وطويلة الأمد (مثل المنازل أو المستشفيات)، يصبح ضمان التزامهم ليس فقط بإكمال المهام، بل أيضاً بالمواصفات السلوكية البشرية الدقيقة (السلامة، النظام، الأسلوب) أمراً بالغ الأهمية.

قصور المكافآت المسطحة (Flat Rewards): يعتمد التعلم التعزيزي (RL) التقليدي على دوال مكافأة مسطحة $r(s, a)$ $r (s, a)$ تربط أزواج الحالة-الإجراء بقيم عددية. يرى المؤلفون أن المكافآت المسطحة محدودة جوهرياً في التقاط المواصفات المعقدة للمهام طويلة الأمد، لا سيما تلك التي تتطلب:
- تسلسل المهام الفرعية: قرارات مبنية على تاريخ المهام الفرعية المنفذة (مثلاً: "توصيل جميع المواد الغذائية قبل الانتقال إلى المستلزمات الطبية").
- التنفيذ المعتمد على السياق: استراتيجيات تنفيذ مختلفة بناءً على الهدف رفيع المستوى الحالي (مثلاً: "تجنب العوائق فقط عند حمل أشياء هشة").
الفجوة: بينما يقوم التعلم التعزيزي الهرمي (HRL) بتفكيك المهام إلى مهام فرعية (خيارات/options)، فإن تصميم المكافآت لهؤلاء الوكلاء الهرميين لا يزال غير مستكشف إلى حد كبير. الطرق الحالية غالباً ما تجبر الوكلاء الهرميين على استخدام إشارات مكافأة مسطحة، مما يفقدهم الفوائد الهيكلية للهرمية.

2. المنهجية

تقدم الورقة إطاراً رسمياً وخوارزمية محددة لحل هذه المشكلة.

أ. تصميم المكافآت الهرمي (HRD)

قام المؤلفون بتعريف مشكلة تصميم المكافآت الهرمي (HRD) رسمياً، كإمتداد لمشكلة تصميم المكافآت (RDP) الكلاسيكية.

الهيكل: بدلاً من مكافأة مسطحة واحدة، يستخدم HRD دالتي مكافأة متميزتين:
1. المكافأة رفيعة المستوى ( $r_H$ ): دالة $r_H(o_{prev}, s, o_{curr})$ توجه اختيار المهمة الفرعية (الخيار) التالية. وهي تشفر المواصفات المتعلقة بـ ما هي المهام الفرعية التي يجب تنفيذها وبأي ترتيب.
2. المكافأة منخفضة المستوى ( $r_L$ ): دالة $r_L(s, o, a)$ توجه تنفيذ الإجراءات الأولية ضمن مهمة فرعية محددة. وهي تشفر المواصفات المتعلقة بـ كيفية تنفيذ المهمة الفرعية.
القدرة التعبيرية النظرية: تثبت الورقة أن HRD أكثر تعبيراً بشكل صارم من تصميم المكافآت المسطحة.
- الخاصية 1: يمكن للمكافآت رفيعة المستوى تشفير الاعتمادات على الخيارات السابقة (مثلاً: "إذا كان الخيار الأخير هو A، فالخيار التالي يجب أن يكون B")، وهو ما لا تستطيع المكافآت المسطحة فعله لأنها تفتقر إلى الوصول إلى تاريخ الخيارات في الحالة $s$ .
- الخاصية 2: يمكن للمكافآت منخفضة المستوى تشفير قيود التنفيذ الخاصة بالخيار الحالي (مثلاً: "التحرك ببطء فقط عندما يكون الخيار هو 'حمل شيء هش'")، وهو ما لا تستطيع المكافآت المسطحة التمييز بينه.
التوافق: أُثبت أن الإطار متوافق مع نماذج اتخاذ القرار القياسية، مما يستحث عملية اتخاذ قرار ماركوف (MDP) في المستوى المنخفض، وعملية اتخاذ قرار شبه ماركوف (SMDP) في المستوى الرفيع.

ب. تصميم المكافآت الهرمي من اللغة (HRDL)

لجعل HRD عملياً، عرّف المؤلفون HRDL، وهو حالة محددة حيث يتم توليد دوال المكافأة من مواصفات اللغة الطبيعية.

ج. من اللغة إلى المكافآت الهرمية (L2HR)

L2HR هي الخوارزمية المقترحة لحل HRDL باستخدام النماذج اللغوية الكبيرة (LLMs).

المدخلات: أوصاف باللغة الطبيعية لأهداف المهام وتفضيلات السلوك، جنباً إلى جنب مع سياق كود البيئة (مساحات الحالة/الأفعال).
استراتيجية التلقين (Prompting Strategy): يتم تلقيم النموذج اللغوي بتعليمات مهيكلة لتوليد كود لدالتين منفصلتين:
1. get_high_level_pref: تأخذ (state, prev_option, current_option) كمدخل.
2. get_low_level_pref: تأخذ (state, current_option, action) كمدخل.
إجراء التدريب ذو المرحلتين:
1. المرحلة الأولى (المستوى المنخفض): يقوم النموذج اللغوي بتوليد $k$ من دوال المكافأة المرشحة منخفضة المستوى. تُستخدم هذه الدوال لتدريب السياسات منخفضة المستوى. ويتم الاحتفاظ فقط بالسياسات التي تنجح في إكمال المهام الفرعية (بناءً على مكافآت وهمية).
2. المرحلة الثانية (المستوى الرفيع): يقوم النموذج اللغوي بتوليد $k$ من دوال المكافأة المرشحة رفيعة المستوى. تُستخدم هذه الدوال لتدريب السياسات رفيعة المستوى، بشرط اعتمادها على السياسات الصالحة من المرحلة الأولى.
التصفية: يقوم النظام بتصفية مرشحي المكافآت التي تؤدي إلى أخطاء في بناء الجملة (Syntax errors) أو تفشل في الحفاظ على جدوى المهمة (أي فشل الوكيل في إكمال المهمة الأساسية).

3. المساهمات الرئيسية

تعريف رسمي للمشكلة: أول تعريف رسمي لمشكلة تصميم المكافآت الهرمي (HRD)، مما يضع أساساً نظرياً لتصميم المكافآت للوكلاء الهرميين.
إثبات نظري: إثبات أن المكافآت الهرمية أكثر تعبيراً بشكل صارم من المكافآت المسطحة في التقاط مواصفات السلوك طويلة الأمد (ترتيب المهام الفرعية والتنفيذ المعتمد على السياق).
الخوارزمية (L2HR): خوارزمية مبتكرة تستفيد من النماذج اللغوية الكبيرة لتخليق كود المكافآت الهرمية مباشرة من اللغة الطبيعية، مما يسد الفجوة بين القصد البشري وتدريب الوكيل المعقد.
التحقق التجريبي: تجارب شاملة تثبت تفوق L2HR على النماذج المرجعية (Baselines) ذات المكافآت المسطحة في كل من البيئات المحاكية والتقييمات البشرية.

4. النتائج التجريبية

قيم المؤلفون L2HR مقابل نموذج مرجعي "مسطح" (حيث يقوم النموذج اللغوي بتوليد مكافأة مسطحة واحدة مفككة إلى مكونات هرمية) ونموذج مرجعي "للمهام فقط" عبر ثلاثة مجالات: Rescue World، و iTHOR، و Kitchen.

الصحة النحوية (Q1): سجل توليد المكافآت الهرمية معدلات خطأ في بناء جمل الكود أقل بكثير من التوليد المسطح. غالباً ما تطلبت المكافآت المسطحة من النموذج اللغوي "هلوسة" متغيرات الحالة (مثل "نوع الكائن السابق") التي لم تكن متاحة في مساحة الحالة المسطحة، بينما وفرت التلقينات الهرمية السياق اللازم (الخيارات) بشكل صريح.
جدوى المهمة (Q2): حافظ الوكلاء المدربون بمكافآت هرمية (Hier) على معدلات عالية لإكمال المهام. غالباً ما فشلت الوكلاء ذات المكافآت المسطحة في المهام لأن المكافآت المولدة تداخلت مع الهدف الأساسي أو اعتمدت على استدلالات زائفة لاستنتاج التاريخ المفقود.
التوافق مع المواصفات (Q3):
- Rescue World: حقق الوكلاء الهرميون 76.92% من التوافق مع مستوى الخبير في الاستمرارية رفيعة المستوى (توصيل جميع العناصر من نوع واحد قبل التبديل)، مقارنة بـ 12.50% للنموذج المسطح. لم تستطع المكافآت المسطحة تمثيل تبعية "الخيار السابق".
- iTHOR: حقق الوكلاء الهرميون 87.50% من التوافق رفيع المستوى (التبديل بين أنواع الكائنات) و 75.00% من التوافق منخفض المستوى (تجنب الكرسي فقط عند التعامل مع البيض). فشلت الوكلاء المسطحة في تعلم نمط التبديل بفعالية.
- Kitchen: حقق الوكلاء الهرميون 92.86% توافقاً مع تسلسل تقطيع محدد، بينما حققت الوكلاء المسطحة 10.00% فقط.
التقييم البشري: في دراسة مستخدمين شارك فيها أشخاص غير خبراء، تم تقييم الوكلاء المدربين بمكافآت هرمية باستمرار بدرجات أعلى بكثير (متوسط درجة > 4.0) للتوافق مع المواصفات السلوكية مقارنة بالوكلاء ذوي المكافآت المسطحة.

5. الأهمية

يمثل هذا العمل خطوة هامة نحو الذكاء الاصطناعي المسؤول من خلال توفير آلية لترجمة القيم البشرية المعقدة والقواعد التشغيلية إلى إشارات مكافأة قابلة للتنفيذ للوكلاء المتطورين.

القابلية للتوسع: يعالج مشكلة قابلية التوسع في تصميم المكافآت؛ فكلما أصبحت المهام أكثر تعقيداً، أصبح تصميم المكافآت يدوياً أمراً مستحيلاً. تقوم L2HR بأتمتة ذلك للهياكل الهرمية.
التوافق: يتجاوز مجرد "إكمال المهمة" لضمان أن الوكلاء يتصرفون بطرق آمنة، فعالة، ومتسقة مع التوقعات البشرية (مثل بروتوكولات السلامة، أو تفضيلات سير العمل).
الاتجاه المستقبلي: تضع هذه الورقة حجر الأساس للأبحاث المستقبلية التي تجمع بين الهياكل الهرمية مع نماذج التوافق الأخرى (مثل التعلم من الأمثلة العكسية أو التعلم من التوضيح) وتطبيق هذه الطرق على الروبوتات في العالم الحقيقي.

باختصار، تجادل الورقة بأنه لضمان توافق الذكاء الاصطناعي مع الاحتياجات البشرية في البيئات المعقدة، يجب أن نتجاوز دوال المكافأة المسطحة. ومن خلال صياغة تصميم المكافآت الهرمي وحله عبر L2HR، يوضح المؤلفون أنه يمكن تدريب الوكلاء ليس فقط لإنهاء المهام، بل للقيام بذلك بطريقة تلتزم بصرامة بالمواصفات البشرية الدقيقة.