🤖 AI

SkillMaster: Toward Autonomous Skill Mastery in LLM Agents

يُعد SkillMaster إطار عمل تدريبي مبتكر يُمكّن وكلاء النماذج اللغوية الكبيرة من إنشاء المهارات وصقلها واختيارها بشكل ذاتي من خلال المراجعة القائمة على المسارات، وتقييم المنفعة القائم على السيناريوهات المقابلة للواقع، وخوارزمية تعلم تعزيزي ذات ميزة مزدوجة، مما يحقق تحسينات كبيرة في الأداء وقدرات التحسين الذاتي في المهام المعقدة دون توجيه خارجي.

المؤلفون الأصليون: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة SKILLMASTER البحثية، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات من الحياة اليومية.

الفكرة الكبرى: من أمين مكتبة إلى خبير عصامي

تخيل أنك تعلم روبوتًا (عميل ذكاء اصطناعي) كيفية القيام بالأعمال المنزلية، مثل تنظيف المنزل أو التسوق عبر الإنترنت.

الطريقة القديمة (التقنيات الحالية):
تخيل الروبوت كطالب لديه أمين مكتبة خارجي صارم جدًا.

يحاول الروبوت تنفيذ مهمة ما.
إذا فشل، يقوم أمين المكتبة (برنامج حاسوبي خارجي) بالنظر فيما حدث، ويكتب "قاعدة" أو "مهارة" جديدة على ورقة ويضعها في كتاب.
الروبوت لا يعرف كيف يكتب هذه القواعد؛ هو فقط يتعين عليه البحث عنها في الكتاب عندما يحتاجها.
المشكلة: الروبوت سلبي. لا يمكنه تقرير ما إذا كانت القاعدة جيدة أم سيئة، ولا يمكنه إصلاح قاعدة خاطئة قليلاً. هو فقط يتبع تعليمات أمين المكتبة.

الطريقة الجديدة (SKILLMASTER):
يحول SKILLMASTER الروبوت إلى خبير عصامي يدير دفتر ملاحظاته الخاص.

يحاول الروبوت تنفيذ مهمة ما.
بعد ذلك، ينظر إلى أدائه ويسأل نفسه: "هل أبليت بلاءً حسنًا؟ هل فاتني خطوة ما؟ هل هناك طريقة أفضل للقيام بهذا؟"
ثم يستخدم أداة خاصة لكتابة قاعدة جديدة، أو إصلاح قاعدة قديمة، أو الإبقاء على القواعد الحالية في دفتر ملاحظاته الخاص.
والأهم من ذلك، أنه يتعلم كيفية كتابة هذه القواعد من خلال رؤية ما إذا كانت ستساعده بالفعل على الأداء بشكل أفضل في المرة القادمة.

كيف يعمل: الخدع السحرية الثلاث

تقدم الورقة ثلاث حيل محددة لجعل هذا التعلم الذاتي ممكنًا.

1. "مراجعة ما بعد المباراة" (مراجعة المهارة بناءً على المسار)

التشبيه: تخيل لاعب كرة سلة يشاهد تسجيلًا لمباراته فور انتهائها.

الطريقة القدة: يشاهد المدرب الشريط ويقول للاعب: "في المرة القينة، سدد من الجانب الأيسر".
طريقة SKILLMASTER: يشاهد اللاعب الشريط، ويدرك: "لقد استمررت في الخطأ لأنني لم أكن أتفقد الزاوية أولاً"، ثم يكتب تلك الملاحظة في سجل خططه الخاص.
في الورقة البحثية: بعد أن ينهي الذكاء الاصطناعي مهمة ما (مثل العثور على حبة طماطم في الثلاجة)، يراجع قصة ما حدث بالكامل. ثم يستخدم "استدعاء أداة" (مثل قلم رقمي) ليقرر: اقتراح مهارة جديدة، تحديث مهارة قديمة، أو الإبقاء على الأمور كما هي.

2. "تجربة القيادة" (مكافأة المنفعة المقابلة للواقع)

التشبيه: تخيل أنك اخترعت طريقة جديدة لربط حذائك. كيف تعرف أنها أفضل حقًا؟ أنت لا تخمن فحسب؛ بل تجربها على زوج آخر من الأحذية لترى ما إذا كانت ستعمل.

المشكلة: إذا قام الروبوت بتغيير كتاب قواعده، فكيف يعرف أن التغيير جيد؟ مجرد نجاحه مرة واحدة لا يعني أن القاعدة الجديدة مثالية.
طريقة SKILLMASTER: عندما يقترح الروبوت تغييرًا في مهاراته، يقوم النظام بإجراء "تجربة قيادة". يأخذ مهمة مختلفة ولكن مشابهة (مهمة اختبارية) ويحاول تنفيذها باستخدام القواعد القديمة مقابل القواعد الجديدة.
- إذا جعلت القواعد الجديدة الروبوت ينهي المهمة بشكل أسرع أو ينجح حيث كان يفشل سابقًا، يحصل الروبوت على مكافأة "عمل جيد".
- إذا جعلت القواعد الجديدة الأمور أسوأ، يحصل على عقوبة.
النتيجة: يتعلم الروبوت ألا يحتفظ إلا بالتغييرات التي تحسن أداءه فعليًا في المهام المشابهة مستقبلاً.

3. "العقل ثنائي المسار" (DualAdv-GRPO)

التشبيه: تخيل سائقًا هو أيضًا ميكانيكي.

المسار أ (القيادة): "أحتاج إلى تدوير المقود لليسار لتجنب حفرة". (هذا يحتاج إلى رد فعل فوري).
المسار ب (الميكانيكي): "يجب أن أشد هذا البرغي لكي تعمل السيارة بشكل أفضل الأسبوع المقبل". (هذا يحتاج إلى رد فعل طويل الأمد).
المشكلة: إذا خلطت هذين الهدفين معًا، سيصاب الدماغ بالارتباك. "هل يجب أن أدير المقود لليسار أم أشد البرغي؟"
طريقة SKILLMASTER: يقوم النظام بفصل هذين النوعين من الأفكار. فهو يحسب "درجة" أفعال القيادة بشكل منفصل عن "درجة" كتابة قواعد جديدة. ثم يدمجهما بعناًية بحيث يتعلم الروبوت القيادة و تعلم كيفية التعلم، دون أن يفسد أحدهما الآخر.

ماذا حدث في التجارب؟

اختبر الباحثون هذا على عالمين مشهورين "لألعاب الفيديو" الخاصة بالذكاء الاصطناعي:

ALFWorld: منزل محاكى حيث يتعين على الروبوت نقل الأشياء (مثل "ضع الطماطم الباردة في الثلاجة").
WebShop: متجر إلكتروني محاكى حيث يتعين على الروبوت العثور على عناصر محددة وشرائها (مثل "اشترِ قميصًا أزرق بسعر أقل من 20 دولارًا").

النتائج:

نتائج أفضل: تفوق SKILLMASTER على جميع الطرق الأخرى، بما في ذلك تلك التي تستخدم نماذج "معلمة" قوية ومُدربة مسبقًا. لقد حسن معدلات النجاح بنسبة تتراوح بين 8.8% إلى 9.3%.
التحسين الذاتي: لم يكن الروبوت محظوظًا فحسب؛ بل تعلم بالفعل رصد أخطائه. على سبيل المثال، إذا استمر في البحث في الأدراج الخاطئة عن الطعام، فقد كتب قاعدة جديدة: "لا تبحث في المناطق ذات الاحتمالية المنخفضة أولاً".
استيعاب المهارات: بشكل مثير للاهتمام، بعد التدريب، لم يعد الروبوت بحاجة حتى إلى البحث في "دفتر ملاحظاته" كثيرًا. لقد تعلم المهارات جيدًا لدرجة أنها أصبحت جزءًا من عملية تفكيره الطبيعية، مثل الإنسان الذي يتعلم ركوب الدراجة ولا يحتاج بعد ذلك للتفكير في التوازن.

الملخص

SKILLMASTER هو إطار عمل يتوقف عن معاملة مهارات الذكاء الاصطناعي كملفات ثابتة يديرها كمبيوتر خارجي. بدلاً من ذلك، يمنح الذكاء الاصطناعي القدرة على كتابة وتعديل واختبار قواعده الخاصة بناءً على تجاربه الخاصة. إنه الفرق بين طالب يُسلم إليه كتاب مدرسي، وطالب يكتب كتابه المدرسي الخاص، ويختبر فصوله، ويحتفظ فقط بالفصول التي تساعده على الحصول على درجة "امتياز".

ملخص تقني: SKILLMASTER

بيان المشكلة

تعاني وكلاء النماذج اللغوية الكبيرة (LLMs) من صعوبة في الإتقان الذاتي للمهارات. وبينما تعمل المهارات كآليات فعالة لتحسين الأداء في المهام المعقدة، فإن الأطر الحالية تعامل المهارات كموارد خارجية تُدار بواسطة معلمين خارجيين، أو قواعد مصممة يدويًا، أو وحدات مساعدة. في هذه الإعدادات، تقتصر سياسة الوكيل على استرجاع واستدعاء مهارات محددة مسبقًا؛ ولا يمكنه تطوير أو صقل أو استيعال هذه المهارات بنشاط بناءً على خبرته الخاصة.

هذا الاعتماد على الإدارة الخارجية يخلق ثلاثة تحديات رئيسية:

نقص الاستيعال الداخلي: إدارة المهارات هي إجراء صيانة خارجي بالنسبة للوكيل، وليست قدرة قابلة للتعلم ضمن سياسة الوكيل نفسه.
تغذية راجعة شحيحة لجودة المهارة: مكافآت نتاج المهمة (النجاح/الفشل) تعتبر خشنة للغاية لتحديد ما إذا كان تعديل مهارة معينة (اقتراح أو تحديث) مفيدًا أم لا. فقد تنجح مهمة ما بسبب الحظ أو تفشل بسبب عوامل غير ذات صلة، مما لا يوفر إشارة صريحة حول جودة المهارة نفسها.
تداخل التحسين: يصعب تحسين تنفيذ المهام وإدارة المهارات بشكل مشترك في سياسة واحدة لأن لديهما هياكل مكافأة مختلفة (مكافآت البيئة الثنائية مقابل مكافآت جودة المهارة المستمرة)، مما يؤدي غالبًا إلى عدم استقرار التدريب.

المنهجية: SKILLMASTER

يقترح المؤلفون SKILLMASTER، وهو إطار تدريبي يدمج إدارة المهارات مباشرة في حلقة تعلم الوكيل، مما يمكّنه من إنشاء وتطوير واختيار المهارات ذاتيًا. يتكون الإطار من ثلاثة مكونات أساسية:

1. مراجعة المهارة القائمة على المسار (Trajectory-Informed Skill Review)

يعزز SKILLMASTER تدريب التعلم التعزيزي (RL) القياسي بـ مرحلة إتقان المهارة تُلحق بعد كل حلقة (episode).

مرحلة العمل (Acting Phase): يتفاعل الوكيل مع البيئة، مسترجعًا المهارات ذات الصلة من بنك المهارات ( $B$ ) لتوجيه الأفعال.
مرحلة إتقان المهارة (Skill-Mastery Phase): عند انتهاء الحلقة، يقوم الوكيل بمراجعة وصف المهمة، والمهارات المسترجعة، والمسار، والنتيجة. ويُطلب منه إخراج استدعاء أداة واحد بالضبط: propose_skill (إضافة مهارة جديدة)، أو update_skill (تعديل مهارة موجودة)، أو keep_skill (الاحتفاظ بالمهارة الحالية).
الآلية: تستخدم هذه المرحلة الاستدلال المتكامل مع الأدوات (TIR)، مما يسمح للوكيل بمعاملة بنك المهارات ككائن قابل للتعديل يمكنه تحريره عبر استدعاءات دوال مهيكلة، بدلاً من كونه قاعدة بيانات ثابتة.

2. مكافأة منفعة المهارة المقابلة للواقع (Counterfactual Skill Utility Reward)

لحل مشكلة التغذية الراجعة الشحيحة، قدم المؤلفون مكافأة منفعة لاحقة تعتمد على التقييم المقابل للواقع.

مهام الاختبار (Probe Tasks): عندما يتم اقتراح تعديل مهارة، يختار النظام $K$ من "مهام الاختبار" ذات الصلة دلاليًا (على سبيل المثال، من نفس عائلة المهام).
المقارنة المقابلة للواقع: يقيم النظام مهام الاختبار مرتين: مرة باستخدام بنك المهارات الأصلي ( $B$ ) ومرة باستخدام البنك المعدل ( $B'$ ).
إشارة المكافأة: تُحسب المكافأة بناءً على مقييزين:
1. معدل النجاح: هل يساعد التعديل المهام التي كانت تفشل سابقًا على النجاح؟
2. الكفاءة: هل يقلل التعديل من عدد الخطوات للمهام التي كانت قابلة للحل بالفعل؟
الصيغة: تجمع مكافأة المنفعة ( $R_{utility}$ ) بين متوسط فرق الأداء ( $\bar{\delta}$ ) عبر مهام الاختبار مع حد اتساق اتجاهي، مما يضمن عدم مكافأة التعديلات إلا إذا حسنت الأداء اللاحق باستمرار.

3. DualAdv-GRPO (التحسين المنفصل)

لمعالجة عدم استقرار التحسين المشترك للأهداف المتباينة (تنفيذ المهام مقابل إدارة المهارات)، يقترح المؤلفون DualAdv-GRPO.

تقدير الميزة ثنائي المسار (Dual-Stream Advantage Estimation): يقوم خوارزمية GRPO القياسية بتطبيع المكافآت عبر مجموعة من المسارات. يقوم SKILLMASTER بفصل ذلك إلى مسارين:
- مزايا الأفعال ( $A_{act}$ ): يتم تطبيعها باستخدام مكافآت البيئة ( $r_{env}$ ) فقط.
- مزايا المهارات ( $A_{skill}$ ): يتم تطبيعها باستخدام مكافآت إتقان المهارة ( $R_{skill}$ ) فقط.
الدمج: يتم دمج هذه المزايا المطبعة على مستوى الرمز (token level) باستخدام وزن قابل للضبط $\gamma$ . تتلقى رموز الأفعال $A_{act}$ ، بينما تتلقى رموز إدارة المهارات $\gamma \cdot A_{skill}$ . هذا يمنع مكافآت المهارات المستمرة والشحيحة من تشويه إشارة التعلم للأفعال الفورية للمهام، مما يتيح تدريبًا مشتركًا مستقرًا.

المساهمات الرئيسية

إطار عمل SKILLMASTER: سياسة موحدة تتعلم كلاً من تنفيذ المهام وإدارة المهارات بشكل نهائي (end-to-end)، مما يلغي الحاجة إلى معلمين خارجيين.
مكافأة المنفعة اللاحقة: آلية مكافأة مبتكرة تقيم تعديلات المهارة عبر مقارنات مقابلة للواقع مع مهام الاختبار، مما يوفر إشارات صريحة وكثيفة لجودة المهارة.
DualAdv-GRPO: خوارزمية تحسين تفصل تطبيع الميزة لأفعال المهام وقرارات المهارة، مما يضمن استقرار التدريب المشترك للأهداف المتباينة.
الأداء التجريبي: حقق نتائج رائدة (state-of-the-art) في ALFWorld و WebShop، مما أظهر أن الوكلاء يمكنهم تطوير معرفتهم الإجرائية ذاتيًا.

النتائج التجريبية

تم تقييم الإطار على معيارين: ALFWorld (التلاعب المنزلي المجسد) و WebShop (التسوق عبر الإنترنت).

ALFWorld: حقق SKILLMASTER معدل نجاح إجمالي قدره 98.7%، متفوقًا على أقوى خط أساس (SkillRL، الذي يستخدم معلمًا خارجيًا) بمقدار 8.8 نقطة مئوية. كما حقق نجاحًا تامًا (100%) في أربع من أصل ست عائلات مهام.
WebShop: تحسن معدل النجاح من 72.7% (SkillRL) إلى 82.0%، مع ارتفاع الدرجة الإجمالية من 85.2 إلى 95.0.
استيعال المهارة: النتيجة الحاسمة هي أن وكلاء SKILLMASTER يمكنهم استيعال المهارات المتعلمة. فعند تقييمهم بدون استرجاع المهارات في وقت الاختبار، حافظ الوكلاء على أداء مماثل تقريبًا لأدائهم عند تمكين الاسترجاء (انخفاض بنسبة 0.7% فقط إجمالًا)، مما يشير إلى أن المعرفة الإجرائية قد استُوعبت في بارامترات السياسة بدلاً من الاعتماد فقط على البحث الخارجي.
دراسات الاستئصال (Ablation Studies): أدى إزالة مكافأة المنفعة أو تطبيع الميزة المنفصل إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة كل من الإشارة المقابلة للواقع واستراتيجية التحسين المستقرة.

الأهمية والادعاءات

يزعم البحث أن SKILLMASTER يمثل تحولًا من أنظمة المهارات المُدارة خارجيًا إلى الإتقان الذاتي للمهارات. ومن خلال معاملة إدارة المهارات كهدف قابل للتعلم ضمن سياسة الوكيل، يُمكّن الإطار الوكلاء من:

تحديد الفجوات في معرفتهم الإجرائية (على سبيل المثال، إدراك أن استراتيجية البحث غير فعالة).
صقل المهارات الموجودة بناءً على أدلة المسار (على سبيل المثال، تصحيح تعليمات "التسخين" التي تفشل عندما يتم وضع جسم داخل الميكروويف).
نقل التحسينات إلى المهام المستقبلية بأقل قدر من التعديلات على بنك المهارات.

يضع المؤلفون هذا العمل كخطوة نحو الوكلاء ذاتيي التحسين القادرين على تطوير وتكييف مجموعات المهارات الخاصة بهم، بدلاً من مجرد استدعاء أدوات ثابتة توفرها الأنظمة الخارجية. يقر العمل بالقيود، مثل العبء الحسابي لتقييمات مهام الاختبار والاعتماد على مجموعات المهام المحددة مسبقًا لاختيار مهام الاختبار، لكنه يؤكد أن الآلية الأساسية مستقلة عن المجال وقابلة للتطبيق في أي بيئة ذات مهام ذات صلة.