Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?
تقدم الورقة البحثية "Skill-Use"، وهو معيار تقييمي يختبر ما إذا كان بإمكان وكلاء النماذج اللغوية الكبيرة التعرف بشكل مستقل على المهارات المهيكلة وتطبيقها بشكل صحيح في بيئات معزولة، مما يكشف أن الاستخدام الموثوق للمهارات لا يزال يمثل تحديًا كبيرًا يعتمد بشكل كبير على حاصرة الوكيل (agent harness) المحددة بدلاً من كونه قدرة متأصلة في النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف متدرباً فائق الذكاء، ومبدعاً للغاية، يمكنه كتابة الأكواد البرمجية، وتحليل البيانات، وصياغة رسائل البريد الإلكتروني. تمنحه مكتبة ضخمة من "كتب المهارات". كل كتاب هو بمثابة وصفة لوظيفة محددة، مثل "كيفية إصلاح خادم معطل" أو "كيفية كتابة عقد قانوني". لكن العقدة تكمن في أنك لا تسلمه الكتاب كاملاً دفعة واحدة؛ بل تكتفي بإظهار العنوان له ونبذة قصيرة جداً على الغلاف الخلفي. إذا اعتقد المتدرب أن الكتاب ذو صلة، فعليه أن يطلبه، ثم يبحث عن التعليمات الكاملة، ومن ثم يتبع تلك التعليمات بدقة شديدة دون تخطي أي خطوة أو القيام بأي شيء محظور. هذا هو عالم "الوكلاء" (Agents) في الذكاء الاصطناعي وهم يحاولون استخدام "المهارات". لفترة من الوقت، أمل الناس أنه إذا أعطيتم هؤلاء المتدربين من الذكاء الاصطناعي الكتب الصحيحة فحسب، فسيصبحون فوراً موظفين مثاليين. لكن لم يكن أحد يعرف حقاً ما إذا كان بإمكان الذكاء الاصطناعي تحديد أي كتاب يجب أن يأخذ، أم أنه سيخمن ويأمل في الأفضل فحسب.
قرر فريق من الباحثين من "Tencent Hunyuan" وعدة جامعات مرموقة وضع هذه الفكرة قيد الاختبار. لقد بنوا ملعباً ضخماً يسمى SKILL-USE، وهو معيار مصمم لمعرفة ما إذا كان وكلاء الذكاء الاصطناعي يمكنهم حقاً "قراءة الموقف" واستخدام كتب المهارات هذه بشكل صحيح. لم يسألوا فقط: "هل أنهى الذكاء الاصطناعي المهمة؟"، بل طرحوا ثلاثة أسئلة أصعب بكثير: الاستثارة (Trigger) (هل عرف الذكاء الاصطناعي حتى ضرورة أخذ الكتاب الصحيح؟)، والامتثال (Compliance) (هل اتبع الوصفة خطوة بخطوة؟)، والحدود (Boundary) (هل تجنب القيام بالأشياء المحظورة المذكورة في الكتاب؟). لقد اختبروا 177 مهمة مختلفة من واقع الحياة، من إصلاح أخطاء البرمجيات إلى كتابة التقارير التجارية، باستخدام 79 وثيقة مهارة حقيقية وثمانية من أذكى نماذج الذكاء الاصطناعي المتاحة اليوم.
كانت النتائج بمثابة مواجهة للواقع. وجد الباحثون أن أفضل إعدادات الذكاء الاصطناعي لم تتمكن إلا من الحصول على درجة "استخدام المهارة" (Skill-Use) تبلغ حوالي 0.613 (على مقياس من 0 إلى 1). وهذا يعني أن الاستخدام الموثوق للمهارات لا يزال بعيد المنال. لم تكن المشكلة الكبرى هي أن الذكاء الاصطناعي لا يستطيع اتباع القواعد بمجرد حصوله على الكتاب؛ بل كانت المشكلة في أن الذكاء الاصطناً غالباً لا يعرف حتى أنه يجب عليه أخذ الكتاب في المقام الأول. الأمر يشبه امتلاك طاهٍ عبقري يمكنه اتباع وصفة بدقة، لكنه يستمر في نسيان فتح الثلاجة لإحضار المكونات. علاوة على ذلك، اكتشف الباحثون أن أداء الذكاء الاصطناعي لم يكن يعتمد فقط على مدى "ذكاء" النموذج؛ بل كان يعتمد بشكل كبير على "الحامل" (Harness) أو الغلاف البرمجي المحيط به. كان تغيير الغلاف يشبه تغيير تصميم المطبخ: في بعض الأحيان يصبح نفس الطاهي نجماً، وفي أحيان أخرى يتعثر.
باختصار، تشير الورقة البحثية إلى أن منح وكلاء الذكاء الاصطناعي مكتبة من المهارات لا يجعلهم تلقائياً عمالاً أفضل. إن الفجوة بين "امتلاك المهارة" و"استخدام المهارة" فجوة هائلة. فغالباً ما يفشل الذكاء الاصطناعي في إدراك متى تنطبق المهارة، أو يتشتت بالمهارات الخاطئة عندما تكون الخيارات كثيرة. وبينما يتحسن الذكاء الاصطناعي في تجنب الحركات المحظورة، فإنه لا يزال يكافح لاتباع الإجراءات المعقدة بأمانة. ويخلص المؤلفون إلى أننا لا نستطيع افتراض أن هؤلاء الوكلاء سيتعلمون سحرياً كيفية استخدام أدواتهم؛ نحن بحاجة إلى بناء أنظمة تساعدهم على إدراك متى يستخدمون المهارة وكيف يلتزمون بالخطة، لأن ذلك هو الجزء الأصعب من اللغز في الوقت الحالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.