Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents
تقدم هذه الورقة دراسة تجريبية شاملة وإطار تحليل تفاضلي يثبت أن مهارات الوكيل التي تبدو ذات صلة غالباً ما تؤدي إلى إخفاقات وظيفية وتراجعات في الكفاءة من خلال فرض خطوات تحقق وتنفيذ غير ضرورية، مما يسلط الضوء على الحاجة إلى آليات أكثر أماناً ومراعاة للتكلفة لإعادة استخدام المهارات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت روبوتًا مساعدًا فائق الذكاء يمكنه كتابة الأكواد، أو حل المسائل الرياضية، أو التخطيط لعطلة نهاية الأسبوع الخاصة بك. ولجعل هذا الروبوت أفضل، أعطيته "كتاب مهارات"؛ وهو عبارة عن مجموعة من أوراق المراجع، والوصفات، والأدلة التي تشرح خطوات عمل مهام محددة. إذا احتاج الروبوت لبناء موقع إلكتروني، فإنه يفتح كتاب مهارات "تطوير الويب"؛ وإذا احتاج لخبز كعكة، فإنه يفتح كتاب "الخبز". هكذا تعمل وكلاء الذكاء الاصطناي (AI agents) الحديثة: إنهم يستخدمون هذه "المهارات" المكتوبة مسبقًا لتوجيه تفكيرهم وأفعالهم. الأمر يشبه إعطاء طالب كتابًا مدرسيًا لكل امتحان. ولكن إليك التحول في القصة: ماذا لو كان الكتاب المدرسي خاطئًا في الواقع؟ ماذا لو كانت الوصفة تخبرك بإضافة الملح إلى الحلوى، أو أن دليل البرمجة يجعلك تبني جسرًا بينما كنت تحتاج إلى قارب؟ أحيانًا، اتباع الدليل بدقة يؤدي إلى كارثة، أو على الأقل يجعل الروبوت يهدر قدرًا هائلاً من الوقت والطاقة. هذا هو اللغز الذي يحاول الباحثون حله: متى يتحول الدليل المفيد إلى فخ ضار؟
تعمق دراسة جديدة بعنوان "المهارات يمكن أن تكون ضارة للوكلاء" (Agent Skills Can Be Harmful) في هذه المشكلة. وضع الباحثون، وهم فريق من الجامعات وشركة مايكروسوفت، هدفهم لمعرفة كيف ولماذا تتسبب هذه الكتب المهارية في فشل وكلاء الذكاء الاصطناعي أو جعلهم غير فعالين. لم يكتفوا بمراقبة ما إذا كان الروبوت قد نجح أم فشل فحسب؛ بل قارنوا بين روبوت يستخدم مهارة معينة وبين نفس الروبوت وهو يؤدي المهمة ذاتها بدون تلك المهارة (أو بمهارة أخرى مشابهة). فكر في الأمر كأنه سباق حيث يرتدي أحد العدائين زوجًا جديدًا من "الأحذية السحرية" بينما يركض الآخر حافي القدمين. إذا تعثر العداء صاحب الأحذية، فهل كان السبب هو الأحذية، أم أنه كان مجاً فقط؟ من خلال إجراء هذه الاختبارات "التفاضلية" جنباً إلى جنب، استطاع الفريق تحديد المهارة التي تسببت في المشكلة بالضبط.
حللت الدراسة مئات من هذه السباقات المتواجهة باستخدام ساحتين رئيسيتين لاختبار مهارات الذكاء الاصطناعي. ووجدوا 307 حالات محددة تسببت فيها مهارة ما في مشكلة. وقد وقعت هذه المشكلات في فئتين رئيسيتين: الإخفاقات الوظيفية (حيث لم يتم إنجاز المهمة ببساطة) وتراجعات الكفاءة (حيث تم إنجاز المهمة، لكن الروبوت استهلك طاقة ووقتًا أكثر بكثير مما هو ضروري).
إليك ما اكتشفوه، مقسمًا وفق قصة "الدليل السيئ":
1. الخطأ "الذكي" (الإخفاقات الوظيفية)
قد تعتقد أن الروبوت يفشل لأنه يختار مهارة ليس لها علاقة بالوظيفة—مثل استخدام دليل "إصلاح السيارات" لإصلاح محمصة خبز. ومن المثير للدهشة، وجدت الدراسة أن هذا أمر نادر؛ إذ حدثت حالتان فقط من أصل 125 فشلاً بسبب كون المهارة غير ذات صلة تمامًا.
بدلاً من ذلك، حدثت الإخفاقات عادةً لأن المهارة كانت ذات صلة شديدة. بدا الدليل مثاليًا، لكنه خدع الروبوت وجعله يؤدي الوظيفة بالطريقة الخاطئة.
- "الوصفة الخاطئة" (68.8% من الإخفاقات): كانت المشكلة الأكثر شيوعًا هي أن المهارة قادت الروبوت لتنفيذ خطوة مطلوبة بشكل غير صحيح أو تخطيها تمامًا. على سبيل المثال، قد تقول المهارة: "احسب النسبة المئوية"، لكن دليل الروبوت أخبره بالخطأ أن يحسب الرقم المجرد بدلاً من ذلك. أو قد يوضح دليل ما كيفية ضبط 3 إعدادات، لكنه ينسى ذكر الإعداد الرابع الذي كان مطلوبًا بالفعل. اتبع الروبوت الدليل بأمانة، لكن الدليل كان ناقصًا أو مضللاً.
- "العنوان الخاطئ" (19.2% من الإخفاقات): في بعض الأحيان، بنى الروبوت الشيء الصحيح ولكنه وضعه في المكان الخاطئ. إذا كانت المهمة تقول "احفظ الملف في مجلد 'المطبخ'"، ولكن دليل المهارة قال "احفظ الملفات في مجلد 'غرفة المعيشة'"، فإن الروبوت سيتبع الدليل ويفشل في الاختبار.
- "العالم الخاطئ" (10.4% من الإخفاقات): في بعض الأحيان، أخبرت المهارة الروبوت بتغيير بيئته بطريقة أدت إلى كسر الاختبار. على سبيل المثال، قد تقول المهارة "ثبّت هذا الإصدار الجديد من أداة ما"، لكن الاختبار كان مصممًا للعمل مع الإصدار القديم. اتبع الروبوت التعليمات، فأفسد الإعداد، وفشل في الاختبار.
2. خطأ "الإفراط في الهندسة" (تراجعات الكفاءة)
في 182 حالة، أنهى الروبوت المهمة بالفعل، لكنه كان مسرفًا للغاية. فقد استخدم أكثر من ضعف عدد "الرموز" (Tokens - وهي العملة الرقمية التي يستخدمها الذكاء الاصطناعي للتفكير) واستغرق وقتًا أطول بكثير من الروبوت الذي يعمل بدون المهارة.
- "التحقق المفرط" (62.6% من الإخفاقات): كان المتهم الأكبر هنا هو "الإجراء المفرط". غالبًا ما حولت أدلة المهارات قوائم التحقق البسيطة إلى طقوس ثقيلة وإلزامية. فبدلاً من مجرد التحقق مما إذا كان الكود يعمل، قد يجبر الدليل الروبوت على تشغيل مجموعة كاملة من 50 اختبارًا إضافيًا، أو التحقق من الشيء نفسه ثلاث مرات. إنه يشبه طالبًا، بدلاً من مجرد الإجابة على السؤال الرياضي، يكتب مقالاً من 10 صفحات عن تاريخ الأرقام قبل كتابة الإجابة النهائية.
- "حقيبة الظهر الثقيلة" (25.3% من الإخفاقات): كان السبب الرئيسي الآخر هو "تضخم السياق". كان دليل المهارة نفسه طويلًا جدًا. في كل مرة يفكر فيها الروبوت، كان عليه قراءة الدليل الضخم بالكامل مرة أخرى، مما أبطأ سرعته وكلفه المزيد من "الرموز". إنه يشبه محاولة قراءة قائمة طعام بينما يصرخ شخص ما في أذنك بسيرة ذاتية مكونة من 50 صفحة عن الطاهي.
الخلاصة
بنى الباحثون أداة تسمى SKILLTRIAGE للمساعدة في فرز هذه الفوضى. استنتاجهم الرئيسي هو بمثابة تحذير: مجرد كون المهارة تبدو ذات صلة لا يعني أنها آمنة. في الواقع، المهارات الأكثر خطورة هي تلك التي تبدو مفيدة ولكنها تحتوي على أخطاء دقيقة، أو خطوات مفقودة، أو قواعد صارمة للغاية تجبر الذكاء الاصطناعي على إضاعة الوقت أو بناء الشيء الخطأ.
تشير الدراسة إلى أنه لكي يكون وكلاء الذكاء الاصطناعي موثوقين حقًا، نحتاج إلى التوقف عن معاملة أدلة المهارات هذه كتعليمات مثالية. بدلاً من ذلك، نحتاج إلى معاملتها كاقتراحات يجب التحقق منها مقابل المهمة المحددة، لضمان عدم اتباع الروبوت بشكل أعمى وصفة تخبره بوضع الملح في الكعكة. لا تدعي الورقة البحثية أنها حلت المشكلة للأبد، لكنها تقدم خريطة واضحة لأماكن اختباء الفخاخ، مما يساعد المطورين على بناء مساعدين أكثر ذكاءً وأمانًا للذكاء الاصطناعي في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.