What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files
يكشف تحليل لـ 138,133 ملف SKILL.md عام أن أكثر من 90% منها تعاني من عيوب تحد من إمكانية إعادة الاستخدام — تتمثل أساساً في ضعف بيانات التوجيه الوصفية، وتضخم المحتوى، وسوء تنظيم الموارد — مما يستلزم سير عمل لضمان الجودة يجمع بين التلقين المدرك للمواصفات، والتدقيق الآلي، وبوابات السلامة لتمكين إعادة استخدام مهارات وكلاء النماذج اللغوية الكبيرة بشكل موثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قمت للتو ببناء مساعد آلي فائق الذكاء. لقد علمته كيفية القيام بمليون شيء، لكنه لا يزال أخرقاً بعض الشيء. لمساعدته على التحسن، قررت تزويده بمكتبة من "أوراق المرجع"—وهي بطاقات رقمية صغيرة تخبر الروبوت بالضبط بكيفية التعامل مع مواقف محددة، مثل "كيفية إصلاح رابط مكسور" أو "كيفية تنظيم صندوق وارد فوضوي". في عالم الذكاء الاصطناعي، تُسمى أوراق المرجع هذه مهارات الوكيل (Agent Skills). وهي ملفات خاصة (عادة ما تسمى SKILL.md) تعمل كبرامج مصغرة، مما يسمح للروبوت بتذكر الحيل الماضية واستخدامها في محادثات جديدة.
الأمل الكبير هو أنه بمجرد كتابة ورقة مرجع جيدة حقاً، يمكنك مشاركتها مع ملايين الروبوتات الأخرى، ويمكن لجميعها أن تصبح أفضل في تلك المهمة فوراً. الأمر يشبه مشاركة وصفة مثالية: تطهو طبقاً مرة واحدة، وتدون الوصفة، والجميع الآخر يمكنه صنعه بنفس الجودة دون الحاجة لمساعدتك. ولكن لكي ينجح هذا، يجب أن تكون الوصفة واضحة، آمنة، وسهلة العثور عليها. فإذا كانت الوصفة مكتوبة بشفرة سرية، أو تفتقر إلى قائمة المكونات، أو تأمر الطباخ بـ "حرق المنزل"، فهي ليست عديمة الفائدة فحسب، بل هي خطيرة أيضاً. يسأل هذا البحث سؤالاً بسيطاً ولكنه حاسم: هل أوراق المرجع التي يشاركها الناس قابلة للاستخدام حقاً، أم أنها في الغالب معطلة؟
رحلة البحث عن المهارات الكبرى
قرر مؤلفو هذا البحث، وهم فريق من الباحثين من جامعات في نيويورك وأوهايو، لعب دور المحقق. لقد ذهبوا في رحلة بحث كبرى عبر الإنترنت، وتحديداً بحثوا عن 138,133 ورقة مرجع عامة (SKILL.md) شاركها الناس في 20,556 مستودعاً رقمياً مختلفاً. فكر في هذا الأمر كأنك تدخل مكتبة ضخمة وفوضوية حيث يمكن لأي شخص أن يضع كتاباً على الرف، وتقوم بفحص كل واحد منها لترى ما إذا كان وصفة حقيقية أم مجرد كومة من الخربشات.
لم يبحثوا فقط عن الأخطاء الإملائية، بل بنوا "ماسحاً للجودة" مكوناً من مستويين للتحقق من نوعين من المشكلات:
- "مخالفو القواعد" (المستوى الأول): هؤلاء هم أصحاب المهارات الذين يتجاهلون كتاب القواعد الرسمي. ربما يكون العنوان مفقوداً، أو التعليمات طويلة جداً، أو قسم "متى يُستخدم هذا" فارغاً.
- "العادات السيئة" (المستوى الثاني): هؤلاء هم أصحاب المهارات الذين يتبعون القواعد ولكنهم لا يزالون فوضويين أو خطرين. ربما يتضمنون "قائمة مهام"، أو يسربون كلمات مرور سرية، أو يخبرون الروبوت باستخدام أداة تعمل فقط على جهاز كمبيوتر محدد.
الاكتشاف الصادم: المكتبة فوضوية
كانت النتائج صادمة بعض الشيء. وجد الباحثون أن 91.8% من المهارات التي فحصوها تحتوي على عيب واحد على الأقل. إن الأمر يشبه دخول مكتبة لتجد أن كل كتاب تقريباً على الرف به صفحة ممزقة، أو فصل مفقود، أو ملاحظة تقول "لا تقرأ".
لم تكن المشكلات الأكثر شيوعاً هي هجمات تقنية عالية التعقيد أو غريبة الأطوار، بل كانت في الواقع مملة وبشرية تماماً:
- تسميات مربكة: العديد من المهارات لم تكن تحتوي على وصف واضح لـ متى تُستخدم. الأمر يشبه وجود برطمان توابل مكتوب عليه "مسحوق غامض" بدلاً من "قرفة". لا يستطيع الروبوت العثور على المهارة الصحيحة عندما يحتاجها.
- حشو زائد: بعض المهارات كانت متضخمة بنصوص أو أكواد أو تعليمات إضافية لا تفعل أي شيء في الواقع. الأمر يشبه وصفة تقضي بثلاث فقرات في شرح كيفية شراء الدقيق قبل أن تخبرك بكيفية خلطه.
- أسرار خطيرة: تضمنت بعض المهارات بالخطأ كلمات مرور حقيقية أو تعليمات قد تحذف الملفات، وهو ما يشبه وصفة تقول "أضف رشة من السم".
لماذا يهم هذا؟
أجرى الباحثون اختبار جهد لمعرفة ما إذا كانت هذه المهارات "المعطلة" تسبب مشاكل بالفعل. قاموا بمحاكاة روبوت يحاول العثور على مهارة بناءً على وصف بسيط. النتيجة؟ كانت الروبوتات أفضل حالاً في العثء على المهارات "النظيفة" (تلك التي تمتلك تسميات جيدة) مقارنة بالمهارات "المعيبة". عندما كانت التسمية مفقودة أو مربكة، كان الروبوت غالباً ما يستسلم ولا يستخدم المهارة على الإطلاق.
يشير هذا إلى أنه حتى لو كانت المهارة يمكن أن تعمل، فإنها غالباً ما تكون عديمة الفائدة لأن الروبوت لا يستطيع العثور عليها أو لا يعرف كيف يبدأها. لاحظت الدراسة أيضاً أن المهارات التي وُسمت بأنها كُتبت بواسطة الذكاء الاصطناعي تميل لامتلاك المزيد من مشاكل السلامة وقابلية النقل مقارنة بتلك التي كتبها البشر، رغم أن المؤلفين حذروا من أن هذا نمط لاحظوه، وليس قاعدة مفادها أن الذكاء الاصطناعي دائماً أسوأ.
الطريق إلى الأمام: طريقة أفضل للكتابة
إذن، ما هو الحل؟ يقترح المؤلفون "سير عمل لإنتاج مضمون الجودة". تخيل خط إنتاج لأوراق المرجع هذه:
- الكتابة باستخدام مخطط: ابدأ باتباع القواعد الرسمية بصرامة.
- الفحص السريع: قم بإجراء فحص بسيط للإمساك بالأخطاء الواضحة (مثل العناوين المفقودة أو النصوص الزائدة).
- محطة الإصلاح: إذا فشلت المهارة في الفحص، استخدم أداة ذكية لإصلاح الأجزاء السهلة تلقائياً.
- بوابة السلامة: قبل إصدار المهارة، يضمن الفحص النهائي عدم احتوائها على أسرار أو أوامر خطيرة.
يخلص البحث إلى أنه بينما مكتبة المهارات المشتركة حالياً فوضوية، إلا أنه ليس من الضروري أن تظل كذلك. من خلال التعامل مع هذه المهارات كقطع برمجية جادة—والتحقق من سلامتها، ووضوحها، وقابليتها لإعادة الاستخدام—يمكننا تحويل تلك المكتبة الفوضوية إلى صندوق أدوات موثوق يساعد الروبوتات حقاً في أداء وظائفها. يعترف المؤلفون بأنهم لم يحلوا كل شيء (لم يختبروا كل مهارة في روبوت حقيقي)، لكن بياناتهم تشير بقوة إلى أن تنظيف "التسميات" و"السلامة" لهذه الملفات هو الخطوة الأولى لجعل وكلاء الذكاء الاصطناعي مفيدين حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.