Red Skills or Blue Skills? A Dive Into Skills Published on ClawHub

إليك ملخص تقني مفصل لورقة البحث بعنوان "مهارات حمراء أم مهارات زرقاء؟ غوص في المهارات المنشورة على ClawHub".

1. بيان المشكلة

مع تطور وكلاء النماذج اللغوية الكبيرة (LLMs) من أنظمة الإجابة على الأسئلة الثابتة إلى وكلاء مستقلين قادرين على تنفيذ مهام معقدة، برزت المهارات (Skills) كطبقة وسيطة حاسمة. وخلافاً للأدوات الذرية، تقوم المهارات بتغليف التوثيق، والإعدادات، ومنطق الاستدعاء، والقدرات الخارجية، مما يتيح تغليف المهام بشكل قابل لإعادة الاستخدام.

ومع ذلك، أدى النمو السريع لسجلات المهارات العامة (مثل ClawHub) إلى ظهور تحديات كبيرة وغير مستكشفة بعمق:

• نقاط العمى في النظام البيئي: هناك نقص في الفهم التجريبي فيما يتعلق بالبنية الوظيفية، وتوزيع اللغات، وشعبية المهارات العامة.
• المخاطر الأمنية: تجمع المهارات بين التعليمات باللغة الطبيعية، والكود القابل للتنفيذ، والاعتمادات الخارجية، مما يخلق سطح هجوم جديد. يمكن للمهارات الخبيثة أو غير الآمنة أن تنتشر بسرعة عبر آليات الثقة في النظام البيئي (التحميلات، النجوم، ترتيب البحث).
• فجوات الكشف: إن إمكانية مراقبة السلامة الحالية غير مكتملة، وهناك حاجة لطرق تنبؤ بالمخاطر في المراحل المبكرة تعتمد فقط على المعلومات المتاحة وقت التقديم.

2. المنهجية

أجرى المؤلفون دراسة تجريبية شاملة باستخدام مجموعة بيانات ومسار تحليل تم بناؤه خصيصاً.

أ. جمع البيانات وبناء المعيار المرجعي

• المصدر: ClawHub، وهو سجل عام قدمته OpenClaw.
• النطاق: مجموعة بيانات مكونة من 26,502 مهارة تم إصدارها علناً (تم جمعها حتى 18 مارس 2026).
• مسار العمل: تم تطوير زاحف (Crawler) ثلاثي المراحل:
  1. الحصر: التكرار عبر روابط المهارات العامة (slugs) باستخدام الترقيم المستند إلى المؤشر (cursor-based pagination).
  2. الجمع المتوازي: استرداد البيانات الوصفية، التعليقات، نتائج الفحص، إشارات الإشراف، ومحتويات الملفات النصية (مع تخطي الملفات الثنائية/الكبيرة).
  3. التوحيد (Normalization): تجميع الإشارات في تنسيق موحد يحتوي على خمسة حقول: الهوية، البيانات الوصفية، المحتوى، المخاطر، والفعالية.
• المعيار المرجعي للمخاطر: تم إنشاء مجموعة فرعية منتقاة تضم 11,010 عينة عالية الجودة ذات تسميات مخاطر واضحة (مشبوهة/خبيثة مقابل آمنة) لتدريب واختبار نماذج كشف المخاطر.

ب. إطار التحليل

1. التحليل الوظيفي:
   • تصنيف النطاق: مطابقة قائمة على القواعد لتصنيف المهارات (مثل: أدوات المطورين، المنتجات، التصميم).
   • التجميع (Clustering): استخراج ميزات TF-IDF الخاصة باللغة (الإنجليزية مقابل الصينية) متبوعاً بـ Truncated SVD و K-means clustering (k=10) لتحديد المجموعات الوظيفية.
   • الشعبية: تحليل توزيع التحميلات.
2. تحليل المخاطر:
   • الاتجاهات الزمنية والفئوية: تحليل نسبة المهارات المشبوهة بمرور الوقت وعبر فئات المخاطر (باستاستخدام مسح VT وإشارات LLM-as-a-Judge).
   • الارتباط: استقصاء العلاقة بين نطاقات/وظائف المهارات وانتشار المخاطر.
3. كشف المخاطر (تعلم الآلة):
   • المهمة: تصنيف ثنائي (آمن مقابل خطر) باستخدام معلومات وقت التقديم فقط (الأوصاف، التوثيق، الكود).
   • النماذج: تقييم 12 مصنفاً (Logistic Regression, MLP, Random Forest, SVM، إلخ).
   • دراسة الاستئصال (Ablation Study): اختبار تأثير إزالة ميزات مدخلة محددة (مثل التوثيق الأساسي، الملخصات، العلامات) لتحديد أهمية الإشارة.

3. المساهمات الرئيسية

• أول درسة تجريبية واسعة النطاق: أول تحليل منهجي لسجل مهارات الوكيل العام، يغطي أكثر من 26 ألف مهارة.
• توصيف النظام البيئي متعدد اللغات: كشف عن اختلافات هيكلية متميزة بين الأنظمة البيئية للمهارات باللغتين الإنجليزية والصينية.
• المعيار المرجعي للمخاطر: إصدار معيار مرجعي متوازن يضم 11,010 مهارة مصنفة لتدريب وتقييم نماذج كشف المخاطر.
• التنبؤ بالمخاطر وقت التقديم: صياغة والتحقق من صحة طريقة للتنبؤ بمخاطر المهارة باستخدام البيانات الوصفية قبل النشر فقط، محققة دقة عملية دون الحاجة للتنفيذ أثناء التشغيل.
• الموارد المفتوحة: إصدار مجموعة البيانات وكود التحليل على Hugging Face و GitHub.

4. النتائج الرئيسية

أ. الاختلافات الوظيفية واللغوية

• المهارات الإنجليزية: تركز بشكل كبير على البنية التحتية. تركز المجموعات على واجهات برمجة التطبيقات (APIs)، الأتمتة، الذاكرة، والدعم على مستوى النظام. وهي تظهر تداخلاً دلالياً عالياً وأكثر "نمطية".
• المهارات الصينية: تركز بشكل كبير على التطبيقات. المجموعات مدفوعة بالسيناريوهات، وتركز على توليد الوسائط، إنتاج المحتوى الاجتماعي، والخدمات المالية. وتظهر حدوداً وظيفية أوضح وانفصالاً أفضل بين المجموعات.
• الشعبية: يتبع النظام البيئي توزيع ذيل طويل (long-tail distribution). معظم المهارات لديها 30-60 تحميلاً؛ وأقل من 10% تتجاوز 1,000 تحميل.

ب. المشهد الأمني

• الانتشار: أكثر من 30% من المهارات التي تم زحفها تم تصنيفها كمهارات مشبوهة أو خبيثة بواسطة إشارات المنصة.
• فجوة المراقبة: هناك جزء كبير من المهارات يفتقر إلى تسميات سلامة كاملة.
• مصادر المخاطر:
  • النطاقات: تمتلك أدوات المطورين والسكربتات أعلى عدد مطلق من المهارات الخطرة. أما مجالات العمليات، والوسائط، والإنتاجية، فلديها حصص مخاطر عالية من حيث النسبة المئوية.
  • الوظائف: المهارات التي تنفذ الكود، أو تقوم باتصالات شبكية/واجهة برمجة تطبيقات خارجية، أو تعالج الوسائط المتعددة، هي مهارات خطرة بشكل غير متناسب.
  • المساهمون: غالباً ما يرتبط الخطر بحجم المساهمات. العديد من المساهمين ذوي المخاطر العالية هم منظمات شرعية تكون أدوات الأتمتة المعقدة الخاصة بها عرضة للاستغلال بطبيعتها، بدلاً من كونهم فاعلين خبيثين.
• تفاوت الكشف: تميل الأحكام القائمة على LLM إلى أن تكون متحفظة، حيث تصنف حوالي 20% من الثغرات التي اكتشفها VT على أنها سليمة. كما تفتقر التسميات الدقيقة للمخاطر بشدة (حوالي 600 تسمية محددة فقط لـ 9,000+ مهارة مشبوهة).

ج. أداء كشف المخاطر

• أفضل نموذج: حقق Logistic Regression أعلى أداء:
  • الدقة (Accuracy): 72.62%
  • المساحة تحت منحنى ROC (AUROC): 78.95%
  • مقياس F1 (F1 Score): 72.58%
• أهمية الميزات:
  • التوثيق الأساسي (Primary Documentation) هو الإشارة الأكثر إخباراً. أدت إزالته إلى أكبر انخفاض في الأداء.
  • وجد أن الملخصات (Summaries) مليئة بالضجيج؛ وفي بعض الحالات، أدت إزالة الملخص إلى تحسين الدقة، مما يشير إلى أنه يمكن استخدام الملخصات لتضليل المصنفات من قبل المهاجمين.
• جدوى النموذج: تعمل المصنفات البسيطة القائمة على الميزات ضمن نطاق 8% من المصنفات القائمة على النماذج الكبيرة، مما يثبت جدوى التقييم الخفيف للمخاطر وقت التقديم.

5. الأهمية والآثار المترتبة

• حوكمة النظام البيئي: تثبت الورقة أن سجلات المهارات العامة ليست مجرد مستودعات كود بل هي أنظمة اجتماعية تقنية حيث يمكن لآليات الرؤية والثقة أن تضخم المخاطر الأمنية.
• استراتيجية الأمن:
  • يجب على المنصات إعطاء الأولوية لـ بوابة الحد الأدنى من الامتيازات (البيئات المعزولة/Sandboxing، الرموز المقيدة/Scoped Tokens) للوظائف عالية المخاطر مثل تنفيذ الكود والاتصالات الشبكية.
  • جودة التوثيق هي إشارة حاسمة للسلامة؛ يجب على المنصات فرض متطلبات بيانات وصفية أكثر ثراءً.
• الأبحاث المستقبلية: يفتح هذا العمل آفاقاً جديدة لتتبع المخاطر الطولي، وتتبع التنفيذ الديناميكي، وتطوير نماذج معايرة الثقة لأنظمة الوكلاء. إنه ينقل التركيز من سلامة النموذج فقط إلى أمن السجل (Registry-level security).

الخلاصة: تضع هذه الدراسة سجلات المهارات العامة كـ "سلاح ذو حدين": فهي مُمكّن رئيسي لإعادة استخدام قدرات الوكيل، وفي الوقت نفسه سطح جديد وحرج للمخاطر الأمنية على مستوى النظام البيئي. تتطلب الحوكمة الفعالة تحولاً من المسح التفاعلي إلى التنبؤ الاستباقي بالمخاطر وقت التقديم والمراقبة الهيكلية للنظام البيئي.