SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment
يُعد SkillConsist إطار عمل مبتكر يكتشف التناقضات بين مهارات الوكيل المعلنة والمُنفذة من خلال بناء رسوم بيانية سلوكية ثنائية الاتجاه وإجراء محاذاة وتفريق للرسوم البيانية، محققاً أداءً هو الأفضل في فئته على معيار مرجعي جديد تم إنشاؤه يتكون من 633 مهارة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يكتفي فيه حاسوبك بتنفيذ الأوامر فحسب، بل يعمل كمساعد مفيد، كخادم رقمي يمكنه تصفح الويب، أو إدارة ملفاتك، أو حتى حجز عطلتك. وللقيام بذلك، يستخدم ما يسمى بـ "مهارات الوكيل" (Agent Skills)—وهي أدوات أو وصفات جاهزة تخبر الحاسوب بالضبط كيفية تنفيذ مهمة معينة. فكر في هذه المهارات مثل التعليمات في كتاب طهي: "الإعلان" هو الوصف اللذيذ الموجود على قائمة الطعام الذي يعد بطبق "تاكو حار"، بينما "التنفيذ" هو عملية الطهي الفعلية التي تحدث في المطبخ.
تنشأ المشكلة عندما تكذب قائمة الطعام. ربد يكون الطاهي (الكود) قد أضاف عن طريق الخطأ مكوناً سرياً يجعل التاكو ساماً، أو ربما نسي إضافة الصلصة تماماً، رغم أن القائمة وعدت بها. في العالم الرقمي، هذه التناقضات خطيرة. فإذا اختار وكيل حاسوبي مهارة بناءً على وعد كاذب، فقد يحذف ملفاتك بالخطأ، أو يسرب بياناتك الخاصة، أو يتعرض للخداع من قبل مخترق. يحاول العلماء بناء "ناقد طعام" يمكنه تذوق الطبق ومقارنته بقائمة الطعام لكشف هذه الأكاذيب قبل أن يقدمها الوكيل. هذا هو تحدي التحقق مما إذا كان ما تقوله المهارة يتطابق فعلياً مع ما تفعله حقاً.
إليك SkillConsist، المحقق الرقمي الجديد المصمم لحل هذا الغموض تحديداً. أدرك الباحثون وراء هذه الأداة أن الطرق السابقة كانت تشبه محاولة مقارنة وصف قائمة طعام مكون من جملة واحدة بكتاب وصفات مكون من 50 صفحة دون وجود طريقة واضحة للربط بينهما. قد تقول القائمة "اصنع تاكو"، بينما تتضمن الوصفة تقطيع البصل، وشواء اللحم، وتسخين التورتيلا، وخلط الصلصة. الفحص البسيط للكلمات لن ينجح لأن وعد "صنع التاكو" هو فكرة واحدة كبيرة، بينما العمل في المطبخ هو سلسلة من خطوات صغيرة عديدة.
يعالج SkillConsist هذا الأمر من خلال العمل كأمين مكتبة فائق التنظيم يبني خريطتين منفصلتين: واحدة لوعود القائمة والأخرى لأفعال المطبخ. أولاً، يستخدم ذكاءً اصطناعياً ذكياً لفرز المزيج الفوضوي من النصوص والكود، وفصل "ما نعد به" عما "نفعله حقاً". ثم يرسمهما على هيئة رسوم بيانية (Graphs)—تخيلها كمخططات انسيابية حيث كل خطوة هي عقدة وكل اتصال هو خط.
يحدث السحر في الخطوة التالية: محاذاة الرسوم البيانية ثنائية الاتجاه (Bidirectional Graph Alignment). تخيل محاولة مطابقة فقاعة واحدة كبيرة لـ "صنع التاكو" في خريطة القائمة مع مجموعة كاملة من الفقاعات المتصلة في خريطة المطبخ. لا يبحث SkillConsist عن تطابق واحد فقط؛ بل يتوسع نحو الخارج، متتبعاً الخطوط في خريطة المطبخ ليرى ما إذا كان يمكن تجميع مجموعة كاملة من الخطوات (تقطيع، شواء، خلط) لتفسير وعد القائمة الواحد بشكل مثالي. يفعل ذلك في كلا الاتجاهين، حيث يتحقق مما إذا كان لكل خطوة في المطبخ وعد في القائمة، وما إذا كان لكل وعد في القائمة خطة في المطبخ.
بمجرد محاذاة الخرائط، يبحث المحقق عن التناقضات. فهو يحدد ثلاثة أنواع من المشاكل:
- التعارضات (Conflicts): القائمة تقول "حار"، لكن كود المطبخ يضيف "حلو".
- غير المنفذ (Unimplemented): القائمة تعد بـ "الصلصة"، لكن المطبخ لا يحتوي على مكونات الصلصة على الإطلاق.
- غير المعلن (Undeclared): المطبخ يضيف "السم" سراً إلى المزيج، لكن القائمة لم تذكر ذلك أبداً.
اختبر الباحثون SkillConsist على معيار مرجعي ضخم يضم 633 مهارة من مهارات الوكيل في العالم الحقيقي، بما في ذلك بعض المهارات التي كانت معروفة بأنها مخادعة أو خبيثة. كانت النتائج مبهرة: نجحت الأداة في تحديد المهارات المتناقضة بنسبة 87.93% من الوقت (وهي درجة تسمى F1)، وهو ما يمثل قفزة هائلة تزيد عن 20 نقطة مئوية مقارنة بأفضل الطرق السابقة. كما تمكنت من تحديد مكان اختباء الكذب في الكود بدقة في حوالي 62% من الحالات.
ولعل الأهم من ذلك، أن الورقة البحثية تظهر أن الأمر لا يتعلق فقط بإصلاح الأخطاء المطبعية؛ بل يتعلق بالسلامة. فعندما استخدم الباحثون SkillConsist لفحص المهارات الخبيثة، ساعد في كشف المزيد من الأدوات الخطيرة دون الحاجة إلى تشغيلها في بيئة محفوفة بالمخاطر أولاً. ومن خلال كشف التناقض بين الوعد والواقع، يمنحنا SkillConsist وسيلة للثقة بمساعدينا الرقميين قليلاً، مما يضمن أنه عندما يقول الحاسوب إنه يصنع التاكو، فإنه لا يقدم لنا شيئاً خطيراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.