Right Family, Wrong Skill: Benchmarking Risk Exposure in Agent Skill Retrieval

في عالم الذكاء الاصطناعي الناشئ، تتعلم الوكلاء البرمجية كيف تعمل بالنيابة عنا. هؤلاء المساعدون الرقميون لا يكتفون فقط بالإجابة على الأسئلة، بل يؤدون المهام من خلال الوصول إلى مكتبة واسسة من الأدوات المتخصصة، أو "المهارات"، لإنجاز العمل. تخيل أمين مكتبة لا يمكنه فقط العثور على كتاب، بل يمكنه أيضاً فتحه، وقراءة التعليمات الموجودة بداخله، ثم استخدام مطرقة أو آلة حاسبة مذكورة في النص لإصلاح كرسي مكسور. ولكي يعمل هذا، يجب على الوكيل استعادة الأداة المناسبة للحظة المحددة. إذا كانت المهمة تتطلب عملية دقيقة، فإنه يحتاج إلى مهارة تتسم بالدقة والأمان. وإذا كانت المهمة خشنة وسريعة، فإنه يحتاج إلى نهج مختلف. التحدي يكمل في أن هذه المكتبات تنمو لتصبح ضخمة وفوضوية، مليئة بأدوات تبدو متشابهة جداً في الظاهر ولكنها تختلف في الجوهر.

المشكلة لا تكمن فقط في العثور على أداة تبدو ذات صلة؛ بل في تجنب فخ اختيار النسخة الخاطئة من الأداة الصحيحة. قد يحتاج الباحث إلى مهارة تتعامل مع البيانات بأمان، لكن المكتبة تحتوي على مهارة مطابقة تقريباً تتجاهل فحوصات السلامة. إذا أمسك الوكيل بالنسخة الخاطئة، فإن العواقب قد تتراوح بين فشل المهمة ووقوع خطأ خطير. هذا الفشل المحدد — وهو العثور على عائلة الأدوات الصحيحة ولكن اختيار الممثل الخاطئ من تلك العائلة — كان من الصعب قياسه حتى الآن. لقد عزم فريق من الباحثين في شركة هواوي تكنولوجيز وجامعة تونغجي على رسم خريطة لهذا الخطر، من خلال إنشاء طريقة جديدة لاختبار مدى قدرة الوكلاء على التمييز بين الأدوات المفيدة ونظيراتها الخطيرة.

بنى الباحثون بيئة اختبار تسمى SameCapRisk-Bench، وهي بيئة محكومة مصممة لرصد هذا النوع المحدد من الأخطاء. لقد أنشأوا أكثر من 1,100 حالة اختبار حيث يُطلب من الوكيل حل مشكلة ما. لكل مشكلة، توجد مهارة مثالية تناسب الوظيفة، و"شقيق خطير" — وهي أداة تنتمي إلى نفس الفئة ولكن بها خلل خفي، مثل فقدان فحص سلامة أو استخدام مورد خاطئ. كان الهدف هو معرفة ما إذا كان نظام الاسترجاع لدى الوكيل يمكنه اختيار المهارة المثالية مع تجاهل التوأم الخطير. تضمن الاختبار نوعين من التحديات. تضمن النوع الأول مكتبة عامة ضخمة تضم آلاف المهارات لمعرفة ما إذا كان بإمكان الوكيل العثور على الأداة الصحيحة وسط الكثير من المشتتات. وتضمن النوع الثاني اختباراً أصعب حيث تم تبديل أدوار المهارتين: الأداة التي كانت مفيدة في سيناريو ما أصبحت هي الأداة الخطيرة في سيناريو آخر مختلف قليلاً، مما أجبر النظام على الانتباه إلى التفاصيل المحددة للطلب بدلاً من مجرد الموضوع العام.

عندما أجرى الباحثون اختباراتهم، وجدوا أن الأنظمة الحالية جيدة جداً في العثور على الفئة العامة للأدوات، لكنها غالباً ما تفشل في اختيار النسخة الآمنة. باستخدام أنظمة الاسترجاع العامة القياسية، نجح الوكلاء في العثور على المهارة المفيدة في ما يقرب من 90 بالمائة من الحالات. ومع ذلك، في حوالي 35 إلى 37 بالمائة من تلك الحالات الناجحة، قام النظام أيضاً بجلب الشقيق الخطير ضمن النتائج الأولى. وهذا يعني أنه حتى عندما يجد الوكيل عائلة الأدوات الصحيحة، فإنه يعرض نفسه بشكل متكرر للممثل الخاطئ. وقد قاس الباحثون ذلك باستخدام مقياس يسمونه "معدل الشقيق الضار"، والذي يتتبع عدد المرات التي يظهر فيها النظير الخطير في قائمة الخيارات النهائية. وأظهرت البيانات أنه بينما كانت الأنظمة ممتازة في الاستدعاء — أي العثود على الأداة الصحيحة — إلا أنها لم تكن جيدة في تصفية النسخة غير الآمنة.

ولحل ذلك، اختبر الفريق نهجاً جديداً يفصل العملية إلى خطوتين. أولاً، يحدد النظام الأدوات التي تنتمي إلى نفس العائلة. ثانياً، يتخذ قراراً محدداً باختيار ممثل واحد فقط من تلك العائلة قبل ترتيب النتائج النهائية. وعندما طبقوا هذه الطريقة، تغيرت النتائج بشكل كبير. ظل النظام يجد المهارة المفيدة بمعدل عالٍ، لكن عدد المرات التي تضمن فيها الشقيق الخطير عن طريق الخطأ انخفض من أكثر من 30 بالمائة إلى أقل من 1 بالمائة في أفضل الحالات. أثبت هذا أن الفشل لم يكن في العثور على الموضوع الصحيح، بل في القرار النهائي بشأن الأداة المحددة التي سيتم استخدامها. تشير الدراسة إلى أن مجرد إعداد قائمة بالأدوات ذات الصلة ليس كافياً؛ بل يجب على النظام أن يقرر بنشاط أي نسخة من الأداة هي الآمنة للمهمة الحالية.

تسلط النتائج الضوء على فجوة حرجة في كيفية بناء وكلاء الذكاء الاصطناعي حالياً. تركز معظم الأنظمة على مطابقة سؤال المستخدم مع الموضوع الصحيح، بافتراض أنه إذا كان الموضوع صحيحاً، فإن الأداة ستكون آمنة. تثبت هذه الورقة أن هذا الافتراض معيب. يمكن لأداتين أن تتشاركا في نفس الاسم والوصف ولكن تختلفان في قواعد التشغيل. قد تتطلب إحداهما إذناً معيناً للعمل، بينما لا تتطلب الأخرى ذلك. إذا اختار الوكيل الأداة التي تفتقر إلى فحص الإذن، فقد يتعطل أو يتصرف بشكل غير متوقع. أظهر الباحثون أنه من خلال إضافة خطوة لحل صراعات العائلات هذه — أي طرح سؤال: "أي من هذه الأدوات المتشابهة هي الأداة الصحيحة حقاً لهذا الطلب المحدد؟" — فإن خطر التعرض للمخاطر ينخفض بشكل كبير دون التضحية بالقدرة على العثور على الأداة الصحيحة.

لا يدعي هذا العمل حل جميع مشكلات السلامة في الذكاء الاصطناعي، ولا يشير إلى أن كل أداة في المكتبة خطيرة. بدلاً من ذلك، فإنه يوفر قياساً واضحاً لخطر محدد تم التغافل عنه. وجد الباحثون أنه حتى أكثر الأنظمة العامة تقدماً تعاني في هذا التمييز، وغالباً ما تعرض الأداة الخاطئة والخطيرة في أكثر من ثلث الحالات التي تجد فيها عائلة الأدوات الصحيحة. ومع ذلك، فقد أظهروا أيضاً أن هذه مشكلة قابلة للحل. من خلال معاملة اختيار أداة معينة كقرار متميز عن اختيار موضوع عام، يمكن للمطورين بناء أنظمة تكون قادرة وحذرة في آن واحد. وتخلص الدراسة إلى أن معايير الاختبار المستقبلية لوكلاء الذكاء الاصطناعي لا ينبغي أن تقيس فقط ما إذا تم العثور على الأداة الصحيحة، بل أيضاً ما إذا تم استبعاد النسخة الخاطئة والخطيرة من الاختيار النهائي. هذا التحول في التركيز يمكن أن يؤدي إلى وكلاء أكثر موثوقية يفهمون ليس فقط ما يحتاجون إلى فعله، بل وكيفية القيام به بأمان تام.