ملخص تقني: الشهادة الكمية لاختيار الأدوات الوكيلية (Agentic Tool Selection)

بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLM agents) بشكل متزايد على أدوات خارجية للتفاعل مع العالم، وعادة ما يتم ذلك عبر مسار يتكون من مرحلتين: مسترجع (retriever) يقوم بتصفية مجموعة كبيرة من الأدوات إلى قائمة من أفضل $N$ أداة، ومختار (selector) -وهو النموذج اللغوي نفسه- يختار الأداة المحددة التي سيتم استدعاؤها. وبينما تقيس التقييمات الحالية الأداء بناءً على معايير منسقة وسليمة، إلا أنها تفشل في رصد مخاطر النشر المتأصلة في السجلات المفتوحة (مثل بروتوكول سياق النموذج - Model Context Protocol). في هذه البيئات، يتم تشكيل مجموعات الأدوات من قبل أطراف ثالثة قد تنشر أدوات مضللة، أو شبه متطابقة، أو خبيثة.

تعتمد طرق التقييم الحالية على التحليلات النوعية أو التقديرات النقطية للدقة على مجموعات بيانات ثابتة. ولا تستطيع هذه النهج التمييز بين الأنظمة التي تفشل نادراً مقابل تلك التي تفشل غالباً، كما لا يمكنها توفير أساس لمقارنة المتانة عبر نماذج أو مسترجعات أو سياسات سجلات مختلفة. التحدي الجوهري يكمن في إرساء شهادة كمية: حد ثقة عالٍ لاحتمالية أن يلبي مسار اختيار الأدوات مواصفات سلامة معلنة عندما يتم اختيار الأدوات من توزيع واقعي للمجموعات.

المنهجية: LLMCert-T

قدم المؤلفون LLMCert-T، وهو إطار إحصائي مصمم لإرجاع حدود عليا ذات ثقة عالية لاحتمالية أن يلبي مسار اختيار الأدوات مواصفات سلامة معينة تحت توزيع واقعي للأدوات.

1. الإطار الرسمي

يعمل الإطار على نمذجة مسار اختيار الأدوات كصندوق أسود يعمل عبر $R$ من الجولات.

• المسار (Pipeline): تتم معالجة نية المستخدم $u$ بواسطة مسترجع لإنتاج قائمة $S_u$ (أفضل $N$ من الأدوات)، والتي يقوم المختار $L$ بتقييمها لاختيار أداة $\hat{t}$.
• المواصفة ($\phi$): محدد (predicate) يعرّف النتيجة المرضية (على سبيل المثال: "يجب أن تحقق الأداة المختارة النية دون تجاوز صلاحيات المستخدم").
• التوزيع ($\Delta$): عملية عشوائية تولد تسلسلات من "الأدوات المدرجة" التي تتطور جولة بجولة. وخلافاً للهجمات العدائية التي تعمل على تحسين النماذج المستهدفة، فإن $\Delta$ تهدف لنمذجة ظروف النشر الواقعية حيث يقوم الناشرون من الأطراف الثالثة بإدخال أدوات جديدة.

2. عملية أخذ العينات ($\Delta$)

لضمان الواقعية والقدرة على تقديم معلومات مفيدة، تم تنفيذ $\Delta$ كعملية عشوائية مشروطة:

• التوليد جولة بجولة: يقترح مولد يعتمد على نموذج لغوي كبير $k$ من الأدوات المدرعة في كل جولة $r$، بشرط أن تكون مرتبطة باختيار المختار السابق $\hat{t}^{(r-1)}$. تعمل حلقة التغذية الراجدة هذه على تركيز كتلة أخذ العينات على التسلسلات التي تكشف نقاط الضعف المحددة للمختار.
• التوليد المقيد: تخضع مخرجات المولد لمعالجة لاحقة حتمية لضمان تشابه الأدوات مع مدخلات السجل الحقيقية:
  • تصادم المعاملات (Parameter Collision): نسخ مخططات المعاملات (parameter schemas) من الأدوات المختارة سابقاً لتطابق توقعات المستخدم.
    بدلاً من ذلك، يتم استبدال الحروف بمتغيرات يونيكود مشابهة بصرياً (مثل استخدام حرف 'a' السيريلي بدلاً من اللاتيني) للتهرب من إلغاء التكرار القائم على المطابقة الدقيقة مع البقاء قابلة للقراءة بشرياً.
  • إشارات الإقناع (Persuasion Cues): إضافة علامات مثل [official] أو v2 أو [enterprise] إلى الأسماء والأوصاف لمحاكاة إشارات السلطة.
• الاختزال البرنولي (Bernoulli Reduction): يتم اختزال كل مسار مكون من $R$ جولة إلى نتيجة ثنائية واحدة $Z_u$ (1 إذا تحققت المواصفة في جميع الجولات، و0 خلاف ذلك). وهذا يسمح بتجميع $n$ من التجارب في حد إحصائي.

3. آلية الشهادة

يقوم LLMCert-T بتجميع $n$ من تجارب برنولي المستقلة ($Z_1, \dots, Z_n$) لحساب حد علوي من نوع كلوبر-بيرسونون (one-sided Clopper-Pearson upper bound) ($p_u$) لاحتمالية تحقيق المواصفة.

• إذا لوحظت $C$ من حالات الفشل في $n$ من التجارب، فإن $p_u$ هو أكبر قيمة لاحتمالية التحقيق الحقيقية التي تتوافق مع البيانات المرصودة عند مستوى ثقة $1-\alpha$.
• يوفر هذا النهج ضماناً صارماً غير تقاربي بأن معدل الفشل الحقيقي ليس أعلى من الحد المعلن، بغض النظر عن دقة النموذج في "المجموعات النظيفة".

المساهمات الرئيسية

1. التشتيت كخاصية للنشر: صاغ البحث مفهوم اختيار الأدوات فوق توزيع من الأدوات التي قد يواجهها الوكيل بعد النشر، وفصل بين "ماذا" (مواصفة السلامة) و"الظروف" (توزيع الأدوات).
2. الشهادة الكمية: قام بإنشاء عملية عشوائية لتوليد تسلسلات الأدوات المدرجة الواقعية وتجميع النتائج في حد علوي صارم إحصائياً، متجاوزاً التقديرات النقطية.
3. تحديد أنماط الفشل: من خلال التقييم على مجموعات أدوات BFCL وOpenAPI مع أربعة مختارات ذات أوزان مفتوحة (4B–14B بارامتر)، حدد الإطار خمس آليات تشتيت محددة وأظهر أن حدود الصحة المعتمدة تنخفض بشكل كبير عن الحدود الدنيا للمجموعات النظيفة.

النتائج التجريبية

تم التقييم على معايير قياسية (BFCL, OpenAPI) مع $n=1000$ تجربة و $R=10$ جولات:

• الدقة في الحالة النظيفة مقابل السلوك المعتمد: هناك انفصال صارخ بين دقة المعايير والمتانة المعتمدة. بينما تحقق المختارات حدود دقة نظيفة ($p^{clean}_{\ell}$) تتراوح بين 0.69 و 0.75، فإن الحدود العليا المعتمدة ($p_u$) تحت التوزيعات الواقعية تنخفض إلى حوالي 0.20 لأكثر المواصفات صرامة.
• أنماط الفشل الحرجة:
  • اختيار المشتت (Distractor Selection): يتم تضليل المختارات بسهولة بواسطة أدوات ذات إشارات مصداقية سطحية (مثل [official] أو v2) التي تبدو أكثر سلطة ولكنها تفتقر إلى الوظائف. الحد العلوي المعتمد هو 0.20.
  • تشبع Top-N (Top-N Saturation): تقوم الأدوات شبه المتطابقة ذات مخططات المعاملات المنسوخة بإزاحة الأداة الأصلية من قائمة الـ $N$ الأفضل في 89% من التجارب خلال عشر جولات. الحد العلوي المعتمد هو 0.20.
  • تصعيد الصلاحيات (Privilege Escalation): يقبل المختار تبريرات في الوصف لرفع مستوى الصلاحيات (مثل "مطلوب لتدقيق الامتثال")، مما يؤدي إلى حد قدره 0.65.
  • تحفيز الامتناع وتحول النية (Abstention Trigger & Intent Shifting): هذه الأنماط أقل خطورة (الحدود ~0.73–0.75)، حيث يميل المختار لاختيار أداة خاطئة بدلاً من الرفض أو تغيير النية دون وجود إشارات إقناع قوية.
• تأثير التخفيف (Mitigations): تم تقييم خمسة إجراءات تخفيف ممثلة (المسترجعات المحمية، مراقبات الشذوذ، التلقين المهيكل، ضبط المحاذاة، فلاتر الاضطراب/Perplexity). لم ينجح أي منها في سد الفجوة في أقوى مواصفين (اختيار المشتت وتشبع Top-N). أفضل إجراء تخفيف (SecAlign لاختيار المشتت) رفع الحد من 0.20 إلى 0.30 فقط.
• الإدراج القسري: حتى عندما يتم إجبار المسترجع على تضمين أداة مرضية في القائمة، يظل الحد المعتمد أقل من 0.50، مما يشير إلى أن الفشل يكمن أساساً في مرحلة الاختيار وليس مجرد الاسترجاع.

الأهمية والادعاءات

يزعم البحث أن دقة المعايير في المجموعات المنسقة ليست ملخصاً كافياً لسلوك المسار عند النشر. الفجوة بين الأداء في المجموعات النظيفة والسلوك تحت توزيعات الأدوات الواقعية هي ثغرة جوهرية.

• مقاييس قابلة للتنفيذ: يوفر LLMCert-T مقياساً بديهياً، قابلاً للتنفيذ، وقابلاً للمقارنة عبر النماذج والمسترجعات وسياسات السجلات.
• معيار تشخيصي: بما أن إجراءات التخفيف الحالية تفشل في سد الفجوة في أقوى المواصفات، فإن الإطار يعمل كمعيار تشخيصي لتقييم طرق التخفيف المستقبلية.
• طبيعة الثغرة: خطر النشر الأساسي ليس ضعف الفهم الدلالي، بل الحساسية تجاه إشارات المصداقية على مستوى البيانات الوصفية (إشارات السلطة، التكرار الوشيك) التي تتلاعب بالمسترجع والمختار.

يضع المؤلفون LLMCert-T ليس كحل لإصلاح هذه الثغرات، بل كأول إطار قادر على تكميمها بضمانات إحصائية، مما يحول سلوك النشر إلى خاصية قابلة للقياس.