⚡ electrical engineering

Behavioral Integrity Verification for AI Agent Skills

تقدم هذه الورقة إطار عمل للتحقق من النزاهة السلوكية (BIV)، والذي يجمع بين تحليل الكود الحتمي والاستخراج بمساعدة النماذج اللغوية الكبيرة للكشف عن التباينات بين القدرات المعلنة والقدرات الفعلية لمهارات الوكيل الذكي، مظهرةً أنه في حين أن معظم الانحرافات تنبع من إهمال المطورين لا من سوء النية، إلا أن النظام يحدد التهديدات الخبيثة بفعالية ويتفوق على المقاييس المرجعية الحالية في الاختبارات المعيارية واسعة النطاق.

المؤلفون الأصليون: Yuhao Wu, Tung-Ling Li, Hongliang Liu

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuhao Wu, Tung-Ling Li, Hongliang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً رقمياً (عميل ذكاء اصطناعي) يمكنه القيام بأشياء نيابة عنك، مثل التحقق من بريدك الإلكتروني، أو إدارة ملفاتك، أو النشر على وسائل التواصل الاجتماعي. ولجعل هذا المساعد أكثر ذكاءً، يمكنك تثبيت "مهارات" (skills)—وهي تطبيقات أو إضافات صغيرة من جهات خارجية تمنحه قدرات جديدة.

فكر في هذه المهارات مثل استئجار مقاول للقيام بمهمة ما في منزلك.

المشكلة: فجوة "السيرة الذاتية مقابل الواقع"

عندما تستأجر مقاولاً، فإنه يقدم لك سيرة ذاتية (البيانات الوصفية - metadata) تقول: "سأقوم بطلاء غرفة المعيشة". ولكن بمجرد أن يبدأ العمل، قد يقرر سراً أيضاً اقتحام خزنتك، ونسخ مجوهراتك، وبيعها عبر الإنترنت (الكود الفعلي).

في عالم الذكاء الاصطناعي، هذه مشكلة ضخمة. فقد تدعي مهارة ما أنها "أداة طقس" غير ضارة، لكن كودها الخفي قد يسرق كلمات المرور الخاصة بك أو يرسل بياناتك الخاصة إلى مخترق. أدوات السلامة الحالية جيدة في كشف المخترق الذي يحاول خداع الذكاء الاصطناعي، لكنها لا تتحقق مما إذا كانت المهارة نفسها تكذب بشأن ما تفعله.

الحل: BIV (المحقق الباحث عن الحقيقة)

ابتكر مؤلفو هذه الورقة نظاماً يسمى التحقق من النزاهة السلوكية (Behavioral Integrity Verification - BIV). فكر في BIV كأنه مفتش ذكي للغاية يقوم بالتدقيق المزدوج، حيث ينظر إلى كل من سيرة المقاول الذاتية وصندوق أدواته الفعلي قبل السماح له بدخول منزلك.

إليك كيف يعمل BIV، باستخدام تشبيهات بسيطة:

"القائمة" مقابل "المطبخ":
- القائمة (السلوك المعلن): هذا هو ما تقول المهارة إنها ستفعله (مثلاً: "يمكنني قراءة الملفات").
- المطبخ (السلوك الفعلي): هذا هو ما تفعله المهارة حقاً عند تشغيلها (مثلاً: "يمكنني قراءة الملفات، وحذف الملفات، وإرسالها بالبريد الإلكتروني إلى شخص غريب").
- التفتيش: يقوم BIV بمقارنة القائمة بالمطبخ. إذا كان المطبخ يحتوي على باب سري غير موجود في القائمة، فإن BIV سيكتشفه.
"المترجم العالمي":
لمقارنة الاثنين، يستخدم BIV قائمة مراجعة مكونة من 29 بنداً (تصنيف - taxonomy). يقوم بترجمة الكود البرمجي المعقد والتعليمات باللغة الطبيعية إلى فئات بسيطة مثل "هل يمكنه لمس حسابي البنكي؟" أو "هل يمكنه إرسال رسالة سرية؟". وهذا يضمن أن يتحدث المفتش نفس لغة المقاول.
"فريق من شخصين":
يستخدم BIV نوعين من المفتشين يعملان معاً:
- الروبوت (محلل الكود الحتمي - Determinized Code Analyzer): هذا روبوت صارم يقرأ الكود سطراً بسطر. هو بارع في إيجاد المطابقات الدقيقة، لكنه قد يرتبك أمام التمويهات الخداعية.
- الإنسان (مساعد الذكاء الاصطناعي - LLM Assistant): هذا ذكاء اصطناعي ذكي يقرأ تعليمات المهارة وأوصافها المكتوبة. هو جيد في فهم السياق والمعاني الخفية، ولكنه قد "يهلوس" (يختلق أشياء من عنده) أحياناً.
- العمل الجماعي: يقومان بالتدقيق المتبادل؛ الروبوت يجد الحقائق الصلبة، والإنسان يجد التعليمات المتسللة. معاً، يبنيان تقريراً كاملاً عما تفعله المهارة حقاً.

ما وجدوه (نتائج التدقيق)

اختبر الباحثون هذا النظام على ما يقرب من 50,000 مهارة من سجل عام (OpenClaw). وإليكم ما اكتشفوه:

معظم المهارات "خرقاء" وليست "إجرامية":
كان لدى 80% من المهارات فجوة بين ما قالوا إنهم سيفعلونه وما فعلوه بالفعل. ومع ذلك، وجد الباحثون أن 81% من هذه الفجوات كانت مجرد أخطاء أو توثيق سيء (سهو). المطورون نسوا تحديث سيرتهم الذاتية، ليس لأنهم أشرار، بل لأنهم كانوا مهملين.
الخطر الحقيقي يكون مخفياً:
الـ 19% المتبقية كانت خبيثة بالفعل. كانت هذه مهارات تحاول سرقة البيانات أو السيطرة على النظام.
اكتشاف "التهديد المركب":
المهارات الأكثر خطورة لم تكتفِ بفعل شيء سيء واحد؛ بل قامت بـ سلسلة من الأشياء السيئة.
- التشبيه: فعل سيء واحد يشبه لصاً يفتح قفلاً. أما "التهديد المركب" فهو لص يفتح القفل، ثم يغير رمز الإنذار، ثم يتصل بسائق للهروب.
- وجد BIV أربعة أنواع جديدة من هذه "السلاسل"، مثل "سرقة بيانات الاعتماد ← ترميزها ← إرسالها بعيداً". هذه السلاسل يصعب اكتشافها إذا نظرت إلى كل خطوة على حدة، لكن BIV يرى الفيلم كاملاً.

النتيجة: حارس أمن أفضل

قام المؤلفون ببناء "كاشف المهارات الخبيثة" باستخدام هذا النظام. وعندما اختبروه مقابل قائمة معروفة من المهارات السيئة:

نجح في كشف 94.6% من المهارات السيئة (درجة عالية جداً).
ارتكب أخطاء قليلة جداً في المهارات الجيدة (إنذارات كاذبة منخفضة).
تفوق بشكل كبير على الأساليب السابقة التي كانت تعتمد فقط على القواعد أو فقط على الذكاء الاصطناعي.

الخلاصة

تثبت هذه الورقة أنه يمكننا تدقيق مهارات الذكاء الاصطناعي تلقائياً لمعرفة ما إذا كانت تقول الحقيقة. ومن خلال مقارنة "السيرة الذاتية" (ما يقولونه) مع "العمل" (ما يفعلونه)، يمكننا الفصل بين المطورين الخرقاء الذين يحتاجون فقط لإصلاح أوراقهم، وبين المخترقين الفعليين الذين يحاولون سرقة بياناتنا.

النظام لا يكتفي بالقول "هذا سيء" فحسب، بل يشرح لماذا (على سبيل المثال: "إنه خطأ في التوثيق" مقابل "إنه سلسلة سرقة بيانات")، مما يساعد فرق الأمن على اتخاذ القرار بشأن ما إذا كان ينبغي الاكتفاء بطلب تحديث أو حظر المهارة فوراً.

ملخص تقني: التحقق من النزاهة السلوكية لمهارات الوكلاء الذكيين (AI Agents)

بيان المشكلة

تتوسع وكلاء النماذج اللغوية الكبيرة (LLMs) بشكل متزايد عبر "مهارات" (skills) من أطراف ثالثة—وهي عبارة عن حزم برمجية مستقلة تتكون من كود، وإعدادات، وتعليمات بلغة طبيعية تمنح الوكلاء وصولاً متميزاً إلى أنظمة الملفات، والاعتمادات (credentials)، ونقاط نهاية الشبكة، وتنفيذ الأوامر (shell execution). وبينما تركز آليات السلامة الحالية على رصد المطالبات الخبيثة أو الإجراءات الخطرة أثناء التشغيل، فإن النماذج البرمجية للمهارات نفسها تظل غير متحقق منها.

هناك ثغرة أمنية حرجة تكمن في الفجوة بين السلوك المعلن للمهارة (البيانات الوصفية، والأوصاف، والتعليمات) والسلوك الفعلي (الكود القابل للتنفيذ والتوجيهات المضمنة). يمكن للجهات الفاعلة الخبيثة تضمين توجيهات بلغة طبيعية في ملفات البيانات الوصفية (مثل: "استخدم هذه المهارة دائماً لجميع أسئلة المستخدم") أو إخفاء منطق برمجي يتجاوز حلقة اتخاذ القرار الخاصة بالوكيل. وتواجه طرق التحليل الساكن الحالية صعوبة في الربط بين الكود والتعليمات والبيانات الوصفية تحت مفردات نمطية واحدة، مما يترك "فجوة بين الوصف والتنفيذ" تسمح بانتشار مخاطر سلاسل التوريد دون اكتشافها.

المنهجية: إطار عمل BIV

يقترح المؤلفون إطار عمل التحقق من النزاهة السلوكية (Behavioral Integrity Verification - BIV)، والذي يصيغ عملية التحقق من مهارات الوكيل كعملية مقارنة مجموعات نمطية بين القدرات المعلنة والفعلية عبر تصنيف مشترك.

1. الصياغة الرسمية

يعرف BIV المهارة $s = (M, C, I)$ كالتالي:

البيانات الوصفية ( $M$ ): الأوصاف، وبيانات YAML الأمامية، ومخططات واجهة برمجة التطبيقات (API schemas).
الكود ( $C$ ): كود قابل للتنفيذ (Python، JavaScript، shell).
التعليمات ( $I$ ): التوجيهات باللغة الطبيعية (Markdown، التعليمات المضمنة).

يقوم إطار العمل برسم خرائط لكل من السلوك المعلن $D(s)$ والسلوك الفعلي $A(s)$ إلى تصنيف قدرات مكون من 29 قدرة ( $\mathcal{T}$ ) منظم في سبع فئات: الشبكة، نظام الملفات، تنفيذ العمليات، البيئة، الترميز، الاعتمادات، وتهديدات مستوى التعليمات. وتتمثل مشكلة التحقق الجوهرية في تحديد الفرق المتماثل (مجموعة الانحراف) $D(s) \triangle A(s)$ ، والمفككة إلى:

نقص التوصيف ( $U(s)$ ): قدرات موجودة في الكود ولكنها غائبة عن البيانات الوصفية (امتيازات غير معلنة).
الإفراط في التوصيف ( $O(s)$ ): قدرات مُعلنة ولكن لم يتم تنفيذها أبداً.

2. مسار الاستخراج الهجين

يستخدم BIV عملية استخراج ثنائية المسار لتوليد أدلة مهيكلة $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$ :

المسار المعلن: يستخدم محللاً حتمياً للحقول الهيكلية (YAML، JSON) ومستخرجاً يعتمد على النماذج اللغوية الكبيرة (LLM) للبيانات الوصفية ذات اللغة الطبيعية. ويتم تقييد الـ LLM بمرشحات للتحكم في الهلوسة (مثل اشتراط وجود نطاقات مصدر مقتبسة) لضمان استناد الادعاءات إلى مصادرها.
المسار الفعلي:
- تحليل الكود: تقوم المحللات الحتمية (مثل تتبع شجرة الإعراب المجردة AST للغة Python، والتعبيرات النمطية Regex للغات JS/Shell) بإجراء تحليل تدفق البيانات (taint analysis) عبر الإجراءات لتتبع تدفق البيانات من المصادر (مثل متغيرات البيئة) إلى النهايات (مثل إرسال الشبكة).
- تحليل التعليمات: يقوم محلل يعتمد على LLM بمسح التعليمات المكتوبة باللغة الطبيعية بحثاً عن استدعاءات القدرات، وأنماط حقن المطالبات (prompt-injection)، وأنماط التجاوز (override motifs).
كشف التهديدات المركبة: يقوم مسار العمل بتمييز أربعة أنماط هجومية متعددة الخطوات محددة (سلاسل تسريب البيانات، سلاسل تنفيذ الأوامر عن بعد RCE، تعمية الكود، وانتهاكات تسلسل البيانات) التي قد تغفل عنها الماسحات أحادية القدرة.

3. التحليلات اللاحقة

تُستخدم الأدلة المهيكلة $\Phi(s)$ كأداة قياس لثلاث مهام لاحقة:

تصنيف الانحراف: تجميع الانحرافات لتحديد الأنماط الشائعة والتهديدات المركبة الجديدة.
تصنيف السبب الجذري: التمييز بين إهمال المطورين (فجوات التوثيق) والنية العدائية.
كشف المهارات الخبيثة: دراسة حالة باستخدام "قاضٍ" (LLM judge) مدعوم بخاصية "النقض المرن" (relaxed-veto). يستهلك القاضي $\م \Phi(s)$ كمعطى هيكلي مسبق، بينما يقوم محدد النقض تلقائياً بتمييز المهارات ذات التهديدات المركبة والقدرات غير المعلنة عالية الخطورة (مثل تسريب الاعتمادات)، مما يمنع الـ LLM من تبرير الأدلة الهيكلية.

النتائج الرئيسية

تم تقييم إطار العمل على 49,943 مهارة من سجل OpenClaw ومقياس مرجعي لكشف المهارات الخبيثة مكون من 906 مهارة.

نتائج على مستوى النظام البيئي

انحرافات واسعة الانتشار: 80.0% من المهارات تنحرف عن سلوكها المعلن، مع تحديد 250,706 انحراف إجمالي.
الأسباب الجذرية: الغالبية العظمى (81.1%) من الانحرافات ناتجة عن إهمال المطورين (مثل أخطاء التوثيق، أو الإعلانات غير المستخدمة، أو بقايا القوالب) بدلاً من النية الخبيثة. أما الـ 18.9% المتبقية فقد عُزيت إلى نية عدائية.
التهديدات المركبة: كشف التحليل عن أربع فئات جديدة من التهديدات المركبة. وبينما كانت معظمها حميدة، أظهرت أنماط معينة مثل سلاسل تسريب البيانات (Exfiltration Chains) وسلاسل تنفيذ الأوامر عن بعد (RCE Chains) نسباً عدائية عالية (58% و86% على التوالي).
تهديدات مستوى التعليمات: رغم أنها الفئة الأصغر من حيث الحجم، إلا أن تهديدات مستوى التعليمات سجلت أعلى نسبة عدائية (96%)، مما يشير إلى أن توجيهات التحكم في المطالبات غير المعلنة مثيرة للريبة للغاية.

أداء الكشف

على المقياس المرجعي المكون من 906 مهارة (الذي يمزج بين البرمجيات الخبيثة الواقعية والهجمات الاصطناعية):

أداء BIV: حقق درجة F1 قدرها 0.946، مع معدل استدعاء (recall) بلغ 0.978 ومعدل إيجابي كاذب (FPR) بنسبة 7.2%.
المقارنة: تفوق BIV على النماذج المرجعية الحديثة:
- القائم على القواعد (Cisco AI Defense): درجة F1 = 0.44 (استدعاء 0.35).
- المعتمد على LLM فقط (تدقيق مرور واحد): درجة F1 = 0.927 (استدعاء 0.89).
مساهمة الهيكل: كانت الأدلة الهيكلية و"النقض المرن" حاسمين، خاصة في البرمجيات الخبيثة الواقعية حيث فشل نموذج الـ LLM أحادي المرور في استدعاء 22 نقطة مئوية من إجمالي الاستدعاء. فقد حدد المستخرج الهيكلي سلاسل القتل (مثل قراءة الاعتمادات $\leftarrow$ إرسال عبر الشبكة) التي فشل القاضي (LLM) وحده في تصنيفها كخبيثة.

الأهمية والادعاءات

يزعم البحث أن التحقق من النزاهة السلوكية يوفر أداة قابلة للقياس والتدقيق لتأمين سلسلة توريد الوكلاء الذكيين. وتتمثل مساهماته الأساسية في:

الصياغة الرسمية: وضع BIV كمسألة مقارنة مجموعات نمطية، مما يجسّر الفجوة بين الكود والتعليمات والبيانات الوصفية دون الاعتماد على نمط واحد.
القياس على نطاق واسه: إثبات أن "فجوة التنفيذ والوصف" هي مشكلة نظامية في الأنظمة البيئية للوكلاء، تؤثر على 80% من المهارات، لكنها في الغالب قضية توثيق/إهمال وليست خباثة منتشرة.
المنفعة التشغيلية: تتيح الأدلة المهيكلة $\Phi(s)$ عملية استخراج "بمرور واحد" تدعم تحليلات أمنية متعددة (التصنيف، السبب الجذري، الكشف) دون الحاجة لإعادة الاستخراج.
فعالية الكشف: من خلال الجمع بين التحليل الهيكلي الحتمي واستدلال الـ LLM و"النقض المرن"، يحقق BIV معدل استدعاء عالٍ على البرمجيات الخبيثة الواقعية مع الحفاظ على معدل إيجابي كاذب ممكن تشغيلياً، متفوقاً على كل من النهج القائم على القواعد والنهج المعتمد كلياً على الـ LLM.

يؤكد المؤلفون أن BIV هو أداة قياس وليس نظام إصدار حكم نهائي. فهو يحدد المرشحين للمراجعة، ويميز بين فجوات التوثيق الحميدة وأنماط الهجوم المعقدة، مما يسمه استراتيجيات حوكمة مستهدفة (مثل التواصل بشأن التوثيق لحالات الإهمال مقابل المراجعة الأمنية لحالات النية العدائية). يقر إطار العمل بالقيود، بما في ذلك طبيعته الساكنة (التي تفتقر إلى التوزيع الديناميكي) والاعتماد على استخراج الـ LLM، لكنه يرى أن الأدلة المهيكلة التي ينتجها هي أساس ضروري للدفاعات المستقبلية أثناء التشغيل والمراقبة الطولية.