← أحدث الأبحاث
💻 computer science

PolicyFaultBench: Mutation-Based Assurance of Policy Mediation and Proposal-Interface Conformance for Tool- Using AI Agents

تُعد PolicyFaultBench معياراً اختبارياً قائماً على الطفرات يعمل على التحقق من صحة وكلاء الذكاء الاصطناعي المستخدمين للأدوات عبر اختبار وساطة سياسة وقت التشغيل ومطابقة واجهة الاقتراح بصرامة، مما يكشف أنه بينما يمكن للوكلاء تحقيق نجاح عالٍ في التنفيذ، إلا أنهم قد يظلون عاجزين عن استيفاء معايير القبول الصارمة بسبب انحرافات طفيفة في الواجهة تتطلب مجسات مستهدفة للكشف عنها.

المؤلفون الأصليون: Hasan Fadhil Qasim, Sarah Abdulzahra Kadim

نُشر 2026-08-07
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Hasan Fadhil Qasim, Sarah Abdulzahra Kadim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يكون فيه مساعدك الذكي المفضل مثل متدرب ذكي للغاية ومتحمس. يمكنه كتابة الأكواد، وإرسال رسائل البريد الإلكتروني، وحتى تحويل الأموال إذا طلبت منه ذلك. لكن العائق هنا هو أن هذا المتدرب مبدع للغاية وأحياناً ثرثار أكثر من اللازم. فإذا قلت له: "أرسل بريداً إلكترونياً إلى مديري"، فقد يضيف نكتة مضحكة، أو رمزاً تعبيرياً غريباً، أو قصة طويلة عن عطلته في نهاية الأسبوع قبل إرسال البريد فعلياً. وفي عالم أمن الحاسوب عالي المخاطر، لا يُعد هذا الثرثرة الإضافية مجرد أمر مزعج فحسب؛ بل هو أمر خطير. فإذا لم ينظر النظام الذي يفحص عمل المتدرب إلى الرسالة بالضبط كما هي، فقد يغفل عن فخ مخفي أو يوافق بالخطأ على إجراء خطير. هذه هي مشكلة "وساطة السياسة" (policy mediation): التأكد من أنه عندما يقترح الذكاء الاصطناعي إجراءً ما، يقوم حارس أمن صارم بفحصه تماماً كما هو مكتوب قبل السماح بحدوثه. السؤال الكبير ليس فقط "هل الذكاء الاصطناعي ذكي؟" بل "هل يقوم حارس الأمن بعمله بشكل مثالي، حتى عندما يصبح الذكاء الاصطناعي غريباً بعض الشيء؟"

هذه الورقة البحثية، التي تحمل عنوان PolicyFaultBench، تشبه عملية تفتيش دقيقة لحارس الأمن هذا. لم يكتفِ الباحثان، حسن فاضل قاسم وسارة عبد الزهراء كاظم، بطلب أشياء عشوائية من الذكاء الاصطناعي؛ بل وضعا لعبة محكومة كان على الذكاء الاصطناعي فيها أن يعمل كـ "ناسخ". فبدلاً من التخطيط لمهمة معقدة، أُعطي الذكاء الاصطناعي مهمة محددة وثابتة (مثل "حول 10 دولارات إلى بوب") وطُلب منه كتابتها بتنسيق محدد جداً. ثم اختبر الباحثان حارس الأمن ("الوسيط") لمعرفة ما إذا كان سيكتشف الأخطاء، أو التنسيقات الغريبة، أو الحيل الخفية. لقد استخدما حيلة ذكية تسمى "اختبار الطفرات" (mutation testing)، وهي تشبه تعمد كسر كتاب قواعد حارس الأمن بطرق صغيرة لمعرفة ما إذا كان الحارس سيلاحظ ذلك. على سبيل المثال، قد يتظاهران بأن الحارس نسي التحقق مما إذا كان تحويل الأموال قد تمت الموافقة عليه، أو قد يتظاهران بأن الحارس سمح بتحويل إلى شخص آخر.

وجدت الدراسة أنه بينما كانت حراس الأمن (من شركات مثل OpenAI وAnthropic) جيدين عموماً في منع الإجراءات السيئة، إلا أنهم ليسوا مثاليين. في اختبار لـ 400 تجربة مع أحد المزودين، اكتشف الحارس كل محاولة سيئة. ومع ذلك، عندما اختبرا مزوداً آخر، أضاف الذكاء الاصطناعي في 9 حالات من أصل 400 قطعة نصية صغيرة إضافية إلى رسالته (مثل إضافة حقل "نطاق" لم يُطلب منه). ورفض حارس الأمن هذه الرسائل التسع بناءً على قاعدة صارمة تقول "يجب أن تطابق الرسالة الأصل بدقة". وهذا تصميم "الإغلاق عند الفشل" (fail-closed)، مما يعني أنه من الأفضل رفض رسالة آمنة بسبب خطأ مطبعي صغير بدلاً من قبول رسالة خطيرة بالخطأ. لقد أظهر الباحثون أنه رغم أن "نية" الذكاء الاصطناعي كانت آمنة في تلك الحالات التسع، إلا أن الفحص الصارم كان ضرورياً لضمان عدم ارتباك النظام بسبب النص الإضافي.

كما اكتشفت الورقة البحثية أن كتاب قواعد حارس الأمن يحتوي على بعض الثغرات الخفية. فعندما كسروا القواعد عمداً (جزء "الطفرة")، فات الحارس 5 من أصل 12 نوعاً من الحيل في الجولة الأولى. ولم يكتشف سوى البقية بعد أن أضاف الباحثون اختبارات "سبر" (probe) خاصة مصممة خصيصاً لإيجاد تلك الثغرات المفقودة. وهذا يشير إلى أن مجرد عمل النظام اليوم لا يعني أنه سيكون آمناً ضد كل حيلة ممكنة غداً. كما حاول الباحثون معرفة ما إذا كانت هذه النتائج ستصمد مع مجموعة مختلفة من المهام (المستمدة من معيار AgentDojo) ونظام أمني مختلف. كانت النتائج مختلطة: اجتاز الذكاء الاصطناعي 391 من أصل 400 مرة مع المهام الجديدة، وفشل فقط بسبب مشكلة "النص الإضافي" ذاتها.

باختصار، تقترح الورقة البحثية أنه لا يمكننا الاعتماد على نماذج الذكاء الاصطناعي لتكون مثالية من تلقاء نفسها. نحن بحاجة إلى طبقة أمنية منفصلة وصارمة تفحص مقترحات الذكاء الاصطناعي بدقة متناهية. فإذا أضاف الذكاء الاصطناعي ولو كلمة واحدة إضافية لم تُطلب منه، يجب على النظام التوقف وطلب توضيح، بدلاً من التخمين. تثبت الدراسة أنه بينما الأنظمة الحالية قوية، إلا أنها تحتاج إلى اختبار صارم ومستمر لضمان عدم تفويتها للأخطاء الدقيقة. ويخلص الباحثون إلى أن السلامة ليست مجرد درجة "نجاح" أو "رسوب" واحدة؛ بل هي مجموعة من الفحوصات المختلفة — فحص تنسيق الرسالة، وفحص القواعد، وفحص النتيجة النهائية — تعمل جميعها معاً للحفاظ على سلامة العالم الرقمي.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →