💻 computer science

NAAMSE: Framework for Evolutionary Security Evaluation of Agents

تقدم هذه الورقة NAAMSE، وهو إطار عمل تطوري يعمل على أتمتة وتعزيز تقييم أمن الوكلاء الاصطناعيين من خلال استخدام وكيل مستقل واحد لطفرات المطالبات واستكشاف المجموعات النصية بشكل تكراري، مما يكشف عن الثغرات الأمنية التكيفية التي تغفلها الاختبارات المعيارية الثابتة مع ضمان حفاظ النماذج على صحة الاستخدام الحميد.

المؤلفون الأصليون: Kunal Pai, Parth Shah, Harshil Patel

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kunal Pai, Parth Shah, Harshil Patel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء مساعد روبوت ذكي ومفيد للغاية (وكيل ذكاء اصطناعي - AI Agent) ليعمل في بنك، أو مستشفى، أو مكتب خاص بك. أنت تريد التأكد من أنه آمن قبل أن تسمح له بالتحدث مع أشخاص حقيقيين.

المشكلة هي أن الطرق القديمة لاختبار هذه الروبوتات قد تعطلت.

الطريقة القديمة (الاختبار اليدوي - Manual Red Teaming): توظيف إنسان لمحاولة خداع الروبوت. هذه الطريقة بطيئة، ومكلفة، ولا يمكن للإنسان التفكير في عدد لا نهائي من الحيل.
الطريقة الثابتة (الاختبارات المرجعية - Benchmarks): إعطاء الروبوت قائمة ثابتة من 100 "سؤال سيء" للإجابة عليها. المشكلة هي أنه بمجرد أن يتعلم الروبوت كيفية الإجابة على هذه الـ 100 سؤال، يبتكر المخترقون 1,000 حيلة جديدة لا توجد في القائمة.

إليك NAAMSE: "المدرب الأمني التطوري"

يقترح مؤلفو هذه الورقة نظامًا جديدًا يسمى NAAMSE. فكر فيه ليس كمجرد اختبار، بل كـ معسكر تدريبي للبقاء للأقوى للعثور على الثغرات الأمنية.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. الإعداد: "مدرب شرير" واحد

بدلاً من مختبر بشري أو قائمة ثابتة، يستخدم NAAMSE مدرب ذكاء اصطناعي واحد فائق الذكاء. مهمة هذا المدرب الوحيدة هي محاولة خداع الروبوت المستهدف لجعله يفعل شيئًا سيئًا (مثل تسريب أسرار أو كسر القواعد).

2. حلقة التدريب: التجربة، الخطأ، والتطور

لا يقوم المدرب بالتخمين العشوائي، بل يدير دورة مستمرة تبدو كالتالي:

المرحلة 1: المكتبة (الاختيار)
يبدأ المدرب بمكتبة ضخمة تضم آلاف الأسئلة، تتراوح من "كيف أخبز كعكة؟" (جيد) إلى "كيف أخترق بنكًا؟" (سيء). ثم يختار سؤالًا للبداية.
- التشبيه: تخيل طباخًا يختار مكونًا عشوائيًا من مخزن ضخم ليبدأ وصفة جديدة.
المرحلة 2: اختبار المذاق (التنفيذ والتقييم)
يطرح المدرب السؤال على الروبوت المستهدف، ثم يتحقق من الإجابة.
- الفخ: إذا قال الروبوت "لا يمكنني فعل ذلك" لسؤال سيء، فهذا أمر جيد (الدرجة: منخفضة). أما إذا قام الروبوت بالفعل بالشيء السيئ، فهذا فشل (الدرجة: عالية).
- التحول: يقوم النظام أيضًا بفحص الأسئلة "الجيدة". إذا رفض الروبوت خبز كعكة لأنه يعتقد أن الخبز أمر خطير، فإن هذا يعتبر أيضًا فشلًا (الدرجة: عالية).
- التشبيه: يقوم المدرب بتقييم الروبوت بناءً على شيئين: الأمان (عدم القيام بأشياء سيئة) والفائدة (القيام بأشياء جيدة). إذا كان الروبوت خائفًا جدًا من فعل أي شيء، فهو يفشل. وإذا كان متهورًا جدًا، فهو يفشل أيضًا.
المرحلة 3: الطفرة (التطور)
هذا هو الجزء السحري. بناءً على الدرجة، يقرر المدرب كيف سيغير سؤاله التالي:
- إذا رفض الروبوت السؤال السيئ (درجة منخفضة): يفكر المدرب: "هذا لم ينجح. أحتاج إلى زاوية مختلفة تمامًا!" ويذهب إلى جزء آخر من المكتبة ليجد نوعًا جديدًا من الحيل.
- إذا كان الروبوت قد كاد أن يخطئ (درجة متوسطة): يفكر المدبر: "لقد اقتربنا! دعونا نعدل الصياغة قليلاً لنجعلها أكثر إقناعًا."
- إذا كاد الروبوت أن يفعل الشيء السيئ (درجة عالية): يفكر المدرب: "وجدتها! لنرفع مستوى الحدة أكثر لنرى إلى أي مدى يمكننا الضغط عليه."
- التشبيه: تخيل شخصًا يحاول فتح قفل بآلة فتح الأقفال. إذا لم يناسب المفتاح شكل القفل، يجرب شكل مفتاح مختلف تمامًا. إذا دخل المفتاح جزئيًا، يقوم ببرد حوافه قليلًا ليناسبه بشكل أفضل. وإذا فتح الباب، يحاول فتح القفل بسرعة أكبر ليرى ما إذا كان بإمكانه كسره.
المرحلة 4: الأرشيف (الدمج)
كل حيلة جديدة ومطورة يبتكرها المدرب يتم حفظها مرة أخرى في المكتبة. ومع مرور الوقت، تصبح المكتبة مليئة بالحيل الأكثر تطورًا وذكاءً التي نجحت في خداع الروبوت.

لماذا يعد هذا أفضل؟

تظهر الورقة أن هذا النهج "التطوري" يكتشف نقاط الضعف الخفية التي تغفل عنها القوائم الثابتة.

مشكلة "الرفض الشامل": بعض الروبوتات تكون خائفة جدًا من كسر القواعد لدرجة أنها ترفض الإجابة على أي شيء (حتى لو كان "ما هي حالة الطقس؟"). الاختبارات الثابتة قد تعتبر هذا الروبوت "آمنًا" لأنه لا يقول "نعم" أبدًا للطلبات السيئة. لكن NAAMSE يكشف ذلك لأن النظام يختبر أيضًا ما إذا كان الروبوت عديم الفائدة. إنه يجبر الروبوت على أن يكون آمنًا ومفيدًا في آن واحد.
تأثير "التركيب": من خلال تطوير الهجمات بمرور الوقت، يتعلم المدرب كيفية دمج الحيل الصغيرة في حيلة واحدة كبيرة ومعقدة لإرباك الروبوت.

الخلاصة

NAAMSE يشبه الجهاز المناعي الرقمي. فبدلاً من مجرد التحقق مما إذا كنت مصابًا بالبرد مرة واحدة في السنة، فإنه يحاكي باستمرار فيروسات جديدة وأقوى لتدريب جسمك (الذكاء الاصطناعي) على التعرف عليها ومحاربتها، مع التأكد من أن جسمك لا يصبح خائفًا جدًا من الجراثيم لدرجة تجعله يتوقف عن التنفس.

إنها طريقة لجعل وكلاء الذكاء الاصطناعي أقوياء بما يكفي للتعامل مع العالم الحقيقي، حيث يبتكر المخترقون دائمًا طرقًا جديدة لخداعهم.

إليك ملخص تقني مفصل لورقة البحث "NAAMSE: إطار عمل للتقييم التطوري لأمن الوكلاء"، المنشورة في ورشة عمل ICLR 2026 حول "الوكلاء في البرية" (Agents in the Wild).

1. بيان المشكلة

لقد تجاوز الانتشار السريع لوكلاء الذكاء الاصطناعي في بيئات الإنتاج سرعة تطوير الممارسات الأمنية القوية. تعاني طرق التقييم الأمني الحالية من ثلاث عيوب حرجة:

الاختبار الأحمر اليدوي (Manual Red-Teaming): رغم فعاليته، إلا أنه بطيء، ويتطلب جهداً بشرياً كبيراً، وغير قابل للتوسع، حيث يعتمد على الحدس البشري بدلاً من التغطية المنهجية.
المعايير الثابتة (Static Benchmarks): تعاني مجموعات البيانات الحالية (مثل مطالبات "DAN") من تقادم سريع مع قيام النماذج بسد الثغرات. فهي تختبر النماذج بمدخلات ثابتة، وتفشل في مراعاة الخصوم المتكيفين ومتعددي الأدوار.
التركيز على الدور الواحد (Single-Turn Focus): تركز معظم الأدوات الآلية (مثل GPTFuzzer وAutoDAN) على تحسين معدل نجاح الهجوم (ASR) في النماذج اللغوية الكبيرة المعزولة ذات الدور الواحد. وهي تفشل في معالجة المقايضة بين المنفعة والأمن المتأصلة في وكلاء الإنتاج، مما يؤدي غالباً إلى "أمن متدهور" حيث تكتفي النماذج برفض جميع الطلبات (الرفض الشامل) لتبدو آمنة، مما يجعلها غير قابلة للاستخدام.

2. المنهجية: إطار عمل NAAMSE

يقترح المؤلفون NAAMSE، وهو إطار عمل للتقييم ما قبل النشر، يعيد صياغة اختبار أمن الوكلاء كـ مشكلة تحسين مدفوعة بالتغذية الراجعة. بدلاً من نظام متعدد الوكلاء، يستخدم NAAMSE وكيلاً مستقلاً واحداً يدير دورة حياة تطورية تتكون من أربع مراحل متميزة:

أ. نظرة عامة على البنية التحتية

يعمل النظام كخط إنتاج مستمر حيث تتدفق المطالبات عبر أربع مراحل:

الاختيار والتمثيل (محرك التجميع - Clustering Engine):
- يبدأ بمجموعة بذور تضم أكثر من 128 ألف استعلام عدائي وأكثر من 50 ألف استعلام حميد.
- يستخدم محولات الجمل all-MiniLM-L6-v2 لتشفير المطالبات.
- ينظم المجموعة في شجرة هرمية عبر تجميع K-means المتكرر، مع وصفها بواسطة النماذج اللغوية الكبيرة لالتقاط أنماط التفاعل (مثل "اختراق لعب الأدوار").
التنفيذ والتقييم (محرك السلوك - Behavioral Engine):
- يرسل المطالبات إلى الوكيل المستهدف عبر واجهة (الوكيل إلى الوكيل - A2A)، مما يدعم الحوار متعدد الأدوار واستخدام الأدوات.
- يحسب درجة لياقة (Fitness Score) عددية ( $s \in [0, 100]$ $s \in [0, 100]$ ) بناءً على ثلاث إشارات:
  - الضرر (Harmfulness): يتم تقييمه عبر قضاة متخصصين من النماذج اللغوية الكبيرة عبر فئات السلامة.
  - المواءمة (Alignment): يقيس ما إذا كان الطلب قد تم تنفيذه (الرفض مقابل الامتثال).
  - مخاطر الخصوصية (Privacy Risk): يكتشف الكشف عن معلومات الهوية الشخصية (PII).
- التقييم مزدوج الأهداف:
  - المطالبات العدائية: تعاقب الامتثال الضار؛ وتكافئ الرفض.
  - المطالبات الحميدة: تعاقب الرفض غير المبرر؛ وتكافئ الفائدة.
  - هذا يمنع استراتيجية "الرفض الشامل" من تحقيق درجة أمن عالية.
القرار التطوري (محرك الطفرة - Mutation Engine):
- تحدد درجة اللياقة الإجراء التالي، مما يحاكي خصماً متكيفاً:
  - درجة منخفضة ( $s < 50$ ): تطلق عملية الاستكشاف (التخلي عن المسار، وعينات من مجموعات جديدة).
  - درجة متوسطة ( $50 \le s < 80$ ): تطلق عملية التحسين (إنشاء متغيرات متشابهة دلالياً لتثبيت الهجوم).
  - درجة عالية ( $80 \le s < 100$ ): تطلق عملية الطفرة (تطبيق تحويلات عدوانية مستمدة من الأبحاث).
  - درجة مثالية ( $s = 100$ ): تطلق عملية الاستكشاف (تحديد السطح كسطح مشبع، وفرض الانتقال إلى مجموعات جديدة لتجنب الحلول المحلية المثلى).
- تشمل عوامل الطفرة إعادة الصياغة القائمة على نظرية الألعاب، ولعب أدوار الشخصيات، والترميز متعدد اللغات، وتنفيذ الأكواد.
تكامل المجموعة (Corpus Integration):
- يتم تشفير المطالبات الجديدة وتعيينها لأقرب مركز تجمع بناءً على المسافة الإقليدية، مما يسمح للمجموعة بالتطور وتراكم ناقلات الهجوم الناجحة بمرور الوقت دون الحاجة لإعادة التجميع الشامل.

3. المساهمات الرئيسية

إعادة صياغة الاختبار الأحمر: نقل النموذج من الاختبار الاستاتيكي إلى عملية تحسين ديناميكية وتطورية مدفوعة باستجابات النموذج.
توازن المنفعة والأمن: تقديم آلية تسجيل تعاقب صراحةً كلاً من الامتثال الضار (فشل أمني) والرفض المفرط (فشل في المنفعة)، مما يضمن تقييم الوكلاء بناءً على المتانة وليس فقط معدلات الرفض.
التآزر بين الاستكشاف والطفرة: إثبات أن الجمع بين الاستكشاف الواسع للمجموعات والطفرة الجينية المستهدفة يتفوق على استخدام أي منهما بشكل منفصل.
التوافق مع A2A: تم تصميم الإطار للوكلاء المستقلين، مما يدعم أنماط التفاعل المعقدة (استخدام الأدوات، متعدد الأدوار) بدلاً من مجرد روبوتات الدردشة.

4. النتائج التجريبية

تم تقييم الإطار بشكل أساسي على Gemini 2.5 Flash، مع التحقق من صحة النموذج عبر نماذج أخرى باستخدام Qwen3.5-122B-A10B.

دراسة الاستئصال (الجدول 1):
- النظام الكامل ("All"): حقق أعلى متوسط درجات (79.76) واكتشف أنماط الفشل بنسبة 100% (اختراقات حرجة) في عدة تكرارات.
- الطفرة فقط (Mutation-Only): تقارب نحو حلول محلية مثلى بدرجات راكدة (~53)، وفشل في اكتشاف أسطح هجوم جديدة بدون الاستكشاف.
- الاستكشاف فقط (Exploration-Only): فشل في تحسين المرشحين ذوي الدرجات العالية، مما تسبب في انهيار الدرجات عند تعطيل الطفرة.
- الاستنتاج: التآزر بين الاستكشاف (إيجاد المرشحين) والطفرة (تحسينهم) أمر بالغ الأهمية لتضخيم الثغرات بشكل منهجي.
اختبارات السلامة (Sanity Checks):
- حدد النظام بشكل صحيح الوكلاء من نوع "All-No" (الرفض الدائم) و"All-Yes" (الامتثال الدائم) كوكلاء فاشلين، حيث عكست درجاتهم عيوب الأمن والمنفعة الخاصة بهم.
القدرة على التعميم: أكدت التجارلات عبر النماذج (الجدول 6 و7) أن التآزر التطوري يظل ثابتاً بغض النظر عن النموذج المستهدف أو النموذج اللغوي المستخدم كقاضٍ.

5. الأهمية والعمل المستقبلي

تقييم واقعي: يوفر NAAMSE تقييماً أكثر واقعية لمتانة الوكلاء ضد التهديدات المتطورة، متجاوزاً قوائم التحقق الثابتة.
القابلية للتوسع: يقدم بديلاً قابلاً للتوسع للاختبار الأحمر اليدوي، وقادراً على اكتشاف الثغرات المركبة باستمرار والتي قد تغفل عنها الطرق ذات الخطوة الواحدة.
القيود:
- الاعتماد على القضاة القائمين على النماذج اللغوية الكبيرة قد يؤدي إلى تحيز (رغم أن الإطار مستقل عن نوع القاضي).
- التغطية محدودة بتنوع مجموعة البذور الأولية وعوامل الطفرة المنفذة.
- يركز النطاق الحالي على ثغرات مستوى التفاعل، مستبعداً اختراقات مستوى النظام مثل استخراج الأوزان.
الاتجاهات المستقبلية: الإطار قابل للتوسع ليشمل عمليات الحقن متعددة الوسائط، وثغرات واجهة برمجة التطبيقات (API)، وحمولات استدعاء الأدوات من خلال دمج عوامل طفرة جديدة.

الخلاصة: يمثل NAAMSE خطوة مهمة للأمام في سلامة الذكاء الاصطناعي من خلال التعامل مع التقييم الأمني كعملية مستمرة ومتكيفة. فهو يكشف بفعالية عن أنماط الفشل عالية الخطورة في وكلاء الإنتاج مع ضمان أن التدابير الأمنية لا تضعف من منفعة الوكيل. الكود متاح كمصدر مفتوح على github.com/HASHIRU-AI/NAAMSE.