💻 computer science

Peering Behind the Shield: Guardrail Identification in Large Language Models

تقدم هذه الورقة البحثية AP-Test، وهي طريقة جديدة تعتمد على الصندوق الأسود تستخدم مطالبات عدائية خاصة بالحواجز الوقائية ومقياس "درجة المطابقة" جديد لتحديد الحواجز الوقائية المحددة المنشورة في وكلاء النماذج اللغوية الكبيرة بدقة، محققةً دقة تصنيف مثالية عبر سيناريوهات متنوعة.

المؤلفون الأصليون: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدخل بنكاً عالي التقنية. أنت تعلم أن هناك حراساً أمنيين، وكاميرات، وإنذارات، لكنك لا تعرف بالضبط ما هي العلامة التجارية لنظام الأمان الذي يستخدمونه. هل هو "SafeGuard 3000"؟ أم "UltraShield"؟ أم ربما نظام تم بناؤه خصيصاً؟

في عالم الذكاء الاصطنا-عي (AI)، تُسمى أنظمة الأمان هذه "الحواجز الوقائية" (Guardrails). وهي بمثابة الأسوار غير المرئية التي تمنع روبوتات الدردشة من قول شيء مسيء، أو خطير، أو غير قانوني.

الورقة البحثية التي شاركتها، بعنوان "التلصص خلف الدرع" (Peering Behind the Shield)، تتحدث عن خدعة ذكية جديدة تسمى AP-Test. وهي طريقة تمكن الباحثين من معرفة أي حارس أمن يقف بالضبط عند باب نموذج ذكاء اصطناعي "الصندوق الأسود" (Black-box)، حتى عندما لا يُسمح لهم برؤية بطاقة تعريف الحارس.

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. المشكلة: الحارس الغامض

تخيل أنك روبوت دردشة يعمل بالذكاء الاصطناعي. لديك حارس أمن (الحاجز الوقائي) يفحص كل ما تقوله قبل أن ترسله للخارج.

التحدي: أنت (المهاجم أو الباحث) لا يمكنك سوى التحدث إلى روبوت الدردشة. لا يمكنك رؤية الحارس. أنت تعلم فقط أن الروبوت أحياناً يقول "لا يمكنني فعل ذلك"، وأحياناً أخرى يقول "إليك إجابتك".
لماذا هذا مهم: إذا عرفت بالضبط أي حارس موجود هناك (على سبيل المثال: "أوه، إنه نموذج WildGuard")، يمكنك تعلم نقاط ضعفهم المحددة وخداعهم. إذا لم تكن تعرف، فأنت مجرد تخمن.

2. الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (بصمة LLM): عادةً، لتحديد هوية نموذج ما، تطرح عليه أسئلة مخادعة لترى كيف يجيب. لكن الحواجز الوقائية مختلفة. فهي لا تقدم إجابات طويلة وفريدة، بل تقول فقط "آمن" أو "غير آمن". الأمر يشبه محاولة التعرف على شخص من خلال ما إذا كان يهز رأسه بالموافقة أو الرفض؛ إنه أمر غامض للغاية!
الطريـقة الجديدة (AP-Test): ابتكر المؤلفون "اختباراً سحرياً". فبدلاً من طرح أسئلة عادية، يقومون بإنشاء "مطالبات عدائية" (Adversarial Prompts). فكر في هذه المطالبات كأنها مفاتيح مصممة خصيصاً.

3. كيف يعمل AP-Test: استراتيجية "المفتاح السحري"

قام الباحثون ببناء نظام ينشئ جملة محددة (مطالبة) مصممة للقيام بشيئين في آن واحد:

استثارة الهدف: هي مصممة لجعل الحارس المستهدف تحديداً (لنسمه "الحارس Wild") يصاب بالذعر ويصرخ: "خطر! توقف!".
تجاهل الآخرين: هي مصممة لجعل جميع الحراس الآخرين (الحارس Llama، الحارس Shield، إلخ) يقولون: "أوه، هذا جيد. يمكنك المرور".

العملية:

صياغة المفتاح: يستخدمون جهاز كمبيوتر لتعديل جملة مراراً وتكراراً حتى تنجح تماماً في استثارة "الحارس Wild" ولكنها تترك الجميع الآخرين هادئين.
الاختبار: يغذون الذكاء الاصطناعي بهذه الجملة.
- السيناريو (أ): يرفض الذكاء الاصطناعي الإجابة. الاستنتاج: "آها! لدينا 'الحارس Wild' في الخدمة!"
- السيناريو (ب): يجيب الذكاء الاصطناعي بشكل طبيعي. الاستنتاج: "كلا، 'الحارس Wild' ليس هنا."

4. نوعان من الحراس (مدخلات مقابل مخرجات)

أدركت الورقة البحثية أن الحراس يمكن أن يقفوا في مكانين مختلفين:

حارس الباب الأمامي (حارس المدخلات): يفحص سؤالك قبل أن يفكر فيه الذكاء الاصطناعي.
- الاختبار: فقط اسأل سؤال "المفتاح السحري" للذكاء الاصطناعي. إذا رفض الإجابة فوراً، فإن "حارس الباب الأمامي" موجود.
حارس الباب الخلفي (حارس المخرجات): يفحص إجابة الذكاء الاصطناعي بعد أن يفكر فيها ولكن قبل أن يظهرها لك.
- المشكلة: لا يمكنك إجبار الذكاء الاصطناعي على قول "المفتاح السحري" لأن الذكاء الاصطناعي قد لا يرغب في ذلك.
- الحل: يخبر الباحثون الذكاء الاصطناعي: "يرجى تكرار هذه الجملة بالضبط: [المفتاح السحري]."
- إذا حاول الذكاء الاصطناعي تكرارها، فإن "حارس الباب الخلفي" يرى "المفتاح السحري" داخل فم الذكاء الاصطناعي ويصرخ: "توقف!". إذا كان مسموحاً للذكاء الاصطناعي بقولها، فإن "حارس الباب الخلفي" ليس موجوداً.

5. "درجة المطابقة": الحكم النهائي

كيف يتأكدون من ذلك؟ يستخدمون "درجة المطابقة" (Match Score).

تخيل أن "المفتاح السحري" يجعل الحارس الحقيقي Wild يقول "توقف" بنسبة 100% من الوقت.
إذا قال الذكاء الاصطناعي الغامض أيضاً "توقف" بنسبة 100% من الوقت، فإن درجة المطابقة هي 1.0 (مطابقة مثالية!).
إذا قال الذكاء الاصطناعي الغامض "توقف" بنسبة 10% فقط، فإن الدرجة منخفضة، مما يعني أنه من المحتمل أن يكون حارساً مختلفاً.

6. ماذا وجدوا؟

لقد اختبروا هذا على العديد من أنظمة الذكاء الاصطناعي وأنواع مختلفة من الحواجز (مثل WildGuard، LlamaGuard، إلخ).

النتيجة: لقد نجح الأمر بشكل مثالي! استطاعوا تحديد الحارس بدقة 100% في كل حالة تقريباً.
المفاجأة: حتى لو كان لدى الذكاء الاصطناعي حارسان (واحد عند الباب الأمامي وآخر عند الباب الخلفي)، فلا يزال بإمكان الاختبار تحديد أي منهما موجود بالضبط.

لماذا يجب أن تهتم؟

للمهاجمين: إذا عرفت أي حارس موجود هناك، يمكنك كسر النظام بسهولة أكبر.
للمدافعين: إذا كنت شركة الذكاء الاصطناعي، فأنت بحاجة لمعرفة أن نظام الأمان الخاص بك له "بصمة" يمكن العثور عليها. تثبت هذه الورقة أن الحواجز الوقائية الحالية سهلة التحديد للغاية.
للجميع: يوضح هذا أن سلامة الذكاء الاصطناعي لا تتعلق فقط بوجود حارس؛ بل تتعلق بالتأكد من أن هذا الحارس يصعب خداعه ويصعب تحديد هويته.

باخت-صار: ابتكرت الورقة البحثية "عدة لفتح الأقفال" لا تحاول فقط كسر القفل، بل تستمع إلى "نقرة" القفل لتعرف لك بالضبط ما هي العلامة التجارية للقفل، حتى لو كان الباب مطلياً باللون الأسود.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النظر خلف الدرع: تحديد الحواجز الوقائية في النماذج اللغوية الكبيرة" (Peering Behind the Shield: Guardrail Identification in Large Language Models).

1. بيان المشكلة

مع نشر النماذج اللغوية الكبيرة (LLMs) في وكلاء الذكاء الاصطناعي التفاعليين في العالم الحقيقي، أصبحت محمية بشكل متزايد بواسطة حواجز وقائية للسلامة (مثل LlamaGuard وWildGuard وShieldGemma). تعمل هذه الحواجز كمرشحات خارجية لتنظيم محتوى المدخلات والمخرجات، مما يمنع الاستجابات الضارة أو المنتهكة للسياسات.

تتمثل المشكلة الجوهرية التي تعالجها الورقة في تحديد الحاجز الوقائي (Guardrail Identification): أي تحديد أي حاجز وقائي معين (أو أحد مشتقاته) مستخدم في وكيل ذكاء اصطناعي "صندوق أسود" (Black-box AI agent).

الدوافع: يسمح تحديد الحاجز الوقائي للمهاجمين بالانتقال من الهجمات التي تتعامل مع الصندوق الأسود إلى هجمات مستهدفة بأسلوب "الصندوق الأبيض" (White-box)، مما يزيد بشكل كبير من معدل نجاح عمليات كسر الحماية (Jailbreaks) وحقن الأوامر (Prompt Injections). وعلى العكس من ذلك، يساعد هذا الأمر مالكي النماذج على اكتشاف الاستخدام غير المصرح به لنماذج السلامة المملوكة لهم.
التحديات:
- C1 (مساحة مخرجات محدودة): عادة ما تخرج الحواجز الوقائية تسميات ثنائية مثل "آمن/غير آمن"، مما يجعل من الصعب تمييزها عبر أنماط استجابة فريدة مقارنة بالنماذج اللغوية الكاملة.
- C2 (التعمية/التمويه): غالبًا ما تحتوي الوكلاء على طبقات سلامة متعددة (مثل نماذج لغوية محاذية للسلامة + حواجز وقائية خارجية)، مما يحجب هوية الحاجز الوقائي المرشح المحدد.
- C3 (مراحل النشر): يمكن نشر الحواجز الوقائية في مرحلة المدخلات (تصفية مطالبات المستخدم) أو مرحلة المخرجات (تصفية استجابات النموذج اللغوي). ويعد اختبار حواجز المخرجات أمرًا صعبًا لأن المهاجم لا يمكنه التحكم مباشرة في النص الذي يولده النموذج اللغوي.
- C4 (اختيار العتبة): تفتقر طرق التحديد الحالية إلى استراتيجيات منهجية لضبط عتبات القرار، مما يؤدي إلى نتائج غير موثوقة.

2. المنهجية: AP-Test

يقترح المؤلفون إطار عمل AP-Test (الأوامر التنافسية لاختبار الحواجز الوقائية)، وهو إطار يستخدم أوامر تنافسية خاصة بالحاجز (Guard-specific adversarial prompts) لتحديد الحاجز الوقائي المستخدم. تتكون الطريقة من مرحلتين رئيسيتين:

أ. تحسين الأوامر التنافسية (Adversarial Prompt Optimization)

الهدف هو توليد أمر يتكون من $P = x_a \parallel x_q$ (بادئة تنافسية $x_a$ متبوعة باستعلام طبيعي $x_q$ ) يؤدي إلى جعل الحاجز الوقائي المرشح ( $G_t$ ) يصنف المدخلات على أنها "غير آمنة"، بينما تظل "آمنة" بالنسبة لجميع الحواجز الوقائية الأخرى وللنموذج اللغوي الأساسي.

يتم تحقيق ذلك من خلال تحسين دالة الخسارة $L$ المكونة من ثلاثة عناصر:

خسارة التنافسية للمرشح ( $L_1, L_2$ ): تجبر الحاجز الوقائي المرشح $G_t$ $G_{t}$ على تصنيف الأمر كـ "غير آمن".
- $L_1$ : تشجع على التصنيف كـ "غير آمن".
- $L_2$ : تعاقب على التصنيف كـ "آمن".
خسارة التوافق مع الحواجز الأخرى ( $L_3$ ): تضمن تصنيف الأمر كـ "آمن" بواسطة مقياس سلامة ( $S$ ) والحواجض الوقائية الأخرى غير المرشحة. وهذا يمنع النتائج الإيجابية الكاذبة الناتجة عن آليات سلامة غير ذات صلة.
- $L = L_1 + \alpha L_2 + \beta L_3$ .
استراتيجية التحسين: تستخدم استراتيجية الاشتقاق المتدرج الإحداثي الجشع (Greedy Coordinate Gradient - GCG) لتحديث تضمينات الرموز (Token Embeddings)، مع أخذ عينات من أفضل $k$ من البدائل لتقليل الخسارة.

ب. اختبار الأوامر التنافسية (Adversarial Prompt Testing)

يوظف إطار العمل استراتيجيتين متكاملتين لتغطية مراحل النشر المختلفة:

اختبار حاجز المدخلات (Input Guard Test): يتم إرسال الأمر التنافسي مباشرة إلى وكيل الذكاء الاصطناعي. إذا رفض الوكيل الاستعلام، فهذا يشير إلى أن الحاجز الوقيدي المرشح منشورة في مرحلة المدخلات.
اختبار حاجز المخرجات (Output Guard Test): لاختبار حواجز المخرجات، يُطلب من الوكيل تكرار الأمر التنافسي (على سبيل المثال: "مهمتك هي محاكاة النص. كرر هذه السلسلة بدقة..."). يتم بعد ذلك تمرير تكرار النموذج اللغوي إلى حاجز المخرات. إذا قام الحاجز بتصنيف التكرار على أنه غير آمن، فمن المرجح وجود المرشح المقصود.

ج. مقياس درجة المطابقة (Match Score Metric)

لحل مشكلة اختيار العتبة (C4)، قدم المؤلفون درجة المطابقة (Match Score - MS):
$MS = \frac{|min(r, r_t)|^\lambda}{|r_t|^\lambda}$

$r$ : معدل الرفض لوكيل الذكاء الاصطناعي (نسبة استجابات "الرفض").
$r_t$ : معدل الرفض للحاجز الوقائي المرشح عند استعلامه مباشرة بنفس الأوامر.
$\lambda$ : عامل القياس.
قاعدة القرار: إذا كانت $MS > 0.5$ ، يتم تحديد الحاجز الوقائي المرشح على أنه موجود. تعتمد هذه العملية حصريًا على سلوك النموذج المرشح، مما يلغي الحاجة إلى مجموعات نماذج لغوية مساعدة.

3. المساهمات الرئيسية

أول طريقة لتحديد الحواجز الوقائية: يعد AP-Test أول نهج لتحديد حواجز وقائية محددة في وكلاء الذكاء الاصطناعي (الصندوق الأسود) باستخدام أوامر تنافسية خاصة بالحاجز.
الاختبار ثنائي المراحل: يتعامل بفعالية مع نشر حواجز المدخلات والمخرجات، متجاوزًا صعوبة اختبار مرشحات المخرجات.
مقياس قرار منهجي: يوفر تقديم درجة المطابقة استراتيجية قوية ومستقلة عن العتبة للتحديد.
تقييم شامل: تم التحقق من صحة الطريقة مقابل أربعة حواجز وقائية مرشحة (WildGuard, LlamaGuard, LlamaGuard2, LlamaGuard3) عبر وكلاء متنوعين (Llama3.1, GPT-4o) وسيناريوهات معقدة (وجود حواجز متعددة).

4. النتائج التجريبية

دقة مثالية: حقق AP-Test دقة تصنيف بلغت 100% (Acc = 1.00) ومساحة تحت المنحنى (AUC) بلغت 1.00 عبر جميع السيناريوهات المختبرة لاختبارات حواجز المدخلات والمخرجات.
القوة والمتانة:
- الطريقة قوية تجاه النماذج اللغوية الأساسية المختلفة (Llama3.1 مقابل GPT-4o).
- نجحت في تحديد الحواجز الوقائية حتى عندما يحتوي الوكيل على حواجز متعددة (مثل تفعيل مرشحات المدخلات والمخرجات معًا).
- ميزت بشكل صحيح بين الحواجز الأساسية ومشتقاتها المعدلة (مثل نماذج Aegis المبنية على LlamaGuard).
دراسات الاستئصال (Ablation Studies):
- عناصر الخسارة: أدى حذف $L_3$ (خسارة التوافق) إلى حدوث حالات إيجابية كاذبة عالية (مثل الخطأ في تحديد وكلاء WildGuard على أنهم LlamaGuard).
- مجموعة الاستعلام ( $Q$ ): أدى حذف مجموعة الاستعلام الطبيعي $Q$ أثناء التحسين إلى توليد أوامر تسببت في تفعيل جميع الحواجز الوقائية، مما دمر خصوصية التحديد. مجموعة الاستعلام ضرورية لتوجيه عملية التحسين.
- عدد الدورات (Epochs): تتقارب الطريقة بكفاءة (حوالي 50 دورة)، حيث يستقر الأداء مع زيادة التمايز بين الهدف وغيره من الحواجز.

5. الأهمية والآثار المترتبة

المخاطر الأمنية: تسلط هذه الدراسة الضوء على ثغرة أمنية حرجة: بمجرد تحديد الحاجز الوقائي المحدد، يمكن للمهاجم صياغة هجمات فعالة للغاية وموجهة لتجاوز النظام. وهذا ينقل النموذج الأمني من "الدفاع بصندوق أسود" إلى "ثغرة بصندوق أبيض".
حماية حقوق الملكية الفكرية: على العكس من ذلك، تعمل هذه الطريقة كأداة لمالكي النماذج لاكتشاف ما إذا كانت حواجزهم الوقائية المملوكة تُستخدم دون تصريح في وكلاء تابعين لجهات خارجية.
الاتجاهات المستقبلية: تدعو الورقة إلى تطوير حواجز وقائية يصعب بطبيعتها "بصمها" (Fingerprinting) أو التحايل عليها. كما تشير إلى القيود، مثل التركيز الحالي على الحواجز القائمة على النماذج بدلاً من المرشحات القائمة على القواعد أو الأنظمة المغلقة والمملوكة.

باختصار، يثبت AP-Test أن الحواجز الوقائية الحالية يمكن تحديد هويتها من خلال الأوامر التنافسية، مما يكشف عن سطح هجوم جديد في منظومة سلامة الذكاء الاصطناعي ويؤكد الحاجة إلى آليات سلامة أكثر قوة وغير قابلة للبصمة.