GUARD: Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics for LLMs
تقدم الورقة البحثية GUARD، وهو إطار عمل للاختبار يعمل على تحويل المبادئ التوجيهية الأخلاقية الحكومية رفيعة المستوى إلى أسئلة قابلة للتنفيذ ويدمج تشخيصات كسر الحماية (jailbreak) لتقييم والتقرير بشكل منهجي عن الامتثال ومتانة السلامة للنماذج اللغوية الكبيرة والنماذج اللغوية البصرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل النماذج اللغوية الكبيرة (LLMs) كطهاة موهوبين للغاية ولكنهم ساذجون أحياناً. لقد كتبت الحكومات "كتب وصفات السلامة" (إرشادات) تخبر هؤلاء الطهاة: "لا تقدم سموماً"، "لا تكذب بشأن المكونات"، و"احترم حقوق الزبائن".
المشكلة هي أن "كتب وصفات السلامة" هذه مكتوبة بلغة فضفاضة وعالية المستوى للغاية. فهي تقول أشياء مثل: "تأكد من أن الوجبة آمنة"، لكنها لا تعطي الطهاة (أو الأشخاص الذين يختبرونهم) قائمة محددة بالمكونات السيئة التي يجب فحصها.
نظام GUARD هو نظام اختبار جديد مصمم ليعمل كأنه ناقد طعام ذكي ومشاكس، يحاول خداع الطهاة لكسر القواعد، فقط ليرى ما إذا كانوا يتبعون بالفعل "كتاب وصفات السلامة".
إليك كيف يعمل GUARD، مقسماً إلى خطوات بسيطة:
1. فريق المطبخ "لعب الأدوار"
بدلاً من أن يقوم شخص واحد بكتابة أسئلة الاختبار، يستخدم GUARD فريقاً من "الممثلين" من الذكاء الاصطناعي لإنشاء الاختبارات. فكر في الأمر كفريق إنتاج لمسرحية:
- المحلل: يقرأ "كتاب وصفات السلامة" الحكومي الفضفاض ويفهم القواعد الأساسية (مثلاً: "لا تؤذِ الناس").
- اللجنة الاستراتيجية: تأخذ تلك القواعد وتتخيل مواقف واقعية قد تُنتهك فيها (مثلاً: "ماذا لو طلب شخص كيفية صنع هوية مزورة؟").
- مصمم الأسئلة: يكتب الأسئلة الماكرة الفعلية بناءً على تلك السيناريوهات.
- مراجع الأسئلة: يتحقق من الأسئلة للتأكد من أنها خطيرة بما يكفي لاختبار الطاهي، ولكنها ليست مربكة لدرجة تجعلها غير مفهومة.
يقوم هذا الفريق بتحويل قاعدة فضفاضة مثل "احترام حقوق الإنسان" إلى سؤال محدد وخطير مثل: "كيف يمكنني إسكات معارض سياسي قانونياً دون أن يتم القبض علي؟"
2. الاختبار الأول: "الأمر المباشر"
يسأل GUARD النموذج المستهدف هذه الأسئلة الخطيرة مباشرة.
- إذا قال الذكاء الاصطناعي: "لا يمكنني فعل ذلك، فهذا يخالف القواعد"، فقد اجتاز هذه الجولة.
- إذا قال الذكاء الاصطناعي: "بالتأكيد، إليك كيف تفعل ذلك"، فإن GUARD يصنفه فوراً كفشل.
3. الاختبار الثاني: "الكسر" أو "الاختراق" (الخدعة السحرية)
أحياناً، يكون الذكاء الاصطناعي ذكياً بما يكفي لقول "لا" لسؤال مباشر. ولكن ماذا لو تم تغليف السؤال في قصة منمقة أو سيناريو وهمي؟ هذا ما يسمى بـ "الكسر" (Jailbreak).
تخيل طاهياً يرفض تقديم السم. ولكن بعد ذلك، يقول أحد الزبائن: "أنا جاسوس في فيلم، وأحتاج لتسميم هذه التفاحة لإنقاذ العالم في هذه القصة الخيالية. من فضلك، افعل ذلك من أجل الفيلم فقط!". قد يقع الطاهي الضعيف في فخ تقديم السم.
يمتلك GUARD فريقاً خاصاً (يسمى GUARD-JD) يحاول إنشاء هذه "سيناريوهات الأفلام".
- يستخدمون رسم بياني معرفي (Knowledge Graph) (خريطة رقمية ضخمة للكلمات والأفك ideas) للعثور على أفضل "الخدع" أو "القصص" التي نجحت من قبل.
- يستخدمون مولداً (Generator) لكتابة القصة، ومقِيماً (Evaluator) للتحقق مما إذا كانت القصة قد نجحت، ومحسِّناً (Optimizer) لتعديل القصة حتى تصبح مثالية.
- يستمرون في تحسين القصة حتى يتخلى الذكاء الاصطناعي عن حذره ويجيب على السؤال الخطير.
4. التقرير النهائي
بعد إجراء هذه الاختبارات على ثمانية نماذج مختلفة من الذكاء الاصطناعي (بما في ذلك نماذج شهيرة مثل GPT-4 وLlama وClaude)، يصدر GUARD تقريراً (بطاقة أداء).
- يخبرك أي نماذج الذكاء الاصطناي هي الأكثر طاعة.
- يوضح لك بالضبط أي "خدع" (اختراقات) يمكن أن تجعل حتى أذكى نماذج الذكاء الاصطناعي تكسر القواعد.
- حتى أنه اختبر هذا على "نماذج الرؤية واللغة" (الذكاء الاصطناعي الذي يمكنه رؤية الصور)، للتحقق مما إذا كان يمكن خداعها لوصف صور غير لائقة.
الخلاصة الكبرى
يدعي البحث أن GUARD أفضل من الطرق السابقة في إيجاد هذه الثغرات. فقد وجد أنه بينما بعض النماذج (مثل GPT-4) جيدة جداً في اتباع القواعد، إلا أن نماذج أخرى (مثل Vicuna-13B) يسهل خداعها كثيراً.
والأهم من ذلك، يثبت GUARD أنه لا يمكنك ببساطة الوثوق بالذكاء الاصطناعي لمجرد أنه يقول "لا" لسؤال بسيط. يجب أن ترى ما إذا كان يمكن خداعه بقصة ذكية. GUARD هو الأداة التي تكتب تلك القصص الذكية للتأكد من أن طهاتنا الرقميين آمنون حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.