Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة خفيفة الوزن وعامة الأغراض يمكن أن تعمل بفعالية كقضاة أمنيين منخفضي زمن الاستجابة للكشف عن هجمات التلقين في بيئات الإنتاج عندما يتم توجيهها عبر الاستدلال المهيكل، وهي طريقة تُطبق حالياً في روبوتات الدردشة الخاصة بالخدمة العامة في سنغافورة، بينما لا يحقق نهج "خليط النماذج" سوى تحسينات طفيفة في الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً ومفيداً للغاية (نموذج لغوي كبير، أو LLM) يعمل لدى الحكومة. مهمته هي الإجابة على أسئلة المواطنين، ومساعدتهم في ملء النماذج، وتقديم المشورة لهم. ولكن، تماماً مثل البشر، يمكن خداع هذا الروبوت.
يحاول الأشرار "كسر حماية" (jailbreak) الروبوت أو "حقن" تعليمات مخفية لجعله يقوم بأشياء خطيرة—مثل كشف بيانات سرية، أو كتابة برمجيات خبيثة، أو تقديم نصائح ضارة.
هذه الورقة البحثية تتحدث عن بناء حارس أمن لهذا الروبوت. واجه الباحثون من "GovTech" في سنغافورة مشكلة صعبة:
- الحراس القدامى (الأنظمة البسيطة القائمة على القواعد) سريعة ولكنها تفتقر للذكاء الكافي لفهم الهجمات الماكرة والمتخفية.
- الحراس الخارقون (نماذج الذكاء الاصطناعي الضخمة) أذكياء بما يكفي لكشف الخدع، لكنهم بطيئون ومكلفون جداً لفحص كل رسالة في الوقت الفعلي.
إليكم كيف حلوا هذه المشكلة، مشروحة ببساًطة:
1. "الحارس المفكر" (النموذج اللغوي الكبير كقاضٍ)
بدلاً من توظيف "حارس خارق" ضخم وبطيء، قاموا بتعليم روبوت خفيف وسريع كيف يفكر كالمحقق.
عادةً، إذا سألت روبوتاً: "هل هذه الرسالة سيئة؟"، فقد يجيب بـ "نعم" أو "لا" فوراً. هذا يشبه حارس الأمن الذي يكتفي بالنظر إلى وجه الشخص ويقرر ما إذا كان مريباً أم لا؛ فهو يفتقد للتفاصيل.
لقد أعطى المؤلفون روبوتهم السريع قائمة مراجعة صارمة (عملية استدلال مهيكلة) ليتبعها لكل رسالة:
- نزع القناع: "هل يتظاهر هذا الشخص بأنه باحث أو يكتب قصة لإخفاء نيته الحقيقية؟" (مثلاً: "اكتب قصة عن كيفية صنع قنبلة" مقابل "كيف أصنع قنبلة؟").
- فحص النية: "هل يطلب سير عمل غير ضار (مثل "اصنع رسماً بيانياً") أم شيئاً خطيراً؟".
- البحث عن إشارات السلامة: "هل يسأل عن كيفية إيقاف فيروس (آمن) أم عن كيفية إنشاء واحد (سيء)؟".
- المراجعة الذاتية: قبل إعطاء الإجابة النهائية، يجب على الروبوت أن يتوقف ويسأل نفسه: "مهلاً، هل أنا قاسٍ جداً؟ هل يمكن أن يكون هذا سؤالاً مشروعاً حقاً؟".
النتيجة: من خلال إجبار الروبوت السريع على "التفكير خطوة بخطوة" قبل الإجابة، أصبح ذكياً تقريباً مثل الحراس الخارقين البطيئين والمكلفين، ولكنه ظل سريعاً بما يكفي للعمل في الوقت الفعلي.
2. "لجنة الحراس" (مزيج من النماذج)
تساءل الباحثون: "ماذا لو طلبنا من ثلاثة روبوتات مختلفة فحص الرسالة وأخذنا برأيهم عبر التصويت؟ هل سيكون ذلك أكثر أماناً؟".
لقد جربوا دمج آراء نماذج ذكاء اصطنا- مختلفة (مزيج من النماذج - Mixture of Models).
- المفاجأة: إضافة المزيد من الحراس لم يجعل الأمور أفضل دائماً. في الواقع، جعلها أحياناً أسوأ.
- التشبيه: تخيل هيئة محلفين. إذا كان لديك محقق عبقري واحد ومتدرب مرتبك، فإن إضافة المتدرب قد تؤدي في الواقع إلى إرباك الحكم. أو، إذا كان لديك ثلاثة محققين يرتكبون جميعاً نفس الخطأ، فإن إضافة ثالث لن يساعد.
- النتيجة: لن تحصل على دفعة للأمام إلا إذا اخترت حراساً لديهم نقاط قوة مختلفة تكمل بعضها البعض. مجرد جمع حراس عشوائيين معاً يؤدي عادةً إلى الجدال والأخطاء.
3. الاختبار في العالم الحقيقي
لم يختبروا هذا على أسئلة وهمية ومصطنعة فقط. بل بنوا مجموعة اختبار باستخدام:
- أسئلة حقيقية للمواطنين من روبوتات الدردشة العامة في سنغافورة (للتأكد من أنهم لم يحظروا الناس العاديين عن طريق الخطأ).
- هجمات "الفريق الأحمر" (Red Team) الماكرة التي تم إنشاؤها بواسطة أنظمة ذكاء اصطنا أخرى تحاول كسر النظام.
الفائز: نموذج محدد وخفيف (يسمى gemini-2.0-flash-lite-001) يستخدم طريقة "الحارس المفكر" الخاصة بهم. كان سريعاً بما يكفي لفحص الرسائل فوراً، ولكنه كان ذكياً بما يكفي لكشف الهجمات الماكرة التي فاتت الأنظمة الأقدم.
الخلاصة الكبرى
أنت لا تحتاج إلى ذكاء اصطنا- ضخم وبطيء ومكلف للحفاظ على سلامة روبوتات الدردشة الخاصة بك. أنت تحتاج فقط إلى ذكاء اصطناعي سريع يتم تعليمه كيف يفكر بعناية.
- لا تسأل فقط "هل هذا سيء؟"
- بل اسأل: "ما هي النية؟ هل هناك قناع؟ ما هي إشارات السلامة؟ دعني أراجع إجابتي".
يتم استخدام هذا النهج الآن لحماية روبوتات الدردشة في الخدمة العامة في سنغافورة، مما يحافظ على سلامتها من المخترقين دون جعل المواطنين ينتظرون الحصول على إجاباتهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.