A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks
تقترح هذه الورقة إطار عمل دفاعي متعدد الوكلاء، ذاتي التطور وخالٍ من المعلمات، يستخدم ذاكرة تفاعل متبادل مستمرة لتجريد محاولات كسر الحماية الناجحة إلى قواعد عامة على مستوى الأساليب، مما يمكّن النماذج اللغوية الكبيرة من التكيف ديناميكيًا مع استراتيجيات الهجوم المتطورة دون المساس بالمنفعة الحميدة أو زيادة الرفض المفرط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد نماذج اللغات الكبيرة أدوات قوية يمكنها كتابة القصص، وحل المشكلات، والإجابة على الأسئلة، ولكن لديها نقطة ضعف كبيرة: يمكن خداعها لتجاهل قواعد السلامة الخاصة بها. تخيل مساعداً مدرباً تدريباً عالياً تم تعليمه عدم تقديم تعليمات خطيرة أبداً، مثل كيفية بناء سلاح أو تجاوز نظام أمني. ومع ذلك، يمكن لمحتال ذكي أن يجعل هذا المساعد يستجيب من خلال تغليف الطلب الخطير في تنكر معقد، مثل التظاهر بأنه شخصية في قصة أو إخفاء الطلب داخل كود برمجي. هذه الحيل، المعروفة باسم "كسر الحماية" (jailbreaks)، تستغل رغبة النموذج في اتباع التعليمات، مما يسمح للأفكار الضارة بالتسلل عبر دفاعاته. لسنوات، كانت الطريقة القياسية لحماية هذه النماذج هي وضع حاجز ثابت، مثل قائمة ثابتة من الكلمات المحظورة أو مجموعة صارمة من التعليمات المبرمجة في النظام. ومع ذلك، تماماً كما يمكن للسارق في النهاية فتح قفل قام بدراسته، يستمر المهاجمون في ابتكار تنكرات جديدة لا تستطيع هذه الحواجز الثابتة التعرف عليها، مما يترك النماذج عرضة للتهديدات المتطورة.
اقترح باحثون في جامعة سنغافورة الوطنية نهجاً مختلفاً لهذه المشكلة، نهجاً يسم يسمح لنظام الدفاع بالتعلم والنمو ليصبح أقوى بمرور الوقت. فبدلاً من الاعتماد على مجموعة ثابتة من القواعد التي لا تتغير أبداً، بنوا نظاماً يعامل كل محاولة فاشلة لكسر قواعد السلامة كدرس مستفاد. عندما يواجه النظام نوعاً جديداً من الحيل التي تنجح في تجاوز دفاعاته، فإنه لا يكتفي بحظر ذلك الطلب المنفرد والمضي قدماً، بل يقوم بتحليل هيكل الحيلة، وتجريدها من الموضوع الضار المحدد، وإنشاء قاعدة جديدة قابلة لإعادة الاستخدام تستهدف الطريقة المستخدمة في تنكر الطلب. يتم تخزين هذه القاعدة الجديدة في ذاكرة مستمرة، تماماً مثل حارس أمن يدون الزي المحدد الذي ارتداه اللص، بحيث يمكن للحارس رصد أي شخص يرتدي نفس الزي في المستقبل، بغض النظر عما يحاول سرقته.
يعمل النظام من خلال فريق من أربعة مكونات متخصصة تعمل معاً خلال كل تفاعل. أولاً، يقوم "مصنف" (classifier) بفحص الطلب الوارد لمعرفة ما إذا كان يستخدم حيلة معروفة. إذا كان الطلب غير ضار، يتم الرد عليه بشكل طبيعي. أما إذا بدا الطلب وكأنه حيلة، فيتحقق النظام من ذاكرته بحثاً عن قاعدة تطابق أسلوب التنكر المحدد. إذا وجدت قاعدة مطابقة، يقوم النظام فوراً بتطبيق رفض صارم أو استجابة بديلة آمنة. وإذا كان الطلب نوعاً جديداً من الحيل لم يسبق للنظام رؤيته من قبل، فإنه يُسمح له بالمرور في البداية. وإذا أنتج النموذج عن طريق الخطأ إجابة ضارة، يتدخل "وكيل انعكاس" (reflection agent). يقوم هذا الوكيل بتحليل الفشل، وتحديد النمط الهيكلي للهجوم، وكتابة قاعدة جديدة في بنك الذاكرة. تصبح هذه القاعدة الجديدة متاحة للحماية ضد جميع الطلبات المستقبلية التي تستخدم نفس النمط الهيكلي، مما يحول فشلاً واحداً إلى درع دائم ضد عائلة كاملة من الهجمات المماثلة.
اختبر الباحثون هذا الدفاع ذاتي التطور على عدة نماذج مختلفة، بما في ذلك البرامج مفتوحة المصدر والأنظمة التجارية القوية التي لا يمكن تعديلها مباشرة. لقد أخضعوا هذه النماذج لأربع عائلات متميزة من هجمات كسر الحماية، والتي شملت أساليب مثل تقمص الأدوار، وتعمية الكود (code obfuscation)، والتلاعب متعدد الخطوات. وأظهرت النتائج أنه كلما واجه النظام المزيد من الهجمات وأضاف المزيد من القواعد إلى ذاكرته، تحسنت قدرته على إيقافها بشكل كبير. في المراحل الأولى، عندما كانت الذاكرة فارغة، كان النظام عرضة للاختراق، ولكن بعد التعلم من بضعة أمثلة فقط، قلل معدل نجاح هذه الهجمات إلى ما يقرب من الصفر. والأهم من ذلك، أن هذا التعلم حدث دون تغيير "دماغ" النموذج الأساسي؛ فقد أصبح النظام ببساطة أكثر ذكاءً في كيفية معالجة المدخلات من خلال إضافة ملاحظات خارجية إلى ذاكرته.
تتمثل إحدى النتائج الرئيسية للدراسة في أن هذه الطريقة لا تجعل النظام شديد الحذر أو فظاً مع المستخدمين العاديين. فقد تحقق الباحثون مما إذا كانت قائمة القواعد المتنامية ستؤدي إلى رفض النموذج لطلبات غير ضارة، وهي مشكلة تُعرف باسم "الإفراط في الرفض" (over-refusal). ووجدوا أنه حتى مع امتلاء الذاكرة بالقواعد من أنواع مختلفة من الهجمات، ظل النظام دقيقاً في التمييز بين الحيل الخطيرة والأسئلة الآمنة. فالنظام يرفض فقط الطلبات التي تطابق الأنماط الهيكلية المحددة للهجمات التي تعلم التعرف عليها. وهذا يشير إلى أن الدفاع دقيق، حيث يستهدف طريقة الهجوم بدلاً من موضوع المحادثة. كما أظهرت الدراسة أن النظام ظل قوياً حتى عندما حاول المهاجمون الجمع بين حيل مختلفة للإفلات من الكشف، مما يشير إلى أن النهج القائم على الذاكرة يمكنه التكيف مع التهديدات المعقدة والمتطورة.
يمثل هذا العمل تحولاً من الحماية الثابتة إلى التكيف الديناميكي. وبينما كانت الدفاعات السابقة تشبه باباً مغلقاً يمكن فتحه إذا تم العثور على الأداة المناسبة، فإن هذا الإطار الجديد يعمل أكثر مثل فريق أمن يحدث قائمة المراقبة الخاصة به بعد كل خرق. ومن خلال تحويل الإخفاقات إلى معرفة قابلة لإعادة الاستخدام، يبني النظام دفاعاً يزداد قوة كلما تم اختباره أكثر. لقد أثبت الباحثون أن هذا النهج يعمل عبر أنواع مختلفة من النماذج وأساليب الهجوم، مما يوفر مساراً واعداً لجعل الذكاء الاصطناعي أكثر أماناً في عالم يبتكر فيه المهاجمون باستمرار طرقاً جديدة لتجاوز القواعد. وتخلص الدراسة إلى أنه بينما لا يوجد نظام مثالي، فإن منح النموذج القدرة على التعلم من أخطائه في الوقت الفعلي يوفر مستوى من المرونة لا تستطيع الدفاعات الثابتة تحقيقه ببساطة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.