STACK: Adversarial Attacks on LLM Safeguard Pipelines
تقدم هذه الورقة إجراء هجوم STACK، الذي نجح في اختراق خط دفاع نموذج لغوي كبير (LLM) يعتمد على توجيهات قليلة الأمثلة (few-shot-prompted) بنسبة نجاح هجوم بلغت 71%، مما يسلط الضوء على ثغرات حرجة في أنظمة الدفاع الحالية للذكاء الاصطناعي الرائد ويقترح تدابير تخفيف محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء مساعد آلي ذكي وقوي للغاية، وتريده أن يكون مفيداً، لكنك مرعوب من أن يقوم بالخطأ (أو عن قصد) بإعطاء شخص ما تعليمات حول كيفية صنع قنبلة أو إنشاء فيروس خطير.
ولمنعه من ذلك، لا يكتفي مبتكرو الروبوت بوضع "علامة توقف" واحدة، بل يبنون خط دفاع (pipeline)، يشبه الحصن متعدد الطبقات. هذه الورقة البحثية، التي تحمل عنوان STACK، تبحث في مدى صمود هذه الحصون فعلياً أمام المخترقين الأذكياء.
إليك تفصيل قصة الورقة البحثية، باستخدام تشبيهات بسيطة:
1. الحصن: "الدفاع المتعمق"
تخيل نظام سلامة الذكاء الاصطناعي كقلعة يقف فيها ثلاثة حراس في خط واحد:
- الحارس الأول (مصنف المدخلات): يفحص الرسالة التي ترسلها قبل وصولها إلى الروبوت. إذا بدت الرسالة مشبوهة، يوقفها فوراً.
- الروبوت (النموذج): إذا اجتازت الرسالة الحارس الأول، يقرأها الروبوت ويكتب رداً عليها.
- الحارس الثاني (مصنف المخرجات): يفحص رد الروبوت قبل أن يصل إليك. إذا كان الرد يحتوي على تعليمات خطيرة، يقوم هذا الحارس بسحب الرسالة ومنع وصولها.
الفكرة هي أنه لكي ينجح الشخص السيئ، عليه أن يخدع كلا الحارسين والروبوت معاً. وهذا ما يسمى "الدفاع المتعمق" (أو نموذج "الجبن السويسري")، حيث حتى لو وجد ثقب في إحدى الطبقات، فإن الطبقات الأخرى ستلتقط التهديد.
2. المشكلة: الحراس يشعرون بالنعاس
قام الباحثون ببناء نسخة تجريبية من هذا الحصن باستخدام أدوات مفتوحة المصدر (مثل مخطط عام). ووجدوا أن "الحراس" (مصنفات السلامة) كان من السهل خداعهم في كثير من الأحيان.
- اختبروا حِيلاً قياسية (مثل إعادة صياغة السؤال أو إضافة أخطاء مطبعية عشوائية) ووجدوا أن العديد من حراس السلامة الحاليين فشلوا في إيقافها، خاصة عندما يكون الطلب خطيراً حقاً (مثل السؤال عن وصفات أسلحة كيميائية).
- ومع ذلك، وجدوا أيضاً أن حيلة بسيطة — وهي إعطاء الحارس بعض الأمثلة لما يجب أن يبحث عنه (ما يسمى "التلقين بلقطات قليلة" أو few-shot prompting) — جعلت الحارس أكثر حدة. كان هذا الحارس البسيط أفضل من تلك النماذج المتطورة سابقة التدريب.
3. الهجوم الجديد: STACK (الهجوم المرحلي)
هذا هو الاكتشاف الرئيسي للورقة. أدرك الباحثون أنه بينما يبدو الحصن قوياً، إلا أن الحراس ينظرون إلى الأشياء بشكل منفصل؛ فهم لا يتواصلون مع بعضهم البعض أثناء الهجوم.
لقد اخترعوا طريقة اختراق جديدة تسمى STACK (الهجوم المرحلي). فبدلاً من محاولة كسر القلعة بأكملها دفعة واحدة، قاموا بكسرها طبقة تلو الأخرى، مثل لص يفتح الأقفال بترتيب معين:
- الخطوة 1: خدعة الروبوت. أولاً، استخدموا تقنية إقناع لإقناع الروبوت بالإجابة على السؤال الخطير، متجاهلاً قواعد السلامة الداخلية الخاصة به.
- الخطوة 2: خدعة الحارس الأول. وجدوا "عبارة سحرية" (اختراق شامل عالمي) عند إضافتها في مقدمة الرسالة، تجعل الحارس الأول يعتقد أن الرسالة غير ضارة.
- الخطوة 3: خدعة الحارس الثاني. كان هذا هو الجزء الأصعب. احتاجوا من الروبوت أن يكتب رداً يتضمن "عبارة سحرية" في نهايته لتخدع الحارس الثاني وتجعله يعتقد أن الرد آمن.
التشبيه: تخيل أنك تريد تمرير ملاحظة ممنوعة إلى مدرسة.
- أولاً، تكتب الملاحظة بطريقة تجعل المعلم (الروبوت) يقرؤها ويجيب عليها.
- ثم تغلف الملاحظة بغلاف يجعل كاميرا المراقبة عند الباب (الحارس 1) تعتقد أنها مجرد صندوق غداء.
- وأخيراً، تضع ختماً معيناً على ظهر الملاحظة يجعل كاميرا المراقلة عند المخرج (الحارس 2) تعتقد أنها إذن خروج.
من خلال الجمع بين هذه الحيل الثلاث المحددة، نجح الباحثون في تجاوز الحصن بأكمله.
4. النتائج: ما مدى نجاح الأمر؟
- الحصن صمد (نوعاً ما): عندما استخدموا هجمات قياسية، عمل الحصن بشكل رائع. فقد أوقف الحارس القائم على "اللقطات القليلة" 100% من الهجمات على مجموعة البيانات الأكثر خطورة.
- STACK كسر الحصن: عندما استخدموا طريقة STACK الجديدة، تمكنوا من تجاوز الحصن بنسبة 71% من المرات.
- مفاجأة "الصندوق الأسود": حتى عندما لم يستطع المخترقون رؤية المنطق الداخلي للحراس (سيناريو الصندوق الأسود) واضطروا للتخمين أي حارس أوقفهم، فقد نجحوا بنسبة 33% من المرات. هذا أمر مخيف لأنه يعني أنك لست بحاجة لأن تكون من الداخل لتكسر النظام؛ كل ما تحتاجه هو الذكاء.
5. الاختبار في العالم الحقيقي
لم يكتفِ الباحثون باختبار طريقتهم على نموذج تجريبي خاص بهم فحسب، بل جربوا طريقتهم على نماذج حقيقية رفيعة المستوى من شركات كبرى (مثل Opus 4 من Anthanthropic و GPT-5 من OpenAI).
- وجدوا أن هذه الأنظمة الواقعية تسرب معلومات أيضاً (مثل الوقت الذي يستغرقه معالجة الطلب أو رسائل خطأ محددة) التي تخبر المخترق بأي حارس أوقفه.
- باستخدام هذه المعلومات، نجحوا في تجاوز هذه الأنظمة عالية الأمن للحصول على إجابات خطيرة. وقد أقرت الشركات بهذه المشكلات وقامت بمعالجتها.
6. الخلاصة
تخلص الورقة في عدة دروس بسيطة لمبنيّ هذه الحصون للذكاء الاصطناعي:
- لا تكشف أسرارك: إذا كان نظامك يخبر المخترق "الحارس الخاص بالمدخلات أوقفك" مقابل "الحارس الخاص بالمخرجات أوقفك"، فأنت تعطيه خريطة. اجعل جميع عمليات الرفض تبدو متشابهة.
- لا تدع المخترقين يلقون نظرة: إذا أطلقت نموذجاً "شقيقاً" (نسخة أصغر قليلاً من حارس السلامة الخاص بك) للجمهور، يمكن للمخترقين تدريب هجماتهم عليه ثم استخدامها ضد نظامك الرئيسي.
- الدفاع المتعمق جيد، لكنه ليس مثالياً: امتلاك طبقات أمنية أفضل من عدم امتلاك أي شيء، ولكن إذا كانت الطبقات لا تتواصل أو إذا كان الحراس قابلين للتنبؤ، فيمكن لهجوم مرحلي ذكي أن يتسلل عبرها بسهولة.
باختصار: تظهر الورقة أنه بينما تعد طبقات سلامة الذكاء الاصطناዊ فكرة جيدة، إلا أنها معرضة حالياً لنوع من الهجمات التي تعتمد على مبدأ "فرق تسد". إذا هاجمت الطبقات واحدة تلو الأخرى، يمكنك هزيمة النظام بأكمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.