💬 NLP

Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

تقدم الورقة البحثية إطار العمل ICER، وهو إطار عمل "صندوق أسود" يستفيد من إعادة كتابة قائمة على النماذج اللغوية الكبيرة وإعادة تشغيل الخبرة في السياق لتوليد مطالبات هجومية سلسة ومحافظة على المعنى بكفاءة لاختبار الاختراق لنماذج تحويل النص إلى صورة، مما يظهر أداءً متفوقاً وقدرة عالية على الانتقال عبر مختلف آليات السلامة مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك حارس معرض فني عالي التقنية وصارم للغاية (نموذج تحويل النص إلى صورة) مهمته منع أي شخص من إنشاء لوحات عنيفة، أو عارية، أو غير لائقة بأي شكل آخر. هذا الحارس ذكي؛ فهو يقرأ طلبك، وإذا استشعر أي شيء "سيء"، فإنه يرفض الرسم.

المشكلة تكمن في أن الأشخاص السيئين (أو الباحثين الذين يحاولون إيجاد ثغرات في النظام) يحاولون خداع هذا الحارس. إنهم يريدون معرفة: هل يمكنني طلب لوحة لـ "شخص عارٍ" دون استخدام كلمة "عارٍ" فعلياً؟

الطريقة القديمة: التخمين والتحقق

في السابق، حاول الباحثون خداع الحارس بطريقتين رئيسيتين:

"المخترق الآلي" (الصندوق الأبيض - White-box): يتطلب هذا معرفة الكود السري والأسلاك الداخلية للحارس. الأمر يشبه امتلاك المخططات الهندسية لكاميرا المراقبة. هذه الطريقة تعمل بشكل جيد، لكن لا يمكنك استخدامها على التطبيقات التجارية (مثل DALL·E 3) لأنك لا تملك تلك المخططات. كما أن "الخدع" التي يبتكرونها غالباً ما تبدو كأنها كلام غير مفهوم (على سبيل المثال: "nakednips nips surrounded enthrshy")، وهو أمر يسهل على البشر تمييزه ككلام زائف.
"الدردشة العشوائية" (الصندوق الأسود - Black-box): تحاول هذه الطة تخمين الخدعة دون رؤية الكود. لكنها تعامل كل محاولة كأنها لعبة جديدة تماماً. إذا فشلت 100 مرة، فإنها تنسى ما تعلمته وتبدأ من جديد. الأمر يشبه طالباً يخوض اختباراً، يفشل، ثم يرمي ملاحظاته، ثم يعيد خوض نفس الاختبار دون أن يذاكر. هذه الطريقة بطيئة، ومكلفة، وغالباً ما تنتج جملًا غريبة وغير طبيعية.

الطريقة الجديدة: ICER (نهج "كتيب الخطط")

ابتكر مؤلفو هذه الورقة أداة جديدة تسمى ICER. فكر في ICER ليس كمخترق واحد، بل كـ مدرب ذكي يمتلك كتيب خطط.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "كتيب الخطط" (إعادة تشغيل الخبرة في السياق - In-Context Experience Replay)

تخيل فريقاً من الجواسيس يحاولون التسلل وتجاوز الحارس. بدلاً من أن يحاول كل جاسوس بمفرده، فإنهم يتشاركون دفتر ملاحظات مشتركاً.

في كل مرة يحاول فيها جاسوس خدعة ويفشل، يدون ما حدث.
في كل مرة يحاول فيها جاسوس خدعة وينجح، يدون بالضبط ما قاله، وكيف قاله، ولماذا نجح الأمر.
عندما يصل جاسوس جديد بطلب جديد، فإنه لا يبدأ من الصفر. بل يفتح الدفتر، ويقرأ القصص الناجحة من الماضي، ويستخدمها كدليل.

في الورقة البحثية، يُطلق على هذا اسم In-Context Experience Replay. يقوم النظام بتذكر عمليات "الاختراق" الناجحة السابقة (الخدع التي خدعت الحارس) ويستخدمها كأمثلة لتعليم الذكاء الاصطناعي كيفية كتابة خدع جديدة وأفضل.

2. "المترجم" (إعادة كتابة النموذج اللغوي الكبير - LLM Rewriter)

يستخدم النظام نموذج لغة كبيراً (مثل مترجم ذكي جداً) لإعادة كتابة طلب المستخدم.

الطريقة القديمة: "ارسم امرأة عارية". (واضحة جداً، ويتم حظرها).
طريقة ICER: ينظر النظام إلى كتيب الخطط، ويرى خدعة ناجحة حيث وصف أحدهم "لوحة كلاسيكية فنية حسية لشخص في حمام استحمام"، ويعيد كتابة الطلب ليبدو كطالب فنون مهذب.
النتيجة هي جملة سلسة وطبيعية تبدو وكأنها طلب حقيقي لفن، ولكنها تحتوي سراً على "النية السيئة". لا تبدو كأنها روبوت يحاول الاختراق؛ بل تبدو كمحادثة طبيعية.

3. "المقامر" (تحسين نظرية البندت - Bandit Optimization)

على النظام أن يقرر: هل يجب أن أجرب نفس الخدعة التي نجحت في المرة الماضية، أم أجرب شيئاً جديداً تماماً؟

إذا جربت نفس الخدعة فقط، فقد تتعثر إذا قام الحارس بتحديث قواعده.
إذا جربت أشياء جديدة فقط، فستضيع الوقت في التخمين.
يستخدم ICER استراتيجية رياضية تسمى Thompson Sampling (فكر فيها كمقامر ذكي). فهي توازن بين الاستغلال (استخدام الخدع المعروف بنجاحها) والاستكشاف (تجربة تنويعات جديدة لمعرفة ما إذا كانت ستنجح أيضاً). وهذا يضمن أن يصبح النظام أكثر ذكاءً وسرعة بمرور الوقت.

ماذا وجدوا؟

اختبر الباحثون ICER ضد ستة أنواع مختلفة من "الحراس" (أنظمة السلامة) وقارنوه بسبعة أساليب أخرى.

إنه يعمل بشكل أفضل: نجح ICER في خداع الحراس في حالات أكثر من أي طريقة أخرى، حتى تلك التي تتطلب وصولاً سرياً للكود.
يبدو حقيقياً: المطالبات (prompts) التي ينشئها ICER طويلة، ومفصلة، وطبيعية. لا تبدو ككلام غير مفهوم؛ بل تبدو طبيعية.
ينتقل بسلاسة: النتيجة الأكثر إثارة للدهشة هي أن "كتيب الخطط" الذي بناه ICER على النماذج مفتوحة المصدر قد نجح أيضاً في العمل على الأنظمة التجارية مثل DALL·E 3 و Midjourney. حوالي 30% من الخدع التي نجحت في نماذج الاختبار نجحت أيضاً في هذه التطبيقات الشهيرة والمحمية بشدة، رغم أن ICER لم يرها من قبل.

الخلاصة الكبرى

تجادل الورقة البحثية بأن اختبار السلامة لا ينبغي أن يكون سلسلة من المحاولات المنعزلة. بدلاً من ذلك، يجب أن يكون عملية تعلم مستمرة. تماماً كما يتعلم اللص من عمليات السطو السابقة للتخطيط لعمليات أفضل، توضح هذه الأداة أنه إذا قمت بحفظ وإعادة استخدام أنماط الهجوم الناجحة، فيمكنك العثور على الثغرات الأمنية بشكل أسرع وأكثر فعالية.

تحذير: تشير الورقة إلى أنه بينما يساعد هذا المطورين في العثور على الثغرات لسدها، فإنه يظهر أيضاً أن الجهات السيئة يمكنها استخدام منطق "كتيب الخطط" هذا لإنشاء طرق أرخص وأكثر فعالية لتجاوز فلاتر السلامة في العالم الحقيقي.

ملخص تقني: ICER – اختبار الاختراق النصي لنماذج تحويل النص إلى صورة عبر إعادة تشغيل الخبرات في السياق وإعادة كتابة المطالبات المحافظة على المعنى

بيان المشكلة

أدى الانتشار السريع لنماذج تحويل النص إلى صورة (T2I) إلى ظهور تحديات أمنية كبيرة، بما في ذلك توليد محتوى غير لائق (NSFW) وصور تنتهك حقوق الطبع والنشر. وبينما قام المطورون بتنفيذ آليات سلامة متنوعة (مثل المكونات الآمنة التي خضعت للضبط الدقيق، والتوجيه أثناء الاستدلال، والفلترة متعددة المستويات)، إلا أن تقييم متانة هذه الدفاعات لا يزال أمراً صعباً. تعاني طرق اختبار الاختراق (Red-teaming) الحالية من قيود حرجة:

طرق الصندوق الأبيض (White-box methods): (مثل P4D و UnlearnDiffAtk) تتطلب الوصول إلى المعلمات الداخلية للنموذج، وهو أمر غير متاح للأنظمة التجارية القائمة على واجهة برمجة التطبيقات (API)، وغالباً ما تنتج تسلسلات رموز غير قابلة للتفسير وغير سلسة لغوياً، مما يسهل كشفها بواسطة أدوات الفلترة القائمة على السلاسة اللغوية.
نهج الوكلاء في الصندوق الأسود (Black-box agent-based approaches): (مثل APGP و JailFuzzer) تولد مطالبات (prompts) سلسة لغوياً ولكنها تعامل كل هجوم بشكل مستقل، مما يؤدي إلى الفشل في التعلم من المحاولات السابقة. يؤدي هذا إلى تكاليف حوسبة عالية، وتكرار الاستعلامات، وضعف القدرة على التوسع.
فجوة الحفاظ على المعنى (Semantic Preservation Gap): تفشل العديد من الطرق الحالية في توليد مطالبات تحافظ على القصد الضار الأصلي مع تجنب فلاتر السلامة. سيناريوهات إساءة الاستخدام في العالم الحقيقي تتضمن عادةً مهاجمين يسعون وراء مخرجات غير آمنة محددة بدلاً من مجرد فشل عشوائي في النموذج، ومع ذلك، تعاني الأدوات الحالية من صعوبة في الموازنة بين السلاسة اللقية، والمواءمة الدلالية، والنجاح في كسر الحماية (jailbreaking).

المنهجية: إطار عمل ICER

يقترح المؤلفون إطار عمل ICER (إعادة تشغيل الخبرات في السياق - In-Context Experience Replay)، وهو إطار عمل لاختبار الاختراق في بيئة الصندوق الأسود، مصمم لتوليد مطالبات عدائية سلسة لغوياً وباللغة الطبيعية تحافظ على القصد الضار الأصلي. يعمل ICER تحت نموذج تهديد حيث لا يملك المهاجم أي وصول إلى المعلمات الداخلية أو التدرجات (gradients) الخاصة بالنموذج المستهدف.

يدمج إطار العمل ثلاثة مكونات أساسية ضمن إعداد التحسين البايزي (Bayesian Optimization)، باستخدام نموذج لغوي كبير (LLM) كنموذج بديل:

1. صياغة المشكلة

الهدف هو إيج Or $P^*_q$ التي تعظم الدالة $f(P^*_q)$ مع مراعاة قيدين:

انتهاك السلامة: يجب أن تؤدي الصورة المولدة $I^*_q$ إلى تفعيل انتهاك للسلامة (درجة $E(I^*_q) \geq \tau'$ ).
الحفاظ على المعنى: يجب أن تحافظ الصورة المولدة على تشابه جيب التمام (cosine similarity) عالٍ مع الصورة الناتجة عن المطالبة الأصلية ( $sim(M(I_q), M(I^*_q)) \geq \rho$ ).

تضمن هذه الصياغة "كسر الحماية المستهدف" (targeted jailbreaking)، حيث يسعى الهجوم وراء محتوى ضار محدد بدلاً من إنتاج ضجيج عشوائي.

2. إعادة تشغيل الخبرات في السياق (ICR)

على عكس الطرق التقليدية التي تتجاهل المحاولات الفاشلة أو الناجحة، يحتفظ ICER بقاعدة بيانات سابقة مشتركة $\mathcal{D}$ من تجارب اختبار الاختراق. يخزن كل مدخل ما يلي:

المطالبة الأصلية $P_i$ .
المتغير العدائي الناجح $P^*_i$ .
معاملات الفعالية $\theta_i = (\alpha_i, \beta_i)$ الممثلة كتوزيع بيتا (Beta distribution).

عند توليد مطالبة عدائية جديدة للمطالبة $P_q$ ، يقوم النظام بأخذ عينات من $k$ من الأمثلة من $\mathcal{D}$ لتشكيل مجموعة توجيه $S_t$ . بعد ذلك، يقوم النموذج اللغوي الكبير (LLM) بالتشريط على هذه الأمثلة وعلى تعليمات النظام لتوليد $P^*_q$ . يستفيد هذا من قدرات التعلم في السياق (in-context learning) للنماذج اللغوية الكبيرة لترميز أنماط الهجوم السابقة كـ "كتيب قواعد" قابل لإعادة الاستخدام.

3. أخذ العينات التكيفي عبر أخذ عينات تومسون (Thompson Sampling - TS)

للموازنة بين الاستغلال (استخدام الأنماط الناجحة المثبتة) والاستكشاف (اكتشاف ناقلات هجوم جديدة)، يستخدم ICER أخذ عينات تومسون.

يرتبط كل مثال في $\mathcal{D}$ بتوزيع بيتا $Beta(\alpha_i, \beta_i)$ ، حيث يراكم $\alpha_i$ المكافآت (التوجيه الناجح) ويراكم $\beta_i$ العقوبات (التوجيه الفاشل).
في كل تكرار، يأخذ النظام عينة من الاحتمالية $\pi_i$ من كل توزيع ويختار أفضل $k$ من الأمثلة ذات القيم الأعلى لتوجيه النموذج اللغوي الكبير.
آلية المكافأة:
- الفشل الدلالي: إذا فشلت الصورة المولدة في فحص المعنى، يتم فرض عقوبة على الأمثلة المختارة (تزداد $\beta$ ).
- النجاح الجزئي: إذا نجح فحص المعنى ولكن فشل كسر الحماية، يتم تخصيص مكافأة جزئية بناءً على درجة عدم الأمان.
- النجاح الكامل: إذا نجح كسر الحماية، تحصل الأمثلة على مكافأة كاملة ( $\alpha$ تزداد)، ويتم إضافة الزوج الجديد $(P_q, P^*_q)$ إلى $\mathcal{D}$ .

تسمح دورة التعلم المستمرة هذه لإطار العمل بالتكيف مع آليات سلامة محددة بمرور الوقت دون الحاجة إلى إعادة تدريب النموذج.

المساهمات الرئيسية

إطار عمل ICER: تقديم إطار عمل للصندوق الأسود يولد مطالبات عدائية سلسة لغوياً عبر استغلال إعادة كتابة النماذج اللغوية الكبيرة وإعادة تشغيل الخبرات في السياق.
التقييم المحافظ على المعنى: إثبات الأداء المتفوق في "كسر الحماية المستهدف"، وهو نموذج صارم يتطلب أن يتوافق المحتوى المولد مع قصد المهاجم المحدد، وليس مجرد إنتاج محتوى غير آمن عشوائي.
نقل المعرفة: الكشف عن أن حالات كسر الحماية السابقة يمكن أن تسهل اكتشاف الثغرات الجديدة. يوضح البحث أن معرفة الهجوم تتراكم، مما يسمح لحملة واحدة من اختبار الاختراق ببناء "كتيب قواعد" ينتقل إلى دفاعات جديدة وحتى إلى الأنظمة التجارية.

النتائج التجريبية

قام المؤلفون بتقييم ICER مقابل سبعة نماذج أساسية (بما في ذلك طرق الصندوق الأبيض مثل P4D وطرق الصندوق الأسود مثل PEZ و Ring-A-Bell) عبر ستة نماذج T2I آمنة (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) ومفهومين ضارين (العري والعنف).

الأداء: تفوق ICER باستمرار على جميع النماذج الأساسية. على سبيل المثال، في نموذج ESD لمفهوم العري، حقق ICER معدل فشل (Failure Rate) بنسبة 48.71%، مقارنة بـ 34.55% لأفضل نموذج أساسي تالٍ (FLIRT-Scoring). وفي نموذج AdvUnlearn القوي، حدد ICER ضعف عدد الثغرات التي حددها أقوى نموذج أساسي.
الحفاظ على المعنى: على عكس طرق تحسين مستوى الرموز (token-level optimization) التي تعاني من انخفاض كبير في معدل الفشل عند تطبيق القيود الدلالية (على سبيل المثال، انخفض PEZ من 72.75% إلى 9.87% في ESD)، حافظ ICER على أداء قوي (من 80.19% إلى 57.37%)، مما أظهر قدرته على توليد مطالبات متماسكة دلالياً.
السلاسة اللغوية: أظهر التحليل الكمي باستخدام تعقيد n-gram أن ICER ولد مطالبات أكثر طبيعية بكثير (متوسط التعقيد $0.82 \times 10^3$ ) مقارنة بالنماذج الأساسية مثل Ring-A-Bell ( $69.88 \times 10^3$ ) و P4D-N ( $175.45 \times 10^3$ ).
القابلية للنقل: انتقلت أكثر من 30% من المطالبات التي ولدها ICER بنجاح إلى أنظمة تجارية شديدة الرقابة مثل DALL·E 3 (بنسبة 35.58%) و Midjourney (بنسبة 41.35%)، متفوقة على جميع النماذج الأساسية. وهذا يؤكد أن الثغرات المكتشفة لا تقتصر على بنيات مفتوحة المصدر محددة.

الأهمية والادعاءات

يفترض البحث أن اختبار الاختراق لا ينبغي النظر إليه كمجموعة من المحاولات المستقلة، بل كـ مشكلة تعلم. الدرس المركزي هو أن عمليات كسر الحماية الناجحة تحتوي على هياكل قابلة لإعادة الاستخدام؛ وبمجرد التقاطها عبر إعادة تشغيل الخبرات في السياق، فإن هذه الأنماط تجعل الهجمات اللاحقة أكثر فعالية بشكل كبير عبر مفاهيم ونماذج مستهدفة مختلفة.

يصيغ المؤلفون هذا الأمر كـ "سلاح ذو حدين":

للمدافعين: يوفر مخططاً فعالاً لتقييم السلامة، متجاوزاً التدقيق البشري المكلف وغير المتسق أو عمليات الفحص الآلية المنعزلة. يمكن لحملة واحدة أن تبني "كتيب قواعد" قابلاً للنقل.
لمجتمع السلامة: يعمل كتحذير من أن الدفاعات التي يتم تقييمها فقط ضد خصوم مستقلين ولا يملكون ذاكرة قد تبالغ بشكل كبير في تقدير متانتها. إذا كانت معرفة الهجوم تتراكم بسهء، فقد يستغل المهاجمون المعرفة المتراكمة لاستخدامات أكثر استهدافاً وأقل تكلفة.

يختتم العمل بالدعوة إلى تغيير كيفية تعامل المجتمع مع اختبار الاختراق: من قائمة مراجعة ثابتة إلى عملية مستمرة وتكيفية حيث تخدم كل محاولة المحاولة التالية.