Jailbreaking on Text-to-Video Models via Scene Splitting Strategy
تقدم هذه الورقة البحثية SceneSplit، وهي طريقة جديدة لكسر الحماية بنظام الصندوق الأسود (black-box jailbreak) تعمل على تجزئة السرديات الضارة إلى مشاهد حميدة فردياً للتلاعب بفضاء المخرجات التوليدية لنماذج تحويل النص إلى فيديو، محققة معدلات نجاح عالية في الهجوم عبر أنظمة متعددة رائدة وكاشفة عن ثغرات حرجة في آليات السلامة الخاصة بها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تمرير جسم خطير عبر حارس أمن في مطار. إذا حاولت المرور عبر جهاز كشف المعادن وأنت تحمل سيفاً ضخماً وواضحاً، فسوف ينطلق الإنذار فوراً وسيتم إيقافك. هكذا تعمل نماذج الذكاء الاصطناي لتوليد "النص إلى فيديو" الحالية: فهي تمتلك فلاتر سلامة تفحص طلبك (المطالبة/البرومبت) وتحظر أي شيء قد يبدو أنه قد ينتج محتوى ضاراً، مثل العنف أو العري.
تقدم هذه الورقة البحثية خدعة ذكية تسمى SceneSplit لتجاوز هؤلاء الحراس. بدلاً من محاولة تمرير السيف بالكامل دفعة واحدة، يقوم المهاجمون بتفكيك السيف إلى قطع تبدو غير ضارة، وتمريرها واحدة تلو الأخرى، ثم يتركون الذكاء الاصطناعي يعيد تجميعها لتصبح الجسم الخطير.
إليك كيف تعمل هذه الطريقة، مقسمة إلى ثلاث خطوات بسيطة:
1. خدعة "الليغو" (تقسيم المشهد)
تخيل أنك تريد إنشاء فيديو لقتال عنيف. إذا كتبت "رجلان يتقاتلان بالسكاكين"، سيقول حارس السلامة في الذكاء الاصطناعي: "لا، هذا خطر"، ويحظر الطلب.
تقوم تقنية SceneSplit بأخذ تلك الفكرة الخطيرة وتقطيعها إلى 3 إلى 5 مشاهد منفصلة وصغيرة تبدو بريئة تماماً في حد ذاتها:
- المشهد 1: "رجل يمسك بجسم معدني لامع". (آمن)
- المشهد de 2: "امرأة مستلقية على كرسي، تبدو مسترخية". (آمن)
- المشهد 3: "كاميرا تقترب من سائل أحمر يتساقط على الأرض". (آمن)
بشكل فردي، لا تثير أي من هذه المطالبات الإنذار. إنها تشبه قطع الليغو غير الضارة. ومع ذلك، عندما يُطلب من الذكاء الاصطناعي تشغيل هذه المشاهد بالترتيب، فإنه يربط النقاط ببعضها. "الجسم المعدني اللامع" يصبح سكيناً، و"المرأة المسترخية" تصبح ضحية، و"السائل الأحمر" يصبح دماً. هذا المزيج يجبر الذكاء الاصطناعي على إنشاء الفيديو العنيف الذي طُلب منه في الأصل، رغم أنه لم يرَ أبداً الكلمات الخطيرة مثل "قتال" أو "سكين" في مطالبة واحدة.
2. "الضبط الدقيق" (التلاعب بالمشهد)
أحياناً، حتى مع استخدام قطع الليغو، قد يظل الذكاء الاصطناعي مرتبكاً وينتج فيديو آمناً (مثل رجل يمسك بملعقة بدلاً من سكين).
لإصلاح ذلك، تستخدم الطريقة حلقة تغذية راجعة. فهي تنظر إلى الفيديو الذي صنعه الذكاء الاصطناعي وتسأل: "أي مشهد محدد تسبب في ارتباك الذكاء الاصطناعي؟" إذا صنع الذكاء الاصطناعي ملعقة بدلاً من سكين، فإن النظام يحدد أن المشهد الأول كان غامضاً للغاية. بعد ذلك، يطلب من مساعد ذكاء اصطناعي ذكي إعادة كتابة ذلك المشهد المحدد فقط ليكون أكثر صراحة قليلاً، مع إبقاء المشاهد الأخرى كما هي. يستمر النظام في تعديل ذلك المشهد الواحد حتى ينجح الذكاء الاصطناعي أخيراً في توليد الفيديو الضار، مما يعني فعلياً "اصطياد" السطر الدقيق الذي يفشل فيه فلتر السلامة.
3. "ورقة الغش" (مكتبة الاستراتيجيات)
في كل مرة ينجح فيها الباحثون في خداع الذكاء الاصطناعي، يقومون بحفظ "الوصفة" التي استخدموها. إذا نجحوا في تقسيم مطالبة حول العنف إلى 4 مشاهد باستخدام نوع معين من الصياغة، فإنهم يحفظون ذلك النمط.
في المرة القادلة التي يريدون فيها مهاجمة الذكاء الاصطناعي بمطالبة عنيفة مختلفة، ينظرون إلى "ورقة الغش" الخاصة بهم. يرون: "أوه، تقسيمها إلى 4 مشاهد نجح في المرة الماضية"، ويستخدمون نفس الاستراتيجية فوراً. هذا يجعل الهجوم أسرع وأكثر فعالية بمرور الوقت، حيث يتعلم النظام من نجاحاته الخاصة.
ماذا وجدوا؟
اختبر الباحثون هذه "خدعة الليغو" على العديد من مولدات فيديو الذكاء الاصطناٍ التجارية الكبرى (مثل Veo2 وHailuo وLuma Ray2). ووجدوا ما يلي:
- إنها تعمل بشكل جيد جداً: نجحت الطريقة في توليد فيديوهات ضارة بنسبة تتراوح بين 77% إلى 84% عبر نماذج مختلفة.
- الدفاعات الحالية ضعيفة: فلاتر السلامة الحالية جيدة في رصد الكلمات السيئة الواضحة، لكنها سيئة جداً في فهم كيف يمكن لسلسلة من المشاهد التي تبدو بريئة أن تجتمع معاً لتروي قصة خطيرة.
- "فجوة السلامة": خلصت الورقة البحثية إلى أنه بينما لدينا حراس جيدين للجمل المفردة، ليس لدينا حراس جيدون لـ تسلسل الأحداث.
باختصار: تُظهر الورقة أنه يمكنك خداع ذكاء الفيديو الاصطناعي عن طريق تفكيك فكرة سيئة إلى العديد من القطع الصغيرة التي تبدو جيدة، وترك الذكاء الاصطناعي يجمعها معاً، ثم تعديل القطع حتى تظهر الفكرة السيئة. وهذا يكشف عن ثغرة كبيرة في كيفية حماية أنظمة الذكاء الاصطنا هذه حالياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.