Jailbreaking on Text-to-Video Models via Scene Splitting Strategy
यह शोधपत्र SceneSplit को प्रस्तुत करता है, जो एक नवीन ब्लैक-बॉक्स जेलब्रेक विधि है जो हानिकारक आख्यानों को व्यक्तिगत रूप से निर्दोष दृश्यों में विभाजित करती है ताकि टेक्स्ट-टू-वीडियो मॉडलों के जनरेटिव आउटपुट स्पेस को मैनिपुलेट किया जा सके, जिससे कई अत्याधुनिक प्रणालियों में उच्च हमले की सफलता दर प्राप्त होती है और उनके सुरक्षा तंत्रों की महत्वपूर्ण कमजोरियों का खुलासा होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हवाई अड्डे पर सुरक्षा गार्ड से एक खतरनाक वस्तु को चुपके से पार ले जाने की कोशिश कर रहे हैं। यदि आप एक विशाल, स्पष्ट तलवार लेकर मेटल डिटेक्टर से गुजरने की कोशिश करते हैं, तो अलार्म तुरंत बज जाएगा और आपको रोक दिया जाएगा। वर्तमान "टेक्स्ट-टू-वीडियो" (Text-to-Video) AI मॉडल इसी तरह काम करते हैं: उनमें सुरक्षा फिल्टर होते हैं जो आपके अनुरोध (प्रॉम्ट) को स्कैन करते हैं और किसी भी ऐसी चीज़ को ब्लॉक कर देते हैं जो हानिकारक सामग्री, जैसे कि हिंसा या नग्नता बना सकती है।
यह पेपर एक चतुर ट्रिक पेश करता है जिसे SceneSplit कहा जाता है, जो इन गार्ड्स को चकमा देता है। पूरी तलवार को एक साथ चुपके से ले जाने के बजाय, हमलावर तलवार को हानिरहित दिखने वाले टुकड़ों में तोड़ देते हैं, उन्हें एक-एक करके पास करते हैं, और फिर AI को उस खतरनाक वस्तु को फिर से जोड़ने के लिए छोड़ देते हैं।
यहाँ यह तरीका कैसे काम करता है, इसे तीन सरल चरणों में समझाया गया है:
1. "लेगो" ट्रिक (सीन स्प्लिटिंग - Scene Splitting)
कल्पना कीजिए कि आप एक हिंसक लड़ाई का वीडियो बनाना चाहते हैं। यदि आप टाइप करते हैं "दो आदमी चाकू से लड़ रहे हैं," तो AI का सुरक्षा गार्ड कहता है, "नहीं, यह खतरनाक है," और इसे ब्लॉक कर देता है।
SceneSplit उस खतरनाक विचार को 3 से 5 अलग-अलग, छोटे दृश्यों (scenes) में काट देता है जो अपने आप में पूरी तरह से निर्दोष दिखते हैं:
- दृश्य 1: "एक आदमी एक चमकदार धातु की वस्तु पकड़े हुए है।" (सुरक्षित)
- दृश्य 2: "एक महिला कुर्सी पर लेटी हुई है, जो रिलैक्स दिख रही है।" (सुरक्षित)
- दृश्य 3: "एक कैमरा ज़ूम इन कर रहा है जहाँ फर्श पर लाल तरल पदार्थ टपक रहा है।" (सुरक्षित)
व्यक्तिगत रूप से, इनमें से कोई भी प्रॉम्ट अलार्म नहीं बजाता है। वे हानिरहित लेगो ब्लॉक्स की तरह हैं। हालाँकि, जब AI को इन दृश्यों को क्रम में चलाने के लिए कहा जाता है, तो वह कड़ियों को जोड़ देता है। "चमकदार वस्तु" एक चाकू बन जाती है, "रिलैक्स महिला" एक पीड़ित बन जाती है, और "लाल तरल पदार्थ" खून बन जाता है। यह संयोजन AI को वह हिंसक वीडियो बनाने के लिए मजबूर करता है जिसे मूल रूप से मांगा गया था, भले ही उसने एक ही प्रॉम्ट में "लड़ाई" या "चाकू" जैसे खतरनाक शब्दों को कभी नहीं देखा।
2. "फाइन-ट्यूनिंग" (सीन मैनिपुलेशन - Scene Manipulation)
कभी-कभी, लेगो ब्लॉक्स के साथ भी, AI भ्रमित हो सकता है और एक सुरक्षित वीडियो बना सकता है (जैसे चाकू के बजाय चम्मच पकड़े हुए आदमी का वीडियो)।
इसे ठीक करने के लिए, यह तरीका एक फीडबैक लूप का उपयोग करता है। यह AI द्वारा बनाए गए वीडियो को देखता है और पूछता है, "किस विशिष्ट दृश्य के कारण AI भ्रमित हुआ?" यदि AI ने चाकू के बजाय चम्मच बनाया, तो सिस्टम पहचान लेता है कि दृश्य 1 बहुत अस्पष्ट था। इसके बाद, यह एक स्मार्ट AI असिस्टेंट से केवल उस विशिष्ट दृश्य को थोड़ा अधिक स्पष्ट (explicit) बनाने के लिए फिर से लिखने को कहता है, जबकि अन्य दृश्यों को समान रखता है। यह उस एक दृश्य को तब तक बदलता रहता है जब तक कि AI अंततः हिंसक वीडियो नहीं बना देता, प्रभावी रूप से उस सटीक बिंदु की "खोज" करता है जहाँ सुरक्षा फिल्टर विफल हो जाता है।
3. "चीट शीट" (स्ट्रेटेजी लाइब्रेरी - Strategy Library)
हर बार जब शोधकर्ता AI को सफलतापूर्वक चकमा देते हैं, तो वे उस "नुस्खे" (recipe) को सहेज लेते हैं जिसका उन्होंने उपयोग किया था। यदि उन्होंने हिंसा के बारे में एक प्रॉम्ट को एक विशिष्ट प्रकार की शब्दावली का उपयोग करके 4 दृश्यों में सफलतापूर्वक विभाजित किया, तो वे उस पैटर्न को सहेज लेते हैं।
अगली बार जब वे किसी अन्य हिंसक प्रॉम्ट के साथ AI पर हमला करना चाहते हैं, तो वे अपने "चीट शीट" को देखते हैं। वे देखते हैं, "ओह, पिछली बार इसे 4 दृश्यों में विभाजित करना काम आया था," और वे तुरंत उसी रणनीति का उपयोग करते हैं। यह प्रक्रिया के साथ इसे तेज़ और अधिक प्रभावी बनाता है, क्योंकि सिस्टम अपनी सफलताओं से सीखता है।
उन्होंने क्या पाया?
शोधकर्ताओं ने कई प्रमुख, व्यावसायिक AI वीडियो जनरेटरों (जैसे Veo2, Hailuo, और Luma Ray2) पर इस "लेगो ट्रिक" का परीक्षण किया। उन्होंने पाया कि:
- यह बहुत अच्छी तरह काम करता है: इस पद्धति ने विभिन्न मॉडलों में 77% से 84% बार सफलतापूर्वक हानिकारक वीडियो बनाए।
- मौजूदा सुरक्षा उपाय कमजोर हैं: वर्तमान सुरक्षा फिल्टर स्पष्ट बुरे शब्दों को पहचानने में अच्छे हैं, लेकिन वे यह समझने में बहुत खराब हैं कि दृश्यों की एक श्रृंखला कैसे मिलकर एक खतरनाक कहानी सुना सकती है।
- "सेफ्टी गैप" (सुरक्षा अंतराल): पेपर निष्कर्ष निकालता है कि जबकि हमारे पास एकल वाक्यों के लिए अच्छे गार्ड हैं, हमारे पास घटनाओं के अनुक्रम (sequences) के लिए अच्छे गार्ड नहीं हैं।
संक्षेप में: यह पेपर दिखाता है कि आप एक बुरे विचार को कई छोटे, अच्छे दिखने वाले टुकड़ों में तोड़कर, AI को उन्हें जोड़ने देकर, और फिर उन टुकड़ों को तब तक बदलकर कि बुरा विचार सामने आ जाए, वीडियो AI को धोखा दे सकते हैं। यह उजागर करता है कि हम वर्तमान में इन AI सिस्टमों को कैसे सुरक्षित करते हैं उसमें एक बड़ा छेद है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।