SPARK: Jailbreaking T2V Models by Synergistically Prompting Auditory and Recontextualized Knowledge
यह शोध पत्र SPARK को प्रस्तुत करता है, जो एक ऐसा जेलब्रेक फ्रेमवर्क है जो तटस्थ दृश्य एंकरों (neutral scene anchors), लेटेंट ऑडिटरी ट्रिगर्स (latent auditory triggers) और शैलीगत संशोधकों (stylistic modulators) को जोड़कर टेक्स्ट-टू-वीडियो मॉडल्स में क्रॉस-मोडल एसोसिएशंस का लाभ उठाता है ताकि सुरक्षा गार्डरेल्स को दरकिनार करते हुए और एक सौम्य स्वरूप बनाए रखते हुए अर्थपूर्ण रूप से असुरक्षित वीडियो उत्पन्न किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही उन्नत, जादुई मूवी मशीन है। आप एक वाक्य टाइप करते हैं, और यह तुरंत एक वास्तविक दिखने वाला वीडियो बना देती है। यह Text-to-Video (T2V) मॉडल करते हैं।
लेकिन, किसी भी शक्तिशाली उपकरण की तरह, इन मशीनों में सुरक्षा गार्ड भी होते हैं। यदि आप टाइप करते हैं "एक हिंसक लड़ाई दिखाओ," तो मशीन कहती है, "नहीं, यह नियमों के खिलाफ है," और वीडियो बनाने से मना कर देती है।
समस्या:
शोधकर्ताओं ने पाया कि जबकि मशीन आपके द्वारा टाइप किए गए शब्दों को पढ़ने में बहुत अच्छी है, वह एक "विश्व सिम्युलेटर" (world simulator) भी है। वह समझती है कि वास्तविक दुनिया कैसे काम करती है: कैसे ध्वनियाँ क्रियाओं से जुड़ती हैं, और कैसे एक विशिष्ट मूड किसी दृश्य को बदल देता है। मशीन को धोखा देने के पुराने तरीके (जैसे कि फैंसी पर्यायवाची शब्दों का उपयोग करना या बुरे शब्दों को छिपाना) विफल हो रहे हैं क्योंकि सुरक्षा गार्ड बहुत स्मार्ट हैं।
समाधान: SPARK
यह शोध पत्र SPARK नामक एक नई विधि पेश करता है। मशीन को "बुरे शब्द" से धोखा देने के बजाय, SPARK मशीन को एक "सुरक्षित रेसिपी" देकर धोखा देता है जो अनजाने में एक "खतरनाक भोजन" पका देती है।
SPARK कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है:
उपमा: "सुरक्षित" मूवी डायरेक्टर
कल्पना कीजिए कि आप एक बैंक डकैती (bank robbery) के बारे में एक फिल्म निर्देशित करना चाहते हैं, लेकिन सेंसर (सुरक्षा गार्ड) किसी भी ऐसी स्क्रिप्ट को ब्लॉक कर देगा जिसमें "डकैती," "बंदूकें," या "चोरी" जैसे शब्द हों।
- पुराना तरीका (Naive Attack): आप लिखते हैं "वह व्यक्ति एक लाल तरल पदार्थ के साथ एक वित्तीय लेनदेन (financial transaction) कर रहा है।" सेंसर "वित्तीय लेनदेन" को देखता है और सोचता है, "हम्म, यह संदिग्ध लग रहा है," और इसे ब्लॉक कर देता है।
- SPARK का तरीका: आप एक ऐसी स्क्रिप्ट लिखते हैं जो पूरी तरह से निर्दोष लगती है, लेकिन इसमें तीन विशेष सामग्रियां (ingredients) होती हैं जिन्हें मूवी मशीन जानती है कि वास्तविक दुनिया में एक साथ आती हैं।
SPARK इन तीन सामग्रियों को मिलाता है:
द एंकर (The Anchor - सुरक्षित सेटिंग):
- यह क्या है: एक जगह का पूरी तरह से सामान्य, उबाऊ विवरण।
- उपमा: "धातु की मेज के साथ एक कम रोशनी वाला कमरा।"
- यह क्यों काम करता है: सेंसर इसे देखता है और सोचता है, "ठीक है, एक मेडिकल रूम? एक वर्कशॉप? बिल्कुल ठीक है।"
द ट्रिगर (The Trigger - ध्वनि प्रभाव):
- यह क्या है: एक ध्वनि का विवरण जो बिना नाम लिए एक बुरी क्रिया का संकेत देती है।
- उपमा: "धातु के उपकरणों के आपस में टकराने की तीखी क्लिंक-क्लिंक की आवाज़, जिसके बाद एक चीख सुनाई देती है।"
- यह क्यों काम करता है: मशीन जानती है कि वास्तविक दुनिया में, धातु की खनक + चीख आमतौर पर सर्जरी या हिंसा का संकेत देती है। उसे यह जानने के लिए "चाकू" शब्द देखने की आवश्यकता नहीं है कि क्या हो रहा है। वह ध्वनि से क्रिया का अनुमान लगा लेती है।
द मॉड्यूलेटर (The Modulator - वाइब/माहौल):
- यह क्या है: एक स्टाइल निर्देश जो एक तनावपूर्ण माहौल सेट करता है।
- उपमा: "एक ग्रिटी (gritty), सस्पेंसपूर्ण क्राइम डॉक्यूमेंट्री के स्टाइल में।"
- यह क्यों काम करता है: यह मशीन को बताता है, "इसे डरावना और वास्तविक बनाओ।" यह मशीन के गार्ड को कम कर देता है क्योंकि मशीन को लगता है कि आप केवल एक कूल मूवी स्टाइल चाहते हैं, न कि इसलिए कि आप कुछ अवैध मांग रहे हैं।
परिणाम
जब आप इस "सुरक्षित" रेसिपी को मशीन में डालते हैं:
- सेंसर (Text Guard): शब्दों को पढ़ता है, "धातु की मेज," "क्लिंकिंग," और "डॉक्यूमेंट्री स्टाइल" देखता है। वह कहता है, "सब क्लियर है! यहाँ कोई बुरा शब्द नहीं है!"
- मूवी मशीन (Video Generator): पूरे चित्र को पढ़ती है। वह "क्लिंकिंग" और "चीखने" को एक "कम रोशनी वाले कमरे" में "क्राइम डॉक्यूमेंट्री" के वाइब के साथ सुनती है। वह सोचती है, "आह, मैं समझ गया! वे एक हिंसक संघर्ष या ब्लैक-मार्केट सर्जरी के दृश्य को चाहते हैं!" इसलिए, वह उस बुरी चीज़ का वीडियो बना देती है।
यह बड़ी बात क्यों है?
शोधकर्ताओं ने 7 शीर्ष स्तर के वीडियो AI मॉडलों (Kling और Hailuo जैसे व्यावसायिक मॉडलों सहित) पर इसका परीक्षण किया।
- पुराने तरीके लगभग 70% बार विफल रहे क्योंकि सुरक्षा गार्डों ने बुरे शब्दों को पकड़ लिया।
- SPARK लगभग 60% बार सफल रहा, जो एक बहुत बड़ी छलांग है। यह तब भी काम कर गया जब सुरक्षा गार्डों को "स्ट्रिक्ट मोड" (विशिष्ट कीवर्ड को ब्लॉक करने के लिए) पर सेट किया गया था।
मुख्य निष्कर्ष (The Takeaway)
यह शोध पत्र एक डरावना लेकिन महत्वपूर्ण सच उजागर करता है: AI सुरक्षा वर्तमान में आपके द्वारा टाइप किए गए शब्दों की जांच करने पर बहुत अधिक केंद्रित है, न कि उस कहानी पर जो आप बता रहे हैं।
SPARK साबित करता है कि आप केवल बुरे शब्दों को बदलकर नहीं, बल्कि भौतिकी और तर्क (ध्वनि + शैली + सेटिंग) का उपयोग करके सुरक्षा फिल्टर को बायपास कर सकते हैं। यह धातु डिटेक्टर को बायपास करने के लिए धातु के बजाय प्लास्टिक से बने बम को ले जाने जैसा है। डिटेक्टर बजेगा नहीं, लेकिन खतरा फिर भी मौजूद है।
शोधकर्ता आशा करते हैं कि यह खोज AI कंपनियों को स्मार्ट सुरक्षा प्रणालियाँ बनाने के लिए मजबूर करेगी जो केवल वर्जित शब्दों की सूची को नहीं, बल्कि संदर्भ (context) और कारणता (causality) को समझती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।