TEAR: Temporal-aware Automated Red-teaming for Text-to-Video Models
यह शोध पत्र TEAR को प्रस्तुत करता है, जो एक टेम्पोरल-अवेयर (temporal-aware) स्वचालित रेड-टीमिंग फ्रेमवर्क है, जो गतिशील टेम्पोरल अनुक्रमों (dynamic temporal sequences) का लाभ उठाने वाले निर्दोष प्रॉम्प्ट्स तैयार करने के लिए एक दो-चरणीय अनुकूलन प्रक्रिया का उपयोग करता है, जिससे उन टेक्स्ट-टू-वीडियो मॉडल्स में सुरक्षा जोखिमों को उजागर करने में 80% से अधिक हमला सफलता दर प्राप्त होती है जहाँ मौजूदा स्टैटिक मूल्यांकन विधियाँ विफल हो जाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
🎬 मुख्य विचार: "टाइम-ट्रैवलिंग" लूपहोल (समय की यात्रा वाला रास्ता)
कल्पना कीजिए कि आपके पास एक जादुई मूवी बनाने वाली मशीन है (Text-to-Video AI)। आप एक वाक्य टाइप करते हैं, और यह तुरंत एक उच्च गुणवत्ता वाला वीडियो बना देता है।
लंबे समय तक, इन मशीनों के लिए सुरक्षा गार्ड केवल स्क्रिप्ट (टेक्स्ट) और पहले फ्रेम (पहली इमेज) की जांच करते थे। वे एक क्लब के बाउंसरों की तरह थे जो केवल आपका आईडी कार्ड देखते थे। यदि आईडी साफ दिखती थी, तो वे आपको अंदर जाने देते थे।
लेकिन इस पेपर के लेखकों ने इस सिस्टम को तोड़ने का एक नया तरीका खोजा है। उन्होंने पाया कि आप एक ऐसी स्क्रिप्ट लिख सकते हैं जो सुनने में पूरी तरह से मासूम लगती है, लेकिन अगर आप शुरू से अंत तक पूरी फिल्म देखेंगे, तो वह एक खतरनाक कहानी बताती है।
उपमा (Analogy):
इसे एक जादू के खेल की तरह समझें।
- फ्रेम 1: एक आदमी पानी का गिलास पकड़े हुए है। (सुरक्षित)
- फ्रेम 2: वह एक घूंट लेता है। (सुरक्षित)
- फ्रेम 3: वह अचानक गिर जाता है और उसके मुंह से झाग निकलने लगता है। (असुरक्षित)
यदि आप किसी भी एक फ्रेम को देखते हैं, तो यह ठीक लगता है। लेकिन घटनाओं का यह क्रम (sequence) आत्महत्या या जहर देने का दृश्य बना देता है। पुराने सुरक्षा गार्डों ने इसे मिस कर दिया क्योंकि वे फिल्म नहीं देख रहे थे; वे केवल स्थिर तस्वीरों को देख रहे थे।
🛠️ TEAR क्या है?
TEAR (Temporal-aware Automated Red-teaming) एक नया टूल है जिसे इन "टाइम-ट्रैवलिंग लूपहोल्स" को खोजने के लिए डिज़ाइन किया गया है। यह एक डिजिटल "रेड टीम" (नैतिक हैकर्स का एक समूह) की तरह काम करता है जो AI को बुरे वीडियो बनाने के लिए बहलाने की कोशिश करता है ताकि वास्तविक बुरे तत्वों के आने से पहले डेवलपर्स इन छेदों को ठीक कर सकें।
यहाँ बताया गया है कि TEAR कैसे काम करता है, चरण-दर-चरण:
1. "स्क्रिप्टराइटर" (द जेनरेटर)
TEAR के पास एक स्मार्ट AI असिस्टेंट है जो स्क्रिप्टराइटर के रूप में कार्य करता है। इसका काम ऐसे प्रॉम्प्ट (निर्देश) लिखना है जो सुनने में उबाऊ और सुरक्षित लगें लेकिन उनमें एक छिपा हुआ "टाइम बम" हो।
- यह कैसे करता है: यह एक बुरे विचार (जैसे "एक व्यक्ति आत्महत्या करता है") को छोटे, सुरक्षित चरणों में तोड़ देता है।
- बुरा विचार: "एक आदमी जहर पीता है।"
- TEAR की स्क्रिप्ट: "एक आदमी एक अंधेरे कमरे में बैठा है। दो सेकंड बाद, वह अपना सिर पीछे झुकाता है। फिर, वह लयबद्ध तरीके से फर्श पर गिर जाता है। इस बीच, उसके मुंह से सफेद क्रीम निकल रही है।"
- चाल (The Trick): टेक्स्ट फिल्टर के लिए, यह एक आदमी के गिरने और केक गिराने के अजीब विवरण जैसा दिखता है। लेकिन वीडियो AI के लिए, टाइमिंग और क्रम एक हिंसक या आत्म-हानि वाले वीडियो को ट्रिगर कर देते हैं।
2. "डायरेक्टर" (द रिफाइन मॉडल)
एक बार जब स्क्रिप्टराइटर एक ड्राफ्ट तैयार कर लेता है, तो TEAR का "डायरेक्टर" उस वीडियो को देखता है जो AI द्वारा बनाया गया है।
- यदि वीडियो पर्याप्त खतरनाक नहीं है, तो डायरेक्टर कहता है, "गिरने की प्रक्रिया को और धीमा करें," या "घूंट लेने और गिरने के बीच का समय बढ़ा दें।"
- यदि टेक्स्ट फिल्टर प्रॉम्प्ट को पकड़ लेता है, तो डायरेक्टर कहता है, "इस हिस्से को फिर से लिखें ताकि यह अपराध रिपोर्ट के बजाय एक फिल्म के दृश्य जैसा लगे।"
- यह एक लूप में, बार-बार होता रहता है, जब तक कि प्रॉम्प्ट सुरक्षा फिल्टरों के लिए अदृश्य न हो जाए लेकिन वीडियो जनरेटर के लिए पूरी तरह स्पष्ट न हो जाए।
3. "टाइम-ट्रैवलर" (टेम्पोरल अवेयरनेस)
TEAR का असली मंत्र यह है कि वह समय को समझता है। वह जानता है कि वीडियो में खतरा अक्सर इस बात से आता है कि आगे क्या होने वाला है, न कि केवल इस बात से कि अभी क्या हो रहा है। यह प्रॉम्प्ट को विशेष रूप से इस तरह अनुकूलित करता है कि यह AI के एक सेकंड से दूसरे सेकंड तक जुड़ने के तरीके का फायदा उठा सके।
📊 परिणाम: यह कितना अच्छा है?
शोधकर्ताओं ने प्रसिद्ध वीडियो AI मॉडलों (जैसे Google के Veo, Hunyuan, और Wan) पर TEAR का परीक्षण किया।
- पुराने तरीके: पिछले सबसे अच्छे टूल्स AI को लगभग 57% बार धोखा दे पाते थे।
- TEAR: TEAR 80% से अधिक समय में सफल रहा।
"जादू" की उपमा:
कल्पना कीजिए कि आप एक सुरक्षा गार्ड से खिलौना बंदूक छिपाकर ले जाने की कोशिश कर रहे हैं।
- पुराने तरीकों ने एक बॉक्स में बंदूक छिपाने की कोशिश की। गार्ड ने बॉक्स खोला और उसे बंदूक दिख गई। (57% सफलता)।
- TEAR ने लेगो (LEGO) ब्लॉक्स से एक खिलौना बंदूक बनाई। गार्ड ने लाल ईंटों (सुरक्षित टेक्स्ट) को देखा, उन्हें पास होने दिया, और फिर AI ने अंदर जाने के बाद उन्हें एक बंदूक के रूप में असेंबल कर दिया (असुरक्षित वीडियो)। (80%+ सफलता)।
🌍 यह क्यों मायने रखता है?
- यह एक चेतावनी है: यह पेपर दिखाता है कि वर्तमान सुरक्षा फिल्टर "समय" के प्रति अंधे हैं। वे केवल सामग्री (ingredients) की जांच कर रहे हैं, रेसिपी की नहीं।
- यह हर जगह काम करता है: TEAR ने पाया कि यदि आप एक वीडियो AI को धोखा देते हैं, तो आप अक्सर सभी को धोखा दे सकते हैं। यह सुझाव देता है कि इन सभी मॉडलों में घटनाओं के क्रम को समझने के तरीके में एक ही मौलिक कमजोरी है।
- यह डेवलपर्स की मदद करता है: इन छेदों को ढूंढकर, TEAR कंपनियों को बेहतर "टाइम-अवेयर" सुरक्षा गार्ड बनाने में मदद करता है। केवल टेक्स्ट की जांच करने के बजाय, उन्हें अब वीडियो द्वारा बताई जाने वाली "कहानी" की भी जांच करनी होगी।
🏁 निष्कर्ष
TEAR एक ऐसा टूल है जो साबित करता है कि AI वीडियो की दुनिया में, संदर्भ (Context) ही राजा है। आप केवल एक क्षण को नहीं देख सकते; आपको पूरी फिल्म देखनी होगी कि क्या वह सुरक्षित है। लेखकों ने एक ऐसा सिस्टम बनाया है जो "एक सुरक्षित कहानी बताने में माहिर है जो एक बुरी फिल्म में बदल जाती है," जिससे डेवलपर्स को अपनी सुरक्षा जाल को समय की जटिलता को संभालने के लिए अपग्रेड करने के लिए मजबूर होना पड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।