Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

चित्रों का जादू और कहानियों का खतरा

कल्पना कीजिए कि आपके पास एक जादुई पेंटब्रश है जो आपके द्वारा लिखे गए किसी भी वाक्य को चित्र में बदल सकता है। यदि आप कहते हैं, "एक बिल्ली बनाओ," तो एक रोएंदार बिल्ली प्रकट होती है। यदि आप कहते हैं, "टोपी पहने हुए एक बिल्ली बनाओ," तो बिल्ली को एक टोपी मिल जाती है। यह टेक्स्ट-टू-इमेज (T2I) सिस्टम की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस का एक प्रकार है जो हाल ही में निर्देशों का पालन करने में अविश्वसनीय रूप से कुशल हो गया है। लेकिन यहाँ एक मोड़ है: ये नए AI ब्रश अब केवल एकल चित्रों के लिए नहीं हैं। वे अब बातचीत भी कर सकते हैं। आप एक चित्र मांग सकते हैं, उसे देख सकते हैं, कह सकते हैं, "अब बिल्ली को उदास बनाओ," और यह बिल्कुल पहले वाले जैसी दिखने वाली एक उदास बिल्ली बना देगा। इसे मल्टी-टर्न जनरेशन (multi-turn generation) कहा जाता है। यह एक ऐसे कॉमिक बुक कलाकार की तरह है जिसे आपकी अब तक मांगी गई हर बारीकी याद रहती है, जिससे आप अपने चैट विंडो में ही, पैनल दर पैनल, एक पूरी कहानी बना सकते हैं।

यह क्यों मायने रखता है? क्योंकि लंबे समय से लोग जानते हैं कि एक अकेला चित्र हानिरहित हो सकता है, लेकिन चित्रों का एक क्रम एक भयानक कहानी सुना सकता है। उस चुटकुले के बारे में सोचें जहाँ पहले पैनल में एक व्यक्ति सिक्का गिराते हुए दिखाया जाता है, दूसरे में उन्हें उसे उठाते हुए, और तीसरे में खुलासा होता है कि उन्होंने बम उठाया। पहले दो चित्र ठीक हैं; तीसरा पंचलाइन है। यदि कोई AI प्रत्येक चित्र की व्यक्तिगत रूप से जांच करता है, तो वह खतरे को पूरी तरह से मिस कर सकता है। यह शोध एक डरावना सवाल पूछता है: यदि हम इन बातूनी AI कलाकारों को एक पूरी कहानी बनाने देते हैं, तो क्या वे अनजाने में (या जानबूझकर) एक घृणित विमर्श (hateful narrative) बना सकते हैं जो सुरक्षा फिल्टरों से बच निकले क्योंकि अकेले में कोई भी चित्र बुरा नहीं दिखता?

शोध पत्र: जब निर्दोष पैनल घृणित कहानियाँ सुनाते हैं

यह शोध AI कला उपकरणों की नई पीढ़ी में छिपे एक जाल की गहराई से जांच करता है। लेखकों ने, जो सुरक्षा शोधकर्ताओं की एक टीम है, पाया कि जबकि वर्तमान AI सुरक्षा प्रणालियाँ एक खराब चित्र को पहचानने में बहुत अच्छी हैं, वे एक घृणित दृश्य कहानी (hateful visual story) को समझने में बहुत कमजोर हैं।

इसका परीक्षण करने के लिए, शोधकर्ताओं ने हेटफुलस्टोरीप्रॉम्प्ट्स (HatefulStoryPrompts) नामक एक विशेष डेटासेट बनाया। उन्होंने 55 अलग-अलग घृणित विमर्शों को लिया—ऐसी कहानियाँ जो विशिष्ट समूहों को नीचा दिखाने या उन्हें चोट पहुँचाने के लिए बनाई गई थीं, जैसे नस्लीय रूढ़ियाँ या यहूदी विरोधी चुटकुले—और उन्हें चरण-दर-चरण निर्देशों में तोड़ दिया। फिर उन्होंने दुनिया के पांच सबसे उन्नत AI इमेज जनरेटरों (गूगल और ओपनएआई के मॉडलों सहित) से इन कहानियों को बनाने के लिए कहा। पेच यह था? AI को मिला हर एक निर्देश पूरी तरह से निर्दोष लग रहा था। पहला प्रॉम्प्ट "एक समृद्ध जोड़े" के लिए हो सकता है, दूसरा "एक दुबले वकील" के लिए, और तीसरा "एक धनी वकील" के लिए। व्यक्तिगत रूप से, ये केवल सामान्य अनुरोध हैं। लेकिन जब आप चित्रों को क्रम में रखते हैं, तो वे एक नस्लवादी या घृणित कहानी बताते हैं कि कैसे वकील ने जोड़े को ठगा।

परिणाम चौंकाने वाले थे। शोधकर्ताओं ने पाया कि ये AI मॉडल इस कहानी को पूरा करने के निर्देशों का पालन करने में अविश्वसनीय रूप से अच्छे हैं। उनके द्वारा आजमाए गए हर 100 कहानियों में से, मॉडलों ने चित्रों के पूरे क्रम को 80% से अधिक बार सफलतापूर्वक पूरा किया। सबसे अच्छा मॉडल, जीपीटी इमेज 2 (GPT Image 2), ने आश्चर्यजनक रूप से 99.0% घृणित कहानियों को पूरा किया। इसका मतलब है कि यदि कोई बुरा व्यक्ति इन उपकरणों का उपयोग करके एक घृणित कॉमिक बुक बनाना चाहता है, तो AI खुशी-खुशी पैनल दर पैनल उसकी मदद करेगा, बिना कभी कोई अलार्म बजाए।

सुरक्षा अंतराल: वर्तमान रक्षक क्यों विफल होते हैं

टीम ने फिर इन AI कंपनियों द्वारा वर्तमान में उपयोग किए जाने वाले "सुरक्षा गार्डों" का परीक्षण किया। उन्होंने पूछा: "क्या ये गार्ड पूरी कहानी देखने पर घृणा को पहचान सकते हैं?" उन्होंने हेटफुलविजुअलस्टोरी (HatefulVisualStory) नामक एक डेटासेट बनाया, जिसमें लगभग 1,000 घृणित इमेज सेट और 990 हानिरहित समान दिखने वाले सेट शामिल थे।

परिणामों ने दिखाया कि वर्तमान सुरक्षा प्रणालियाँ इस प्रकार के खतरे के प्रति काफी हद तक अंधी हैं।

• "एकल चित्र" की समस्या: अधिकांश सुरक्षा उपकरण एक बार में एक चित्र की जांच करते हैं। जब उन्होंने घृणित कहानियों को देखा, तो उन्होंने लगभग सब कुछ मिस कर दिया। एक समर्पित सुरक्षा मॉडल ने केवल 34.9% घृणित कहानियों को पकड़ा। एक अन्य प्रसिद्ध सुरक्षा टूल, लावागार्ड (LlavaGuard), ने उनमें से 100% को मिस कर दिया (0.0% रिकॉल)।
• "पूरी कहानी" की समस्या: भले ही शोधकर्ताओं ने सुरक्षा उपकरणों को एक साथ पूरी श्रृंखला दी, परिणाम बहुत बेहतर नहीं थे। सबसे मजबूत टूल भी केवल 67.5% घृणित कहानियों को पकड़ सका।

शोध पत्र का तर्क है कि ऐसा इसलिए होता है क्योंकि घृणा किसी एक छवि के पिक्सेल में नहीं है; यह छवियों के बीच के संबंध में है। यह एक फिल्म को एक स्थिर फ्रेम देखकर समझने की कोशिश करने जैसा है; आप पूरी कहानी को पूरी तरह से मिस कर सकते हैं।

समाधान: कहानी खत्म होने से पहले उसे पकड़ना

चूंकि वर्तमान रक्षक बड़ी तस्वीर देखने में विफल रहे, शोधकर्ताओं ने दो नए तरीके प्रस्तावित किए: प्रोएक्टिव मॉनिटरिंग (Proactive Monitoring) और पोस्ट-जनरेशन डिटेक्शन (Post-Generation Detection)।

1. प्रोएक्टिव मॉनिटरिंग (जल्दी रोकने वाला): कल्पना कीजिए कि एक शिक्षक एक छात्र को कहानी लिखते हुए देख रहा है। यह देखने के बजाय कि कहानी खत्म होने के बाद वह बुरी है या नहीं, शिक्षक हर वाक्य को लिखे जाते ही पढ़ता है। यदि शिक्षक देखता है कि कहानी घृणित होती जा रही है, तो वह छात्र को तुरंत रोक देता है। शोधकर्ताओं ने AI के लिए ऐसा ही एक सिस्टम बनाया। यह चलते हुए बातचीत पर नज़र रखता है।

   • यदि उपयोगकर्ता केवल प्रॉम्प्ट टाइप कर रहा है, तो इस सिस्टम ने अंतिम चित्र बनने से पहले ही 97.3% घृणित कहानियों को पकड़ लिया।
   • यदि उपयोगकर्ता ने अपना स्वयं का चित्र शुरू किया और फिर प्रॉम्प्ट जोड़े, तो इसने अभी भी 92.6% कहानियों को पकड़ा।
   • महत्वपूर्ण रूप से, इसने लगभग बिना किसी "गलत अलार्म" के ऐसा किया, जिसका अर्थ है कि इसने शायद ही कभी निर्दोष कहानियों को रोका।

2. पोस्ट-जनरेशन डिटेक्शन (जासूस): कभी-कभी, कहानी पहले से ही पूरी हो चुकी होती है और ऑनलाइन पोस्ट की जा चुकी होती है। शोधकर्ताओं ने पूर्ण कॉमिक का विश्लेषण करने के लिए एक नए तरीके का भी परीक्षण किया। उन्होंने एक "विवरण-फिर-निर्णय" (describe-then-judge) दृष्टिकोण का परीक्षण किया, जहाँ AI पहले पूरी कहानी का सारांश लिखता है और फिर निर्णय लेता है कि क्या यह घृणित है। इससे AI को संदर्भ को बेहतर ढंग से समझने में मदद मिली।

   • इस पद्धति ने जुड़े हुए चित्रों (concatenated images) पर 80.2% और अलग-अलग इमेज सेट पर 76.6% घृणित कहानियों को पकड़ा, जो पुराने तरीकों की तुलना में एक बड़ा सुधार है।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि जैसे-जैसे AI सुसंगत, बहु-चरणीय कहानियाँ सुनाने में बेहतर होता जा रहा है, हमारे सुरक्षा नियम भी स्मार्ट होने चाहिए। हम अब केवल व्यक्तिगत चित्रों की जांच नहीं कर सकते; हमें उस कहानी को समझना होगा जो चित्र सुना रहे हैं। लेखकों ने पाया कि नए, अधिक शक्तिशाली AI मॉडल वास्तव में इन घृणित कहानियों को पूरा करने की अधिक संभावना रखते हैं क्योंकि वे निर्देशों का बेहतर पालन करते हैं, न कि इसलिए कि वे अधिक सुरक्षित हैं।

शोधकर्ता सुझाव देते हैं कि सबसे अच्छा बचाव दो-स्तरीय दृष्टिकोण है: एक "वॉचडॉग" जो बातचीत के दौरान निगरानी करता है ताकि कहानी खत्म होने से पहले उसे रोका जा सके, और एक "जासूस" जो यदि कहानी निकल जाए तो अंतिम कहानी का विश्लेषण करता है। बिना इन नए तरीकों के, पेपर चेतावनी देता है कि, अगली पीढ़ी के AI कॉमिक्स घृणा फैलाने का एक सस्ता और आसान तरीका बन सकते हैं, जिससे लाखों लोगों, जिनमें बच्चे भी शामिल हैं, तक बिना किसी को पता चले घृणा पहुँच सकती है।