Old Tricks, New Models: How Simple Image Transformations Break Modern AI-based Content Moderation
यह शोध पत्र प्रदर्शित करता है कि सरल, मॉडल-अज्ञेय (model-agnostic) इमेज ट्रांसफॉर्मेशन प्रभावी रूप से तीन प्रमुख वाणिज्यिक एआई-आधारित कंटेंट मॉडरेशन सेवाओं को बायपास कर सकते हैं, जो यह सिद्ध करता है कि केवल फाउंडेशन-मॉडल एपीआई (foundation-model APIs) पर स्थानांतरित होना मजबूत सुरक्षा की गारंटी नहीं देता है और इसके लिए एक बहुस्तरीय मॉडरेशन दृष्टिकोण की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे डिजिटल शहर की तरह है जहाँ लाखों लोग हर सेकंड फोटो, वीडियो और कहानियाँ साझा करते हैं। इस शहर को हिंसा या अश्लील सामग्री जैसे हानिकारक कंटेंट से सुरक्षित रखने के लिए, "शहर के गार्ड" (स्वचालित एआई सिस्टम) गेटों से गुजरने वाली हर तस्वीर को लगातार स्कैन करते हैं। लंबे समय तक, ये गार्ड विशिष्ट प्रकार की सुरक्षा गार्डों की तरह थे जो केवल एक विशेष प्रकार की समस्या को पहचानने के लिए जाने जाते थे। लेकिन हाल ही में, तकनीकी कंपनियों ने उन्हें "सुपर-गार्ड्स" में अपग्रेड कर दिया है—विशाल, सर्वज्ञ एआई मॉडल जो संदर्भ (context) को समझने और खतरों की एक विस्तृत श्रृंखला को पहचानने का वादा करते हैं। बड़ा सवाल यह है कि क्या ये सुपर-गार्ड वास्तव में चालाकी से पकड़ में आने में कठिन हैं, या वे बस एक नया फैंसी यूनिफॉर्म पहने हुए हैं जबकि उनमें अभी भी वही पुरानी कमियां मौजूद हैं?
यह शोध पत्र इसी सवाल की गहराई में जाता है, यह परीक्षण करने के लिए कि क्या ये आधुनिक, उच्च-तकनीकी एआई गार्ड सरल, लो-टेक ट्रिक्स से बेवकूफ बनाए जा सकते हैं। इसे ऐसे समझें जैसे किसी सुरक्षा स्कैनर से कोई प्रतिबंधित वस्तु चुराकर ले जाने की कोशिश करना। आपको किसी जटिल लेजर या मास्टर प्लान की आवश्यकता नहीं है; कभी-कभी, बस वस्तु पर धूप का चश्मा लगा देना, उसे उल्टा कर देना, या थोड़ा सा स्टैटिक शोर (static noise) जोड़ देना ही काफी होता है ताकि स्कैनर यह सोच सके, "ओह, यह हानिरहित है!" शोधकर्ता यह देखना चाहते थे कि क्या ये नए, महंगे और शक्तिशाली एआई सिस्टम इन साधारण वेशों को देखने में पुराने सिस्टमों की तुलना में बेहतर हैं।
द ग्रेट एआई डिस्गाइज़ टेस्ट (महान एआई वेश बदलने का परीक्षण)
इस शोध पत्र के लेखकों ने आज की बड़ी टेक कंपनियों द्वारा उपयोग की जाने वाली तीन सबसे लोकप्रिय वाणिज्यिक इमेज-मॉडरेशन सेवाओं के साथ "चूहे और बिल्ली" का खेल खेलने का निर्णय लिया: OpenAI का "omni-moderation," Amazon का "Rekognition," और Google का "SafeSearch।" इन सिस्टमों को हैक करने या उन्हें धोखा देने के लिए एक नकली एआई बनाने के बजाय, उन्होंने एक बहुत ही सरल दृष्टिकोण अपनाया: उन्होंने उन छवियों को लिया जिन्हें एआई ने पहले ही "असुरक्षित" के रूप में चिह्नित किया था और उन पर सात अलग-अलग, आसानी से किए जाने वाले विजुअल ट्रांसफॉर्मेशन (दृश्य रूपांतरण) लागू किए।
ये रूपांतरण डिजिटल जादू के करतबों की तरह थे जिनके लिए एआई कैसे काम करता है, इसकी किसी विशेष जानकारी की आवश्यकता नहीं थी। इनमें शामिल थे:
- रंगों को उलटना (Inverting Colors): एक फोटो को पुराने जमाने के फिल्म नेगेटिव की तरह बदलना।
- ग्रेस्केल (Grayscale): रंग को पूरी तरह हटाकर उसे ब्लैक एंड व्हाइट बनाना।
- ब्लर (Blur): छवि को थोड़ा धुंधला करना, जैसे धुंधली खिड़की से देख रहे हों।
- साल्ट एंड पेपर (Salt and Pepper): छवि पर यादृच्छिक काले और सफेद डॉट्स छिड़कना, जैसे पुराने टीवी पर स्टैटिक होता है।
- स्प्लिटिंग एंड स्वैपिंग (Splitting and Swapping): छवि के लाल, हरे और नीले हिस्सों को लेकर उन्हें आपस में मिला देना।
इसके बाद शोधकर्ताओं ने इन "वेश बदले हुए" चित्रों को वापस एआई सिस्टम में डाला यह देखने के लिए कि क्या एआई अभी भी "खतरा!" चिल्लाएगा या वह अचानक कहेगा, "ओह, यह ठीक है, आप जा सकते हैं।"
चौंकाने वाले परिणाम
निष्कर्ष काफी खुलासा करने वाले थे। शोध पत्र ने पाया कि ये तीनों उच्च-तकनीकी, वाणिज्यिक एआई सेवाएँ इन सरल, सस्ते ट्रिक्स का उपयोग करके बाईपास की जा सकती थीं। आपको एक कोडिंग जीनियस होने या एआई के आंतरिक मस्तिष्क तक पहुँच रखने की आवश्यकता नहीं थी।
यहाँ आंकड़ों ने कहानी बताई:
- "वन-शॉट" ट्रिक्स: रंगों को उलटने जैसा एक एकल, निश्चित बदलाव ही सिस्टम को बेवकूफ बनाने के लिए पर्याप्त था। Amazon Rekognition के लिए, केवल रंगों को पलटने से असुरक्षित छवियों में से 43.97% सुरक्षित दिखने लगीं। Google का सिस्टम इस एक ट्रिक से 6.29% बार और OpenAI का सिस्टम 8.11% बार धोखा खा गया।
- "ब्लर" और "नॉइज़" ट्रिक्स: जब शोधकर्ताओं ने छवियों में शोर (noise) जोड़ा या उन्हें ब्लर किया, तो सफलता दर और भी बढ़ गई, खासकर यदि उन्होंने छवि को थोड़ा कम सटीक दिखने की अनुमति दी। उदाहरण के लिए, "साल्ट एंड पेपर" ट्रिक के साथ, Amazon का सिस्टम 45.53% बार धोखा खा गया, जबकि Google और OpenAI 30% से अधिक बार धोखा खा गए, भले ही छवि मूल छवि के बहुत समान दिख रही थी।
- विभिन्न प्रकार की समस्याएं: एआई सभी प्रकार के बुरे कंटेंट को पहचानने में समान रूप से खराब नहीं था। आत्म-क्षति (self-harm) से जुड़ी छवियों को धोखा देना आश्चर्यजनक रूप से आसान था, जो सबसे संवेदनशील श्रेणी थी। हिंसा से जुड़ी छवियां सबसे कठिन थीं, लेकिन वे भी सुरक्षित नहीं थीं।
- मल्टीमॉडल कंटेंट: शोधकर्ताओं ने "मीम्स" (टेक्स्ट वाली छवियां) का भी परीक्षण किया। भले ही इनके लिए एआई को टेक्स्ट पढ़ने और चित्र देखने दोनों की आवश्यकता होती है, फिर भी सरल विजुअल ट्रिक्स काम कर गए, जिससे साबित हुआ कि एआई की "सुपर-विज़न" में दरारें हैं।
डिजिटल शहर के लिए इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि केवल इन नए, शक्तिशाली एआई मॉडल में अपग्रेड करने से स्वचालित रूप से हानिकारक सामग्री के खिलाफ एक सुरक्षित दीवार नहीं बन जाती है। "सुपर-गार्ड्स" अभी भी उन्हीं पुराने, सरल वेशों के प्रति संवेदनशील हैं जिनका उपयोग वर्षों से किया जा रहा है।
लेखक सुझाव देते हैं कि केवल इन एआई सेवाओं में से किसी एक पर सुरक्षा की एकमात्र रेखा के रूप में भरोसा करना जोखिम भरा है। इसके बजाय, वे प्रस्ताव देते हैं कि इन सिस्टमों को एक "लेयर्ड" (स्तरित) सुरक्षा टीम का हिस्सा होना चाहिए। एक महल की कल्पना करें: आप केवल मुख्य द्वार के गार्ड पर भरोसा नहीं करते; आपके पास एक खाई, एक ड्रॉब्रिज और अंदर एक दूसरा गार्ड भी होता है। इसी तरह, ऑनलाइन प्लेटफॉर्म इन एआई टूल को कई अन्य जांचों या मानव समीक्षकों के साथ मिलाकर, एक सहायक उपकरण के रूप में उपयोग करने चाहिए, न कि सब कुछ पकड़ने के लिए केवल उन पर भरोसा करना चाहिए।
संक्षेप में, शोध पत्र दिखाता है कि जबकि एआई मॉडरेशन ने एक लंबा रास्ता तय किया है, "पुराने ट्रिक्स" सरल इमेज मैनिपुलेशन के माध्यम से "नए मॉडल्स" से बचने में अभी भी बहुत प्रभावी हैं। यह एक याद दिलाता है कि डिजिटल दुनिया में, एक बुरे तत्व की थोड़ी सी रचनात्मकता कभी-कभी एक बहुत ही महंगे कंप्यूटर को भी मात दे सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।