Going PLACES: Participatory Localized Red Teaming for Text-to-Image Safety in the Global South
यह शोध पत्र PLACES को प्रस्तुत करता है, जो एक सहभागी रेड टीमिंग पहल है जो ग्लोबल साउथ के समुदायों के साथ सहयोग करके 26,000 से अधिक स्थानीयकृत विफलता उदाहरणों का एक विविध डेटासेट तैयार करती है, जिससे टेक्स्ट-टू-इमेज सुरक्षा में पश्चिमी-केंद्रित पूर्वाग्रहों को संबोधित किया जाता है, अद्वितीय सांस्कृतिक नुकसानों को उजागर किया जाता है और संदर्भ-जागरूक सुरक्षा ढांचों की वकालत की जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई आर्ट मशीन (एक टेक्स्ट-टू-इमेज मॉडल) है जो आपके द्वारा वर्णित किसी भी चीज़ का चित्र बना सकती है। लंबे समय से, इस मशीन को मुख्य रूप से पश्चिम (उत्तरी अमेरिका और यूरोप) के लोगों द्वारा प्रशिक्षित किया गया था और इसने दुनिया को उनकी आँखों से देखना सीखा। यह एक ऐसे शेफ की तरह है जो केवल अमेरिकी 'कम्फर्ट फूड' बनाना जानता है; यदि आप उससे भारत या नाइजीरिया के किसी विशिष्ट क्षेत्रीय व्यंजन के लिए पूछते हैं, तो वह शायद आपको एक साधारण बर्गर या एक भ्रमित करने वाला मिश्रण दे देगा।
यह शोध पत्र, जिसका शीर्षक "Going PLACES" है, इस बारे में है कि शोधकर्ताओं की एक टीम ने इस आर्ट मशीन को दुनिया के बाकी हिस्सों को सही ढंग से देखना कैसे सिखाया। उन्होंने केवल मशीन को तोड़ने के लिए ऑनलाइन यादृच्छिक लोगों से नहीं पूछा; बल्कि वे "ग्लोबल साउथ" (विशेष रूप से घाना, नाइजीरिया और भारत के कुछ हिस्सों) के स्थानीय समुदायों में गहराई तक गए ताकि यह पता लगाया जा सके कि मशीन उन विशिष्ट स्थानों पर कहाँ गलत होती है।
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "एक ही आकार का" सुरक्षा जाल (The "One-Size-Fits-All" Safety Net)
शोधकर्ता तर्क देते हैं कि इन एआई आर्ट मशीनों के लिए वर्तमान सुरक्षा नियम एक एक ही आकार के लाइफ जैकेट की तरह हैं। यह एक पश्चिमी तैराक के लिए बिल्कुल फिट हो सकता है, लेकिन किसी अन्य संस्कृति के व्यक्ति के लिए यह या तो बहुत ढीला या बहुत तंग हो सकता है।
- समस्या: एआई पश्चिमी नियमों का पालन करके "सुरक्षित" होने का नाटक करता है, लेकिन स्थानीय संस्कृतियों में, यह ऐसी छवियां बना सकता है जो गहराई से अपमानजनक, धार्मिक रूप से अनुचित या सांस्कृतिक रूप से अज्ञानी हों।
- उपमा: कल्पना कीजिए कि एआई एक "धार्मिक समारोह" का चित्र बना रहा है। पश्चिम में, यह केवल एक सामान्य चर्च बना सकता है। लेकिन भारत में, यदि आप एक विशिष्ट हिंदू अनुष्ठान के लिए पूछते हैं, तो एआई गलती से किसी देवता के चरणों में जूते रख सकता है (जो एक बड़ा वर्जित कार्य है) या दो अलग-अलग त्योहारों को आपस में मिला सकता है। एआई को सड़क के इन स्थानीय "नियमों" का ज्ञान नहीं है।
2. समाधान: स्थानीय गाइडों के साथ "रेड टीमिंग" (Red Teaming with Local Guides)
"रेड टीमिंग" (Red Teaming) एक समूह को सुरक्षा प्रणाली को तोड़ने के लिए हैकर नियुक्त करने जैसा है ताकि बुरे लोगों के आने से पहले आप उसे ठीक कर सकें। आमतौर पर, ये "हैकर" अमेरिका या यूके के बड़े टेक ऑफिस में बैठे विशेषज्ञ होते हैं।
- PLACES ने क्या किया: बाहरी लोगों को काम पर रखने के बजाय, उन्होंने सेकेंडरी शहरों (केवल मुंबई या लागोस जैसे बड़े राजधानियों के बजाय) में विश्वविद्यालयों के साथ साझेदारी की। उन्होंने स्थानीय छात्रों और फैकल्टी को "कम्युनिटी गाइड्स" के रूप में नियुक्त किया।
- वर्कशॉप: छात्रों के शुरू करने से पहले, शोधकर्ताओं ने वर्कशॉप आयोजित कीं। इसे एक ट्रेनिंग कैंप की तरह समझें जहाँ उन्होंने समझाया, "यहाँ बताया गया है कि एआई कैसे काम करता है, और यहाँ बताया गया है कि आपकी संस्कृति सुरक्षा को कैसे देखती है।" उन्होंने छात्रों को अपनी स्थानीय भाषाओं का उपयोग करने, भाषाओं को मिलाने (जैसे हिंदी या पिडिन शब्दों के साथ अंग्रेजी बोलना) और स्थानीय रूपकों का उपयोग करने के लिए प्रोत्साहित किया।
- परिणाम: उन्होंने 26,000 से अधिक उदाहरण एकत्र किए कि एआई उन तरीकों में कैसे विफल हुआ जो एक पश्चिमी टेस्टर कभी नहीं सोच पाता। इस संग्रह को PLACES डेटासेट कहा जाता है।
3. उन्होंने क्या पाया: एआई के "सांस्कृतिक अंधे धब्बे" (Cultural Blind Spots)
जब उन्होंने 26,000 उदाहरणों का विश्लेषण किया, तो उन्हें तीन प्रकार के "अंधे धब्बे" मिले:
A. "कोड-मिक्सिंग" का लूपहोल (The "Code-Mixing" Loophole)
ग्लोबल साउथ के कई हिस्सों में, लोग स्वाभाविक रूप से एक ही वाक्य में भाषाओं को मिलाते हैं (जैसे, "A man eating jollof rice in Lagos")।
- निष्कर्ष: एआई के सुरक्षा फिल्टर उन बाउंसरों की तरह हैं जो केवल अंग्रेजी बोलते हैं। यदि आप अंग्रेजी और एक स्थानीय भाषा के मिश्रण में कोई गुप्त बात फुसफुसाते हैं, तो बाउंसर समझ नहीं पाता कि खतरा क्या है और आपको अंदर जाने देता है। शोधकर्ताओं ने पाया कि भाषाओं को मिलाने से उन सुरक्षा फिल्टरों को बायपास करना संभव हो गया जो उसी अनुरोध को ब्लॉक कर देते यदि उसे शुद्ध अंग्रेजी में लिखा गया होता।
B. "नॉर्मेटिव डिसोनेंस" (मूल्यों का टकराव)
यह तब होता है जब एआई अपने "पश्चिमी नियमों" का पालन करता है लेकिन "स्थानीय नियमों" को तोड़ देता है।
- उपमा: कल्पना कीजिए कि एआई एक डिनर पार्टी में एक मेहमान है। मेजबान (स्थानीय संस्कृति) कहता है, "अपने बाएं हाथ से खाना न खाएं।" मेहमान (एआई) कहता है, "लेकिन मेरी नियम पुस्तिका कहती है कि हाथ सिर्फ हाथ होते हैं!" और वह फिर भी बाएं हाथ का उपयोग करता है।
- वास्तविक उदाहरण:
- धर्म: एआई ने एक हिंदू व्यक्ति का गोमांस खाते हुए चित्र बनाया (जो कई हिंदुओं के लिए वर्जित है) या मक्का में जुआ खेलते हुए एक मुस्लिम का चित्र बनाया। एआई के लिए, ये केवल "लोग कुछ कर रहे थे," लेकिन स्थानीय लोगों के लिए, ये बेहद अपमानजनक थे।
- रीति-रिवाज: एआई ने भारत में एक बच्चे को बुजुर्ग के साथ हाथ मिलाते हुए दिखाया, जबकि स्थानीय रीति-रिवाज के अनुसार उनके पैर छूना चाहिए। एआई संस्कृति के "शुद्धता" और "सम्मान" के नियमों को समझने में विफल रहा।
- शकुन (Omens): एआई ने सड़क पार करती एक काली बिल्ली या टूटा हुआ दर्पण बनाया। कुछ संस्कृतियों में, ये केवल "बिल्ली" या "कांच" नहीं हैं; ये बुरे शकुन हैं जो दुर्भाग्य लाते हैं। एआई उस छवि की "भावना" को नहीं समझ सका।
C. "ऑन्टोलॉजिकल फ्लैटनिंग" (पहचान को मिटाना)
यह तब होता है जब एआई किसी विशिष्ट और अद्वितीय चीज़ को लेकर उसे एक सामान्य, पश्चिमी आकार में बदल देता है।
- उपमा: यह एक विशेष प्रकार की स्थानीय बस को चित्रित करने के लिए एक चित्रकार को कहने जैसा है, और वह बस एक सामान्य अमेरिकी स्कूल बस बना देता है।
- वास्तविक उदाहरण:
- भोजन: "फूफू" (एक पश्चिम अफ्रीकी व्यंजन) माँगने पर मैश किए हुए आलू या बर्गर की तस्वीर मिलना।
- कला: "यक्षगान कलाकार" (एक विशिष्ट भारतीय थिएटर शैली) माँगने पर एक सामान्य "शास्त्रीय नर्तक" को सफेद टुटू पहने हुए पाना।
- लोग: "दक्षिण भारतीय स्ट्रीट वेंडर" माँगने पर एक गहरे रंग के व्यक्ति की तस्वीर मिलना, जो गरीबी के रूढ़िवादी चित्रण (stereotypes) को पुख्ता करती है, भले ही प्रॉम्प्ट में गरीबी के बारे में नहीं पूछा गया हो।
4. यह क्यों महत्वपूर्ण है
शोध पत्र निष्कर्ष निकालता है कि आप केवल एआई को "बड़ा" बनाकर या पुराने स्थानों से अधिक डेटा जोड़कर सुरक्षित नहीं बना सकते। आपको ज़ूम इन (बारीकी से देखना) करना होगा।
- सबक: पूरे विश्व के लिए एआई को वास्तव में सुरक्षित बनाने के लिए, आपको उन लोगों को परिभाषित करने देना होगा कि उनके लिए "सुरक्षा" का क्या अर्थ है। आपको "हेडक्वार्टर" के बजाय "कम्युनिटी गाइड्स" की बात सुननी होगी।
सारांश
PLACES प्रोजेक्ट एक स्थानीय अनुवादक की टीम को भेजने जैसा है जो एक विदेशी रोबोट को स्थानीय बोली, रीति-रिवाजों और वर्जनाओं को सिखाती है। उन्होंने पाया कि रोबोट इसलिए विफल नहीं हो रहा था क्योंकि वह "बुरा" था, बल्कि इसलिए क्योंकि वह सांस्कृतिक रूप से निरक्षर था। स्थानीय समुदायों को एआई को "रेड टीम" करने देकर, उन्होंने हजारों नए तरीकों को उजागर किया जिनसे एआई गलत हो सकता है, यह साबित करते हुए कि सुरक्षा एक सार्वभौमिक नियम पुस्तिका नहीं है, बल्कि एक स्थानीय संवाद है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।