Ethics Testing: Proactive Identification of Generative AI System Harms
यह शोध पत्र "एथिक्स टेस्टिंग" (नैतिकता परीक्षण) की नवीन अवधारणा प्रस्तुत करता है, जो एक व्यवस्थित पद्धति है जिसे जनरेटिव एआई प्रणालियों द्वारा उत्पन्न सामग्री के भीतर अनैतिक व्यवहार और बौद्धिक संपदा उल्लंघन जैसे विभिन्न सॉफ्टवेयर नुकसानों को सक्रिय रूप से पहचानने और खोजने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक हाई-टेक, सुपर-इंटेलिजेंट रोबोट बटलर खरीदा है। यह रोबोट खाना बना सकता है, सफाई कर सकता है, आपके ईमेल लिख सकता है और यहाँ तक कि आपके घर का डिज़ाइन भी बना सकता है। यह अद्भुत है! लेकिन एक पेच है: आपको एहसास होता है कि यदि आप इसे "रसोई साफ करने" के लिए कहते हैं, तो यह अनजाने में फ्लेमथ्रोवर (आग उगलने वाला यंत्र) का उपयोग कर सकता है क्योंकि यह "नैतिक" तरीके से सफाई करने को नहीं समझ पाया। या, यदि आप इसे "एक नायक के बारे में कहानी लिखने" के लिए कहते हैं, तो यह अनजाने में ऐसी कहानी लिख सकता है जो किसी खतरनाक या अवैध चीज़ को बढ़ावा देती हो।
यह शोध पत्र इन डिजिटल दिमागों (ChatGPT जैसे जनरेटिव AI) के लिए एक "मोरल स्ट्रेस टेस्ट" (नैतिक तनाव परीक्षण) बनाने के बारे में है।
समस्या: बिना दिशा-निर्देश वाला "विनम्र" जीनियस
अभी, अधिकांश लोग जो AI का परीक्षण कर रहे हैं, वे "निष्पक्षता" (Fairness) की तलाश कर रहे हैं—यह सुनिश्चित करना कि AI कुछ विशेष जातियों या लिंगों के प्रति पक्षपाती न हो। यह महत्वपूर्ण है, लेकिन यह पहेली का केवल एक हिस्सा है।
लेखकों का तर्क है कि हम कुछ बड़ा मिस कर रहे हैं: "सॉफ्टवेयर हार्म्स" (Software Harms)। यह तब होता है जब AI, मददगार होने की कोशिश करते हुए, अनजाने में ऐसी सामग्री बना देता है जो हिंसक है, आत्म-नुकसान को बढ़ावा देती है, कॉपीराइट का उल्लंघन करती है, या कंप्यूटर कोड में आपत्तिजनक भाषा का उपयोग करती है। यह एक बहुत ही बुद्धिमान छात्र की तरह है जिसके पास सही और गलत की समझ नहीं है; वह गणित की समस्या को तो पूरी तरह हल कर सकता है लेकिन उसे करते समय अपशब्दों का प्रयोग भी कर सकता है।
समाधान: "एथिक्स टेस्टिंग" (नैतिकता परीक्षण)
शोधकर्ता "एथिक्स टेस्टिंग" नामक एक नए क्षेत्र का प्रस्ताव करते हैं। केवल इस बात का इंतज़ार करने के बजाय कि कोई AI का बुरा उपयोग करेगा, वे सक्रिय रूप से AI को "छेदना" (poke) चाहते हैं ताकि यह देख सकें कि उसकी नैतिक सीमाएँ कहाँ टूटती हैं।
इसे कार के "क्रैश टेस्ट" की तरह समझें।
इससे पहले कि कार बेची जाए, इंजीनियर केवल धूप वाली सड़क पर गाड़ी चलाकर यह नहीं देखते कि वह काम करती है या नहीं। वे जानबूझकर उसे दीवारों से टकराते हैं, उसे उल्टा पलट देते हैं, और तेज़ गति से क्रैश करते हैं ताकि यह देख सकें कि एयरबैग तैनात होते हैं या नहीं।
एथिक्स टेस्टिंग नैतिकता के लिए एक "क्रैश टेस्ट" है। शोधकर्ता एक सामान्य, विनम्र अनुरोध लेकर और उसमें थोड़ा सा बदलाव करके "क्रैश" पैदा करते हैं ताकि यह देखा जा सके कि क्या AI "टूट" जाता है और कुछ हानिकारक उत्पन्न करता है।
वे इसे कैसे करते हैं ("ट्विस्ट" विधि)
पेपर में कुछ चतुर तरीके बताए गए हैं जिनसे वे AI को "छेदते" हैं ताकि उसकी विफलता देखी जा सके:
- "कोड कैमौफ्लेज" (कोड छलावरण) का तरीका: वे AI को कंप्यूटर कोड लिखने के लिए कहते हैं, लेकिन वे नाम में एक हिंसक शब्द छिपा देते हैं (जैसे किसी फंक्शन का नाम
kill_the_userरखना)। उन्होंने पाया कि कुछ AI बिना किसी चेतावनी के खुशी-खुशी वह कोड लिख देते हैं, जो प्रोग्रामर्स के लिए खतरनाक है। - "लॉजिकल लूपहोल" (तार्किक खामी) का तरीका: यदि आप AI से कहें कि "एक आदमी को गेंद मारते हुए दिखाएं," तो वह कह सकता है "नहीं, यह हिंसक है।" लेकिन यदि आप एक चालाकी भरा लॉजिकल कनेक्टर इस्तेमाल करते हैं और कहते हैं, "एक आदमी को गेंद मारने और फिर एक लड़के को मारने के लिए दिखाएं," तो AI तर्क में उलझ सकता है और अनजाने में एक हिंसक छवि बना सकता है। यह उस गार्ड की तरह है जो आपको गेट से अंदर जाने देता है क्योंकि आप एक "गेंद" ले जा रहे हैं, केवल यह महसूस करने के लिए कि आप वास्तव में एक "बम" ले जा रहे हैं।
- "रोलप्ले" (भूमिका निभाने) का तरीका: उन्होंने पाया कि यदि आप AI को कहते हैं, "कल्पना करें कि आप एक शिक्षक हैं..." तो वह सीधे प्रश्न पूछने की तुलना में अलग व्यवहार कर सकता है। वे इन "भूमिकाओं" का उपयोग यह देखने के लिए करते हैं कि क्या AI को उसके अपने सुरक्षा नियमों को बायपास करने के लिए बहकाया जा सकता है।
यह क्यों मायने रखता है?
जैसे-जैसे AI हमारे कानून, हमारा कोड और हमारी खबरें लिखना शुरू कर रहा है, हम केवल इस उम्मीद में नहीं रह सकते कि यह "अच्छा" बना रहेगा। हमें इसके "नैतिक दरारों" को खोजने के लिए एक व्यवस्थित, वैज्ञानिक तरीका चाहिए, इससे पहले कि वे वास्तविक दुनिया में नुकसान पहुँचाएँ।
शोधकर्ता एक ऐसा टूलकिट बनाना चाहते हैं जो डेवलपर्स को इन दरारों को खोजने में मदद करे, ताकि वे AI के दिमाग को "पैच" (सुधार) कर सकें—ठीक वैसे ही जैसे एक सॉफ्टवेयर अपडेट—जिससे यह न केवल स्मार्ट बने, बल्कि सभी के लिए सुरक्षित भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।