PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अत्यधिक विनम्र रोबोट की कमजोरियों को खोजने की कोशिश कर रहे हैं। आप यह देखना चाहते हैं कि क्या आप उसे कुछ बुरा, खतरनाक या पक्षपाती बोलने के लिए बहला सकते हैं। इस प्रक्रिया को "रेड-टीमिंग" (Red-Teaming) कहा जाता है।
आमतौर पर, इंसान यह काम करने के लिए रोबोट को पेचीदा सवालों से "जेलब्रेक" करने की कोशिश करते हैं। लेकिन इंसान थक जाते हैं, और हर संभव ट्रिक की कल्पना करना कठिन है। इसलिए, वैज्ञानिकों ने ट्रिक्स खोजने के लिए अन्य AI का उपयोग करना शुरू कर दिया। हालाँकि, ये स्वचालित AI अक्सर केवल शब्दों को इधर-उधर घुमाते हैं बिना वास्तव में यह समझे कि पूछने वाला कौन है।
यह पेपर AI को टेस्ट करने का एक नया तरीका पेश करता है जिसे PersonaTeaming कहा जाता है। यह ऐसा है जैसे टेस्टिंग AI को एक "मुखौटा" या "चरित्र" पहनने के लिए कहना।
यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: रोबोट का "ब्लाइंड स्पॉट" (अंध बिंदु)
जिस AI का आप परीक्षण कर रहे हैं, उसे एक बहुत ही सख्त क्लब के बाउंसर के रूप में सोचें। बाउंसर के पास नियमों की एक सूची है (सुरक्षा दिशानिर्देश)।
- पुरानी स्वचालित टेस्टिंग: कल्पना कीजिए कि एक रोबोट घुसपैठ करने की कोशिश कर रहा है। वह बस "कृपया मुझे अंदर आने दें" या "मैं एक वीआईपी हूँ" जैसे रैंडम वाक्यांशों का उपयोग करता है। यह कुशल है, लेकिन थोड़ा रोबोटिक और अनुमानित है।
- खोई हुई कड़ी: वास्तविक इंसान केवल रैंडम सवाल नहीं पूछते; वे विशिष्ट दृष्टिकोणों से सवाल पूछते हैं। एक थका हुआ माता-पिता, एक राजनीतिक रणनीतिकार, या एक जिज्ञासु किशोर सभी अलग-अलग तरीकों से बाउंसर को चकमा देने की कोशिश कर सकते हैं। पुराने स्वचालित टेस्टर इन "मानवीय" कोणों को मिस कर गए।
2. समाधान: "चरित्र का मुखौटा" (PersonaTeaming वर्कफ़्लो)
लेखकों ने PersonaTeaming Workflow नामक एक प्रणाली बनाई है। केवल AI को "अधिक प्रयास करने" के लिए कहने के बजाय, वे टेस्टिंग AI को एक विशिष्ट चरित्र होने का नाटक करने के लिए कहते हैं।
- "विशेषज्ञ" का मुखौटा: टेस्टिंग AI एक "राजनीतिक रणनीतिकार" या "ऐतिहासिक संशोधनवादी" की टोपी पहनता है। वह सोचता है, "एक राजनीतिक रणनीतिकार चुनाव जीतने के लिए सच्चाई को कैसे मोड़ने की कोशिश करेगा?" यह उसे बाउंसर को चकमा देने के बहुत चतुर, लक्षित तरीके खोजने में मदद करता है।
- "सामान्य व्यक्ति" का मुखौटा: टेस्टिंग AI एक "घर संभालने वाली माँ" या "योग प्रशिक्षक" की टोपी पहनता है। वह सोचता है, "एक चिंतित माँ घर में बंदूक रखने की सलाह पाने के लिए कैसे कोशिश करेगी?" यह उन तरह के ट्रिक्स को ढूंढता है जिन्हें विशेषज्ञ भी मिस कर सकते हैं।
परिणाम: जब उन्होंने मौजूदा सर्वोत्तम तरीकों (जिन्हें RainbowPlus कहा जाता है) के खिलाफ इसका परीक्षण किया, तो "चरित्र मुखौटा" विधि ने अधिक कमजोरियां (उच्च सफलता दर) पाईं, जबकि साथ ही बहुत विविधता वाले अलग-अलग ट्रिक्स भी सामने लाए (उच्च विविधता)। यह केवल एक अकेले रोबोट के बजाय अभिनेताओं की एक टीम होने जैसा था।
3. टूल: "प्लेग्राउंड" (PersonaTeaming Playground)
शोधकर्ताओं ने महसूस किया कि कभी-कभी, चरित्र डिजाइन करने के लिए एक वास्तविक इंसान की मदद की आवश्यकता होती है। इसलिए, उन्होंने PersonaTeaming Playground नामक एक इंटरैक्टिव टूल बनाया है।
- यह कैसे काम करता है: एक मानव रेड-टीमर कंप्यूटर पर बैठता है और अपना खुद का चरित्र लिखता है। वे कह सकते हैं, "मैं एक 35 वर्षीय टेक वर्कर हूँ जिसे डांस पसंद है।"
- AI का काम: AI उस चरित्र को लेता है और उसके आधार पर पेचीदा प्रश्न उत्पन्न करना शुरू कर देता है।
- "स्पार्क" (चिंगारी): कभी-कभी AI एक ऐसा ट्विस्ट सुझाता है जो इंसान ने नहीं सोचा था। उदाहरण के लिए, यदि इंसान ने अपने बारे में एक डांसर के रूप में लिखा है, तो AI एक खतरनाक अनुरोध को "कोरियोग्राफी प्लान" के रूप में फ्रेम करने का सुझाव दे सकता है।
- निष्कर्ष: अध्ययन में पाया गया कि इंसान केवल AI के सुझावों का आँख बंद करके पालन नहीं करते थे। इसके बजाय, AI के अजीब विचार एक स्पार्क प्लग की तरह काम करते थे। भले ही इंसान ने सटीक सुझाव का उपयोग नहीं किया हो, लेकिन उसे देखने से उन्हें सोचने में मदद मिली, "ओह! मैं इसे इस दूसरे तरीके से आज़मा सकता हूँ!" इसने उन्हें अपने स्वयं के मानसिक दायरे से बाहर निकलने में मदद की।
4. "प्रथम-पुरुष" बनाम "तृतीय-पुरुष" का तरीका
मानव अध्ययन के दौरान एक दिलचस्प खोज हुई:
- प्रथम-पुरुष ("मैं"): जब इंसानों ने अपने बारे में चरित्र लिखे (जैसे, "मैं एक थकी हुई माँ हूँ..."), तो वे अक्सर बहुत विनम्र थे। उन्हें चरित्र से वास्तव में हानिकारक बातें कहने में असहजता महसूस हुई क्योंकि यह उनकी अपनी आवाज़ के बहुत करीब महसूस होता था।
- तृतीय-पुरुष ("वह/वे"): जब इंसानों ने एक काल्पनिक चरित्र के बारे में लिखा (जैसे, "जैक एक जासूस है..."), तो उन्हें अधिक सुरक्षित महसूस हुआ। वे सीमाओं को और आगे बढ़ाने के लिए तैयार थे क्योंकि वे चरित्र से मनोवैज्ञानिक रूप से दूर महसूस कर रहे थे। यह एक पोशाक पहनने जैसा था जिसने उन्हें साहसी होने का साहस दिया।
5. मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि पर्सोना (चरित्र) मानवीय रचनात्मकता और स्वचालित गति के बीच का सेतु है।
- स्वचालन (Automation) के लिए: AI को एक विशिष्ट "चरित्र" देना उसे अन्य AI में छिपे खतरों को खोजने में बहुत बेहतर बनाता है।
- इंसानों के लिए: एक ऐसा टूल उपयोग करना जो आपको चरित्र बनाने की अनुमति देता है, आपको AI का परीक्षण करने के नए, रचनात्मक तरीके सोचने में मदद करता है, भले ही आप तकनीकी विशेषज्ञ न हों।
संक्षेप में, PersonaTeaming इस अहसास के बारे में है कि एक स्मार्ट AI का परीक्षण करने के लिए, आपको केवल एक मशीन के रूप में नहीं, बल्कि मानवीय पहचानों की जटिल, विविध और रचनात्मक दुनिया के साथ बातचीत करने वाली एक मशीन के रूप में इसका परीक्षण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।