From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness
यह शोध पत्र पहला व्यवस्थित अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि जनसांख्यिकीय-आधारित व्यक्तित्व असाइनमेंट विविध डोमेन में लार्ज लैंग्वेज मॉडल एजेंटों के प्रदर्शन और विश्वसनीयता को महत्वपूर्ण रूप से कम कर सकते हैं, जो एक महत्वपूर्ण भेद्यता को उजागर करता है जहाँ कार्य-अप्रासंगिक संकेत व्यवहार संबंधी पूर्वाग्रह और निर्णय लेने की अस्थिरता उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने महत्वपूर्ण कामों में मदद के लिए एक अत्यधिक बुद्धिमान, सुपर-फास्ट रोबोट सहायक को काम पर रखा है। शायद यह आपके बैंक खाते को मैनेज कर रहा हो, किसी जटिल यात्रा की योजना बना रहा हो, या यहाँ तक कि एक डॉक्टर को मरीज का निदान करने में मदद कर रहा हो। आप उम्मीद करते हैं कि यह रोबोट निष्पक्ष, तार्किक और सुसंगत होगा, है ना?
यह शोध पत्र एक चेतावनी है कि रोबोट का "व्यक्तित्व" गुप्त रूप से उसके काम में बाधा डाल सकता है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, जिसे कुछ रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है:
1. "कॉस्ट्यूम" (वेशभूषा) की समस्या
एक LLM (लार्ज लैंग्वेज मॉडल) एजेंट को एक मेथड एक्टर (method actor) की तरह समझें। जब आप अभिनेता से कहते हैं, "अब से, तुम एक गुस्सैल बूढ़े किसान हो," तो वे केवल अपना लहजा नहीं बदलते; वे किसान की तरह सोचना और कार्य करना भी शुरू कर देते हैं। वे अधिक सतर्क, कम तकनीकी रूप से कुशल या अधिक पारंपरिक हो सकते हैं।
शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब वे इन AI एजेंटों को जनसांख्यिकी (demographics) के आधार पर विभिन्न "कॉस्ट्यूम" (पर्सोना) पहनाते हैं:
- लिंग: "आप एक पुरुष हैं" बनाम "आप एक महिला हैं।"
- जाति/मूल: "आप अफ्रीका से हैं" बनाम "आप यूरोप से हैं।"
- धर्म: "आप ईसाई हैं" बनाम "आप बौद्ध हैं।"
- नौकरी: "आप एक CEO हैं" बनाम "आप एक मजदूर हैं।"
ट्विस्ट: शोधकर्ताओं ने एजेंटों को ऐसे कार्य दिए जिनका इन पहचानों से कोई लेना-देना नहीं था। उन्होंने उनसे गणित की पहेलियाँ हल करने, कोड लिखने या खरीदारी की योजना बनाने के लिए कहा। यह "कॉस्ट्यूम" काम के लिए पूरी तरह से अप्रासंगिक था।
2. परिणाम: अभिनेता अपने किरदार से भटक जाता है
आप उम्मीद करेंगे कि अभिनेता कॉस्ट्यूम को अनदेखा करेगा और बस गणित करेगा। लेकिन AI ने ऐसा नहीं किया।
- "गुस्सैल किसान" प्रभाव: जब AI को "मजदूर" बताया गया, तो वह कभी-कभी घरेलू कार्यों की योजना बनाने में कमजोर हो गया।
- "CEO" प्रभाव: जब इसे "CEO" बताया गया, तो यह कभी-कभी चीजों में बेहतर हो गया, इसलिए नहीं कि यह अधिक स्मार्ट था, बल्कि इसलिए क्योंकि AI का ट्रेनिंग डेटा "CEOs" को सक्षम होने के साथ जोड़ता है।
- "पहचान" का क्रैश: सबसे चौंकाने वाली खोज यह थी कि केवल AI की "जाति" या "धर्म" को प्रॉम्प्ट में बदलने से इसके प्रदर्शन में गिरावट आ गई। एक परीक्षण में, एक AI की रणनीतिक कार्ड गेम खेलने की क्षमता 26% तक गिर गई क्योंकि उसे बताया गया था कि वह "अफ्रीका" या "एशियाई" से है।
उपमा: एक शानदार शतरंज खिलाड़ी की कल्पना करें। यदि आप उन्हें कहते हैं, "तुम एक 10 साल की लड़की हो," तो वे अचानक एक 10 साल की लड़की की तरह खेलने लग सकते हैं, भले ही वे वास्तव में एक ग्रैंडमास्टर हों। उनका कौशल स्तर इसलिए नहीं गिरता क्योंकि उन्होंने अपना दिमाग खो दिया है, बल्कि इसलिए क्योंकि वे एक रूढ़ि (stereotype) में फिट होने की कोशिश कर रहे हैं।
3. यह खतरनाक क्यों है
अतीत में, यदि किसी चैटबॉट ने कोई पक्षपाती उत्तर दिया, तो वह केवल एक परेशान करने वाला टेक्स्ट मैसेज था। लेकिन ये "एजेंट्स" अब वास्तविक दुनिया के कार्य कर रहे हैं:
- शेयर खरीदना।
- अस्पतालों के लिए कोड लिखना।
- फैक्ट्री मशीनों को नियंत्रित करना।
यदि एक AI एजेंट अस्पताल की आपूर्ति श्रृंखला (supply chain) का प्रबंधन कर रहा है, और उसे "मुस्लिम" के रूप में कार्य करने या "महिला" के रूप में कार्य करने के लिए कहने से उसका प्रदर्शन गिर जाता है, तो यह केवल एक ग्लिच नहीं है; यह एक सुरक्षा खतरा है। इसका मतलब है कि AI मानवीय रूढ़ियों (जैसे "महिलाएं गणित में खराब हैं" या "कुछ नस्लें कम तार्किक हैं") को अपने वास्तविक तर्क पर हावी होने दे रहा है।
4. "ब्लैक बॉक्स" का सरप्राइज
शोधकर्ताओं ने पाया कि यह विभिन्न प्रकार के AI मॉडल्स (बड़े कमर्शियल मॉडल्स से लेकर ओपन-सोर्स तक) में होता है। यह ऐसा है जैसे यह पता चलना कि हर कार ब्रांड में एक छिपा हुआ दोष है जहाँ "नीला" शब्द बोलने पर स्टीयरिंग व्हील बाईं ओर मुड़ जाता है।
AI "रूढ़ि" के बारे में "सोच" नहीं रहा है; यह बस उसके प्रॉम्प्ट में मौजूद शब्दों पर प्रतिक्रिया दे रहा है, और वे शब्द गलत निर्णयों की एक चेन रिएक्शन शुरू कर देते हैं।
निष्कर्ष
यह शोध पत्र एक चेतावनी है। हम ऐसे AI एजेंट बना रहे हैं जो वास्तविक दुनिया में हमारे विश्वसनीय साथी होने चाहिए। लेकिन यह अध्ययन दिखाता है कि हम उन्हें कैसे पेश करते हैं (वह "पर्सोना" जो हम उन्हें देते हैं) उन्हें अविश्वसनीय बना सकता है।
यदि हम चाहते हैं कि AI सुरक्षित और निष्पक्ष हो, तो हम इसे अपनी मर्जी का कोई भी "कॉस्ट्यूम" पहनने नहीं दे सकते। हमें यह सुनिश्चित करने की आवश्यकता है कि हम उसे कोई भी "भूमिका" सौंपें, वह अपने काम पर केंद्रित रहे और मानवीय पूर्वाग्रहों को अपने मस्तिष्क को हाईजैक न करने दे।
संक्षेप में: AI के "नेम टैग" को उसका दिमाग न बदलने दें। यदि आप एक रोबोट को किसी विशिष्ट प्रकार के व्यक्ति की तरह व्यवहार करने के लिए कहते हैं, तो वह एक स्मार्ट मशीन के बजाय एक रूढ़ि (stereotype) की तरह व्यवहार करने लग सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।