Gendered Prompting and LLM Code Review: How Gender Cues in the Prompt Shape Code Quality and Evaluation
यह मिश्रित-पद्धति वाला अध्ययन प्रकट करता है कि जहाँ लिंग-आधारित प्रॉम्प्टिंग शैलियों के कोड जनरेशन की गुणवत्ता पर सूक्ष्म प्रभाव होते हैं, वहीं वे एलएलएम-आधारित (LLM-based) कोड समीक्षा में व्यवस्थित पूर्वाग्रह उत्पन्न करते हैं, जहाँ मॉडल समान तकनीकी योग्यता के बावजूद महिला-लिखित प्रॉम्प्ट से जुड़े कोड को असमान रूप से अधिक स्वीकृति देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ (AI) हैं जो एक व्यस्त रसोई में काम कर रहे हैं। आपके पास दो ग्राहक हैं: एलेक्स (Alex) और जेमी (Jamie)। दोनों आपसे बिल्कुल एक ही व्यंजन बनाना चाहते हैं, जो कि एक बेहतरीन लासग्ना (lasagna) है।
- एलेक्स पास आता है और कहता है, "मेरे लिए एक लासग्ना बनाओ। ये रहे नियम। इसे अभी करो।"
- जेमी पास आता है और कहता है, "नमस्ते! क्या आप कृपया मुझे एक लासग्ना बनाने में मदद कर सकते हैं? मुझे बहुत खुशी होगी अगर हम यह सुनिश्चित कर सकें कि यह स्वादिष्ट हो और बाद में खाने में आसान हो। बहुत-बहुत धन्यवाद!"
यह पेपर इस बारे में है कि जब आप, यानी AI शेफ, उनके लिए खाना बनाते हैं, तो क्या होता है, और फिर जब एक फूड क्रिटिक (खाद्य समीक्षक) (एक अन्य AI) उस खाने को चखकर यह तय करता है कि वह कितना अच्छा है।
शोधकर्ता यह जानना चाहते थे कि: क्या लोगों के बात करने का तरीका AI द्वारा बनाए गए भोजन को बदल देता है? और क्या AI क्रिटिक (समीक्षक) भोजन के साथ अलग व्यवहार करता है, इस आधार पर कि उसे किसने ऑर्डर किया था?
यहाँ उनके तीन प्रयोगों का सरल विवरण दिया गया है:
मुख्य प्रश्न
हम जानते हैं कि वास्तविक दुनिया में, पुरुष और महिलाएँ अक्सर अलग तरह से बात करते हैं। पुरुष अधिक प्रत्यक्ष (direct) हो सकते हैं, जबकि महिलाएँ अधिक विनम्र या "कोमल" भाषा का उपयोग कर सकती हैं। शोधकर्ता यह जानना चाहते थे:
- क्या ये अंतर तब दिखाई देते हैं जब लोग AI से कोड लिखने के लिए कहते हैं?
- क्या व्यक्ति के अनुरोध के विनम्र या प्रत्यक्ष होने के आधार पर AI बेहतर या खराब कोड लिखता है?
- सबसे महत्वपूर्ण: यदि कोई AI कोड को ग्रेड (अंक) देने के लिए उपयोग किया जाता है (जैसे एक शिक्षक या प्रबंधक), तो क्या वह पुरुषों और महिलाओं को समान कोड के लिए अलग-अलग ग्रेड देता है, भले ही कोड बिल्कुल एक जैसा हो?
प्रयोग 1: "वास्तविक दुनिया" की बातचीत
सेटअप: टीम ने हजारों वास्तविक बातचीत देखीं जो इंसानों और AI के बीच स्वाभाविक रूप से हुईं। उन्होंने लोगों को यह नहीं बताया कि उन्हें क्या कहना है; उन्होंने बस देखा।
निष्कर्ष:
- "आवाज़" का अंतर: उन्होंने पाया कि, औसतन, महिलाएँ अधिक विनम्र शब्दों (जैसे "क्या आप," "कृपया," "धन्यवाद") और अधिक व्यक्तिगत सर्वनामों ("मुझे चाहिए," "हमें चाहिए") का उपयोग करती हैं। पुरुष अधिक प्रत्यक्ष और कार्य-केंद्रित होते हैं ("यह करो," "वह ठीक करो")।
- खाना बनाने का परिणाम: इस अंतर के बावजूद कि उन्होंने कैसे पूछा, लासग्ना (कोड) का स्वाद एक जैसा ही निकला। AI ने केवल इसलिए "बेहतर" या "खराब" भोजन नहीं बनाया क्योंकि अनुरोध विनम्र या सीधा था। सभी के लिए कोड की गुणवत्ता समान थी।
- सीख: आप केवल किसी के प्रॉम्प्ट (निर्देश) को पढ़कर यह अंदाजा नहीं लगा सकते कि वह व्यक्ति पुरुष है या महिला, और AI लोगों के बोलने के तरीके के आधार पर कोड बनाते समय उन्हें "दंडित" या "पुरस्कृत" नहीं करता है।
प्रयोग 2: "नियंत्रित" परीक्षण
सेटअप: इस बार, शोधकर्ताओं ने वास्तविक मनुष्यों को एक लैब में आकर AI का उपयोग करके तीन विशिष्ट कोडिंग पहेलियों को हल करने के लिए कहा। उन्होंने सुनिश्चित किया कि सभी के पास समान उपकरण और कार्य हों।
निष्कर्ष:
- खाना बनाने का परिणाम: फिर से, पुरुषों और महिलाओं द्वारा लिखा गया कोड समान रूप से सही था। यदि कोड काम कर रहा था, तो वह काम कर रहा था।
- फूड क्रिटिक की समस्या: यहाँ मामला अजीब हो गया। कोड लिखे जाने के बाद, उन्होंने एक AI फूड क्रिटिक का उपयोग कोड को ग्रेड देने के लिए किया।
- क्रिटिक ने महिलाओं द्वारा लिखे गए कोड को उच्च अनुमोदन रेटिंग (approval ratings) दी (70.6%), जबकि पुरुषों द्वारा लिखे गए कोड को (62.9%) दी।
- महत्वपूर्ण बात: कोड वास्तव में एक ही गुणवत्ता का था। AI क्रिटिक पक्षपाती था। ऐसा लग रहा था कि उसे उस कोड का "स्वाद" पसंद आया जो महिला उपयोगकर्ताओं से जुड़ा था, भले ही सामग्री बिल्कुल समान थी।
प्रयोग 3: "नकली" व्यक्तित्व (Personas)
सेटअप: 100% सुनिश्चित होने के लिए, शोधकर्ताओं ने वास्तविक मनुष्यों का उपयोग करना बंद कर दिया। इसके बजाय, उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग किया जो ऐसे प्रॉम्प्ट उत्पन्न करता था जो सुनने में पुरुष या महिला जैसे लगते थे, लेकिन वे सभी एक ही स्क्रिप्ट द्वारा लिखे गए थे।
- "जैक" का प्रॉम्प्ट: "मैं जैक हूँ, एक निर्णायक इंजीनियर। एक मजबूत, अनुकूलित समाधान लिखें।"
- "सारा" का प्रॉम्प्ट: "नमस्ते, मैं सारा हूँ। क्या आप कृपया एक स्पष्ट, रखरखाव योग्य (maintainable) समाधान लिख सकते हैं?"
निष्कर्ष:
- कोड की कार्यक्षमता का परिणाम: वास्तविक कोड की कार्यक्षमता (क्या वह काम कर रहा था?) बिल्कुल समान थी।
- शैली का परिणाम: "सारा" के प्रॉम्प्ट से प्राप्त कोड अधिक लंबा, विस्तृत और पढ़ने में आसान (उच्च "रखरखाव योग्यता") था। "जैक" के प्रॉम्प्ट से प्राप्त कोड छोटा और संक्षिप्त था।
- क्रिटिक का पूर्वाग्रह: जब अलग-अलग AI मॉडल ने क्रिटिक के रूप में काम किया, तो उन्होंने अलग-अलग प्रतिक्रिया दी। कुछ मॉडल (जैसे Grok) बहुत पक्षपाती थे, जो "सारा" के कोड को "जैक" के कोड की तुलना में बहुत अधिक अप्रूव करते थे। अन्य (जैसे Anthropic) अधिक तटस्थ थे।
मुख्य सबक: "जज" (न्यायाधीश) ही समस्या है
इसे एक टैलेंट शो की तरह सोचें।
- प्रतियोगी (उपयोगकर्ता): चाहे वे विनम्र हों या प्रत्यक्ष, वे सभी गाना पूरी तरह से गा सकते हैं। AI (गायक) को इस बात से फर्क नहीं पड़ता कि वे कैसे पूछते हैं; वह बस गाना गा देता है।
- जज (AI समीक्षक): समस्या यहीं है। AI जज पक्षपाती हैं। ऐसा लगता है कि उन्हें महिलाओं से जुड़े गायन की शैली के प्रति एक "नरम लगाव" है, या शायद वे पुरुषों की सीधी शैली से भ्रमित हो जाते हैं।
यह क्यों मायने रखता है?
भविष्य में, कंपनियाँ कोड की समीक्षा करने, छात्रों के होमवर्क को ग्रेड करने, या यहाँ तक कि यह तय करने के लिए AI का उपयोग कर सकती हैं कि किसे नौकरी पर रखा जाए। यदि AI "जज" पक्षपाती है, तो वह लोगों को उनके काम की गुणवत्ता के बजाय उनके बात करने के तरीके के आधार पर गलत तरीके से प्रमोट या रिजेक्ट कर सकता है।
निचोड़ (Bottom Line)
- पुरुष और महिलाएँ AI से अलग तरह से बात करते हैं, लेकिन इससे AI खराब कोड नहीं लिखता।
- AI कोड जनरेटर निष्पक्ष हैं। वे सभी के लिए अच्छा कोड लिखते हैं।
- AI कोड समीक्षक (Reviewers) अनुचित हैं। वे उस कोड को बेहतर ग्रेड देते हैं जो महिलाओं से जुड़ा होता है, भले ही वह कोड पुरुषों के कोड के समान ही हो।
चेतावनी: जैसे-जैसे हम AI को अधिक "ग्रेडिंग" और "हायरिंग" (भर्ती) करने दे रहे हैं, हमें सावधान रहने की आवश्यकता है। सिर्फ इसलिए कि AI "अनुमोदित" (Approved) कहता है, इसका मतलब यह नहीं है कि वह निष्पक्ष है। हमें यह सुनिश्चित करने की आवश्यकता है कि AI जज अपने "पूर्वाग्रहों" को परिणामों को खराब करने न दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।