Social Bias in LLM-Generated Code: Benchmark and Mitigation
यह शोध पत्र LLM द्वारा जनरेट किए गए कोड में गंभीर जनसांख्यिकीय पूर्वाग्रहों (demographic biases) को उजागर करने के लिए SocialBias-Bench प्रस्तुत करता है, यह प्रदर्शित करता है कि मानक प्रॉम्प्ट हस्तक्षेप अक्सर इस समस्या को और बढ़ा देते हैं, और एक मॉड्यूलर फेयरनेस मॉनिटर एजेंट (Fairness Monitor Agent) का प्रस्ताव करता है जो निष्पादन योग्य टेस्ट सुइट्स (executable test suites) की आवश्यकता के बिना, पुनरावृत्ति समीक्षा (iterative review) के माध्यम से कार्यात्मक शुद्धता (functional correctness) में सुधार करते हुए पूर्वाग्रह को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Social Bias in LLM-Generated Code: Benchmark and Mitigation" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।
बड़ी तस्वीर: "रोबोट शेफ" की समस्या
कल्पना कीजिए कि आपने विविध प्रकार के लोगों के लिए भोजन बनाने के लिए एक अत्यधिक कुशल रोबोट शेफ (एक AI) को काम पर रखा है। आप रोबोट को एक रेसिपी कार्ड देते हैं जिसमें लिखा है, "एक पत्रकार के लिए उपयुक्त व्यंजन बनाएं।" आप उम्मीद करते हैं कि रोबोट सामग्री (व्यक्ति के कौशल, शिक्षा और अनुभव) को देखेगा और तय करेगा कि क्या वह इसके लिए उपयुक्त है।
हालाँकि, शोध में पता चला है कि इन रोबोट शेफों में एक छिपी हुई समस्या है: वे अक्सर व्यक्ति की पहचान के आधार पर गुप्त, अनुचित सामग्रियां मिला देते हैं। कौशल देखने के बजाय, वे गुप्त रूप से यह तय कर सकते हैं, "ओह, यह एक महिला है, इसलिए वे शायद एक अच्छी पत्रकार नहीं होगी," या "यह व्यक्ति 60 वर्ष से अधिक आयु का है, इसलिए वह सेवानिवृत्त होगा और योग्य नहीं होगा।"
शोधकर्ता यह पता लगाना चाहते थे कि यह समस्या कितनी गंभीर है, यह क्यों होती है, और बिना रोबोट की खाना बनाने (कोड लिखने) की क्षमता को बिगाड़े इसे कैसे ठीक किया जाए।
1. खोज: पूर्वाग्रह वास्तविक और गंभीर है
टीम ने एक परीक्षण रसोई बनाई जिसे Solar कहा गया और 343 वास्तविक दुनिया के खाना पकाने के कार्यों का एक मेनू बनाया (SocialBias-Bench)। इन कार्यों में यह तय करना शामिल था कि किसे नौकरी मिलेगी, किसे विश्वविद्यालय छात्रवृत्ति मिलेगी, या कौन स्वास्थ्य कार्यक्रम के लिए पात्र है।
उन्होंने चार अलग-अलग रोबक शेफ (AI मॉडल) को इन निर्णयों के लिए तर्क (logic) लिखने के लिए कहा।
- परिणाम: सभी रोबोट पक्षपाती थे। कुछ अन्य की तुलना में अधिक खराब थे। एक लोकप्रिय मॉडल (GPT-3.5) 60% मामलों में पक्षपाती था।
- उपमा: यह ऐसा है जैसे आपने एक रोबोट को टीम कप्तान चुनने के लिए कहा, और उसने 10 में से 6 बार समान लिंग या नस्ल को चुना, भले ही कौशल बिल्कुल समान थे।
- टेम्परेचर ट्रैप (The Temperature Trap): उन्होंने रोबोट की "रचनात्मकता की नॉब" (temperature) को कम करने की कोशिश की, यह सोचकर कि इससे वे अधिक तार्किक हो जाएंगे। इसके बजाय, इसने उन्हें अधिक पक्षपाती बना दिया। यह रेडियो पर वॉल्यूम कम करने जैसा है; आप बस सबसे दोहराव वाले, रूढ़िवादी गानों को और भी ज़ोर से सुनते हैं।
2. विफल सुधार: "बस अच्छा बनो" काम नहीं करता
शोधकर्ताओं ने AI समस्याओं को ठीक करने के लिए इस्तेमाल किए जाने वाले सामान्य तरीकों को आज़माया:
- ट्रिक 1: "चरण-दर-चरण सोचें" (Chain-of-Thought): उन्होंने रोबोट से कहा, "खाना पकाने से पहले, निष्पक्षता के बारे में सावधानी से सोचें।"
- परिणाम: इसने स्थिति को और खराब कर दिया। यह एक पक्षपाती व्यक्ति से उनके पूर्वाग्रह को समझाने के लिए कहने जैसा था; इसने उन्हें केवल अपने अनुचित विचारों को सही ठहराने के लिए अधिक समय दे दिया।
- ट्रिक 2: "आप एक निष्पक्ष व्यक्ति हैं" (Role-Playing): उन्होंने रोबोट से कहा, "आप एक निष्पक्ष और तटस्थ शेफ हैं।"
- परिणाम: इससे भी चीजें और खराब हो गईं या कोई प्रभाव नहीं पड़ा। निष्पक्ष होने का नाटक करने से रोबोट की आंतरिक "रेसिपी बुक" के पूर्वाग्रह को नहीं रोका जा सका।
सबक: आप केवल रोबोट को अच्छा बनने के लिए कहकर गहरे बैठे पूर्वाग्रह को ठीक नहीं कर सकते। पूर्वाग्रह रोबोट के दिमाग (इसके प्रशिक्षण डेटा) में रचा-बसा है, न कि केवल निर्देशों की गलत समझ में।
3. टीम दृष्टिकोण: अच्छी संरचना, खराब निर्देश
इसके बाद, उन्होंने एक अलग दृष्टिकोण अपनाया: एक अकेले रोबोट के बजाय, उन्होंने एक रोबोट की टीम का उपयोग किया जो एक मानव सॉफ्टवेयर कंपनी की तरह काम करती है। उनके पास एक "आवश्यकता इंजीनियर" (Requirements Engineer), एक "आर्किटेक्ट" (Architect), एक "डेवलपर" (Developer), और एक "टेस्टर" (Tester) था।
- अच्छी खबर: टीम होने से मदद मिली। "आव्यता इंजीनियर" (जो योजना लिखता है) और "आर्किटेक्ट" (जो संरचना डिजाइन करता है) ने पूर्वाग्रह को कम करने में मदद की क्योंकि उन्होंने कोड लिखे जाने से पहले नियम निर्धारित कर दिए थे।
- बुरी खबर: जब उन्होंने टीम के हर एक रोबोट को कहा, "आपको निष्पक्ष होना चाहिए," तो पूर्वाग्रह वास्तव में बढ़ गया।
- उपमा: यह एक स्पोर्ट्स टीम की तरह है जहाँ कोच, कप्तान और सभी खिलाड़ियों को कहा जाता है, "किसी को भी अनुचित तरीके से जीतने न दें।" क्योंकि हर कोई जिम्मेदार है, इसलिए वास्तव में कोई भी कार्रवाई नहीं करता है। जिम्मेदारी बंट गई, और पूर्वाग्रह निकल आया।
4. समाधान: "फेयरनेस इंस्पेक्टर" (FMA)
चूंकि रोबोट को निष्पक्ष होने के लिए कहना काम नहीं आया, इसलिए शोधकर्ताओं ने एक नया उपकरण बनाया जिसे FMA (Fairness Monitor Agent) कहा गया। FMA को शेफ और ग्राहक के बीच खड़े एक विशेष खाद्य सुरक्षा निरीक्षक (Food Safety Inspector) के रूप में सोचें।
FMA इस प्रकार काम करता है:
- प्री-चेक (एनालिस्ट): शेफ के शुरू करने से पहले, एनालिस्ट रेसिपी कार्ड को पढ़ता है। वे कहते हैं, "ठीक है, इस व्यंजन के लिए, हम 'कौशल' और 'शिक्षा' का उपयोग कर सकते हैं, लेकिन हम 'लिंग' या 'नस्ल' का उपयोग करने के लिए सख्ती से वर्जित हैं।" वे इस नियम को स्पष्ट रूप से लिखते हैं।
- कुकिंग: शेफ (डेवलपर) इन सख्त नियमों के आधार पर व्यंजन बनाता है।
- निरीक्षण (रिव्यूअर): व्यंजन बनने के बाद, इंस्पेक्टर प्लेट को देखता है। वे स्वाद नहीं चखते; वे केवल सामग्री की सूची पढ़ते हैं। वे पूछते हैं, "क्या शेफ ने 'लिंग' जैसी प्रतिबंधित सामग्री चुपके से मिला दी?"
- सुधार (रिपेयरर): यदि इंस्पेक्टर को कोई प्रतिबंधित सामग्री मिलती है, तो वे व्यंजन को फेंकते नहीं हैं। वे इसे एक "रिपेयरर" रोबोट को वापस भेज देते हैं जो रेसिपी को फिर से लिखता है ताकि खराब सामग्री को हटाया जा सके और यह सुनिश्चित किया जा सके कि अच्छी सामग्रियां अभी भी मौजूद हैं।
परिणाम:
- इस प्रणाली ने पूर्वाग्रह को 65% तक कम कर दिया।
- इसने कोड को बेहतर भी बनाया (कम बग्स)।
- महत्वपूर्ण रूप से: इस इंस्पेक्टर को किसी "टेस्ट किचन" या पहले से बनी सही उत्तरों की सूची की आवश्यकता नहीं है। यह केवल रेसिपी और नियमों को पढ़ता है। इसका मतलब है कि इसे वास्तविक दुनिया में भी उपयोग किया जा सकता है, जहाँ हमारे पास पूर्ण टेस्ट डेटा नहीं है।
मुख्य निष्कर्षों का सारांश
- पूर्वाग्रह संरचनात्मक है: यह कोई मामूली खराबी नहीं है; यह इस बात का हिस्सा है कि AI को कैसे प्रशिक्षित किया गया था।
- विनम्र अनुरोध विफल होते हैं: AI को "निष्पक्ष होने" या "चरण-दर-चरण सोचने" के लिए कहना अक्सर पूर्वाग्रह को और बढ़ा देता है क्योंकि यह AI के आंतरिक रूढ़िवादी विचारों को उजागर करता है।
- संरचना मदद करती है, लेकिन केवल विशिष्ट होने पर: एक टीम मदद करती है यदि योजनाकार (शुरुआती भूमिकाएं) सख्त सीमाएं निर्धारित करते हैं। सभी को निष्पक्ष होने के लिए कहना सबको लापरवाह बना देता है।
- समाधान एक इंस्पेक्टर है: पूर्वाग्रह को रोकने का सबसे अच्छा तरीका एक समर्पित "इंस्पेक्टर" रखना है जो कोड लिखे जाने से पहले और बाद में नियमों की जांच करता है, यह सुनिश्चित करता है कि प्रतिबंधित सामग्रियां (जैसे नस्ल या लिंग) कभी उपयोग न की जाएं, जबकि यह भी सुनिश्चित करता है कि कोड सही ढंग से काम करे।
शोध का निष्कर्ष है कि हमें AI के दिमाग को "ठीक" करने की कोशिश करना बंद करना चाहिए और इसके चारों ओर बेहतर "सुरक्षा जाल" (जैसे FMA इंस्पेक्टर) बनाना शुरू करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।