LLM Bias Evaluation: Gender, Racial, and Age Disparities in Occupational and Crime Scenarios
यह शोध पत्र चार प्रमुख 2024 लार्ज लैंग्वेज मॉडल्स में व्यावसायिक और अपराध परिदृश्यों के माध्यम से लिंग, नस्लीय और आयु संबंधी पूर्वाग्रहों का मूल्यांकन करता है, जो वास्तविक दुनिया के डेटा से महत्वपूर्ण विचलन को प्रकट करता है और यह दर्शाता है कि वर्तमान डीबायसिंगिंग (पूर्वाग्रह निवारण) प्रयास अक्सर नए निष्पक्षता व्यापार-समझौतों को जन्म देते हैं जिन्हें "डीबायसिंगिंग विरोधाभास" के रूप में जाना जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास चार बहुत ही बुद्धिमान, बहुत अच्छी तरह से शिक्षित डिजिटल सहायक (लार्ज लैंग्वेज मॉडल्स, या LLMs) हैं जिनके नाम Gemini, Claude, GPT, और Llama हैं। इन सहायकों ने इंटरनेट पर लगभग सब कुछ पढ़ा है, समाचार लेखों से लेकर उपन्यासों तक, और अब उनसे हमारे लिए लघु कथाएँ लिखने के लिए कहा जा रहा है।
यह शोध पत्र एक "अंतर पहचानो" खेल की तरह है। शोधकर्ताओं ने इन चार सहायकों को दो विशिष्ट विषयों पर कहानियाँ लिखने के लिए कहा:
- नौकरियाँ: "एक नर्स के बारे में एक कहानी लिखें," "एक अग्निशमन कर्मी (firefighter) के बारे में एक कहानी लिखें," आदि।
- अपराध: "किसी ऐसे व्यक्ति के बारे में कहानी लिखें जिसने चोरी की हो," "किसी ऐसे व्यक्ति के बारे में कहानी लिखें जिसने शराब पीकर गाड़ी चलाई," आदि।
फिर, शोधकर्ताओं ने कहानियों की जाँच की कि: पात्र कौन हैं? वे पुरुष हैं या महिलाएँ? उनकी जाति क्या है? उनकी उम्र क्या है? अंत में, उन्होंने सहायकों के उत्तरों की वास्तविक दुनिया के तथ्यों (जैसे कि कौन वास्तव में ये नौकरियाँ रखता है या अपराध करता है, इस पर आधिकारिक अमेरिकी सरकारी सांख्यिकी) के साथ तुलना की।
यहाँ उन्हें क्या मिला, जिसे सरल भाषा में समझाया गया है:
1. नौकरी की कहानियाँ: "अति-सुधार" (The Over-Correction)
जब नौकरियों के बारे में पूछा गया, तो सहायकों ने सामान्य तौर पर "आसान" रूढ़ियों को सही ढंग से पकड़ा। यदि प्रॉम्प्ट "नर्स" या "रिसेप्शनिस्ट" था, तो उन्होंने लगभग हमेशा महिलाओं के बारे में लिखा। यदि प्रॉम्प्ट "फायरफाइटर" या "निर्माण कार्यकर्ता" (construction worker) था, तो उन्होंने लगभग हमेशा पुरुषों के बारे में लिखा। यह वास्तविकता के साथ काफी हद तक मेल खाता है।
हालाँकि, वे "उच्च-स्तर" (high-status) की नौकरियों पर लड़खड़ा गए।
- वास्तविक दुनिया: अमेरिकी सरकारी डेटा के अनुसार, लगभग 69% CEO और 80% सॉफ्टवेयर इंजीनियर पुरुष होते हैं।
- सहायक: जब एक CEO या सॉफ्टवेयर इंजीनियर के बारे में कहानी लिखने के लिए कहा गया, तो इन सहायकों ने लगभग विशेष रूप से (कभी-कभी 99% समय) महिलाओं के बारे में लिखा।
उपमा: कल्पना कीजिए कि एक स्कूल प्रिंसिपल एक ऐसी समस्या को ठीक करने की कोशिश कर रहा है जहाँ छात्रों के एक समूह को हमेशा कप्तान की भूमिका के लिए चुना जा रहा था। उस समस्या को ठीक करने के लिए, प्रिंसिपल अगले वर्ष के लिए केवल दूसरे समूह को चुनने का निर्णय लेता है। वे बहुत आगे निकल गए! इसे "ओवर-इंडेक्सिंग" (over-indexing) कहा जाता है। सहायकों ने निष्पक्ष होने और लैंगिक भेदभाव न करने की इतनी कोशिश की कि वे पेंडुलम को दूसरी ओर बहुत अधिक झुका दिए, जिससे एक नया प्रकार का अन्याय पैदा हुआ जहाँ इन उच्च-शक्ति वाली भूमिकाओं में पुरुष अब कम प्रतिनिधित्व वाले रह गए।
2. अपराध की कहानियाँ: "विकृत दर्पण" (The Distorted Mirror)
जब सहायकों ने अपराधों (जैसे चोरी, धोखाधड़ी या हत्या) के बारे में कहानियाँ लिखीं, तो परिणाम वास्तविक पुलिस डेटा की तुलना में और भी अधिक मिश्रित थे।
- लिंग (Gender): वास्तविक दुनिया दिखाती है कि पुरुष अधिकांश अपराध करते हैं।
- GPT थोड़ा सटीक था, जिसने ज्यादातर पुरुषों के बारे में लिखा।
- Gemini और Llama ने दूसरी दिशा में झुकाव दिखाया, उन्होंने ज्यादातर महिलाओं के अपराध करने के बारे में लिखा, भले ही डेटा कहता है कि पुरुष बहुमत में हैं।
- Claude सबसे संतुलित था, लेकिन उसमें भी कुछ कमियाँ थीं।
- जाति (Race): वास्तविक अमेरिका में, अपराध के आंकड़े नस्लों का एक विशिष्ट मिश्रण दिखाते हैं।
- अधिकांश सहायकों ने (Gemini को छोड़कर) ऐसी कहानियाँ लिखीं जहाँ अपराधी मुख्य रूप से श्वेत (White) थे, भले ही वास्तविक डेटा विभिन्न समूहों के अलग वितरण को दर्शाता है। वे श्वेत पात्रों पर "ओवर-इंडेक्स" होते दिखे, शायद नस्लवाद से बचने की कोशिश में, लेकिन अंततः उन्होंने अन्य समूहों की वास्तविकता को मिटा दिया।
- आयु (Age): सहायकों ने अपराधियों की आयु के मामले में लिंग या जाति की तुलना में वास्तविकता के अधिक करीब रहने की कोशिश की, हालाँकि कुछ अभी भी गलत आयु समूहों का अनुमान बहुत अधिक बार लगाते रहे।
3. मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि भले ही इन AI मॉडलों को बनाने वाली कंपनियाँ पूर्वाग्रह को हटाने के लिए बहुत प्रयास कर रही हैं, लेकिन वे अभी तक इसे पूरी तरह से हल नहीं कर पाई हैं।
मूल समस्या: यह एक तराजू को संतुलित करने जैसा है।
- यदि तराजू एक तरफ भारी है (ऐतिहासिक पूर्वाग्रह), और आप उसे ठीक करने की कोशिश करते हैं, तो आप अनजाने में दूसरी तरफ बहुत अधिक वजन डाल सकते हैं।
- शोध पत्र ने पाया कि जब AI लैंगिक या नस्लीय पूर्वाग्रह को ठीक करने की कोशिश करता है, तो वह अक्सर एक नई समस्या पैदा करता है जहाँ वह एक समूह का बहुत अधिक पक्ष लेता है, जिससे डेटा वास्तविकता की तुलना में नकली दिखने लगता है।
सारांश
शोधकर्ताओं ने 2024 में चार शीर्ष AI मॉडलों का परीक्षण किया। उन्होंने पाया कि हालांकि AI बेहतर हो रहा है, फिर भी यह इस बात को बताने में संघर्ष कर रहा है कि हमारी दुनिया में कौन क्या करता है।
- नौकरियों में, यह अक्सर नेतृत्व की भूमिकाओं में पुरुषों को अनदेखा करता है।
- अपराध में, यह अक्सर पुरुषों और अश्वेत/अन्य समुदायों के लोगों को अनदेखा करता है, या एक ऐसी वास्तविकता गढ़ता है जो पुलिस रिपोर्ट से मेल नहीं खाती।
शोध पत्र चेतावनी देता है कि केवल पूर्वाग्रह को "ठीक" करने की कोशिश करना पर्याप्त नहीं है यदि वह सुधार एक नया, विपरीत पूर्वाग्रह पैदा कर देता है। लक्ष्य केवल अतीत से "अलग" होना नहीं है, बल्कि वर्तमान के प्रति सटीक (accurate) होना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।