Responsible Intelligence in Practice: A Fairness Audit of Open Large Language Models for Library Reference Services
यह अध्याय पुस्तकालय संदर्भ सेवाओं के लिए तीन ओपन लार्ज लैंग्वेज मॉडल्स के निष्पक्षता ऑडिट को प्रस्तुत करता है, जिसमें नस्लीय या जातीय पूर्वाग्रह का कोई पुख्ता प्रमाण नहीं मिला और केवल मामूली लिंग-आधारित विभेदन पाया गया, जिससे उनके जिम्मेदार अंगीकरण का समर्थन मिलता है और पुस्तकालय मूल्यों को बनाए रखने के लिए निरंतर निगरानी की आवश्यकता पर बल मिलता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक पुस्तकालय की कल्पना एक विशाल, मिलनसार शहर के चौक (town square) के रूप में करें जहाँ लोग सवाल पूछने, किताबें खोजने और अपने दैनिक जीवन में मदद पाने के लिए आते हैं। दशकों से, पुस्तकालयाध्यक्ष (librarians) इस चौक के द्वारपाल रहे हैं, जिन्होंने यह वादा किया है कि वे हर किसी के साथ, चाहे वह कोई भी हो, बिल्कुल एक जैसा व्यवहार करेंगे।
लेकिन हाल ही में, एक नए प्रकार का "सुपर-लाइब्रेरियन" आया है: आर्टिफिशियल इंटेलिजेंस (AI)। ये कंप्यूटर प्रोग्राम हैं जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है जो लोगों से चैट कर सकते हैं, सवालों के जवाब दे सकते हैं और सलाह दे सकते हैं, और वे 24/7 उपलब्ध हैं। वे एक साथ एक हजार पुस्तकालयाध्यक्षों के होने जैसा है, जो कभी सोते नहीं और कभी थकते नहीं।
हालाँकि, एक बड़ी चिंता है। जैसे इंसानों में छिपे हुए पूर्वाग्रह (अचेतन पक्षपात) हो सकते हैं, वैसे ही कंप्यूटर इंटरनेट से सीखते हैं, जो मानवीय इतिहास, रूढ़ियों (stereotypes) और अन्याय से भरा हुआ है। बड़ा सवाल यह है: यदि हम इन AI पुस्तकालयाध्यक्षों को कार्यभार संभालने दें, तो क्या वे एक अश्वेत व्यक्ति के साथ एक श्वेत महिला की तुलना में अलग व्यवहार करेंगे? क्या वे एक समूह के प्रति अधिक विनम्र और दूसरे के प्रति रूखे होंगे?
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक तीन लोकप्रिय AI पुस्तकालयाध्यक्षों (Llama, Gemma और Ministral नाम से) को सूक्ष्मदर्शी (microscope) के नीचे रखकर यह देख रहे हैं कि क्या वे निष्पक्ष हैं।
प्रयोग: "नाम का खेल" (The Name Game)
शोधकर्ताओं ने केवल AI से यादृच्छिक (random) सवाल नहीं पूछे। उन्होंने एक विशाल, नियंत्रित प्रयोग तैयार किया, जो एक वैज्ञानिक जादू की तरह था।
- सेटअप: उन्होंने पुस्तकालय सहायता के लिए हजारों फर्जी ईमेल बनाए। कुछ ने स्पोर्ट्स टीमों के बारे में पूछा (एकेडेमिक लाइब्रेरी), और कुछ ने दस्तावेज़ प्रिंट करने या पासवर्ड रिकवर करने के बारे में पूछा (पब्लिक लाइब्रेरी)।
- ट्विस्ट: पूर्वाग्रह का परीक्षण करने के लिए, उन्होंने ईमेल पर नाम बदल दिए। उन्होंने ऐसे नामों का उपयोग किया जो स्पष्ट रूप से श्वेत, अश्वेत, एशियाई, हिस्पैनिक आदि लगते थे, और ऐसे नाम जो स्पष्ट रूप से पुरुष या महिला लगते थे।
- परीक्षण: उन्होंने ये ईमेल तीन AI पुस्तकालयाध्यक्षों को भेजे और उनके जवाब एकत्र किए।
- जासूसी कार्य: उन्होंने AI के जवाबों का विश्लेषण करने के लिए कंप्यूटर प्रोग्राम का उपयोग किया। उन्होंने पूछा: "क्या एक कंप्यूटर, भेजने वाले के जवाब को पढ़कर, उस व्यक्ति की जाति या लिंग का अनुमान लगा सकता है?"
- यदि AI निष्पक्ष है, तो सभी जवाब एक जैसे सुनाई देने चाहिए, और कंप्यूटर भेजने वाले की पहचान बताने में असमर्थ होना चाहिए (जैसे सिक्के के उछाल का अनुमान लगाना)।
- यदि AI पक्षपाती है, तो जवाबों में सूक्ष्म अंतर होंगे (जैसे कि छोटे होना, रूखा होना, या अलग शब्दों का उपयोग करना), और कंप्यूटर आसानी से पहचान बता देगा।
निष्कर्ष: अच्छी खबर और एक छोटी सी खामी
1. जाति परीक्षण: एक पूर्ण विजय 🏆
परिणाम आश्चर्यजनक रूप से अच्छे रहे। जब AI को विभिन्न नस्लीय या जातीय पृष्ठभूमि के नामों वाले ईमेल मिले, तो उसने उनके साथ बिल्कुल एक जैसा व्यवहार किया।
- उपमा: कल्पना कीजिए कि एक वेटर हर ग्राहक को, उसकी त्वचा के रंग की परवाह किए बिना, ठीक एक जैसा मेनू और एक जैसी मुस्कान के साथ परोसता है। AI ने यह पूरी तरह से किया। ऐसा कोई प्रमाण नहीं मिला कि AI ने अश्वेत, एशियाई या हिस्पैनिक नामों वाले लोगों को "खराब" सेवा दी। यह "जाति-निरपेक्ष" (race-blind) था।
2. लिंग परीक्षण: ज्यादातर निष्पक्ष, लेकिन एक छोटी सी विचित्रता के साथ 👔👗
जब बात पुरुषों और महिलाओं की आई, तो AI भी काफी हद तक निष्पक्ष था। हालाँकि, एक AI मॉडल (Llama) ने एक शैक्षणिक सेटिंग (जैसे विश्वविद्यालय पुस्तकालय) में लोगों को संबोधित करने के तरीके में एक बहुत ही मामूली, लगभग अदृश्य अंतर दिखाया।
- विचित्रता: जब AI को लगा कि वह एक महिला से बात कर रहा है, तो इसकी संभावना थोड़ी अधिक थी कि वह ईमेल की शुरुआत "Dear" शब्द से करेगा। पुरुषों के साथ बात करते समय, वह "Dear" का उपयोग कम करता था।
- वास्तविकता की जाँच: यह AI द्वारा पुरुषों के प्रति बुरा होने या महिलाओं के प्रति रूखा होने का मामला नहीं था। यह केवल विनम्रता की शैली में एक अंतर था, जैसे कि एक अलग टाई पहनना। वास्तविक सलाह, उत्तर की लंबाई और मददगारता बिल्कुल समान थी। यह एक पुस्तकालयाध्यक्ष द्वारा "मिसेज स्मिथ" को "Dear Ms. Smith" और "मिस्टर जोन्स" को "Hi Mr. Jones" कहने जैसा है, लेकिन उन्हें बिल्कुल वही किताब की सिफारिश देना।
यह क्यों महत्वपूर्ण है
यह अध्ययन एक नए पुल के लिए सुरक्षा निरीक्षण की तरह है। इससे पहले कि हम लाखों लोगों को इस पर चलाने दें, हमें जानना होगा कि क्या यह सुरक्षित है।
- अच्छी खबर: ये नए AI उपकरण पुराने कंप्यूटरों की तुलना में पक्षपाती न होने में बहुत बेहतर हैं। वे पुस्तकालयों को सभी की निष्पक्ष रूप से सेवा करने में मदद करने के लिए तैयार दिखते हैं।
- चेतावनी: सिर्फ इसलिए कि पुल आज सुरक्षित है, इसका मतलब यह नहीं है कि वह हमेशा सुरक्षित रहेगा। लेखक चेतावनी देते हैं कि हम केवल AI को स्थापित करके उसे भूल नहीं सकते। हमें इसे लगातार जांचते रहना होगा, जैसे एक मैकेनिक कार के इंजन की जांच करता है, क्योंकि AI बदलता है और नई चीजें सीखता है।
बड़ी तस्वीर
लेखक निष्कर्ष निकालते हैं कि AI पुस्तकालयों के लिए एक बेहतरीन उपकरण हो सकता है, लेकिन इसे मानवीय पर्यवेक्षण की आवश्यकता है।
- AI को एक शक्तिशाली इंजन के रूप में सोचें: यह कार को तेज और दूर तक चला सकता है।
- पुस्तकालयाध्यक्षों को ड्राइवर के रूप में सोचें: उन्हें कार को चलाना होगा, यह सुनिश्चित करना होगा कि वह सही रास्ते पर रहे, और यह सुनिश्चित करना होगा कि वह किसी को टक्कर न मारे।
यह शोध पत्र हमें बताता है कि हमें AI द्वारा पुस्तकालयाध्यक्षों को बदलने से डरने की जरूरत नहीं है, बल्कि हमें इसके उपयोग के प्रति स्मार्ट होने की आवश्यकता है। इन उपकरणों का सावधानीपूर्वक परीक्षण करके, पुस्तकालय यह सुनिश्चित कर सकते हैं कि "डिजिटल टाउन स्क्वायर" एक ऐसी जगह बनी रहे जहाँ हर कोई स्वागत योग्य हो, और हर किसी के साथ गरिमापूर्ण व्यवहार किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।