Auditing demographic bias in AI-based emergency police dispatch: a cross-lingual evaluation of eleven large language models
यह शोध पत्र एक क्रॉस-लिंगुअल ऑडिट फ्रेमवर्क प्रस्तुत करता है जो यह प्रकट करता है कि आपातकालीन पुलिस प्रेषण के लिए उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स में जनसांख्यिकीय पूर्वाग्रह अस्पष्ट घटनाओं के दौरान व्यवस्थित रूप से उभरता है, लिंग, नस्ल और धार्मिक स्वरूप के आधार पर महत्वपूर्ण रूप से भिन्न होता है, और अंग्रेजी एवं मैंडरिन चीनी के बीच विशिष्ट विषमताओं को प्रदर्शित करता है, जो वास्तविक दुनिया में तैनाती से पहले संदर्भ-जागरूक, भाषा-विशिष्ट मॉडल मूल्यांकनों की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त चौराहे पर एक ट्रैफिक पुलिसकर्मी हैं। आपका काम यह तय करना है कि मदद कितनी तत्परता से भेजनी है: क्या आपको तुरंत एक पूरी SWAT टीम की जरूरत है, या बाद में केवल एक नियमित पेट्रोल कार की, या फिर किसी की भी जरूरत नहीं है?
अब, कल्पना कीजिए कि आपने इस निर्णय को लेने में आपकी मदद करने के लिए एक सुपर-स्मार्ट रोबोट (एक AI) को काम पर रखा है। वह शोध पत्र जिसके बारे में आपने पूछा है, इन रोबोटों के लिए एक "तनाव परीक्षण" (stress test) की तरह है। शोधकर्ता यह देखना चाहते थे कि क्या रोबोट लोगों के साथ उनके आधार पर अलग तरह से व्यवहार करते हैं (उनकी नस्ल, लिंग या धर्म के आधार पर), भले ही आपातकालीन कॉल बिल्कुल एक जैसी ही क्यों न सुनाई दे रही हो।
यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए:
प्रयोग: द "ट्विन" टेस्ट (जुड़वां परीक्षण)
शोधकर्ताओं ने 15 अलग-अलग आपातकालीन परिदृश्य बनाए (जैसे पार्क में लड़ाई, सबवे में संदिग्ध बैग, या किसी का पीछा किया जाना)।
प्रत्येक परिदृश्य के लिए, उन्होंने दो "जुड़वां" बनाए:
- जुड़वां A: कहानी वही है, लेकिन कॉलर शामिल व्यक्ति के बारे में एक विशिष्ट विवरण बताता है (जैसे, "संदिग्ध ने पगड़ी पहनी है," "संदिग्ध एक अश्वेत पुरुष है," या "संदिग्ध एक महिला है")।
- जुड़वां B: कहानी बिल्कुल वही है, लेकिन वह विशिष्ट विवरण हटा दिया गया है या उसे एक तटस्थ विवरण में बदल दिया गया है।
उन्होंने ये कहानियाँ दुनिया के 11 सबसे उन्नत AI रोबोटों (Large Language Models) को दीं और उनसे प्राथमिकता स्तर निर्धारित करने के लिए कहा, जिसकी सीमा "कुछ न करें" से लेकर "तुरंत मदद भेजें" तक थी। उन्होंने यह अंग्रेजी और मंदारिन चीनी दोनों में किया।
मुख्य निष्कर्ष
1. "धुंधली खिड़की" का प्रभाव (The "Foggy Window" Effect)
सबसे महत्वपूर्ण खोज यह है कि रोबित केवल तभी पक्षपाती होते हैं जब स्थिति अस्पष्ट होती है।
- स्पष्ट खतरा: यदि कहानी कहती है, "चाकू के साथ बंधक की स्थिति है," तो हर रोबोट चिल्लाकर "तुरंत मदद भेजें!" कहता था, चाहे संदिग्ध कोई भी हो। पक्षपात गायब हो गया।
- धुंधला खतरा: यदि कहानी अस्पष्ट थी, जैसे "एक आदमी 30 मिनट से एक स्मारक के पास खड़ा है," तो रोबोट जनसांख्यिकीय विवरणों के आधार पर धारणाएं बनाने लगे।
- उपमा: इसे एक धुंधली खिड़की से देखने जैसा समझें। यदि कार स्पष्ट रूप से दुर्घटनाग्रस्त हो रही है (स्पष्ट खतरा), तो आप उसे किसी भी हाल में देख लेंगे। लेकिन यदि आप धुंध में एक धुंधली आकृति देखते हैं (अस्पष्ट खतरा), तो आपका मस्तिष्क (या रोबोट का मस्तिष्क) रूढ़ियों (stereotypes) के आधार पर खाली जगहों को भर देता है। पक्षपात केवल धुंध में ही होता है।
2. "धर्म बनाम नस्ल" का आश्चर्य
शोधकर्ताओं ने पाया कि रोबोट विभिन्न प्रकार के संकेतों पर अलग-अलग प्रतिक्रिया देते हैं:
- धार्मिक उपस्थिति: इसने निर्णय में सबसे बड़े उतार-चढ़ाव पैदा किए। यदि कहानी में इस्लामी पहनावा (जैसे पगड़ी या हिजाब) का उल्लेख किया गया था, तो रोबोट एक तटस्थ कहानी की तुलना में अपनी प्राथमिकता के स्तर को बदलने के लिए बहुत अधिक इच्छुक थे।
- लिंग: रोबोटों ने यहाँ एक विशिष्ट पैटर्न दिखाया। यदि पीड़ित को एक महिला के रूप में वर्णित किया गया था, तो रोबोट पुरुषों की तुलना में महिलाओं के लिए तेजी से मदद भेजने की ओर झुके हुए थे।
- नस्ल: यह सबसे आश्चर्यजनक हिस्सा था। अमेरिकी संदर्भ (अंग्रेजी) में, जब किसी कॉलर ने स्पष्ट रूप से "अश्वेत पुरुष" कहा, तो रोबोट ने कुछ मामलों में तत्परता को वास्तव में कम कर दिया। यह उस चीज़ के विपरीत है जिससे हम अक्सर डरते हैं (कि वे अधिक आक्रामक होंगे)। ऐसा लगता है जैसे रोबोट नस्लवादी होने से बचने की इतनी कोशिश कर रहे थे कि वे अनजाने में बहुत अधिक सतर्क हो गए।
3. "भाषा परिवर्तन" की समस्या (The "Language Switch" Problem)
रोबोट अंग्रेजी में मंदारिन चीनी की तरह व्यवहार नहीं करते थे।
- लिंग संबंधी पक्षपात: महिलाओं के संबंध में लिंग संबंधी पक्षपात अंग्रेजी की तुलना में मंदारिन में दोगुना अधिक था।
- नस्ल संबंधी पक्षपात: नस्ल संबंधी पक्षपात अंग्रेजी में मंदारिन की तुलना में दोगुना अधिक था।
- उपमा: कल्पना कीजिए कि एक व्यक्ति अंग्रेजी में बहुत विनम्र है लेकिन स्पेनिश में बहुत रूखा है। यदि आप केवल अंग्रेजी में उसका परीक्षण करते हैं, तो आप उसकी रूखी प्रकृति को मिस कर देंगे। यह पेपर चेतावनी देता है कि AI को केवल एक भाषा में टेस्ट करने से आपको उसके पक्षपात की अधूरी तस्वीर मिलती है।
4. "असंगत रोबोट" (The "Inconsistent Robot")
रोबोट हमेशा एक साधारण "बुरे रूढ़िवाद" के नियम का पालन नहीं करते थे।
- कभी-कभी, मुस्लिम नाम का उल्लेख करने से रोबोट को लगा कि स्थिति अधिक खतरनाक है (एस्केलेशन/बढ़ोतरी)।
- अन्य बार, वही चीज़ उल्लेख करने पर रोबोट को लगा कि स्थिति कम खतरनाक है (डी-एस्केलेशन/कमी)।
- निष्कर्ष: यह केवल एक सरल "रोबोट X से नफरत करता है" वाला मामला नहीं है। रोबोट की प्रतिक्रिया कहानी और संकेत के विशिष्ट मिश्रण पर निर्भर करती है। कभी-कभी वे अतिरंजित प्रतिक्रिया देते हैं; कभी-कभी वे कम प्रतिक्रिया देते हैं।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर निष्कर्ष निकालता है कि हम केवल यह नहीं कह सकते कि "AI पक्षपाती है" या "AI निष्पक्ष है।" यह निर्भर करता है:
- आपातकाल कितना स्पष्ट है: पक्षपात तब छिप जाता है जब खतरा स्पष्ट होता है, लेकिन तब उभर आता है जब स्थिति भ्रमित करने वाली होती है।
- कौन सा जनसांख्यिकीय संकेत उपयोग किया गया है: धर्म, लिंग और नस्ल अलग-अलग प्रतिक्रियाएं पैदा करते हैं।
- कौन सी भाषा उपयोग की गई है: एक रोबोट अंग्रेजी में निष्पक्ष हो सकता है लेकिन चीनी में अनुचित हो सकता है, या इसके विपरीत।
लेखकों ने एक "प्लेग्राउंड" (एक ओपन-सोर्स टूल) बनाया है ताकि पुलिस विभाग खरीदने से पहले अपने स्वयं के AI का परीक्षण कर सकें। वे यह सुनिश्चित करना चाहते हैं कि जब इन रोबोटों का वास्तविक जीवन में उपयोग किया जाए, तो वे 911 कॉल के एक अस्पष्ट विवरण के कारण गलत लोगों को गलत तरह की मदद न भेज दें।
संक्षेप में: रोबोट स्मार्ट हैं, लेकिन वे धुंध में भ्रमित हो जाते हैं। जब स्थिति अस्पष्ट होती है, तो वे लोगों के बारे में अनुमान लगाने लगते हैं, और वे इस आधार पर अलग-अलग अनुमान लगाते हैं कि वे कौन सी भाषा बोल रहे हैं। पुलिस कारों को चलाने देने से पहले हमें उनका सावधानीपूर्वक परीक्षण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।