Designing for Ethical AI: HCI Feature Considerations to Improve Fairness and User Experience in AutoML use for Human Resources
यह शोध प्रबंध तर्क देता है कि ऑटोमेटेड एचआर हायरिंग सिस्टम में निष्पक्षता के अंतराल को संबोधित करने के लिए ऑटोएमएल (AutoML) टूल्स में ह्यूमन-कंप्यूटर इंटरैक्शन (HCI) सिद्धांतों को एकीकृत करना आवश्यक है, जो पारदर्शिता, उपयोगकर्ता नियंत्रण और नैतिक अनुपालन को बढ़ाने के लिए एक नए मूल्यांकन ढांचे और डिजाइन रणनीतियों का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक रोबोट शेफ बनाया है जो कैफेटेरिया में हर किसी के लिए एक बेहतरीन सैंडविच बनाने में सक्षम है। आप उसे कहते हैं, "सुनिश्चित करें कि हर किसी को एक स्वादिष्ट भोजन मिले!" लेकिन यहाँ एक पेच है: रोबोट ने खाना बनाना एक ऐसे शेफ का वीडियो देखकर सीखा है जिसने 50 साल पहले केवल एक बहुत ही विशिष्ट समूह के लिए सैंडविच बनाए थे। यदि आप रोबलेट को पूरी तस्वीर देखने के लिए नहीं सिखाते हैं, तो यह अनजाने में उन लोगों को बासी ब्रेड परोसना शुरू कर सकता है जो उस पुराने शेफ के पसंदीदा ग्राहकों से अलग दिखते हैं। यह भर्ती (hiring) में आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया है। कंपनियाँ इन "रोबोटों" (जिन्हें AutoML टूल्स कहा जाता है) का उपयोग हजारों रेज़्यूमे (resumes) को स्कैन करने और सर्वश्रेष्ठ उम्मीदवारों को चुनने के लिए करती हैं, इस उम्मीद में कि इससे समय बचेगा और निष्पक्षता बनी रहेगी। लेकिन हमारे रोबोट शेफ की तरह, यदि डेटा पुराना या पक्षपाती है, तो रोबोट बिना किसी को पता चले अनजाने में गलत और पक्षपाती निर्णय लेना जारी रख सकता है।
बड़ा सवाल जो यह पेपर पूछता है वह यह है: हम रोबोट के कंट्रोल पैनल को कैसे डिज़ाइन करें ताकि आम लोग (जो कंप्यूटर के जादूगर नहीं हैं) वास्तव में यह देख सकें कि रोबोट पक्षपाती हो रहा है या नहीं और उसे ठीक कर सकें? यह पेपर AutoML (जो कि एक "स्मार्ट असिस्टेंट" की तरह है जो इन रोबोटों को स्वचालित रूप से बनाता है) को देखता है और जाँच करता है कि क्या इसके द्वारा उपयोगकर्ताओं को दिए गए बटन और स्क्रीन पक्षपात को पकड़ने के लिए पर्याप्त अच्छे हैं। यह ह्यूमन-कंप्यूटर इंटरैक्शन (HCI) के विचारों का उपयोग करता है, जो मूल रूप से यह अध्ययन है कि लोग मशीनों से कैसे बात करते हैं, और फेयरनेस (Fairness/निष्पक्षता), जिसका अर्थ है यह सुनिश्चित करना कि किसी भी समूह के साथ केवल उनकी पहचान के कारण बुरा व्यवहार न किया जाए। यह पेपर इसलिए महत्वपूर्ण है क्योंकि यदि कंपनियाँ इन उपकरणों का उपयोग लोगों को काम पर रखने के लिए करती हैं, और ये उपकरण गुप्त रूप से पक्षपाती हैं, तो यह लोगों के जीवन को बर्बाद कर सकता है और कंपनियों को बड़ी कानूनी मुश्किलों में डाल सकता है।
रोबोट का कंट्रोल पैनल: एक जासूसी कहानी
तो, लेखक, सुंदरपूरीन नारायणन ने वास्तव में क्या किया? कल्पना कीजिए कि एक विशाल खिलौने की दुकान है जिसमें आठ अलग-अलग "रोबोट बिल्डर किट" (ये AutoML टूल्स हैं) भरे हुए हैं। कुछ किटों में एक फैंसी स्क्रीन और रंगीन बटन आते हैं (GUI-आधारित टूल्स), जबकि अन्य केवल कोड के डिब्बे हैं जिन्हें आपको खुद बनाना पड़ता है (कोड-आधारित लाइब्रेरी)। लेखक ने इन आठों किट्स के साथ "पक्षपात पहचानो" (Spot the Bias) का खेल खेलने का फैसला किया।
सबसे पहले, लेखक ने एक टेस्ट किचन तैयार किया। उन्होंने वास्तविक दुनिया के भर्ती डेटा—जैसे उम्र, लिंग और रहने के स्थान के विवरण वाले नौकरी आवेदकों की सूचियों को लिया और उन्हें प्रत्येक आठ रोबोट बिल्डर्स में फीड किया। लक्ष्य यह देखना था कि क्या रोबट अनजाने में कुछ समूहों के खिलाफ भेदभाव करना शुरू कर देंगे, जैसे कि महिलाएं या बुजुर्ग, सिर्फ इसलिए क्योंकि जिस डेटा से उन्होंने सीखा था, उसमें वे पुराने पूर्वाग्रह पहले से ही शामिल थे।
फिर, लेखक ने एक जासूस की टोपी पहनी और इन रोबोटों के कंट्रोल पैनलों को देखा। उन्होंने पूछा: "यदि मैं एक विशेषज्ञ गणितज्ञ नहीं, बल्कि एक साधारण एचआर (HR) मैनेजर हूँ, तो क्या मैं आसानी से देख सकता हूँ कि क्या यह रोबोट किसी विशिष्ट समूह के प्रति बुरा व्यवहार कर रहा है? यदि ऐसा है, तो क्या मैं इसे ठीक कर सकता हूँ?"
जासूस को क्या मिला
जांच से कुछ आश्चर्यजनक और थोड़े डरावने तथ्य सामने आए।
1. "ब्लैक बॉक्स" की समस्या
अधिकांश रोबोट बिल्डर ब्लैक बॉक्स की तरह हैं। आप एक रेज़्यूमे डालते हैं, और एक "हायर" (Hire) या "रिजेक्ट" (Reject) की मुहर बाहर आती है। लेकिन यदि आप बॉक्स से पूछते हैं कि उसने वह चुनाव क्यों किया, तो वह अक्सर चुप रहता है। पेपर में पाया गया कि कई टूल्स डिफ़ॉल्ट रूप से "निष्पक्ष" होने का दिखावा करते हैं, लेकिन वे वास्तव में आपको सबूत नहीं दिखाते हैं। यह एक शिक्षक की तरह है जो आपको उत्तर दिखाए बिना आपका टेस्ट स्कोर दे देता है। यदि रोबोट पक्षपाती है, तो मानव उपयोगकर्ता के पास तब तक जानने का कोई तरीका नहीं होता जब तक कि वह छिपे हुए पैटर्न को पहचानने में पहले से ही विशेषज्ञ न हो।
2. गायब "फेयरनेस डैशबोर्ड"
लेखक ने पाया कि हालांकि कुछ फैंसी टूल्स (जैसे DataRobot और Dataiku) ने यह दिखाने के लिए छोटे डैशबोर्ड जोड़ना शुरू कर दिया है कि रोबोट पक्षपाती हो रहा है या नहीं, लेकिन अन्य अभी भी पुराने युग में हैं। उनके पास ऐसे बड़े, रंगीन चार्ट नहीं हैं जो कहें, "हे! यह रोबोट शहर X के 90% आवेदकों को खारिज कर रहा है!" इसके बजाय, वे इन नंबरों को जटिल कोड या छोटे टेक्स्ट में गहराई से छिपा देते हैं जिसे केवल एक प्रोग्रामर ही पढ़ सकता है। एक सामान्य व्यावसायिक व्यक्ति के लिए, यह कार चलाने जैसा है जिसका स्पीडोमीटर टेप से ढका हुआ हो। आप तेज़ गति से चल रहे हो सकते हैं, लेकिन आपको इसका कोई अंदाजा नहीं है।
3. "ह्यूमन-इन-द-लूप" (Human-in-the-Loop) की कमी
पेपर सुझाव देता है कि हमें एक "ह्यूमन-इन-द-लूप" (HITL) की आवश्यकता है। कल्पना कीजिए कि एक रोबोट कहता है, "मुझे लगता है कि यह व्यक्ति एक अच्छा फिट है, लेकिन मैं 80% निश्चित हूँ क्योंकि डेटा अजीब है। क्या आप दोबारा जांच करना चाहते हैं?" अध्ययन में पाया गया कि अधिकांश AutoML टूल्स इसे अच्छी तरह से नहीं करते हैं। वे अक्सर इंसान को बस "गो" (Go) क्लिक करने देते हैं बिना उन्हें किसी गलत निर्णय को रोकने के उपकरण दिए। यह एक बच्चे को परमाणु रिएक्टर का रिमोट कंट्रोल देने जैसा है बिना उसे यह सिखाए कि अगर चीजें गलत हो जाएं तो उसे कैसे रोकना है।
4. "ट्रेड-ऑफ" (Trade-Off) का रहस्य
यहाँ एक पेचीदा हिस्सा है जिसे पेपर उजागर करता है: कभी-कभी, रोबोट को पूरी तरह से निष्पक्ष बनाने से वह एक अच्छे कर्मचारी के रूप में भविष्यवाणी करने में थोड़ा कम सटीक हो सकता है। पेपर ने पाया कि बहुत कम टूल्स आपको इस संतुलन (trade-off) को स्पष्ट रूप से देखने देते हैं। उनके पास ऐसा स्लाइडर नहीं है जो कहता है, "यदि मैं रोबोट को 10% अधिक निष्पक्ष बनाता हूँ, तो यह 2% अधिक गलतियाँ करेगा।" इस संतुलन को देखे बिना, कंपनियाँ या तो रोबोट को बहुत सख्त बना सकती हैं (और अच्छे लोगों को खो सकती हैं) या बहुत ढीला (और गलत लोगों को काम पर रख सकती हैं), और यह सब इसलिए क्योंकि कंट्रोल पैनल ने उन्हें विकल्प नहीं दिखाए।
बड़ा निष्कर्ष: निष्पक्षता एक विशेषता है, कोई बाद का विचार नहीं
इस शोध का मुख्य निष्कर्ष यह है कि निष्पक्षता कोई वैकल्पिक अतिरिक्त चीज़ नहीं होनी चाहिए जिसे आप अंत में एक कार पर स्टिकर की तरह लगाते हैं। इसे रोबोट के डिज़ाइन में बिल्कुल शुरुआत से ही शामिल किया जाना चाहिए।
पेपर का तर्क है कि यदि आप चाहते हैं कि कंपनियाँ इन AI टूल्स पर भरोसा करें, तो टूल्स को इंसानों के लिए डिज़ाइन किया जाना चाहिए, न कि केवल कंप्यूटरों के लिए। इसका अर्थ है:
- स्पष्ट चेतावनियाँ: यदि रोबोट एक पक्षपाती निर्णय लेने वाला है, तो उसे कोड लॉग में फुसफुसाने के बजाय एक बड़ी लाल लाइट के साथ "रुको!" चिल्लाना चाहिए।
- आसान सुधार: इंसानों को यह कहने में सक्षम होना चाहिए, "मुझे पसंद नहीं है कि इस समूह के साथ कैसा व्यवहार किया जा रहा है," और उनके पास रोबोट के व्यवहार को समायोजित करने के लिए एक सरल बटन होना चाहिए।
- दृश्य प्रमाण: नंबरों की स्प्रेडशीट दिखाने के बजाय, टूल को एक चित्र या ग्राफ दिखाना चाहिए जिसे कोई भी समझ सके, जैसे कि ट्रैफिक लाइट सिस्टम (हरा = अच्छा, लाल = खतरा)।
पेपर सुझाव देता है कि यदि AutoML कंपनियाँ इन कंट्रोल पैनलों को ठीक नहीं करती हैं, तो वे केवल अनैतिक नहीं हैं; वे व्यवसाय करने में भी खराब हैं। कंपनियाँ उन टूल्स को नहीं खरीदेंगी जिन पर वे भरोसा नहीं कर सकतीं, और वे निश्चित रूप से उन टूल्स को नहीं खरीदेंगी जो उन्हें भेदभाव के लिए मुकदमे में फंसा सकते हैं।
जो यह पेपर नहीं कहता (और जिसे यह खारिज करता है)
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। यह यह नहीं कहता कि AI बुरा है या हमें इसका उपयोग बंद कर देना चाहिए। यह यह भी नहीं कहता कि कोई एक विशिष्ट टूल "विजेता" है और अन्य "हारने वाले" हैं। इसके बजाय, यह सुझाव देता है कि भले ही सबसे अच्छे टूल्स में भी कमियां हैं जब बात आम लोगों को निष्पक्षता समझाने की आती है।
पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि "स्वचालन (automation) हमेशा निष्पक्ष होता है।" यह दिखाता है कि सिर्फ इसलिए कि एक कंप्यूटर काम कर रहा है, इसका मतलब यह नहीं है कि वह निष्पक्ष है; वास्तव में, मानवीय निगरानी के बिना, यह अधिक पक्षपाती हो सकता है क्योंकि यह हमारे पिछले गलतियों से सीखता है।
निष्कर्ष मौजूदा टूल्स के सिमुलेशन और ऑडिट पर आधारित हैं, न कि किसी जादुई नई खोज पर। लेखक ने यह मापा कि ये टूल्स विशिष्ट डेटासेट पर कैसा प्रदर्शन करते हैं और उनके इंटरफेस की जाँच की। इसलिए, जबकि पेपर दृढ़ता से सुझाव देता है कि वर्तमान टूल्स में कमी है, यह डिजाइनरों के लिए एक बेहतर बनाने के आह्वान के रूप में है, न कि यह घोषणा के रूप में कि समस्या पहले से ही हल हो गई है।
अंतिम निर्णय
अंत में, यह पेपर भविष्य की भर्ती करने वालों के लिए एक दोस्ताना सुझाव है। यह कहता है: "हे, आपने बहुत ही शानदार रोबोट बनाए हैं जो सुपर फास्ट तरीके से रेज़्यूमे पढ़ सकते हैं। लेकिन यदि आप मानव ऑपरेटरों को यह देखने के लिए एक स्पष्ट खिड़की नहीं देते हैं कि वे रोबोट कैसे सोचते हैं, और यदि आप उन्हें रोबोट को रोकने का तरीका नहीं देते हैं यदि वह पटरी से उतर जाए, तो आपको एक समस्या होने वाली है।"
समाधान रोबोट बनाना बंद करना नहीं है; समाधान बेहतर कंट्रोल पैनल बनाना है। निष्पक्षता को दृश्यमान, समझने योग्य और नियंत्रणीय बनाकर, हम इन शक्तिशाली उपकरणों को उन भागीदारों में बदल सकते हैं जो हमें एक निष्पक्ष दुनिया बनाने में मदद करते हैं, न कि उन रोबोटों में जो अनजाने में हमारी पुरानी गलतियों को दोहराते हैं। यह सुनिश्चित करने के बारे में है कि रोबोट शेफ जानता हो कि हर किसी के लिए सैंडविच कैसे बनाया जाए, न कि केवल उन लोगों के लिए जिन्हें उसने पुराने वीडियो में देखा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।