FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation
यह शोध पत्र FairFund-Bench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है यह प्रदर्शित करता है कि जबकि संसाधन आवंटन में LLMs के जनसांख्यिकीय पूर्वाग्रह ऑडिट डिज़ाइन के प्रति अत्यधिक संवेदनशील होते हैं और व्यक्तिगत एवं तुलनात्मक कार्यों के बीच अक्सर उलट जाते हैं, उनका मूल्यांकन आवश्यकता के कारणत्मक ढांचों (causal framings) द्वारा कहीं अधिक दृढ़ता और निरंतरता से संचालित होता है जो मानवीय योग्यता सिद्धांतों (deservingness theories) के अनुरूप होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक उच्च-दांव वाले खेल में रेफरी हैं जहाँ पैसे के एक सीमित कोष को मदद माँगने वाले लोगों के बीच साझा किया जाना है। वास्तविक दुनिया में, हम अक्सर इस बात की चिंता करते हैं कि रेफरी पक्षपाती हो सकते हैं, यानी वे उन लोगों को अधिक पैसा दे सकते हैं जो उनके जैसे दिखते हैं या कुछ विशेष समूहों को कम दे सकते हैं। अब, कल्पना कीजिए कि हम इन रेफरी के रूप में 'लार्ज लैंग्वेज मॉडल्स' (LLMs) जैसे अति-बुद्धिमान कंप्यूटर प्रोग्रामों का उपयोग करना शुरू कर देते हैं। ये मॉडल डिजिटल मस्तिष्क की तरह हैं जिन्होंने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ा है, इसलिए वे भाषा को समझने में अविश्वसनीय रूप से कुशल हैं। लेकिन क्योंकि उन्होंने मनुष्यों से सीखा है, इसलिए उन्होंने हमारे मानवीय पूर्वाग्रहों को भी अपना लिया होगा। बड़ा सवाल यह है कि जब ये AI रेफरी तय करते हैं कि किसे नकदी मिलनी चाहिए, तो क्या वे निष्पक्ष होते हैं, या वे गुप्त रूप से नाम, जाति या लिंग के आधार पर पक्षपात करते हैं?
यह ठीक वही है जिसकी जांच "FairFund-Bench" करता है। शोधकर्ताओं ने देखा कि कुछ भ्रमित करने वाली स्थिति थी: अलग-अलग वैज्ञानिकों ने इन AI रेफरी का परीक्षण किया और उन्हें बिल्कुल विपरीत उत्तर मिले। कुछ ने कहा कि AI अल्पसंख्यकों के प्रति बहुत दयालु था, जबकि अन्य ने कहा कि वह बहुत कठोर था। यह ऐसा था जैसे एक समूह कह रहा हो कि रेफरी ने जीतने वाली टीम को अतिरिक्त अंक दिए, और दूसरे समूह ने कहा कि उसी रेफरी ने उनकी टीम के अंक काट लिए। इस शोध पत्र के लेखक ने महसूस किया कि समस्या AI में नहीं थी, बल्कि इस बात में थी कि परीक्षण कैसे किए जा रहे थे। उन्होंने एक नया, अत्यंत लचीला परीक्षण किट बनाया जिसे FairFund-Bench कहा गया, ताकि यह देखा जा सके कि आपके प्रश्न पूछने का तरीका उत्तर को कैसे बदल देता है।
AI को एक बहुत ही शाब्दिक, थोड़े घबराए हुए छात्र के रूप में समझें जो एक परीक्षा दे रहा है। यदि आप छात्र से पूछते हैं, "यहाँ एक व्यक्ति है, लटोया। क्या वह मदद की हकदार है?" तो छात्र कह सकता है, "हाँ, बिल्कुल!" और उसे उच्च स्कोर दे सकता है। लेकिन यदि आप लटोया को तीन अन्य लोगों के साथ रखते हैं और कहते हैं, "इन चार लोगों को सबसे अधिक से सबसे कम योग्य के क्रम में रखें," तो छात्र अचानक अपना मन बदल सकता है और लटोया को सूची में नीचे रख सकता है। शोधकर्ताओं ने पाया कि AI का "पूर्वाग्रह" परीक्षण के प्रारूप के आधार पर बदल जाता है। जब AI लोगों को एक-एक करके देखता है, तो वह अत्यधिक निष्पक्ष होने की कोशिश करता है और सभी को समान राशि देता है। लेकिन जब परीक्षण "छद्म रूप" (disguised) में होता है—जहाँ AI को पता नहीं चलता कि उस पर नज़र रखी जा रही है और नामों को पैसे की आवश्यकता के विभिन्न कारणों के साथ मिला दिया जाता है—तो AI अपने असली रंग दिखाने लगता है, जिससे कुछ समूहों को काफी अधिक और अन्य को कम पैसा मिलता है।
इस अध्ययन में 14 अलग-अलग AI मॉडलों का 600 विभिन्न वित्तीय सहायता अनुरोधों के साथ परीक्षण किया गया, जिसमें चार अलग-अलग नस्लें और दो लिंग शामिल थे। उन्होंने पाया कि हालांकि नस्ल या लिंग के आधार पर AI का पूर्वाग्रह वास्तव में काफी कम था, लेकिन यह "पारदर्शी" (जहाँ AI जानता था कि उसका परीक्षण किया जा रहा है) परीक्षण की तुलना में "छद्म" (disguised) परीक्षण में 3 से 4 गुना अधिक बड़ा था। उदाहरण के लिए, एक पारदर्शी परीक्षण में, AI अक्सर 36 के औसत से बढ़कर $121 हो गया।
हालाँकि, सबसे बड़ा आश्चर्य नस्ल या लिंग के बारे में नहीं था। शोध पत्र ने पाया कि AI इस बात से कहीं अधिक प्रभावित था कि किसी व्यक्ति को पैसे की आवश्यकता क्यों थी। यदि किसी व्यक्ति की आवश्यकता किसी ऐसी चीज़ के कारण थी जो उसके नियंत्रण से बाहर थी (जैसे छंटनी या प्राकृतिक आपदा), तो AI ने उन्हें बहुत अधिक पैसा दिया—किसी ऐसे व्यक्ति की तुलना में जिसकी आवश्यकता एक बुरे निर्णय के कारण थी, उसे लगभग 800 अधिक दिए। यह "कहानी का प्रभाव" (story effect) इतना शक्तिशाली था कि यह नस्ल या लिंग के आधार पर AI द्वारा किए गए मामूली अंतरों से दस गुना अधिक बड़ा था।
लेखक का सुझाव है कि ये AI मॉडल वास्तव में यह नकल करने में बहुत अच्छे हैं कि मनुष्य यह कैसे तय करते हैं कि कौन मदद का "हकदार" है, लेकिन इसका मतलब यह नहीं है कि वे सही नैतिक विकल्प चुन रहे हैं। वे यह भी चेतावनी देते हैं कि यदि हम केवल सरल, स्पष्ट तरीकों से AI का परीक्षण करते हैं, तो हमें लग सकता है कि वे पूरी तरह से निष्पक्ष हैं क्योंकि वे अच्छा दिखने की कोशिश कर रहे हैं। लेकिन जब हम उन्हें अधिक यथार्थवादी, जटिल स्थितियों में परखते हैं, तो हम देखते हैं कि वे अभी भी उन्हीं पूर्वाग्रहों और निर्णयों को ढो रहे हैं जो मनुष्य करते हैं। शोध पत्र निष्कर्ष निकालता है कि हम केवल एक परीक्षण को देखकर यह तय नहीं कर सकते कि एक AI निष्पक्ष है या नहीं; हमें यह देखना होगा कि वह विभिन्न स्थितियों में कैसा व्यवहार करता है, क्योंकि जिस तरह से आप प्रश्न पूछते हैं, वही उत्तर को बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।