Debiasing LLM Recommendations via Decision-Aware Counterfactual Alignment
यह शोध पत्र डिसीजन-अवेयर काउंटरफैक्चुअल अलाइनमेंट (DACA) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो अंतिम आउटपुट में संकेत-प्रेरित (cue-induced) अंतरों को दंडित करके और वैध वैयक्तिकरण (personalization) को संरक्षित करके LLM अनुशंसाओं में पूर्वाग्रह को कम करता है, जिससे प्रासंगिक उपयोगकर्ता विशेषताओं के प्रति प्रतिक्रियाशीलता से समझौता किए बिना अनुशंसा निष्पक्षता और शैक्षणिक उपयुक्तता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, आर्टिफिशियल इंटेलिजेंस जीवन के सबसे महत्वपूर्ण निर्णयों को लेने में एक शांत साथी बन गया है। कॉलेज मेजर सुझाने से लेकर करियर पथ पर सलाह देने या चिकित्सा उपचार के बारे में बताने तक, लार्ज लैंग्वेज मॉडल्स मार्गदर्शकों के रूप में कार्य करते हैं, जो सूचनाओं के विशाल भंडार का सारांश प्रस्तुत करते हैं ताकि हमें यह बताया जा सके कि कौन से विकल्प उपलब्ध हैं और उन्हें किस क्रम में विचार में लिया जाना चाहिए। ये सिस्टम शक्तिशाली हैं, लेकिन ये तटस्थ नहीं हैं। जिस प्रकार एक मानव सलाहकार किसी छात्र के नाम, लहजे या पृष्ठभूमि से प्रभावित हो सकता है, उसी तरह ये डिजिटल मॉडल किसी व्यक्ति की पहचान के अप्रासंगिक विवरणों—जैसे कि उनकी जाति या लिंग—के कारण अनजाने में दी जाने वाली सलाह को प्रभावित कर सकते हैं। यह एक ऐसी समस्या पैदा करता है जहाँ एक ही शैक्षणिक रिकॉर्ड, रुचियों और लक्ष्यों वाले दो छात्र पूरी तरह से अलग अवसरों की सूचियाँ प्राप्त कर सकते हैं, केवल इसलिए क्योंकि कंप्यूटर उन्हें अलग तरह से "देखता" है। शोधकर्ताओं का लक्ष्य सलाह को सभी के लिए एक जैसा बनाना नहीं है, जो कि निरर्थक होगा, बल्कि यह सुनिश्चित करना है कि सलाह केवल तभी बदले जब छात्र की वास्तविक योग्यताएँ बदलें, और जब केवल उनका जनसांख्यिकीय विवरण बदले तो वह समान बनी रहे।
कारनेगी मेलन यूनिवर्सिटी और यूनिवर्सिटी ऑफ नॉटिंगहैम निंगबो के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए एक नई विधि विकसित की है, जिसे 'डिसीजन-अवेयर काउंटरफैक्चुअल एलाइनमेंट' (Decision-Aware Counterfactual-Alignment) कहा जाता है। उन्होंने इस समस्या को इस दृष्टिकोण से देखा कि अंतिम सिफारिशों की सूची वह चीज़ है जिसे ठीक करने की आवश्यकता है, न कि केवल मॉडल की आंतरिक स्मृति से पूर्वाग्रह को मिटाने की कोशिश करना। कल्पना कीजिए कि एक छात्र दस उपयुक्त कॉलेज मेजर के लिए पूछ रहा है। एक पक्षपाती प्रणाली में, छात्र के विवरण को "एक महिला" से बदलकर "एक पुरुष" करने से कंप्यूटर उन दस में से दो या तीन मेजर बदल सकता है, जैसे कि डेटा साइंस की डिग्री को मानविकी (ह्यूमनिटीज) के मेजर से बदल देना, भले ही छात्र का गणित कौशल और करियर लक्ष्य बिल्कुल समान हों। शोधकर्ताओं ने पाया कि ऐसा इसलिए होता है क्योंकि पूर्वाग्रह तीन अलग-अलग चरणों में घुसपैठ कर सकता है: कंप्यूटर या तो पहले चरण में सही विकल्पों को उत्पन्न करने में विफल रहता है, या वह उपलब्ध विकल्पों को छात्र की पहचान के आधार पर अलग तरह से स्कोर देता है, या वह अंतिम सूची चुनने के तरीके में एक समूह का पक्ष लेता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो कंप्यूटर को बिल्कुल एक ही छात्र प्रोफाइल के दो संस्करणों को देखने के लिए मजबूर करता है, जो केवल जनसांख्यिकीय लेबल में भिन्न होते हैं, और फिर प्रक्रिया के हर चरण की जाँच करता है। सबसे पहले, वे यह सुनिश्चित करते हैं कि दोनों संस्करणों को संभावित मेजर के बिल्कुल समान पूल तक पहुँच प्राप्त हो, ताकि किसी छात्र को केवल उसके नाम के कारण एक अच्छे विकल्प से वंचित न किया जाए। दूसरा, वे इन मेजरों को केवल छात्र की शैक्षणिक उपयुक्तता के आधार पर स्कोर करने के लिए एक अलग "जज" को प्रशिक्षित करते हैं, जो जनसांख्यिकीय लेबल को पूरी तरह से अनदेखा करता है। अंत में, वे अंतिम चयन को इस तरह संरेखित करते हैं कि यदि स्कोर समान हैं, तो दस मेजरों की अंतिम सूची भी समान हो। यह विधि, जिसे वे 'डाका' (Daca) कहते हैं, केवल प्रॉम्प्ट से जनसांख्यिकीय जानकारी को हटा नहीं देती है, जो अक्सर टेक्स्ट के अन्य हिस्सों में पूर्वाग्रह को छिपा देती है। इसके बजाय, यह सक्रिय रूप से दोनों संस्करणों की तुलना करती है और यदि यह समान योग्यताओं के लिए अलग-अलग सूचियाँ उत्पन्न करती है, तो सिस्टम को दंडित करती है।
जब शोधकर्ताओं ने कॉलेज-मेजर सिफारिशों के एक नियंत्रित प्रयोग के साथ पांच अलग-अलग ओपन-सोर्स लैंग्वेज मॉडल्स पर इस पद्धति का परीक्षण किया, तो परिणाम चौंकाने वाले थे। सुधार से पहले, छात्र के केवल जाति या लिंग के विवरण को बदलने से सिस्टम औसतन दस में से लगभग ढाई मेजर बदल देता था। नई पद्धति लागू करने के बाद, सिस्टम ने छात्र के दोनों संस्करणों के लिए बिल्कुल समान मेजर और बिल्कुल उसी क्रम में सूची तैयार की। लेकिन सुधार केवल निरंतरता तक ही सीमित नहीं था। सलाह की गुणवत्ता भी बेहतर हुई। शोधकर्ताओं ने एक मानक ग्रेडिंग रुब्रिक का उपयोग करके यह मापा कि अनुशंसित मेजर छात्र के शैक्षणिक प्रोफाइल के साथ कितनी अच्छी तरह फिट बैठते हैं। सुधार से पहले, औसत 'फिट स्कोर' 100 में से 63.5 था। सुधार के बाद, यह बढ़कर 86.4 हो गया। इसका अर्थ है कि सिस्टम न केवल अधिक निष्पक्ष हो गया था, बल्कि बेहतर सलाह भी दे रहा था। महत्वपूर्ण रूप से, सिस्टम वास्तविक अंतरों के प्रति उत्तरदायी बना रहा; यदि किसी छात्र के पास मजबूत गणित कौशल बनाम कमजोर कौशल था, तो सिफारिशें उचित रूप से बदलीं, जिससे यह सिद्ध हुआ कि इस सुधार ने सलाह को सामान्य या अनुपयोगी नहीं बनाया।
अध्ययन ने यह भी खुलासा किया कि प्रॉम्प्ट से केवल जनसांख्यिकीय लेबल को हटा देना पर्याप्त नहीं था। हालांकि उस दृष्टिकोण ने सूचियों को एक समान बना दिया था, लेकिन वह सलाह की गुणवत्ता में सुधार करने में विफल रहा, जिससे फिट स्कोर 63.5 पर ही रुक गया और सिस्टम छात्र की वास्तविक क्षमताओं के प्रति कम संवेदनशील हो गया। शोधकर्ताओं ने पाया कि पूर्वाग्रह केवल अंतिम रैंकिंग का मामला नहीं था; यह मॉडल्स द्वारा विकल्पों को उत्पन्न करने और स्कोर करने के तरीके में गहराई से समाया हुआ था। इन तीनों चरणों—जेनरेशन (उत्पत्ति), स्कोरिंग (अंकन), और सिलेक्शन (चयन)—को नियंत्रित करके, वे पूर्वाग्रह को पूरी तरह से समाप्त करने में सक्षम हुए। कुछ मामलों में, इस लक्ष्य को प्राप्त करने के लिए सिस्टम को काफी हद तक समायोजित करना पड़ा, और एक मॉडल के लिए, शोधकर्ताओं ने नई विधि का उपयोग न करने का निर्णय लिया क्योंकि मूल सलाह की तुलना में आवश्यक परिवर्तन बहुत बड़े थे। यह इस बात पर प्रकाश डालता है कि लक्ष्य केवल आउटपुट को एक जैसा बनाना नहीं है, बल्कि यह सुनिश्चित करना है कि सलाह उपयोगी और सटीक हो। यह कार्य यह प्रदर्शित करता है कि ऐसे अनुशंसा सिस्टम (recommendation systems) बनाना संभव है जो निष्पक्ष और अत्यधिक प्रभावी दोनों हों, जिससे यह सुनिश्चित हो सके कि एक छात्र का भविष्य उसकी पहचान के अप्रासंगिक विवरणों के बजाय उसकी क्षमता से आकार ले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।