Proxy reliance in large language model decisions is uncalibrated to predictive evidence

आधुनिक दुनिया में, एल्गोरिदम से तेजी से उच्च-स्तरीय निर्णय लेने के लिए कहा जा रहा है, जैसे कि यह तय करना कि किसे ऋण मिलेगा या किस अस्पताल के रोगी को उपचार के लिए पहले प्राथमिकता दी जानी चाहिए। जब ये सिस्टम लार्ज लैंग्वेज मॉडल्स (शक्तिशाली कंप्यूटर प्रोग्राम जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है) का उपयोग करके बनाए जाते हैं, तो निष्पक्षता का प्रश्न जटिल हो जाता है। कानून आम तौर पर यह स्वीकार करता है कि एक निर्णय लेने वाला व्यक्ति उस जानकारी का उपयोग कर सकता है यदि वह एक अच्छे परिणाम की भविष्यवाणी करने में मदद करती है, जैसे कि हृदय घात के जोखिम की भविष्यवाणी करने के लिए किसी रोगी के रक्तचाप का उपयोग करना। हालांकि, यह उस जानकारी का उपयोग करने से रोकता है जो केवल एक संरक्षित विशेषता (protected characteristic), जैसे कि जाति या लिंग, का प्रतिनिधित्व करती है, भले ही वह जानकारी सांख्यिकीय रूप से उपयोगी क्यों न हो। इसे 'प्रॉक्सी भेदभाव' (proxy discrimination) कहा जाता है। कठिनाई इस तथ्य में निहित है कि डेटा का एक एकल हिस्सा, जैसे कि किसी व्यक्ति का पड़ोस, एक वैध चिकित्सा संकेतक और उनकी जाति के छिपे हुए संकेत, दोनों हो सकता है। एल्गोरिदम के निष्पक्ष होने के परीक्षण के वर्तमान तरीके अक्सर एक सरल जांच पर निर्भर करते हैं: यदि आप कंप्यूटर के प्रॉम्प्ट में किसी व्यक्ति की जाति बदलते हैं और निर्णय बदल जाता है, तो सिस्टम पक्षपाती है। लेकिन यह दृष्टिकोण वास्तविकता की सूक्ष्मता को छोड़ देता है। एक तर्कसंगत निर्णय लेने वाले को अपना विचार बदलना चाहिए यदि नई जानकारी वास्तव में उपयोगी है, और एक ऐसा सिस्टम जो अपना विचार कभी नहीं बदलता, वह साक्ष्य को अनदेखा कर रहा हो सकता है बजाय इसके कि वह निष्पक्ष हो।

ओसाका विश्वविद्यालय के शोधकर्ताओं ने इस समस्या को हल करने के लिए केवल 'हाँ या ना' वाली जांच से आगे बढ़कर, इस बात के सटीक माप की ओर बढ़ने का प्रयास किया कि एक एल्गोरिदम को कुछ संकेतों पर कितना निर्भर होना चाहिए। उन्होंने एक सिम्युलेटेड (कृत्रिम) दुनिया बनाई जहाँ उन्हें प्रत्येक रोगी और प्रत्येक परिणाम के बारे में सटीक सत्य पता था, जिससे वे किसी भी दी गई जानकारी पर निर्भरता की आदर्श मात्रा की गणना कर सके। इस नियंत्रित वातावरण में, उन्होंने चार अलग-अलग लार्ज लैंग्वेज मॉडल्स को 'ट्राइएज स्पेशलिस्ट' (तुलनात्मक विशेषज्ञ) के रूप में कार्य करने के लिए कहा, जिन्होंने उपचार की प्राथमिकता के लिए रोगियों के जोड़ों (pairs) को रैंक किया। रोगियों का वर्णन संख्यात्मक संकेतकों द्वारा किया गया था, जिनमें से कुछ वैध चिकित्सा संकेत थे और अन्य "प्रॉक्सी" थे जो एक छिपे हुए संरक्षित गुण से जुड़े थे लेकिन जिनका कोई वास्तविक चिकित्सा मूल्य नहीं था। शोधकर्ता फिर मॉडल्स के व्यवहार की तुलना एक गणितीय मानक से कर सके कि एक पूर्णतः तर्कसंगत निर्णय लेने वाला उसी जानकारी के साथ क्या करेगा।

अध्ययन ने उपलब्ध साक्ष्य और मॉडल्स द्वारा उनके वास्तविक उपयोग के बीच एक चौंकाने वाले अंतर को प्रकट किया। जब शोधकर्ताओं ने मॉडल्स को ऐसे सुराग दिए जिनका कोई भविष्य कहने वाला मूल्य (predictive value) नहीं था, तब भी मॉडल्स ने उन पर भरोसा किया, और बेकार जानकारी को ऐसे माना जैसे कि वह महत्वपूर्ण हो। यह सभी चार परीक्षण किए गए मॉडल्स में लगातार हुआ, चाहे उनका प्रदाता कोई भी हो। जब सुराग वास्तव में उपयोगी थे, तो मॉडल्स ने साक्ष्य की शक्ति के साथ अपनी निर्भरता को समायोजित नहीं किया। इसके बजाय, वे एक बड़े सकारात्मक आधारभूत स्तर (baseline level) पर काम कर रहे थे जो साक्ष्य के बढ़ते मूल्य के साथ उनकी निर्भरता को बहुत कम कर देता था। दूसरे शब्दों में, मॉडल्स डेटा को नहीं सुन रहे थे; वे एक कठोर आंतरिक स्क्रिप्ट का पालन कर रहे थे जो स्थिति की बदलती वास्तविकता को अनदेखा करती थी। इसका अर्थ यह है कि एक सिस्टम एक विशिष्ट परीक्षण में निष्पक्ष दिखाई दे सकता है, लेकिन दूसरे में गहराई से त्रुटिपूर्ण हो सकता है, केवल इसलिए क्योंकि वह परीक्षण वास्तविक दुनिया की स्थितियों से मेल नहीं खाता जहाँ साक्ष्य अधिक मजबूत या कमजोर होते हैं।

शोधकर्ताओं ने यह भी जांचा कि क्या डेटा के क्षेत्रों (fields) के नाम बदलने से इस व्यवहार को रोका जा सकता है। जब उन्होंने प्रॉक्सी सुरागों को "पड़ोस" या "व्यवसाय" जैसे सामाजिक रूप से संवेदनशील शब्दों के साथ लेबल किया, तो मॉडल्स ने उन पर अपनी निर्भरता कम कर दी। यह पहली नज़र में एक सुरक्षा फीचर जैसा लगा। हालांकि, अध्ययन ने पाया कि यह दमन नाजुक था और आसानी से टूट सकता था। जब शोधकर्ताओं ने मॉडल को कार्य समझने में मदद करने के लिए प्रॉम्प्ट में उदाहरण जोड़े (जो वास्तविक दुनिया के अनुप्रयोगों में एक सामान्य अभ्यास है), तो मॉडल्स ने तुरंत सामाजिक लेबल पर फिर से निर्भर होना शुरू कर दिया, और अक्सर नामों के सुरक्षात्मक प्रभाव को पूरी तरह से अनदेखा कर दिया। हालांकि, अध्ययन ने उल्लेख किया कि जहाँ उदाहरण दिए गए थे, उन छह मामलों में से तीन में सामाजिक और तटस्थ लेबल के बीच का अंतर बना रहा, जो यह दर्शाता है कि दमन पूरी तरह से मिटा नहीं दिया गया था बल्कि काफी कमजोर हो गया था। यह सुझाव देता है कि इन मॉडल्स की स्पष्ट सुरक्षा शब्दों की विशिष्ट शब्दावली के प्रति एक सतही प्रतिक्रिया है, न कि निष्पक्षता की गहरी, विश्वसनीय समझ। मॉडल्स को उस संदर्भ को बदलकर, जिसमें उनसे काम करने के लिए कहा गया है, पक्षपाती व्यवहार के लिए बहकाया जा सकता है।

इसके अलावा, अध्ययन ने दिखाया कि मॉडल के निर्णय की सटीकता यह बताने के लिए एक विश्वसनीय संकेतक नहीं है कि वह जानकारी का उपयोग कितनी निष्पक्षता से कर रहा है। एक मॉडल सही कारणों से सही चुनाव कर सकता है, या गलत कारणों से गलत चुनाव कर सकता है, और फिर भी एक ही स्कोर प्राप्त कर सकता है। कुछ मामलों में, अधिक डेटा बिंदु जोड़कर कार्य को कठिन बनाने से मॉडल्स ने अनुचित प्रॉक्सी पर अधिक निर्भरता दिखाई, जबकि अन्य मामलों में, इसने उन्हें कम निर्भर बनाया। यह विसंगति बताती है कि केवल मॉडल की सटीकता की जाँच करना हमें यह नहीं बताता कि वह भेदभाव कर रहा है या नहीं। शोधकर्ताओं ने पाया कि एक मॉडल द्वारा देखे जाने वाले डेटा बिंदुओं की संख्या और उनके उपयोग के बीच का संबंध पूरी तरह से इस बात पर निर्भर करता है कि वे डेटा बिंदु एक-दूसरे से कैसे जुड़े हुए हैं, जो कि वास्तविक दुनिया के चिकित्सा डेटा में बहुत भिन्न होता है।

अंततः, यह कार्य प्रदर्शित करता है कि कृत्रिम बुद्धिमत्ता के ऑडिट करने के वर्तमान तरीके वास्तविक दुनिया में तैनाती की जटिलता के लिए अपर्याप्त हैं। अध्ययन सिद्ध करता है कि बिना यह जाने कि साक्ष्य की मांग क्या है, यह बताना असंभव है कि एक मॉडल निष्पक्ष है या केवल उपयोगी डेटा को अनदेखा कर रहा है। निष्कर्ष यह है कि इन मॉडल्स के सबसे सुरक्षित दिखने वाले कॉन्फ़िगरेशन—वे जो सरल परीक्षणों में पूर्वाग्रह के प्रति प्रतिरोधी दिखते हैं—अक्सर उन स्थितियों का प्रतिनिधित्व करने में सबसे कम सक्षम होते हैं जहाँ वे वास्तव में एक अस्पताल या बैंक में व्यवहार करेंगे। शोध यह निष्कर्ष निकालता है कि इन प्रणालियों को वास्तव में समझने और विनियमित करने के लिए, हमें केवल पूर्वाग्रह के लिए सरल जाँचों से आगे बढ़ना होगा और ऐसे तरीके विकसित करने होंगे जिससे यह मापा जा सके कि किसी एल्गोरिदम की विशिष्ट जानकारी पर निर्भरता उस जानकारी के वास्तविक मूल्य से मेल खाती है या नहीं। जब तक हम ऐसा नहीं कर सकते, हम या तो तर्कसंगत प्रणालियों को दंडित करने का जोखिम उठाते हैं या, अधिक खतरनाक रूप से, उन प्रणालियों पर भरोसा करने का जोखिम उठाते हैं जो दुनिया की एक नाजुक समझ के आधार पर चुपचाप अनुचित निर्णय ले रही हैं।