← नवीनतम पेपर
🤖 machine learning

The Role of Causality in Algorithmic Recourse

यह शोधपत्र एल्गोरिद्मिक रिकोर्स (algorithmic recourse) के लिए एक कॉज़ल परफॉर्मेटिव फ्रेमवर्क पेश करता है जो यह मॉडल करता है कि अनुशंसित क्रियाएं एक स्ट्रक्चरल कॉज़ल मॉडल के माध्यम से कैसे प्रसारित होती हैं ताकि वास्तविक योग्यता सुधार सुनिश्चित किया जा सके, जिससे रणनीतिक गेमिंग को रोका जा सके और बार-बार मॉडल रिट्रेनिंग की आवश्यकता को कम करते हुए स्थिर संतुलन प्राप्त किया जा सके।

मूल लेखक: Srikanth Avasarala, Varun Gupta, Shahin Jabbari, Saber Salehkaleybar, Juba Ziani

प्रकाशित 2026-07-31
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Srikanth Avasarala, Varun Gupta, Shahin Jabbari, Saber Salehkaleybar, Juba Ziani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ एक अदृश्य रेफरी (एक एल्गोरिदम) यह तय करता है कि आप जीतेंगे या हारेंगे, जो आपके चरित्र के आंकड़ों (stats) पर आधारित होता है। कभी-कभी, गेम आपको बताता है, "हे, अगर तुम बस अपनी ताकत में +5 जोड़ दो, तो तुम लेवल पार कर लोगे!" यह एल्गोरिद्मिक रिसोर्स (algorithmic recourse) की दुनिया है: लोगों को सुधार करने के अपने चांस बढ़ाने के लिए एक स्पष्ट, कार्रवाई योग्य चेकलिस्ट देना जब कंप्यूटर "ना" कहता है, जैसे कि लोन या नौकरी के मामले में। लेकिन यहाँ एक पेंच है: क्या होगा अगर गेम फिक्स्ड है? क्या होगा अगर "ताकत" वाला आंकड़ा जिसे आपको बढ़ाने के लिए कहा गया है, वास्तव में केवल एक नकली नंबर है जो रेफरी को धोखा देने के लिए है, जबकि स्तर को पार करने की आपकी वास्तविक क्षमता वैसी ही रहती है? यह सिस्टम को गेम करना (gaming the system) की समस्या है।

अब, कल्पना कीजिए कि हर बार जब आप अपने आंकड़े बदलते हैं, तो रेफरी वास्तव में आपके नए रूप के अनुसार खेल के नियम बदल देता है। इसे परफॉर्मेटिव प्रेडिक्शन (performative prediction) कहा जाता है। यह एक नृत्य की तरह है जहाँ हर बार कदम उठाने पर संगीत बदल जाता है, जिससे एक स्थिर लय ढूँढना मुश्किल हो जाता है। यदि रेफरी आपके सुधार करने के प्रयासों के आधार पर नियम बदलता रहता है, तो खेल अराजक हो जाता है, और जो सलाह आपको दी गई थी वह काम करना बंद कर देती है। यह शोध पत्र कंप्यूटर विज्ञान के एक विशिष्ट कोने में गहराई से उतरता है, जहाँ गणित मानव व्यवहार से मिलता है, और यह सवाल पूछता है: हम ऐसी सलाह कैसे दें जो वास्तव में लोगों को बेहतर बनाए, न कि केवल कंप्यूटर को धोखा दे, खासकर तब जब कंप्यूटर देख रहा हो और हमारी चालों पर प्रतिक्रिया दे रहा हो?


"नकली" समाधान का जाल

उच्च-दांव वाले निर्णयों की दुनिया में—जैसे बैंक यह तय करते हैं कि किसे बंधक (mortgage) मिले या कंपनियाँ यह तय करती हैं कि किसे काम पर रखा जाए—मशीनें अक्सर निर्णय लेती हैं। जब कोई मशीन आवेदन खारिज कर देती है, तो एक "रिसोर्स" योजना मिलना मददगार होता है: आपके जीवन में उन बदलावों की एक सूची जो परिणाम को "ना" से "हाँ" में बदल दे। उदाहरण के लिए, "500 डॉलर का कर्ज चुकाएं, और आपको मंजूरी मिल जाएगी।"

लेकिन इसमें एक चालाकी भरी समस्या है। अधिकांश वर्तमान तरीके केवल मशीन के गणित को देखते हैं। वे कहते हैं, "यदि आप विशेषता X को बदलते हैं, तो मशीन का स्कोर बढ़ जाएगा।" उन्हें इस बात की परवाह नहीं है कि वह बदलाव वास्तव में आपको एक बेहतर उधारकर्ता या अधिक योग्य कर्मचारी बनाता है या नहीं। आप सिस्टम को "गेम" कर सकते हैं। कल्पना कीजिए कि आप अपने क्रेडिट स्कोर नंबर को बढ़ाने के लिए दस फर्जी क्रेडिट कार्ड खाते खोलते हैं। मशीन उच्च नंबर देखती है और कहती "हाँ!" लेकिन आप वास्तव में अधिक आर्थिक रूप योग्य नहीं हुए हैं; आपने बस कैलकुलेटर को धोखा दिया है।

जब लोग ऐसा करना शुरू करते हैं, तो मशीन भ्रमित हो जाती है। वह उच्च स्कोर वाले बहुत से लोगों को देखती है जो बिल नहीं भर पा रहे हैं। मशीन की भविष्यवाणियाँ बेकार हो जाती हैं। फिर, बैंक को नए नियमों के साथ मशीन को फिर से प्रशिक्षित (retrain) करना पड़ता है। लेकिन अब, पुरानी सलाह ("नकली कार्ड खोलें") काम नहीं करती। लक्ष्य बदल गए हैं, और सलाह टूट गई है। यह एक दुष्चक्र है जहाँ समाधान समस्या को और बदतर बना देता है।

कॉज़ल कंपास (Causal Compass)

यह शोध पत्र कॉज़ैलिटी (causality - कार्य-कारण संबंध) का उपयोग करके इस समस्या के बारे में सोचने का एक नया तरीका पेश करता है। केवल नंबरों को देखने के बजाय, लेखक पूछते हैं: "वास्तव में क्या परिणाम का कारण बनता है?"

अपने फीचर्स (जैसे आय, ऋण, शिक्षा) को पाइपों के एक नेटवर्क के रूप में सोचें। यदि आप एक पाइप में पानी डालते हैं (एक हस्तक्षेप/intervention), तो यह नेटवर्क में बहता है और अन्य पाइपों में पानी के स्तर को बदल देता है।

  • पुराना तरीका: "यदि आप पाइप A में पानी बढ़ाते हैं, तो मशीन सोचती है कि टैंक भर गया है।" यह इस बात को अनदेखा करता है कि पाइप A शायद पाइप B में लीक हो रहा है, जो वास्तव में महत्वपूर्ण है।
  • नया तरीका (कॉज़ल): "यदि आप पाइप A में पानी डालते हैं, तो यह पाइपों के माध्यम से बहता है और वास्तव में टैंक को भर देता है।"

लेखक एक मॉडल बनाते हैं जहाँ वे इन पाइपों का मानचित्र बनाते हैं (एक "स्ट्रक्चरल कॉज़ल मॉडल")। वे समझते हैं कि एक चीज़ को बदलना (जैसे नौकरी पाना) स्वाभाविक रूप से दूसरी चीज़ में बदलाव (जैसे बचत होना) ला सकता है। वे इस मानचित्र का उपयोग यह पता लगाने के लिए करते हैं कि कौन से कार्य वास्तव में एक व्यक्ति की वास्तविक योग्यताओं में सुधार करेंगे, न कि केवल उनके स्कोर में।

एल्गोरिदम का नृत्य

यहीं पर मामला जटिल हो जाता है। यह शोध पत्र पूरी स्थिति को लर्नर (Learner) (मॉडल बनाने वाला बैंक) और एजेंट्स (Agents) (लोन के लिए आवेदन करने वाले लोग) के बीच एक नृत्य के रूप में देखता है।

  1. लर्नर एक नियम निर्धारित करता है।
  2. एजेंट अपने फीचर्स बदलने की कोशिश करते हैं ताकि नियम पास हो सके।
  3. कॉज़ल लिंक्स के कारण, उनके बदलाव पूरे डेटा परिदृश्य (landscape) को बदल देते हैं।
  4. लर्नर इस नए परिदृश्य को देखता है और नियम को अपडेट करना होता है।

लेखक दिखाते हैं कि यदि आप कॉज़ल लिंक्स को अनदेखा करते हैं, तो यह नृत्य एक गड़बड़ी बन जाता है। गणित "नॉन-कॉन्वेक्स" (non-convex) हो जाता है, जो एक फैंसी तरीका है यह कहने का कि समाधान का रास्ता ऊबड़-खाबड़ और बंद रास्तों से भरा है, और मानक गणितीय उपकरण रास्ता नहीं खोज सकते। यह एक ऐसी घाटी के निचले हिस्से को खोजने जैसा है जो लगातार हिल रही है और अपना आकार बदल रही है।

हालाँकि, यह शोध पत्र सिद्ध करता है कि यदि आप कॉusal संरचना (causal structure) को ध्यान में रखते हैं, तो आप एक स्थिर समाधान (stable solution) पा सकते हैं। यह वह बिंदु है जहाँ लर्नर के नियम और एजेंटों के कार्य एक लय में स्थिर हो जाते हैं। एजेंट वास्तविक सुधार करते हैं, लर्नर का मॉडल सटीक रहता है, और कोई भी सिस्टम को धोखा नहीं दे रहा होता है।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने विचारों का परीक्षण दो प्रकार के डेटा का उपयोग करके किया:

  1. एक काल्पनिक दुनिया: उन्होंने 7 अलग-अलग फीचर्स (जैसे आयु, शिक्षा, आय) वाला एक नकली लोन डेटासेट बनाया और यह प्रोग्राम किया कि वे एक-दूसरे को कैसे प्रभावित करते हैं।
  2. वास्तविक दुनिया का डेटा: उन्होंने ताइवान के 30,000 क्रेडिट कार्ड ग्राहकों का एक वास्तविक डेटासेट उपयोग किया।

उन्होंने स्थिर समाधान खोजने के लिए दो मुख्य रणनीतियों का उपयोग किया:

  • रिपीटेड रिस्क मिनिमाइजेशन (RRM): एक शिक्षक की तरह जो टेस्ट लेता है, ग्रेड देता है, लेसन प्लान को एडजस्ट करता है, फिर से टेस्ट लेता है, और तब तक दोहराता है जब तक क्लास और शिक्षक सहमत न हो जाएं।
  • रिपीटेड ग्रेडिएंट डिसेंट (RGD): उसी प्रक्रिया का एक थोड़ा तेज़, स्टेप-बाय-स्टेप संस्करण।

परिणाम:

  • अभिसरण (Convergence): अपने सिमुलेशन में, इन तरीकों ने सफलतापूर्वक एक स्थिर बिंदु खोजा जहाँ मॉडल बेतहाशा बदलना बंद हो गया। गणित ने दिखाया कि जब तक "गेमिंग" बहुत अधिक मजबूत नहीं थी (जिसे κ\kappa नामक पैरामीटर द्वारा नियंत्रित किया जाता है), सिस्टम स्थिर हो जाएगा।
  • नाइव (Naive) दृष्टिकोण को हराना: जब उन्होंने अपने कॉज़ल तरीके की तुलना "नाइव" तरीके (जो कॉज़ैलिटी को अनदेखा करता है और केवल स्कोर को देखता है) से की, तो कॉज़ल तरीका बहुत बेहतर था। जैसे-जैसे एजेंटों ने सिस्टम को गेम करने की कोशिश की, नाइव तरीका बदतर होता गया, जबकि कॉज़ल तरीका मॉडल को सटीक बनाए रखता था।
  • बदलाव की लागत: उन्होंने विभिन्न फीचर्स को बदलने में कितनी लागत आती है, इस पर भी गौर किया। यदि "अपस्ट्रीम" फीचर्स (जैसे डिग्री प्राप्त करना) को बदलना सस्ता है, तो एजेंट वही करते हैं। यदि "डाउनस्ट्रीम" फीचर्स (जैसे पैसा बचाना) को बदलना सस्ता है, तो वे वही करते हैं। कॉज़ल मॉडल ने सही ढंग से भविष्यवाणी की कि कैसे ये लागतें अंतिम परिणाम को बदलने के लिए सिस्टम में लहरें पैदा करेंगी।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने दुनिया की हर समस्या को हल कर दिया है। यह गणित और कंप्यूटर सिमुलेशन के माध्यम से दिखाता है कि चीजें वास्तव में एक-दूसरे का कारण कैसे बनती हैं, इसे अनदेखा करने से टूटी हुई सलाह मिलती है। जब हम लोगों को उनके जीवन को बेहतर बनाने के लिए एक चेकलिस्ट देते हैं, तो हमें यह सुनिश्चित करना चाहिए कि वह चेकलिस्ट वास्तव में उनके जीवन को बेहतर बनाए, न कि केवल स्क्रीन पर उनके स्कोर को।

एक "कॉज़ल मैप" का उपयोग करके, हम ऐसे सिस्टम डिज़ाइन कर सकते हैं जहाँ किसी व्यक्ति को दी गई सलाह वास्तविक, स्थायी सुधार की ओर ले जाए। यह लोगों को सिस्टम को धोखा देने से रोकता है और मशीन की भविष्यवाणियों को ईमानदार बनाए रखता है। यह "गेम ऑफ गोटा" (पकड़ने के खेल) को एक साझेदारी में बदल देता है जहाँ हर कोई जीतता है: व्यक्ति को निष्पक्ष अवसर मिलता है, और बैंक को एक विश्वसनीय ग्राहक मिलता है। लेखक सुझाव देते हैं कि "बदलते लक्ष्यों" की समस्या को रोकने और AI निर्णयों को निष्पक्ष और प्रभावी बनाने के लिए यह दृष्टिकोण एक आवश्यक कदम है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →