🤖 AI

RecourseBench: A Modular Framework for Reproducible Algorithmic Recourse Evaluation

यह शोधपत्र RecourseBench को प्रस्तुत करता है, जो एक मॉड्यूलर और संवादात्मक मूल्यांकन ढांचा है जो पाइपलाइन को पांच परतों में विभाजित करके, 28 अत्याधुनिक विधियों को एकीकृत करके, और एक स्वचालित चार-स्तरीय सत्यापन प्रणाली के माध्यम से विधि-स्तरीय पुनरुत्पादकता (reproducibility) को लागू करके एल्गोरिद्मिक रिकोर्स (algorithmic recourse) में पुनरुत्पादकता की कमी को संबोधित करता है।

मूल लेखक: Zahra Khotanlou, Hashir Ahmed, Chenghao Tan, Ahmed Abdelaal, Amir-Hossein Karimi

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zahra Khotanlou, Hashir Ahmed, Chenghao Tan, Ahmed Abdelaal, Amir-Hossein Karimi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ऋण (loan) के लिए आवेदन कर रहे हैं, और एक कंप्यूटर एल्गोरिदम कहता है "नहीं।" आप पूछते हैं, "क्यों?" और सिस्टम जवाब देता है, "क्योंकि आपका क्रेडिट स्कोर बहुत कम है।" यह मददगार तो है, लेकिन यह आपको यह नहीं बताता कि क्या करना है।

एल्गोरिदमिक रिकोर्स (Algorithmic Recourse) एक व्यक्तिगत कोच की तरह है जो बीच में आकर कहता है, "ठीक है, यदि आप $500 का कर्ज चुका देते हैं और अपनी आय$ 200 बढ़ा देते हैं, तो कंप्यूटर 'हाँ' कहेगा।" यह आपको परिणाम बदलने के लिए एक विशिष्ट रेसिपी देता है।

हालाँकि, वहाँ दर्जनों अलग-अलग "कोच" (एल्गोरिदम) मौजूद हैं, जिनमें से प्रत्येक सर्वश्रेष्ठ होने का दावा करता है। समस्या यह है कि वे सभी अलग-अलग भाषाएँ बोलते हैं, अलग-अलग नियम पुस्तिकाएँ उपयोग करते हैं, और यह बताना कठिन है कि वे वास्तव में सच बोल रहे हैं या बस मनगढ़ंत बातें बना रहे हैं।

यह शोध पत्र RecourseBench पेश करता है, जो एक नया "परीक्षण मैदान" (testing ground) है जिसे इस अव्यवस्था को ठीक करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग यहाँ दिया गया है:

1. समस्या: एक अस्त-व्यस्त रसोई (A Messy Kitchen)

एक ऐसी रसोई की कल्पना करें जहाँ हर शेफ (शोधकर्ता) अपना खुद का चूल्हा बनाता है, अपने स्वयं के मापने वाले कपों का उपयोग करता है, और अपने स्वयं के शेड्यूल पर खाना पकाता है। यदि आप शेफ A के सूप की तुलना शेफ B के सूप से करना चाहते हैं, तो आप नहीं कर सकते, क्योंकि वे एक ही रसोई में खाना नहीं बना रहे हैं।

समस्या: मौजूदा उपकरण जो इन "कोचों" का परीक्षण करते हैं, वे या तो बहुत कठोर हैं (आप नई रेसिपी नहीं जोड़ सकते) या बहुत अस्त-व्यस्त हैं (आप यह साबित नहीं कर सकते कि परिणाम वास्तविक हैं)।
अंतराल (Gap): कोई भी ऐसा सिस्टम नहीं है जो हर शेफ को यह साबित करने के लिए मजबूर करे कि वे वास्तव में वही व्यंजन पका सकते हैं जिसका उन्होंने अपनी मूल रेसिपी बुक में दावा किया था।

2. समाधान: मॉड्यूलर "लेगो" रसोई (The Modular "Lego" Kitchen)

लेखकों ने RecourseBench बनाया है, जो पूरी तरह से लेगो ब्रिक्स (Lego bricks) से बनी रसोई की तरह है।

मॉड्यूलरिटी (Modularity): रसोई को पाँच अलग-अलग, हटाने योग्य स्टेशनों में विभाजित किया गया है:
1. डेटा स्टेशन: जहाँ सामग्री (ग्राहक की जानकारी) रखी जाती है।
2. प्रेप स्टेशन: जहाँ सामग्री को धोया और काटा जाता है।
3. मॉडल स्टेशन: "जज" (वह एल्गोरिदम जो निर्णय लेता है)।
4. कोच स्टेशन: "रिकोर्स मेथड" (जो सुधार खोजने की कोशिश करता है)।
5. स्कोर स्टेशन: जहाँ परिणामों को मापा जाता है।
यह क्यों मायने रखता है: क्योंकि ये स्टेशन अलग-अलग हैं, आप "जज" या "सामग्री" को तोड़े बिना "कोच" को बदल सकते हैं। आप एक नया कोच प्लग इन कर सकते हैं, और सिस्टम बस काम करता रहेगा।

3. "सत्य की परीक्षा": चार-स्तरीय बैज प्रणाली (The "Truth Test": The Four-Tier Badge System)

यह शोध पत्र का सबसे बड़ा नवाचार है। अतीत में, शोधकर्ता कहते थे, "मेरी विधि काम करती है!" लेकिन कोई भी यह जांच नहीं सकता था कि वे झूठ बोल रहे हैं या वे केवल भाग्यशाली थे।

RecourseBench एक पुनरुत्पादकता प्रोटोकॉल (Reproducibility Protocol) पेश करता है। यह एक सख्त खाद्य सुरक्षा निरीक्षक की तरह है जो हर शेफ की उनकी मूल रेसिपी बुक के विरुद्ध जाँच करता है।

परीक्षण: सिस्टम कोच के कोड को चलाता है और परिणामों की तुलना उस दावे से करता है जो कोच ने मूल रूप से अपने पेपर में किया था।
बैज (Badges): कितने परिणाम मेल खाते हैं, इसके आधार पर कोच को एक बैज मिलता है:
- स्तर 0 (कोई बैज नहीं): कोच अपने किसी भी मूल दावे को पुनरुत्पादित (reproduce) नहीं कर सका। (वे या तो झूठ बोल रहे हैं या उनका कोड टूटा हुआ है)।
- स्तर 1 (न्यूनतम बैज): उन्होंने केवल एक दावा पुनरुत्पादित किया।
- स्तर 2 (आंशिक बैज): उन्होंने कुछ को पुनरुत्पादित किया, लेकिन सभी को नहीं।
- स्तर 3 (गोल्ड बैज): उन्होंने सब कुछ पूरी तरह से पुनरुत्पादित किया।
परिणाम: शोध में पाया गया कि कई लोकप्रिय विधियाँ केवल स्तर 0 या 1 ही प्राप्त करती हैं। इसका मतलब यह नहीं है कि वे विधियाँ बेकार हैं, बल्कि इसका मतलब यह है कि हम उनके मूल आंकड़ों पर पूरी तरह से भरोसा नहीं कर सकते जब तक कि वे इस परीक्षण को पास न कर लें।

4. स्कोरबोर्ड: एक अनुकूलन योग्य डैशबोर्ड (The Scoreboard: A Customizable Dashboard)

एक बार कोचों का परीक्षण हो जाने के बाद, परिणाम एक विशाल, इंटरैक्टिव स्कोरबोर्ड (एक वेबसाइट) पर जाते हैं।

अनुकूलन (Customization): आप स्कोरबोर्ड को बता सकते हैं, "मुझे केवल गति (speed) की परवाह है," या "मुझे केवल इस बात की परवाह है कि सलाह कितनी वास्तविक है।"
लीडरबोर्ड: सिस्टम आपके नियमों के आधार पर तुरंत कोचों को रैंक करता है। यह उन कोचों को फ़िल्टर कर देता है जो आपके विशिष्ट "जज" (मॉडल) या "सामग्री" (डेटा) के साथ काम नहीं कर सकते।

सारांश: उन्होंने क्या किया

एक ढांचा बनाया: उन्होंने एक एकीकृत प्रणाली (RecourseBench) बनाई जो 28 अलग-अलग "कोचों" (रिकोर्स विधियों) को जोड़ती है।
ईमानदारी लागू की: वे पहले हैं जो स्वचालित रूप से परीक्षण करते हैं कि क्या ये विधियाँ वास्तव में अपने मूल परिणामों को पुनरुत्पादित कर सकती हैं।
इसे उपयोगकर्ता के अनुकूल बनाया: उन्होंने एक वेबसाइट बनाई जहाँ कोई भी कोडिंग विशेषज्ञ बने बिना विभिन्न डेटा, मॉडल और कोचों को मिला सकता है और देख सकता है कि कौन जीतता है।

संक्षेप में: RecourseBench एक मानकीकृत, लेगो-जैसे परीक्षण प्रयोगशाला है जो AI "कोचों" को यह साबित करने के लिए मजबूर करती है कि वे वास्तव में वह कर सकते हैं जिसका वे दावा करते हैं, और फिर आपको एक स्पष्ट, अनुकूलन योग्य स्कोरबोर्ड देता है ताकि आप देख सकें कि आपकी विशिष्ट आवश्यकताओं के लिए कौन सा सर्वश्रेष्ठ है।

तकनीकी सारांश: RecourseBench

समस्या विवरण

एल्गोरिद्मिक रिकोर्स (Algorithmic Recourse) के क्षेत्र में तीव्र पद्धतिगत वृद्धि देखी गई है, जो स्वास्थ्य सेवा और वित्त जैसे उच्च-जोखिम वाले डोमेन में प्रतिकूल मॉडल निर्णयों को पलटने में मदद करने के लिए काउंटरफैक्चुअल स्पष्टीकरण (counterfactual explanations) प्रदान करता है। हालाँकि, समुदाय के पास इन विधियों की तुलना करने के लिए एक सिद्धांत आधारित तंत्र का अभाव है। मौजूदा मूल्यांकन ढांचे तीन प्राथमिक कमियों से ग्रस्त हैं:

मॉड्यूलरिटी और इंटरऑपरेबिलिटी का अभाव: पूर्ववर्ती उपकरण (जैसे, Alibi, RobustX) अक्सर रिकोर्स को एक उप-विशेषता के रूप में देखते हैं या कसकर जुड़े हुए आर्किटेक्चर (जैसे, CARLA) या विशिष्ट हार्डवेयर इकोसिस्टम (जैसे, ReLax/JAX) पर निर्भर करते हैं, जिससे नए तरीकों, डेटासेट्स, या मूल्यांकन मेट्रिक्स को बिना बड़े रिफैक्टरिंग के एकीकृत करना कठिन हो जाता है।
पुनरुत्पादकता अंतराल (The Reproducibility Gap): जबकि कई विधियाँ प्रकाशित की जाती हैं, वहां कोई व्यवस्थित सत्यापन नहीं है कि उनके कार्यान्वयन मूल रूप से रिपोर्ट किए गए परिणामों को निष्ठापूर्वक पुनरुत्पादित करते हैं। लापता हाइपरपैरामीटर्स, अनदस्तावेजीकृत कॉन्फ़िगरेशन और कम्प्यूटेशनल बाधाओं जैसे कारक स्वतंत्र सत्यापन को अक्सर असंभव बना देते हैं।
संदर्भ-निर्भर मूल्यांकन: रिकोर्स विधियाँ परस्पर विरोधी उद्देश्यों (समीपता, विरलता, मजबूती, व्यवहार्यता) के लिए अनुकूलन करती हैं, और मूल्यांकन मानदंड संदर्भ के अनुसार भिन्न होते हैं (जैसे, डेटा शिफ्ट बनाम मॉडल मल्टीप्लिसिटी)। वर्तमान बेंचमार्क विकसित होते मेट्रिक्स को निरंतर प्रयोगात्मक स्थितियों को बनाए रखते हुए समायोजित करने की लचीलापन की कमी रखते हैं।

कार्यप्रणाली और ढांचा डिजाइन

लेखक RecourseBench पेश करते हैं, जो तीन मुख्य प्रतिबद्धताओं पर निर्मित एक एकीकृत मूल्यांकन ढांचा है: मॉड्यूलरिटी, पुनरुत्पादकता और इंटरैक्टिविटी।

1. मॉड्यूलर आर्किटेक्चर

यह ढांचा बेंचमार्किंग पाइपलाइन को पांच पूरी तरह से अलग परतों में विभाजित करता है, जो एब्स्ट्रैक्ट इंटरफेस और एक डायनेमिक रजिस्ट्री द्वारा नियंत्रित होती हैं:

डेटा (Data): कच्चे डेटासेट्स, ट्रेन/टेस्ट स्प्लिट्स और तथ्यात्मक सेटों को संभालता है।
प्रीप्रोसेसिंग (Preprocessing): फीचर ट्रांसफॉर्मेशन और नॉर्मलाइजेशन का प्रबंधन करता है।
मॉडल (Model): लक्षित प्रेडिक्टिव मॉडल्स (जैसे, PyTorch, Scikit-learn) का समर्थन करता है।
रिकोर्स मेथड (Recourse Method): वह मुख्य मॉड्यूल जहाँ विशिष्ट एल्गोरिदम लागू किए जाते हैं।
मूल्यांकन (Evaluation): प्रदर्शन मेट्रिक्स की गणना करता है।

डेटा DatasetObject कंटेनरों के माध्यम से इन परतों के बीच प्रवाहित होता है, जो स्व-निहित डेटा ट्रांसफर सुनिश्चित करता है और एब्स्ट्रैक्शन लीक को रोकता है। सिस्टम सख्त विशेषाधिकार नियंत्रण (जैसे, मॉडल्स के लिए रीड-ओनली एक्सेस) लागू करता है ताकि अनपेक्षित साइड इफेक्ट्स को रोका जा सके और एक केंद्रीकृत YAML-संचालित वर्कफ़्लो के माध्यम से प्रयोगात्मक अखंडता सुनिश्चित की जा सके।

2. पुनरुत्पादकता प्रोटोकॉल

पूर्ववर्ती बेंचमार्क में सत्यापन की कमी को दूर करने के लिए, RecourseBench मात्रात्मक परीक्षण पर आधारित एक चार-स्तरीय वर्गीकरण प्रणाली पेश करता है:

मेट्रिक परिभाषा: एक परिणाम को (डेटासेट, मॉडल, मेट्रिक) टुपल के रूप में परिभाषित किया गया है। ढांचा मूल पेपर के रिपोर्ट किए गए मान ( $m$ ) और ढांचे के कार्यान्वयन ( $\hat{m}$ ) के बीच सममित सापेक्ष त्रुटि ( $\Delta$ ) की गणना करता है।
थ्रेशोल्ड (Threshold): एक परिणाम तब पुनरुत्पादित माना जाता है यदि $\Delta \leq 0.35$ (35% सापेक्ष विचलन) हो।
वर्गीकरण स्तर:
- लेवल 0: कोई परिणाम पुनरुत्पादित नहीं।
- लेवल 1: न्यूनतम पुनरुत्पादन (1 परिणाम)।
- लेवल 2: आंशिक पुनरुत्पादन (कुछ, लेकिन सभी नहीं, परिणाम)।
- लेवल 3: पूर्ण पुनरुत्पादन (सभी रिपोर्ट किए गए परिणाम)।
स्वचालन: एक स्वचालित टेस्ट सुइट प्रत्येक एकीकृत विधि को उसके मूल विनिर्देशों के विरुद्ध मान्य करता है। केवल वे विधियाँ जो लेवल 1 या उससे ऊपर प्राप्त करती हैं, उन्हें मुख्य बेंचमार्क मूल्यांकनों में शामिल किया जाता है।

3. मूल्यांकन मेट्रिक्स

यह ढांचा प्रतिकूल उदाहरणों के एक होल्ड-आउट टेस्ट सेट का उपयोग करके पांच आयामों में विधियों का मूल्यांकन करता है:

वैधता (Validity): वांछित क्लास प्राप्त करने की सफलता दर।
समीपता (Proximity): तथ्यात्मक और काउंटरफैक्चुअल उदाहरणों के बीच औसत यूक्लिडियन दूरी ( $\ell_2$ )।
विरलता (Sparsity): संशोधित फीचर्स की औसत संख्या ( $\ell_0$ )।
प्लाउज़िबिलिटी (Plausibility): ट्रेनिंग सेट में $Y$ -निकटतम पड़ोसियों ( $Y$ -NN) से औसत दूरी।
रनटाइम (Runtime): कुल जनरेशन समय।

स्कोर को [0, 1] स्केल पर सामान्यीकृत किया जाता है ( "लोअर-इस-बेटर" मेट्रिक्स के लिए नेगेटिव एक्सपोनेंशियल ट्रांसफॉर्मेशन का उपयोग करते हुए) और एक उपयोगकर्ता-परिभाषित वेटेड एवरेज के माध्यम से एकत्रित किया जाता है, जिससे अभ्यासकर्ताओं को विशिष्ट आयामों (जैसे, गति बनाम गुणवत्ता) को प्राथमिकता देने की अनुमति मिलती है।

4. इंटरैक्टिव इंटरफेस

एक वेब-आधारित इंटरफेस उपयोगकर्ताओं को डेटासेट्स, मॉडल आर्किटेक्चर और विशिष्ट रिकोर्स विधियों का चयन करके प्रयोगों को कॉन्फ़िगर करने की अनुमति देता है। सिस्टम स्वचालित रूप से असंगत संयोजनों को फ़िल्टर करता है और चयनित मेट्रिक एग्रीगेशन रणनीति के आधार पर एक रैंक किया गया लीडरबोर्ड प्रस्तुत करता है।

प्रमुख योगदान

एकीकृत मॉड्यूलर ढांचा: Recourse-Bench पहला ढांचा है जो डेटा, प्रीप्रोसेसिंग, मॉडल, मेथड और मूल्यांकन को सख्ती से अलग करता है, जिससे मौजूदा कोड को बदले बिना नए घटकों का निर्बाध एकीकरण संभव होता है।
लागू पुनरुत्पादकता: यह मूल शोध पत्रों के विरुद्ध स्वचालित, मात्रात्मक परीक्षण के माध्यम से विधि-स्तर की पुनरुत्पादकता को स्पष्ट रूप से लागू करने वाला पहला रिकोर्स बेंचमार्क है, जो विधियों को उनके रिपोर्ट किए गए परिणामों की निष्ठा के आधार पर वर्गीकृत करता है।
व्यापक एकीकरण: ढांचा वर्तमान में छह श्रेणियों में फैले 28 अत्याधुनिक रिकोर्स मेथड्स को एकीकृत करता है: कंस्ट्रेंट और लॉजिक-बेस्ड, ग्रेडिएंट-बेस्ड, रिप्रेजेंटेशन लर्निंग, सरोगेट-असिस्टेड, डेरिवेटिव-फ्री/ह्यूरिस्टिक, और इंस्टेंस-बेस्ड सर्च।
इंटरैक्टिव बेंचमार्किंग: यह मल्टी-मेट्रिक तुलना के लिए एक कॉन्फ़िगर करने योग्य इंटरफेस प्रदान करता है, जिससे उपयोगकर्ताओं को विशिष्ट अनुप्रयोग बाधाओं के अनुरूप कस्टम लीडरबोर्ड बनाने की अनुमति मिलती है।

परिणाम और अनुभवजन्य परिदृश्य

लेखकों ने 3 डेटासेट्स और 3 मॉडल प्रकारों में 22 विधियों (वे जो लेवल 1 या उससे ऊपर प्राप्त करती हैं) का मूल्यांकन किया, जिसके परिणामस्वरूप 137 संगत कॉन्फ़िगरेशन प्राप्त हुए।

पुनरुत्पादकता निष्कर्ष: पुनरुत्पादकता स्तरों (लेवल 0 से 3) का वितरण क्षेत्र में एक संरचनात्मक बुनियादी ढांचे के अंतर को प्रकट करता है। कई विधियाँ लापता आर्टिफ़ेक्ट्स (कोड, हाइपरपैरामीटर्स) या कम्प्यूटेशनल बाधाओं (जैसे, प्रति कॉन्फ़िगरेशन >70 घंटे की आवश्यकता वाला MACE) से ग्रस्त हैं जो निष्ठापूर्ण पुनरुत्पादन को रोकते हैं।
लेवल 1 का महत्व: लेवल 0 (कोई पुनरुत्पादन नहीं) से लेवल 1 (न्यूनतम पुनरुत्पादन) तक का संक्रमण सबसे महत्वपूर्ण एपिस्टेमिक छलांग के रूप में पहचाना गया है, जो शून्य सत्यापन योग्य साक्ष्य से कम से कम एक मेट्रिक के स्वतंत्र सत्यापन की ओर बढ़ता है।
बेंचमार्क उपयोगिता: ढांचा सफलतापूर्वक प्रदर्शित करता है कि विभिन्न उद्देश्यों (जैसे, विरलता बनाम समीपता) के लिए अनुकूलित विधियाँ उपयोगकर्ता के मेट्रिक वेटिंग के आधार पर अलग-अलग रैंकिंग देती हैं, जो संदर्भ-जागरूक मूल्यांकन की आवश्यकता को रेखांकित करती है।

महत्व और दावे

यह पेपर RecourseBench को केवल मौजूदा साहित्य के पूर्ण पुनरुत्पादन के रूप में नहीं, बल्कि पुनरुत्पादकता के परिचालन (operationalization of reproducibility) के रूप में स्थापित करता है। पुनरुत्पादकता को एक निहित अपेक्षा से एक मानकीकृत, मापने योग्य गुण में बदलकर, इस ढांचे का लक्ष्य है:

तुलनात्मक मूल्यांकन के लिए एक विश्वसनीय आधार प्रदान करना जहाँ घटक विधियों की निष्ठा स्थापित हो चुकी हो।
पूर्व कार्य के पुनरुत्पादन और नए दृष्टिकोणों के विकास दोनों के लिए बाधाओं को कम करना।
अभ्यासकर्ताओं को वास्तविक दुनिया के परिनियोजन (deployment) बाधाओं के अनुरूप विधियों का चयन करने के लिए एक साझा संदर्भ के रूप में कार्य करना।

लेखक स्वीकार करते हैं कि कुछ पुनरुत्पादकता चुनौतियां साहित्य में दस्तावेज़ीकरण के अंतराल से उत्पन्न होती हैं और वर्तमान ढांचा व्यावहारिक व्यवहार्यता और कठोरता (जैसे, 35% टॉलरेंस थ्रेशोल्ड और रन-लेवल वेरिएंस एग्रीगेशन की कमी) के बीच संतुलन बनाता है। भविष्य के कार्यों को इन डिज़ाइन विकल्पों को संबोधित करने और मेथड रजिस्ट्री का विस्तार करने के लिए आमंत्रित किया गया है।