🤖 machine learning

Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness

यह शोध पत्र एक आंशिक-पहचान (partial-identification) विधि का प्रस्ताव करता है जो अपडेट किए गए मशीन लर्निंग मॉडलों के कारण प्रभाव (causal impact) पर सीमाएँ (bounds) निर्मित करने के लिए पूर्व रैंडमाइज्ड कंट्रोल ट्रायल डेटा और काउंटरफैक्चुअल शुद्धता एवं उपसमूह विश्वास (subgroup trust) के संबंध में एकोन्मुखता (monotonicity) धारणाओं का लाभ उठाता है, जो प्रत्येक मॉडल पुनरावृत्ति (iteration) के लिए बार-बार परीक्षण करने की अव्यावहारिकता को संबोधित करता है।

मूल लेखक: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

प्रकाशित 2026-07-27

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jonathan Zhang, Erik Skalnes, Jacob Chen, Michael Oberst

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

क्रिस्टल बॉल और क्रिस्टल बॉल टेस्टर

कल्पना कीजिए कि आप एक डॉक्टर, एक न्यायाधीश, या एक शिक्षक हैं। आपके पास एक शक्तिशाली नया उपकरण है: एक आर्टिफिशियल इंटेलिजेंस (AI) जो भविष्य की भविष्यवाणी करता है। यह अनुमान लगा सकता है कि किसी मरीज को कोई बीमारी है या नहीं, किसी प्रतिवादी अपराध दोबारा करेगा या नहीं, या कोई छात्र कक्षा में फेल होगा या नहीं। लेकिन यहाँ पेचीदा बात यह है: सिर्फ इसलिए कि AI भविष्य का अनुमान लगाने में अच्छा है, इसका मतलब यह नहीं है कि वह भविष्य को बेहतर बनाने के लिए बदलने में भी अच्छा है। हो सकता है कि AI सही हो, लेकिन डॉक्टर घबरा जाए और अनावश्यक उपचार दे दे। हो सकता है कि AI गलत हो, और जज किसी निर्दczeक व्यक्ति को जेल में डाल दे।

यह पता लगाने के लिए कि क्या ये AI उपकरण वास्तव में लोगों की मदद करते हैं, वैज्ञानिक आमतौर पर एक "रैंडमाइज्ड कंट्रोल ट्रायल" (RCT) चलाते हैं। इसे एक 'टेस्ट ऑफ फ्लेवर' (स्वाद परीक्षण) की तरह समझें। आप लोगों के एक समूह को दो हिस्सों में बांटते हैं: एक आधा हिस्सा AI की सलाह लेता है, और दूसरा हिस्सा अपने दम पर निर्णय लेता है। फिर आप देखते हैं कि किसके परिणाम बेहतर रहे। लेकिन इसमें एक पेंच है। AI मॉडल लगातार अपडेट होते रहते हैं, जैसे आपके फोन पर सॉफ्टवेयर। यदि आप मॉडल को और स्मार्ट बनाने के लिए उसे अपडेट करते हैं, तो आप हर बार एक नया, महंगा टेस्ट नहीं कर सकते। इसलिए, वैज्ञानिक एक पहेली में फंस जाते हैं: हमारे पास पुराने AI के परिणाम हैं, और हम जानते हैं कि नया AI बेहतर अनुमान लगाता है। लेकिन हम यह कैसे जान सकते हैं कि नया AI बिना एक नया प्रयोग शुरू किए वास्तव में जीवन बचाएगा या न्याय में सुधार करेगा? यह शोध पत्र ठीक इसी समस्या को हल करता है, और हमारे पास पहले से मौजूद डेटा का उपयोग करके एक नए AI के प्रभाव का अनुमान लगाने का एक तरीका प्रदान करता है, बिना शून्य से शुरुआत किए।

"क्या होगा अगर" वाला जासूसी काम

इस अध्ययन में, शोधकर्ता जासूसों की तरह काम कर रहे हैं जो अतीत के अपराध स्थल के सुरागों का उपयोग करके एक रहस्य सुलझाने की कोशिश कर रहे हैं। वे एक विशिष्ट प्रकार के AI को देख रहे हैं जो मनुष्यों को उच्च-जोखिम वाले निर्णय लेने में मदद करता है। मुख्य विचार "काउंटरफैक्टुअल्स" (counterfactuals) का उपयोग करना है—जो "क्या होगा अगर" वाले परिदृश्यों के लिए एक फैंसी शब्द है। वे पूछते हैं: "यदि हमने पुराने प्रयोग के लोगों पर इस नए, अधिक स्मार्ट AI का उपयोग किया होता, तो क्या होता?"

लेखक एक उत्तर के चारों ओर एक "सुरक्षा जाल" (safety net) खींचने के लिए एक चतुर नई विधि प्रस्तावित करते हैं। नए AI के प्रदर्शन के बारे में एक एकल, जोखिम भरी भविष्यवाणी देने के बजाय, वे एक सीमा (range) की गणना करते—एक निचला और एक ऊपरी स्तर (bound)। इसे मौसम की भविष्यवाणी करने जैसा समझें। यह कहने के बजाय कि, "दोपहर 2:00 बजे निश्चित रूप से बारिश होगी," वे कहते हैं, "बारिश दोपहर 1:30 से 2:30 के बीच कहीं होगी।" लक्ष्य उस समय अंतराल को यथासंभव छोटा और सटीक बनाना है।

गुप्त सामग्री: सही होना मायने रखता है

उनके तरीके का जादू दो नए नियमों से आता है जिन्हें उन्होंने जासूस की नियम पुस्तिका में जोड़ा है।

नियम 1: "सही अनुमान" का बोनस
कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि AI कहता है, "उत्तर A है," और छात्र उस सलाह को मानता है, और यह साबित होता है कि A ही सही उत्तर था, तो छात्र को अच्छे ग्रेड मिलते हैं। शोधकर्ता मानते हैं कि यदि नया AI एक सही भविष्यवाणी करता है, तो परिणाम कम से कम उतना ही अच्छा होगा जितना कि यदि एक पुराने, कम सटीक AI ने एक गलत भविष्यवाणी की होती। यह कहने जैसा है कि, "यदि आप सही रास्ता चुनते हैं, तो आप गलत रास्ता चुनने की तुलना में बदतर स्थिति में नहीं पहुंचेंगे।" इसे "काउंटरफैक्टुअल करेक्टनेस" कहा जाता है।

नियम 2: सबसे स्मार्ट मार्गदर्शक पर भरोसा करना
दूसरा नियम भरोसे के बारे में है। यदि एक नया AI पुराने वाले की तुलना में आम तौर पर अधिक सटीक है, तो लोग (जैसे डॉक्टर या जज) उस पर अधिक भरोसा करेंगे। यदि AI कहता है "जाओ," और वह आमतौर पर सही होता है, तो लोग जाएंगे। यदि AI कहता है "रुको," और वह आमतौर पर सही होता है, तो लोग रुक जाएंगे। शोधकर्ता मानते हैं कि जब AI सही होता है, तो उच्च सटीकता बेहतर परिणामों की ओर ले जाती है। लेकिन जब AI गलत होता है, तो उच्च सटीकता (और इस प्रकार अधिक भरोसा) वास्तव में बुरे परिणामों की ओर ले जा सकती है क्योंकि लोग गलत सलाह का आँख मूंदकर पालन करते हैं।

"शाखाओं वाला मानचित्र" (The Branching Path Map)

इन नियमों को क्रियान्वित करने के लिए, लेखकों ने प्रयोग के प्रत्येक व्यक्ति के लिए अलग-अलग "शाखाओं" वाला एक मानचित्र बनाया। प्रत्येक व्यक्ति के लिए, वे जाँचते हैं:

क्या नए AI ने पुराने वाले के समान भविष्यवाणी की? यदि हाँ, तो वे देखते हैं कि प्रदर्शन में क्या बदलाव आया।
क्या नए AI की भविष्यवाणी सही थी? यदि नया AI सही उत्तर का अनुमान लगाता है (जो हमें पुराने डेटा से पता चल जाता है), तो वे अपने अनुमान को सटीक बनाने के लिए "सही अनुमान" वाले नियम का उपयोग करते हैं।
क्या भविष्यवाणी तटस्थ (neutral) थी? कभी-कभी AI कहता है, "मुझे नहीं पता, आप तय करें।" ऐसे मामलों में, परिणाम वही माना जाता है जो बिना किसी AI के होता।

इन शाखाओं को जोड़कर, वे नए AI के प्रभाव के लिए एक "सटीक" सीमा की गणना कर सकते हैं। उनके सिमुलेशन में, इस नए तरीके ने पुराने तरीकों की तुलना में बहुत संकीर्ण सीमा (narrower range) प्रदान की। उदाहरण के लिए, एक परीक्षण में, पुराना तरीका कहता था कि परिणाम 0.43 और 0.76 के बीच कहीं भी हो सकता है (0.33 का एक बड़ा अंतर)। नए तरीके ने इसे 0.43 और 0.76 तक सीमित कर दिया? रुकिए, डेटा को देखते हुए, नए तरीके ने पहले प्रयोग में 0.331 की चौड़ाई दी, जबकि पुराने तरीके की चौड़ाई 0.704 थी। एक अन्य मामले में, नए तरीके ने सीमा को 0.121 तक सिकोड़ दिया, जबकि पुराना तरीका अभी भी 0.362 पर अटका हुआ था।

सिमुलेशन: एक आभासी अदालत

अपने विचार का परीक्षण करने के लिए, लेखकों ने केवल कागज पर गणित नहीं किया; उन्होंने एक आभासी अदालत बनाई। उन्होंने वास्तविक डेटा का उपयोग किया जहाँ न्यायाधीशों को प्रतिवादियों के लिए जोखिम स्कोर दिए गए थे। उन्होंने एक परिदृश्य का अनुकरण किया जहाँ एक नया AI मॉडल पेश किया गया।

उन्होंने एक "ग्राउंड ट्रुथ" (ground truth) बनाया—एक गुप्त सूची कि वास्तव में कौन रिहा होने पर अदालत में उपस्थित नहीं होगा। यह कुछ ऐसा है जिसे हम वास्तविक जीवन में आमतौर पर नहीं जानते, लेकिन सिमुलेशन के लिए, वे इसे देख सकते थे। फिर उन्होंने गणना की:

प्रयोग 1 और 2: उन्होंने अधिक आक्रामक अलर्ट सिस्टम का परीक्षण किया (अधिक लोगों को फ्लैग करना)। पुराने तरीके ने बहुत विस्तृत, अनुपयोगी सीमाएं दीं। नए तरीके ने, "सही होने" के नियमों का उपयोग करते हुए, बहुत अधिक सटीक और सूचनात्मक सीमाएं दीं।
प्रयोग 3 और 4: उन्होंने परीक्षण किया कि क्या होता है यदि पहले कोई परीक्षण ही न हुआ हो, केवल ऐतिहासिक डेटा हो। फिर से, नए तरीके ने, विशेष रूप से जब नया AI रूढ़िवादी (कम लोगों को फ्लैग करना) था, अधिक सटीक सीमाएं प्रदान कीं।
प्रयोग 5: उन्होंने कुछ "सत्य" उत्तरों को छिपाकर अपने ही तरीके को तोड़ने की कोशिश की (लुप्त डेटा का अनुकरण किया)। इसके बावजूद, सीमाएं थोड़ी चौड़ी हुईं ( 0.140 से 0.204 तक), लेकिन वे अभी भी सही उत्तर को शामिल करती थीं, जो दर्शाता है कि यह तरीका मजबूत (robust) है।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने AI मूल्यांकन की समस्या को हमेशा के लिए हल कर दिया है। यह स्वीकार करता है कि यदि "सही होने" का अनुमान गलत है (उदाहरण के लिए, यदि एक डॉक्टर सही AI भविष्यवाणी को अनदेखा कर देता है), तो यह तरीका विफल हो सकता है। यह यह भी नोट करता है कि यदि कई लोगों के लिए "वास्तविक" परिणाम गायब है, तो सीमाएं ढीली (looser) हो जाती हैं।

हालाँकि, सिमुलेशन यह सुझाव देता है कि "सही होना गलत होने से बेहतर है" के सरल विचार का उपयोग करके, हम एक बहुत स्पष्ट तस्वीर प्राप्त कर सकते हैं कि नया AI कैसा प्रदर्शन करेगा। यह एक धुंधले, वाइड-एंगल लेंस से एक स्पष्ट, ज़ूम-इन लेंस में अपग्रेड करने जैसा है। हम अभी भी भविष्य को पूरी तरह से नहीं देख सकते, लेकिन हम इसे पहले की तुलना में बहुत अधिक सटीकता के साथ देख सकते हैं। लेखक दिखाते हैं कि इस तथ्य का लाभ उठाकर कि हम अक्सर बाद में "सही उत्तर" जानते हैं, हम अपने AI उपकरणों के भविष्य के प्रभाव के बारे में अधिक स्मार्ट अनुमान लगा सकते हैं, बिना अनंत नए प्रयोग किए।

तकनीकी सारांश: काउंटरफैक्चुअल करेक्टनेस (Counterfactual Correctness) के माध्यम से ML-सहायता प्राप्त निर्णय लेने के कारण प्रभाव को सीमित करना

समस्या विवरण (Problem Statement)

प्रेडिक्टिव मशीन लर्निंग (ML) मॉडल उच्च-जोखिम वाले क्षेत्रों (जैसे, स्वास्थ्य सेवा, आपराधिक न्याय) में मानव निर्णयकर्ताओं की सहायता के लिए तेजी से तैनात किए जा रहे हैं। जबकि रैंडमाइज्ड कंट्रोल ट्रायल्स (RCTs) विशिष्ट ML हस्तक्षेपों के कारण प्रभाव पर उच्च-गुणवत्ता वाले साक्ष्य प्रदान करते हैं, एक महत्वपूर्ण अंतराल मौजूद है: प्रत्येक मॉडल अपडेट या रिट्रेनिंग इटरेशन के लिए नए RCTs आयोजित करना अक्सर अव्यवहारिक होता है। फलस्वरूप, यदि एक प्रारंभिक RCT के बाद एक नया मॉडल विकसित किया जाता है जिसकी प्रेडिक्टिव सटीकता अधिक है, तो उसके डाउनस्ट्रीम परिणामों (जैसे, रोगी का जीवित रहना, पुनरावृत्ति/recidivism) पर प्रत्यक्ष कारण साक्ष्य उपलब्ध नहीं होते हैं।

पूर्व के कार्यों ने इसे आंशिक पहचान (partial identification) ढांचे के माध्यम से संबोधित करने का प्रयास किया है। उदाहरण के लिए, नेर्सियन एट अल. [2025] यह मानते हैं कि सहमत भविष्यवाणियों वाले मॉडलों के बीच परिणाम भिन्न नहीं होते हैं, जबकि चेन और ओबर्स्ट [2025] इसे वैश्विक प्रदर्शन मेट्रिक्स (जैसे, प्रिसिजन) के आधार पर व्यक्तिगत-स्तर के परिणाम अंतरों की अनुमति देकर शिथिल करते हैं, जो उपयोगकर्ता के विश्वास से प्रेरित है। हालांकि, ये ढांचे व्यक्तिगत-स्तर की प्रेडिक्शन करेक्टनेस (prediction correctness) को शामिल करने में विफल रहते हैं। कई परिदृश्यों में, यह अपेक्षा करना तर्कसंगत है कि एक सही भविष्यवाणी (correct prediction) गलत भविष्यवाणी की तुलना में गैर-न्यूनतम (non-inferior) परिणामों की ओर ले जाती है, जिसे लेखक "काउंटरफैक्चुअल करेक्टनेस" कहते हैं।

कार्यप्रणाली (Methodology)

लेखक एक पूर्व-परीक्षण किए गए मॉडलों के सेट ( $T$ ) वाले डेटा का उपयोग करके, एक नए, अन-ट्रायल किए गए मॉडल ( $\pi_e$ ) के कारण प्रभाव पर बाउंड्स (bounds) बनाने के लिए एक आंशिक-पहचान दृष्टिकोण प्रस्तावित करते हैं।

कारण ढांचा (Causal Framework)

डेटा-जनरेटिंग प्रोसेस को एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) के रूप में मॉडल किया गया है जिसे डायरेक्टेड एसाइक्लिक ग्राफ (DAG) द्वारा दर्शाया गया है। मुख्य चर (variables) हैं:

$D$ : RCT आर्म (कंट्रोल बनाम ट्रीटमेंट)।
$\Pi$ : भविष्यवाणी के लिए उपयोग किया जाने वाला मॉडल।
$X$ : कोवेरिएट्स/फीचर्स।
$Z$ : "ट्रू लेबल" (ग्राउंड ट्रुथ), जो RCT में सभी व्यक्तियों के लिए देखा जाता है।
$\hat{Z}$ : प्रेडिक्टेड लेबल।
$M$ : एक प्रदर्शन मेट्रिक (जैसे, प्रिसिजन) जो $X$ और $\Pi$ पर आधारित है।
$A$ : निर्णय-निर्माता क्रिया (अदृश्य/लेटेंट)।
$Y$ : डाउनस्ट्रीम परिणाम।

लक्ष्य $E[Y(\pi_e)]$ का अनुमान लगाना है, यानी अपेक्षित परिणाम जो तब होता जब अन-ट्रायल किए गए मॉडल $\pi_e$ को तैनात किया गया होता।

संरचनात्मक धारणाएं (Structural Assumptions)

बाउंड्स निकालने के लिए, लेखक चार प्रमुख धारणाएं पेश करते हैं:

काउंटरफैक्चुअल करेक्टनेस (Assump. 3.1): सही भविष्यवाणियां नुकसान नहीं पहुँचाती हैं। औपचारिक रूप से, एक निश्चित ट्रू लेबल $z$ के लिए, यदि एक मॉडल $z$ की भविष्यवाणी करता है (सही ढंग से), तो परिणाम अन्य कारकों को स्थिर रखते हुए, यदि मॉडल $z' \neq z$ (गलत ढंग से) की भविष्यवाणी करता, तो उससे बेहतर या उसके बराबर होगा।
- असत्यता परीक्षण (Falsification): इसे उन दो परीक्षण किए गए मॉडलों के परिणामों की तुलना करके टेस्ट किया जा सकता है जहाँ एक सही है और दूसरा गलत है।
कंडीशनल परफॉरमेंस मोनोटोनिसिटी (Assump. 3.2): संभावित परिणाम, शुद्धता (correctness) के सापेक्ष, मॉडल के प्रदर्शन के प्रति मोनोटोनिक (monotonic) होते हैं।
- यदि भविष्यवाणी सही है ( $\hat{z}=z$ ), तो उच्च प्रदर्शन बेहतर (या समान) परिणामों की ओर ले जाता है।
- यदि भविष्यवाणी गलत है ( $\hat{z} \neq z$ ), तो उच्च प्रदर्शन खराब (या समान) परिणामों की ओर ले जाता है (जो आत्मविश्वासपूर्ण गलत मॉडल में बढ़ते विश्वास को दर्शाता है)।
- असत्यता परीक्षण: इसे उन मॉडलों की तुलना करके टेस्ट किया जा सकता है जिनके प्रदर्शन स्तर अलग-अलग हैं लेकिन जिनकी भविष्यवाणियां समान हैं, उस डेटा के सबसेट पर जहाँ भविष्यवाणी सही है।
न्यूट्रल प्रेडिक्शन (Assump. 3.3): एक "न्यूट्रल" भविष्यवाणी (जैसे, मानव को निर्णय लेने देना) मौजूद है जहाँ मॉडल का प्रदर्शन परिणाम को प्रभावित नहीं करता है। यह कंट्रोल आर्म को नए मॉडलों के मूल्यांकन से जोड़ता है।
बाउंडेड आउटकम्स (Assump. 3.4): परिणाम चर $Y$ , ज्ञात $[Y_{min}, Y_{max}]$ के भीतर सीमित है।

आंशिक पहचान बाउंड्स (Partial Identification Bounds)

लेखक मॉडल और कोवेरिएट स्पेस को इस आधार पर विभाजित करते हैं कि परीक्षण किए गए मॉडल, अन-ट्रियल किए गए मॉडल $\pi_e$ के साथ सहमत हैं या नहीं और उनके सापेक्ष प्रदर्शन क्या है। वे एक ब्रांच सेलेक्टर ( $b_L, b_U$ ) पेश करते हैं जो प्रत्येक $(x, z)$ जोड़ी को चार लॉजिक शाखाओं में से एक में असाइन करता है:

न्यूट्रल (Neutral): $\pi_e$ न्यूट्रल भविष्यवाणी करता है।
मोनोटोनिक (Monotonic): $\pi_e$ परीक्षण किए गए मॉडलों के साथ सहमत है, और प्रदर्शन क्रम (performance ordering) मोनोटोनिसिटी के माध्यम से बाउंडिंग की अनुमति देता है।
करेक्ट (Correct): $\pi_e$ सही भविष्यवाणी करता है, लेकिन कोई भी परीक्षण किया गया मॉडल इसके साथ सहमत नहीं है (या वे सभी ऐसे तरीके से "बेहतर" हैं जो मदद नहीं करता है)। यहाँ, बाउंड इस धारणा पर निर्भर करता है कि सही भविष्यवाणी किसी भी गलत भविष्यवाणी से बदतर नहीं है।
डिफ़ॉल्ट (Default): $Y_{min}$ (लोअर बाउंड) या $Y_{max}$ (अपर बाउंड) की ओर रूढ़िवादी फॉलबैक।

परिणामी बाउंड्स $L(\pi_e)$ और $U(\pi_e)$ को $X$ और $Z$ के वितरण पर पॉइंटवाइज बाउंड्स के एक्सपेक्टेशन (expectation) को लेकर बनाया जाता है।

अनुमान (Estimation)

लेखक इन बाउंड्स के लिए सुसंगत (consistent) और एसिम्प्टोटिकली नॉर्मल (asymptotically normal) एस्टिमेटर्स प्रदान करते हैं। अनुमान रणनीति तीन चुनौतियों का समाधान करती है:

न्युसेंस मॉडल्स (nuisance models) के माध्यम से कंडीशनल एक्सपेक्टेशन $E[Y|X, Z, \Pi]$ का अनुमान लगाना।
नॉन-स्मूथ मैक्स/मिन ऑपरेटर्स (जैसे, एक सेट में सबसे खराब/सबसे अच्छे प्रदर्शन करने वाले मॉडल का चयन करना) को संभालना।
ऑरेकल ज्ञान (oracle knowledge) को मानने के बजाय डेटा से परफॉरमेंस मेट्रिक्स ( $M$ ) का अनुमान लगाना।

लेखक एक ऑगमेंटेड इनवर्स प्रोपेंसिटी वेटेड (AIPW) एस्टिमेटर का प्रस्ताव करते हैं। विशिष्ट मार्जिन स्थितियों (जो मॉडल प्रदर्शन और परिणामों के बीच पर्याप्त अलगाव सुनिश्चित करती हैं) और न्युसेंस फंक्शन्स के लिए कन्वर्जेंस रेट्स के तहत, उनके एस्टिमेटर्स को सुसंगत और एसिम्प्टोटिकली नॉर्मल सिद्ध किया गया है, जिससे वैध कॉन्फिडेंस इंटरवल का निर्माण संभव होता है।

मुख्य योगदान (Key Contributions)

कारण ढांचे का विस्तार: यह कार्य चेन और ओबर्स्ट [2025] के ढांचे को व्यक्तिगत-स्तर की काउंटरफैक्चुअल करेक्टनेस को शामिल करके विस्तारित करता है। यह मानता है कि यदि एक नया मॉडल सही भविष्यवाणी करता है, तो परिणाम गलत भविष्यवाणी की तुलना में बदतर नहीं होगा।
सबग्रुप परफॉरमेंस इंटीग्रेशन: वैश्विक प्रदर्शन मेट्रिक्स पर निर्भर पिछले कार्यों के विपरीत, यह ढांचा कंडीशनल सबग्रुप प्रेडिक्टिव परफॉरमेंस को शामिल करता है, जो इस अंतर्ज्ञान को दर्शाता है कि निर्णय-निर्माता इस बारे में ह्यूरिस्टिक्स विकसित करते हैं कि मॉडल कहाँ अच्छा या खराब प्रदर्शन करते हैं।
डेटा-संचालित अनुमान: लेखक इन बाउंड्स के लिए सुसंगत एस्टिमेटर्स प्रदान करते हैं जिन्हें मॉडल के प्रदर्शन मापों के ए प्रायरियो (a priori) ज्ञान की आवश्यकता नहीं होती; इन्हें डेटा से अनुमानित किया जाता है।
टाइट बाउंड्स (Tighter Bounds): सैद्धांतिक और अनुभवजन्य परिणाम प्रदर्शित करते हैं कि काउंटरफैक्चुअल करेक्टनेस को शामिल करने से पिछले आंशिक पहचान विधियों की तुलना में काफी टाइट (अधिक सूचनात्मक) बाउंड्स प्राप्त होते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक इमाई एट अल. [2023] के बेल सेंटेंसिंग (bail sentencing) डेटासेट पर आधारित एक सेमी-सिंथेटिक सिमुलेशन का उपयोग करके अपने तरीके का मूल्यांकन करते हैं।

सेटअप: वे विभिन्न अलर्टिंग मॉडल्स के तहत जज व्यवहार और प्रतिवादी परिणामों (Failure to Appear) का अनुकरण करते हैं।
तुलना: वे चेन और ओबर्स्ट [2025] द्वारा प्राप्त बाउंड्स के विरुद्ध अपने बाउंड्स की तुलना करते हैं।
निष्कर्ष:
- सभी प्रयोगों में (बदलते अलर्ट थ्रेसहोल्ड, रिट्रेनिंग मॉडल, और RCT की अनुपस्थिति में), प्रस्तावित विधि ने लगातार संकीर्ण बाउंड्स (जैसे, एक प्रयोग में 0.12 बनाम 0.36 की चौड़ाई) उत्पन्न किए।
- बाउंड्स ने वास्तविक अपेक्षित परिणाम को लगातार समाहित किया।
- एब्लेशन स्टडीज (ablation studies) बताती हैं कि सुधार मुख्य रूप से केवल कोवेरिएट्स द्वारा प्रदर्शन को स्ट्रैटिफाई करने के बजाय काउंटरफैक्चुअल करेक्टनेस धारणा से प्रेरित है।
- विधि तब भी मजबूत रहती है (हालांकि व्यापक बाउंड्स के साथ), जब ग्राउंड ट्रुथ लेबल ( $Z$ ) आंशिक रूप से गायब होते हैं, बशर्ते कि मिसिंगनेस मैकेनिज्म के बारे में विशिष्ट धारणाएं लागू हों।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह अपडेट किए गए ML मॉडल्स के कारण प्रभाव का मूल्यांकन करने के लिए एक व्यावहारिक समाधान प्रदान करता है जब RCT को फिर से चलाना असंभव हो। पिछले परीक्षणों में ग्राउंड ट्रुथ लेबल की उपस्थिति का लाभ उठाते हुए, यह विधि प्रेडिक्शन करेक्टनेस द्वारा प्रदान की गई "दिशात्मक" जानकारी का उपयोग करके कारण बाउंड्स को टाइट करती है।

लेखक अपने दावों में विनम्र हैं, और सीमाओं को स्वीकार करते हैं:

असत्यता परीक्षण (Falsification Tests): ये 'इन-एक्सपेक्टेशन' (in-expectation) हैं; धारणाओं के व्यक्तिगत-स्तर के उल्लंघन का पता नहीं चल सकता है।
मिसिंग डेटा: विधि की लापता डेटा ( $Z$ ) के साथ सीमाएं हैं, हालांकि वे इसे संभालने के तंत्रों पर चर्चा करते हैं।
सतत आउटपुट (Continuous Outputs): वर्तमान ढांचा डिस्क्रीट प्रेडिक्शंस को मानता है; निरंतर आउटपुट के लिए डिस्क्रीटाइजेशन या सरलीकृत अनुप्रयोग की आवश्यकता होती है।
अवलोकन संबंधी डेटा (Observational Data): वर्तमान ढांचा RCT डेटा पर निर्भर है; अवलोकन संबंधी डेटा को शामिल करना एक भविष्य की दिशा के रूप में नोट किया गया है।

अंततः, यह कार्य उच्च-दांव वाले निर्णय लेने के वातावरण में AI सिस्टम के डाउनस्ट्रीम कारण प्रभाव के बारे में तर्क करने के लिए एक कठोर, धारणा-आधारित ढांचा प्रदान करता है।