🤖 machine learning

Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability

यह शोध पत्र सर्टिफाइड इंटरवेंशनल फिडेलिटी (CIF) प्रस्तुत करता है, जो एक सांख्यिकीय ढांचा है जो मैकेनिस्टिक इंटरप्रिटेबिलिटी में कॉज़ल दावों के लिए एनीटाइम-वैलिड कॉन्फिडेंस इंटरवल्स और सीक्वेंस प्रदान करता है, जिससे मॉडल इंटरवेंशन के एडेप्टिव मूल्यांकन को सक्षम बनाया जा सके और सैंपलिंग आर्टिफैक्ट्स से स्थिर प्रभावों को कठोरता से अलग किया जा सके।

मूल लेखक: Amir Asiaee

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amir Asiaee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट का दिमाग कैसे काम करता है। आप केवल अनुमान नहीं लगाना चाहते; आप इसके आंतरिक पुर्जों को कुरेदना, उन्हें बदलना और देखना चाहते हैं कि क्या यह अभी भी उसी तरह से पहेलियाँ सुलझाता है। इसे "मैकेनिस्टिक इंटरप्रिटेबिलिटी" (mechanistic interpretability) कहा जाता है। लेकिन समस्या यह है कि अधिकांश जासूस केवल कुछ परीक्षण चलाते हैं, एक संख्या प्राप्त करते हैं (जैसे "95% सटीक!"), और मामले को सुलझा हुआ घोषित कर देते हैं। समस्या यह है कि यदि आप काम करते समय बार-बार अपने परिणामों पर नज़र डालते हैं, या यदि आप केवल उन पुर्जों को देखते हैं जो टूटे हुए लगते हैं, तो वह एकल संख्या एक भाग्यशाली इत्तेफाक हो सकती है, न कि एक स्थिर तथ्य।

यहाँ आता है सर्टिफाइड इंटरवेंशनल फिडेलिटी (Certified Interventional Fidelity - CIF)। सोचिए कि CIF एक "सत्य बोलने वाला रेफरी" है जिसे आप अपने जासूसी खेल में ला सकते हैं। यह आपको केवल एक स्कोर नहीं देता; यह आपको एक "कॉन्फिडेंस नेट" (विश्वास का जाल) देता है जो मज़बूत रहता है, चाहे आप कितनी भी बार परिणामों पर नज़र डालें या खेल के बीच में अपनी रणनीति बदल दें।

"भाग्यशाली अनुमान" का जाल

आमतौर पर, जब वैज्ञानिक एक रोबोट के दिमाग का परीक्षण करते हैं, तो वे शायद 1,000 परीक्षण चलाते हैं, एक परिणाम देखते हैं, 500 और परीक्षण चलाते हैं, एक बेहतर परिणाम देखते हैं, और ठीक वहीं रुक जाते हैं जहाँ यह अच्छा दिखता है। या, वे केवल मस्तिष्क के उन हिस्सों पर ध्यान केंद्रित कर सकते हैं जो विफल होते दिखते हैं। पेपर का तर्क है कि यह खतरनाक है। यह एक छात्र द्वारा परीक्षा देने जैसा है जो उत्तर कुंजी को देखता रहता है और अपने गलत उत्तरों को तब तक मिटाता रहता है जब तक कि उसे पूर्ण अंक न मिल जाएं। पेपर स्पष्ट रूप से नोट करता है कि सुरक्षा जाल के बिना, यह बताना कठिन है कि रिपोर्ट किया गया स्कोर एक स्थिर कारण संबंधी दावा है या केवल सीमित नमूनाकरण (finite sampling) और मूल्यांकन विकल्पों का परिणाम है। एक एकल "पॉइंट एस्टीमेट" (एक एकल संख्या) यह साबित करने के लिए पर्याप्त नहीं है कि रोबोट का दिमाग उसी तरह काम करता है जैसा हम सोचते हैं, जब तक कि अनिश्चितता की गारंटी न हो।

रेफरी का टूलकिट: "एनीटाइम-वैलिड" (Anytime-Valid) नेट

CIF चीजों को मापने का एक नया तरीका पेश करता है जिसे "कॉन्फिडेंस सीक्वेंस" (Confidence Sequences) कहा जाता है। कल्पना कीजिए कि आप कंचों के एक बैग का औसत वजन बताने की कोशिश कर रहे हैं।

पुराना तरीका: आप 100 कंचे तौलते हैं, औसत निकालते हैं, और कहते हैं, "यह 5 ग्राम है।" यदि आप 10 और तौलते हैं और औसत बदल जाता है, तो आपका मूल दावा गलत हो सकता है।
CIF का तरीका: आप एक विस्तृत जाल के साथ शुरू करते हैं जो कहता है, "वजन 1 और 10 ग्राम के बीच है।" जैसे-जैसे आप अधिक कंचे तौलते हैं, जाल धीरे-धीरे छोटा होता जाता है। CIF का जादू यह है कि यह जाल "एनीटाइम-वैलिड" है। इसका मतलब है कि आप 10 कंचों के बाद, 100 कंचों के बाद, या 1,000 कंचों के बाद जाल की जांच कर सकते हैं, और यह हमेशा सही रहने की गारंटी देता है। आप जब चाहें रुक सकते हैं, और जाल के भीतर का दावा अभी भी सत्य होगा।

बिना धोखाधड़ी किए बग्स की तलाश करना

कभी-कभी, आप रोबलेट की कमजोरियों को जल्दी से खोजना चाहते हैं। आप यह निर्णय ले सकते हैं कि केवल उन्हीं पुर्जों का परीक्षण करें जो संदिग्ध दिखते हैं। इसे "एडाप्टिव सैंपलिंग" (adaptive sampling) कहा जाता है।

जोखिम: यदि आप केवल टूटे हुए पुर्जों का परीक्षण करते हैं, तो आपका औसत स्कोर बहुत खराब दिखेगा, और आप सोचेंगे कि पूरा रोबोट ही खराब है।
CIF का समाधान: CIF एक चतुर तकनीक जिसका नाम "इम्पॉर्टेंस वेटिंग" (importance weighting) है, उसका उपयोग करता है। कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं। यदि आप केवल उन कलाकारों को देखने का निर्णय लेते हैं जो विफल होते दिख सकते हैं, तो आपको यह संतुलित करने के लिए उन कलाकारों को अतिरिक्त "भार" (weight) देना होगा कि आपने अच्छे कलाकारों को अनदेखा कर दिया था। CIF गणितीय रूप से ऐसा करता है। यह आपको आक्रामक रूप से विफलताओं की तलाश करने देता है लेकिन आपकी अंतिम रिपोर्ट को ईमानदार और निष्पक्ष रखता है।

समय बचाने के लिए "बेटिंग" (दांव लगाने) का जादू

पेपर ने इन कॉन्फिडेंस नेट्स को बनाने के दो तरीके परीक्षण किए:

"होफ़डिंग" (Hoeffding) नेट: यह एक सुरक्षित, मानक नेट है। यह धीरे-धीरे और लगातार छोटा होता है, जैसे एक कछुआ चलता है। यह बहुत विश्वसनीय है लेकिन एक सटीक उत्तर पाने में लंबा समय ले सकता है।
"बेटिंग" (Betting) नेट: यह एक स्मार्ट नेट है जो डेटा पर "दांव" लगाता है। यदि परिणाम सुसंगत हैं (कम विचलन/low variance), तो यह बहुत तेजी से छोटा हो जाता है।

पेपर के प्रयोगों में, "बेटिंग" नेट एक गेम-चेंजर साबित हुआ।

एक सरल इमेज टेस्ट (MNIST) पर, इसने एक दावा सिद्ध करने के लिए आवश्यक परीक्षणों की संख्या को 10 से 30 गुना कम कर दिया।
एक जटिल लैंग्वेज मॉडल (GPT-2 Small) पर, इसका मतलब था कि एक सर्किट के अच्छी तरह काम करने को सिद्ध करने के लिए 1,875 फॉरवर्ड पास के बजाय केवल 102 फॉरवर्ड पास की आवश्यकता थी।
लेखकों ने सिमुलेशन में इसे मापा और पाया कि "बेटिंग" विधि सटीकता खोए बिना कंप्यूटर के समय की भारी बचत करती है।

CIF क्या नहीं करता है

यह जानना महत्वपूर्ण है कि यह रेफरी क्या नहीं करता है। CIF यह नहीं बताता कि कौन सा रोबोट ब्रेन डिज़ाइन सबसे अच्छा है। यह यह साबित नहीं करता कि रोबोट कैसे सोचता है इसका कोई विशिष्ट स्पष्टीकरण "वास्तविक" सत्य है। यह केवल अनिश्चितता की गारंटी (uncertainty guarantees) प्रदान करता है कि एक विशिष्ट दावा (जैसे "यह रोबट इन विशिष्ट परीक्षणों के तहत इस तरह व्यवहार करता है") सांख्यिकीय रूप से ठोस है और कोई इत्तेफाक नहीं है। यह सत्यापन (verification) के लिए एक उपकरण है, न कि खोज (discovery) के लिए कोई जादुई छड़ी।

निचोड़

पेपर सुझाव देता है कि CIF का उपयोग करके, शोधकर्ता अनुमान लगाना बंद कर सकते हैं और प्रमाणित करना शुरू कर सकते हैं। वे कह सकते हैं, "हम 95% आश्वस्त हैं कि यह रोबोट इस तरह काम करता है," और वे यह भी कह सकते हैं कि वे यह तब भी कह सकते हैं जब उन्होंने परीक्षणों को चलाते समय अपने परिणामों की जांच की हो। यह एक अस्थिर, अनौपचारिक अनुमान को एक मजबूत, प्रमाणित तथ्य में बदल देता है, जिससे शोधकर्ताओं को गलत सुरागों पर समय बर्बाद करने से बचाने और यह खोजने में मदद मिलती है कि AI वास्तव में कैसे सोचता है।

तकनीकी सारांश: सर्टिफाइड इंटरवेंशनल फिडेलिटी (CIF)

समस्या विवरण (Problem Statement)

मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) तंत्रिका नेटवर्क (neural networks) के बारे में कारण संबंधी दावों (causal claims) को मान्य करने के लिए इंटरवेंशनल मूल्यांकन (interventional evaluations) पर तेजी से निर्भर हो रही है। इन प्रयोगों में आंतरिक अवस्थाओं (जैसे कि एक्टिवेशन पैचिंग, एब्लेशन, हिडन स्टेट्स को बदलना) को संशोधित करना शामिल है ताकि यह परीक्षण किया जा सके कि क्या एक प्रस्तावित स्पष्टीकरण (जैसे कि एक संकुचित मॉडल, एक सर्किट, या न्यूरॉन्स का एक सेट) मूल मॉडल के व्यवहार को निष्ठापूर्वक पुनरुत्पादित करता है।

वर्तमान मूल्यांकन पद्धतियां सांख्यिकीय कठोरता की कमी से ग्रस्त हैं। आमतौर पर, शोधकर्ता इनपुट और इंटरवेंशन की एक निश्चित संख्या का नमूना लेते हैं, एक पॉइंट एस्टीमेट (जैसे कि इंटरचेंज इंटरवेंशन एक्यूरेसी या पैचिंग रिकवरी) की गणना करते हैं, और इसे एक निश्चित दावे के रूप में रिपोर्ट करते हैं। हालांकि, इंटरप्रिटेबिलिटी वर्कफ़्लो स्वाभाविक रूप से अनुक्रमिक और अनुकूलनीय (sequential and adaptive) होते हैं: शोधकर्ता परिणामों की निगरानी करते हैं, मूल्यांकन सेटों को समायोजित करते हैं, प्रति-उदाहरणों (counterexamples) की खोज करते हैं, और तब तक रुकते हैं जब तक कि प्रमाण मजबूत न दिखाई देने लगे। उचित अनिश्चितता परिमाणीकरण (uncertainty quantification) के बिना, जो इस अनुकूलनीय प्रकृति को ध्यान में रखता है, रिपोर्ट की गई फिडेलिटी (fidelity) सीमित सैंपलिंग या "p-hacking" (डेटा-निर्भर स्टॉपिंग) का परिणाम हो सकती है, जिससे दावे अत्यधिक बढ़ा-चढ़ाकर या गलत तरीके से रैंक किए जा सकते हैं।

कार्यप्रणाली: सर्टिफाइड इंटरवेंशनल फिडेलिटी (CIF)

लेखक सर्टिफाइड इंटरवेंशनल फिडेलिटी (CIF) का प्रस्ताव करते हैं, जो एक सांख्यिकीय ढांचा है जो इंटरवेंशनल इंटरप्रिटेबिलिटी मूल्यांकनों को एनीटाइम-वैलिड (anytime-valid) गारंटियों के साथ औपचारिक कारण अनुमान (causal inference) समस्याओं में बदल देता है। CIF को एक "सांख्यिकीय परत" के रूप में डिज़ाइन किया गया है जिसे मौजूदा मूल्यांकन पाइपलाइनों के चारों ओर लपेटा जा सकता है।

1. कॉज़ल एस्टिमैंड्स के रूप में औपचारिकीकरण (Formalization as Causal Estimands)

CIF के लिए आवश्यक है कि प्रत्येक रिपोर्ट किए गए मेट्रिक को स्पष्ट रूप से एक बाउंडेड कॉज़ल एस्टिमैंड (bounded causal estimand) के रूप में परिभाषित किया जाए।

लक्ष्य (Target): एक प्रत्याशा $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$ $θ = E_{(X, I) \sim D \times Π} [Y (X, I)]$ है, जहाँ:
- $\mathcal{D}$ एक घोषित इनपुट वितरण है।
- $\Pi$ एक घोषित इंटरवेंशन वितरण है।
- $Y$ एक बाउंडेड स्कोर (आमतौर पर $Y \in [0, 1]$ ) है, जैसे कि असहमति संकेतक (disagreement indicator) या सामान्यीकृत रिकवरी स्कोर।
दावों के वर्ग (Classes of Claims):
- एब्स्ट्रैक्शन/रिडक्शन फिडेलिटी: यह एक उच्च-स्तरीय मॉडल $M_H$ और मूल मॉडल $M_L$ के बीच इंटरवेंशन के तहत विसंगति को मापता है।
- कंपोनेंट-इफेक्ट/रिकवरी: यह मापता है कि एक विशिष्ट घटक (जैसे कि पैचिंग के माध्यम से) को बहाल करने से मूल व्यवहार कितनी सीमा तक वापस आता है।

2. एनीटाइम-वैलिड कॉन्फिडेंस सीक्वेंस (CS)

अनुकूलनीय स्टॉपिंग की समस्या को हल करने के लिए, CIF निश्चित-नमूना कॉन्फिडेंस इंटरवल के बजाय कॉन्फिडेंस सीक्वेंस (CS) का उपयोग करता है। एक अनुक्रम $(C_n)_{n \ge 1}$ वैध है यदि $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$ । यह मूल्यांकनकर्ताओं को टाइप I एरर रेट को बढ़ाए बिना किसी भी समय परिणाम की जांच करने और जल्दी रुकने की अनुमति देता है।

होफडिंग-शैली (Hoeffding-style) CS: स्कोर के रेंज और सैंपल साइज $n$ के आधार पर सरल, पारदर्शी बाउंड प्रदान करता है।
बेटिंग-आधारित (Betting-based) CS: एक कैपिटल प्रोसेस (मार्टिंगेल) दृष्टिकोण (विशेष रूप से ऑनलाइन न्यूटन स्टेप रणनीति) का उपयोग करता है जो देखे गए स्कोर के एम्पीरिक वेरिएंस (empirical variance) के अनुकूल होता है। यह विधि होफडिंग बाउंड्स की तुलना में प्रमाणन (certification) के लिए आवश्यक नमूनों की संख्या को काफी कम कर देती है।

3. बाउंडेड इम्पोर्टेंस वेटिंग के साथ एडेप्टिव सैंपलिंग

CIF एडेप्टिव फेलियर-डायरेक्टेड सैंपलिंग का समर्थन करता है, जहाँ इंटरवेंशन वितरण $\Pi$ को संभावित विफलताओं या उच्च-प्रभाव वाले घटकों पर ध्यान केंद्रित करने के लिए समय के साथ संशोधित किया जाता है।

तंत्र (Mechanism): लक्ष्य एस्टिमैंड $\theta$ की वैधता बनाए रखने के लिए, CIF एक मिश्रण इम्पोर्टेंस वेटिंग (mixture importance weighting) का उपयोग करता है। प्रत्येक चरण $t$ पर, सैंपलर एक मिश्रण $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$ से नमूना लेता है, जहाँ $\tilde{q}__t$ इतिहास पर आधारित एक अनुकूलित प्रपोजल है।
गारंटी: इम्पोर्टेंस वेट्स $w_t = \Pi(I_t)/q_t(I_t)$ को $W_{max} = 1/(1-\alpha)$ द्वारा सीमित किया गया है। फ्रेमवर्क यह सुनिश्चित करने के लिए हॉरविट्ज़-थॉमसन-शैली के एस्टिमेटर्स और मार्टिंगेल-आधारित बाउंड्स का उपयोग करता है कि भले ही अनुकूलित रूप से सैंपलिंग की जाए, कॉन्फिडेंस सीक्वेंस मूल लक्ष्य $\Pi$ के लिए वैध रहे।

4. मल्टीपल कंपैरिजन और सिलेक्शन

जब कई घटकों या सर्किट्स को स्कैन किया जाता है, तो CIF चयन पूर्वाग्रह (selection bias) को संबोधित करने के लिए निम्नलिखित की सिफारिश करता है:

बोनफेरोनी करेक्शन (प्रत्येक घटक के लिए $\delta/K$ आवंटित करना)।
अनुक्रमिक "पीलिंग" (स्पष्ट रूप से उप-इष्टतम उम्मीदवारों के लिए सैंपलिंग रोकना)।
एनीटाइम-वैलिड फाल्स डिस्कवरी रेट (FDR) नियंत्रण विधियाँ।

मुख्य योगदान (Key Contributions)

पुनर्गठन (Reformulation): पेपर इंटरवेंशनल इंटरप्रिटेबिलिटी मेट्रिक्स को अनुक्रमिक कॉज़ल इन्फरेंस समस्याओं के रूप में फिर से परिभाषित करता है, जो वैज्ञानिक प्रश्न (एस्टिमैंड) को सैंपलिंग प्रक्रिया से अलग करता है।
सांख्यिकीय गारंटी: यह इन एस्टिमैंड्स के लिए फाईनाइट-सैंपल, एनीटाइम-वैलिड कॉन्फिडेंस सीक्वेंस प्रदान करता है, जो मनमाने ढंग से निगरानी और डेटा-निर्भर स्टॉपिंग के तहत भी वैध है।
एडेप्टिव एफिशिएंसी: यह बाउंडेड मिक्सचर इम्पोर्टेंस वेटिंग के साथ एडेप्टिव CIF पेश करता है, जो सांख्यिकीय वैधता बनाए रखते हुए कुशल फेलियर माइनिंग की अनुमति देता है।
वेरिएंस-एडेप्टिव बेटिंग: यह प्रदर्शित करता है कि बेटिंग-आधारित कॉन्फिडेंस सीक्वेंस, एम्पीरिक वेरिएंस का लाभ उठाकर, मानक होफडिंग बाउंड्स की तुलना में प्रमाणन लागत को 10–30 $\times$ कम कर सकते हैं।
व्यावहारिक टूलिंग: लेखक प्रमाणन, युग्मित तुलना (paired comparisons), और एडेप्टिव सैंपलिंग के लिए एल्गोरिदम प्रदान करते हैं, साथ ही नए मूल्यांकनों पर CIF लागू करने के लिए एक रिपोर्टिंग चेकलिस्ट भी देते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो प्राथमिक बेंचमार्क पर CIF का मूल्यांकन किया:

MNIST न्यूरल एब्स्ट्रैक्शंस:
- सेटअप: एक 3-लेयर MLP पर विभिन्न प्रूनिंग और कंप्रेशन विधियों के लिए एब्स्ट्रैक्शन फिडेलिटी (इंटरचेंज इंटरवेंशन एक्यूरेसी) का मूल्यांकन किया गया।
- निष्कर्ष: आक्रामक इंटरवेंशन ( $p=0.5$ ) के तहत, कोई भी विधि उच्च-फिडेलिटी ( $F \ge 0.90$ ) के रूप में प्रमाणित नहीं की जा सकी, जो एक नकारात्मक परिणाम है जिसे केवल पॉइंट एस्टीमेट शायद छिपा देते। हल्के इंटरवेंशन ( $p=0.1$ ) के तहत, बेटिंग-आधारित CS ने बहुत कम फॉरवर्ड पासेस (जैसे, 64 नमूने बनाम होफडिंग के लिए 1,141) के साथ उच्च-फिडेलिटी दावों को प्रमाणित किया। एडेप्टिव सैंपलिंग पाया गया कि यह उच्च फिडेलिटी को प्रमाणित करने के बजाय विफलताओं को खोजने के लिए अधिक प्रभावी था।
GPT-2 Small IOI सर्किट्स:
- सेटअप: ACDC, एट्रिब्यूशन पैचिंग और हाथ से पहचाने गए तरीकों द्वारा खोजे गए सर्किट्स पर इंडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन (IOI) कार्य पर पैचिंग रिकवरी स्कोर का मूल्यांकन किया गया।
- निष्कर्ष: सभी सर्किट्स ने उच्च पॉइंट एस्टीमेट ( $\hat{\mu} \in [0.959, 0.972]$ ) दिखाए। हालांकि, होफडिंग बाउंड्स 2,000-सैंपल बजट के भीतर उच्च थ्रेशोल्ड को प्रमाणित करने के लिए बहुत चौड़े थे। बेटिंग-आधारित CS ने केवल 357 नमूनों में पूरे 13-हेड सर्किट के लिए $\mu \ge 0.95$ को सफलतापूर्वक प्रमाणित किया, जबकि होफडिंग को 2,000 से अधिक नमूनों की आवश्यकता थी।
सेंसिटिविटी और कवरेज:
- सेंसिटिविटी विश्लेषण ने दिखाया कि उच्च गड़बड़ी स्तरों पर, विसंगति मेट्रिक (जैसे 0-1 लॉस बनाम KL डाइवर्जेंस) का चुनाव गैर-ओवरलैपिंग कॉन्फिडेंस इंटरवल की ओर ले जा सकता है, जिससे मेट्रिक का चुनाव गुणात्मक निष्कर्षों के लिए एक महत्वपूर्ण कारक बन जाता है।
- कवरेज वैलिडेशन ने पुष्टि की कि दोनों होफडिंग और बेटिंग CS ने आक्रामक पीकिंग प्रोटोकॉल के तहत भी नाममात्र स्तर (जैसे 95%) पर या उससे ऊपर एम्पिरिकल कवरेज प्राप्त किया।

महत्व और दावे (Significance and Claims)

पेपर CIF को सर्किट्स या एब्स्ट्रैक्शंस की खोज करने के लिए एक नई विधि के रूप में नहीं, बल्कि मैकेनिस्टिक इंटरप्रिटेबिलिटी के एस्टीमेशन पक्ष के लिए एक वेरिफिकेशन लेयर के रूप में स्थापित करता है।

"लापता कड़ी" को संबोधित करना: लेखक तर्क देते हैं कि जबकि इंटरप्रिटेबिलिटी की कॉज़ल फ्रेमिंग स्थापित है, सांख्यिकीय अभ्यास अक्सर अनौपचारिक होता है। CIF इस अंतर को भरने के लिए सटीक अनिश्चितता परिमाणीकरण प्रदान करके इस कमी को पूरा करता है, जो एडेप्टिव नेचर के बावजूद भी वैध रहता है।
लागत में कमी: एक प्रमुख व्यावहारिक दावा यह है कि सांख्यिकीय निर्माण (होफडिंग बनाम बेटिंग) का चुनाव प्रमाणन की लागत को एक क्रम (order of magnitude) तक बदल सकता है, जिससे GPT-2 जैसे महंगे मॉडलों के लिए कठोर मूल्यांकन संभव हो जाता है।
पारदर्शिता: CIF शोधकर्ताओं को अपने इनपुट और इंटरवेंशन वितरण को स्पष्ट रूप से घोषित करने के लिए मजबूर करता है, जिससे दावे का दायरा स्पष्ट होता है और इन डिजाइन विकल्पों के प्रति संवेदनशीलता उजागर होती है।
सीमाएं: लेखक स्पष्ट रूप से कहते हैं कि CIF आइडेंटिफिकेशन प्रॉब्लम (अर्थात, क्या चुना गया एब्स्ट्रैक्शन वास्तव में रुचि के कॉज़ल स्ट्रक्चर को कैप्चर करता है) को हल नहीं करता है; यह केवल एस्टिमेशन प्रॉब्लम (एक विशिष्ट मेट्रिक और वितरण दिए जाने पर प्रस्तावित दावे की फिडेलिटी को विश्वसनीय रूप से अनुमानित करना) को हल करता है। यह बाउंडेड स्कोर मानकर चलता है, हालांकि क्लिपिंग या सब-गौसियन वेरिएंट इसे विस्तारित कर सकते हैं।

संक्षेप में, CIF पॉइंट एस्टीमेट्स को "सर्टिफाइड क्लेम्स" में बदलने के लिए एक ढांचा प्रदान करता है, यह सुनिश्चित करता है कि मैकेनिस्टिक स्पष्टीकरणों के बारे में निष्कर्ष सीमित सैंपलिंग, निगरानी और एडेप्टिव सर्च रणनीतियों के प्रति मजबूत हैं।