तकनीकी सारांश: अज्ञानता को ध्यान में रखते हुए साक्ष्य एकत्रीकरण (Evidence Aggregation with Ignorance in Mind)

1. समस्या विवरण

नीतिगत हस्तक्षेपों का मूल्यांकन करने वाले शोधकर्ता अक्सर दो समान चुनौतियों का सामना करते हैं: यह पहचानना कि कौन से व्यक्ति या संदर्भ हस्तक्षेप से सबसे अधिक लाभान्वित होते हैं (उपचार प्रभाव विषमता/treatment effect heterogeneity), और यह निर्धारित करना कि क्या एक वातावरण में देखे गए विषमता के पैटर्न को दूसरे वातावरण में निर्णय लेने के लिए विश्वसनीय रूप से एकत्रित किया जा सकता है। विषमता के पारंपरिक दृष्टिकोण आमतौर पर प्रत्येक अवलोकन योग्य संदर्भ के लिए एक भविष्यवाणी करने पर जोर देते हैं, भले ही डेटा शोरपूर्ण (noisy) हो, नमूना आकार छोटा हो, या अंतर्निहित तंत्र मौलिक रूप से भिन्न हों। यह "जबरन भविष्यवाणी" (forced prediction) ओवरफिटिंग, अत्यधिक अनुमानों और अच्छी तरह से पहचाने गए समूहों के लिए भविष्यवाणियों के विरूपण का कारण बन सकती है।

यह शोध पत्र स्पष्ट रूप से त्याग (abstention) के विकल्प के साथ साक्ष्य एकत्रीकरण की समस्या को संबोधित करता है। लक्ष्य विषम उपचार प्रभावों (heterogeneous treatment effects) को व्याख्या योग्य सारांशों (archetypes) में एकत्रित करना है, और साथ ही एक "अज्ञानता के बेसिन" (basin of ignorance)—उन संदर्भों का एक सेट जहाँ विस्तार (extrapolation) अविश्वसनीय है और अधिक साक्ष्य की आवश्यकता है—की पहचान करना है। यह ढांचा विश्वसनीय भविष्यवाणियों के लिए मौजूदा साक्ष्य के उपयोग और नए डेटा एकत्र करने के लिए भविष्यवाणी को स्थगित करने की लागत के बीच संतुलन बनाता है।

2. कार्यप्रणाली (Methodology)

2.1 सेटअप और डेटा संरचना

इस सेटिंग में बड़ी संख्या में अवलोकन योग्य प्रकार $x \in \mathcal{X}$ शामिल हैं, जहाँ एक 'प्रकार' व्यक्तिगत विशेषताओं और पर्यावरणीय/अध्ययन-स्तर की विशेषताओं (जैसे देश, साइट) के क्रॉस-प्रोडक्ट द्वारा परिभाषित होता है। प्रत्येक प्रकार $x$ के लिए, शोधकर्ता देखता है:

• कंडीशनल एवरेज ट्रीटमेंट इफेक्ट (CATE), $\hat{\tau}(x)$ का एक निष्पक्ष लेकिन संभावित रूप से शोरपूर्ण अनुमान।
• इसके सैंपलिंग वेरिएंस, $\hat{\eta}(x)^2$ का एक निष्पक्ष अनुमान।
• त्याग (abstention) के अवसर लागत का एक अनुमान, $\hat{c}(x)$।

प्रकारों की संख्या $|\mathcal{X}|$ नमूना आकार के साथ बढ़ सकती है, और प्रकारों के भीतर अनुमान छोटे नमूना आकारों पर आधारित हो सकते हैं।

2.2 निर्णय समस्या

एक शोधकर्ता एक उम्मीदवार वर्ग $\mathcal{F}$ (जैसे, ट्री पार्टिशन, स्पार्स लीनियर मॉडल) से एक भविष्यवाणी नियम $f(x)$ और एक त्याग नियम $\pi(x) \in \{0, 1\}$ चाहता है, जहाँ $\pi(x)=1$ इंगित करता है कि भविष्यवाणी की गई है और $\pi(x)=0$ त्याग (अज्ञानता के बेसिन में असाइनमेंट) को इंगित करता है।

उद्देश्य अपेक्षित हानि (expected loss) को कम करना है:
$$R_c(f, \pi) = \sum_{x \in \mathcal{X}} p(x) \left[ (f(x) - \tau(x))^2 \pi(x) + c(x)(1 - \pi(x)) \right]$$
जहाँ $p(x)$ प्रकारों पर लक्षित वितरण है। हानि में उन प्रकारों के लिए वर्ग त्रुटि (squared error) शामिल है जहाँ भविष्यवाणी की जाती है, साथ ही उन प्रकारों के लिए त्याग की लागत शामिल है जहाँ कोई भविष्यवाणी नहीं की जाती है।

2.3 अनुमान प्रक्रिया (Estimation Procedure)

लेखक एक दो-चरणीय अनुमान प्रक्रिया प्रस्तावित करते हैं:

1. निष्पक्ष हानि अनुमान (Unbiased Loss Estimation): किसी भी उम्मीदवार जोड़ी $(f, \pi)$ के लिए, वे अनुमानित वेरिएंस $\hat{\eta}(x)^2$ के साथ शोरपूर्ण अनुमान $\hat{\tau}(x)$ के विरुद्ध वर्ग त्रुटि को सुधार कर लॉस फंक्शन का एक निष्पक्ष अनुमानक (unbiased estimator) निर्मित करते हैं:
   $$\hat{R}(f, \pi) = \sum_{x \in \mathcal{X}} p(x) \left[ \left( (f(x) - \hat{\tau}(x))^2 - \hat{\eta}(x)^2 \right) \pi(x) + \hat{c}(x)(1 - \pi(x)) \right]$$
   यह सुधार सुनिश्चित करता है कि अनुमानित हानि का अपेक्षित मान वास्तविक अपेक्षित हानि के बराबर होता है, भले ही $\hat{\tau}(x)$ शोरपूर्ण हो।
2. अनुकूलन (Optimization): $(\hat{f}, \hat{\pi})$ को $\mathcal{F}$ और $\Pi$ के ऊपर $\hat{R}(f, \pi)$ को न्यूनतम करने के लिए चुना जाता है।

2.4 मॉडल चयन और जटिलता नियंत्रण

यह ढांचा नमूना विभाजन (sample splitting) का उपयोग करके मॉडल वर्ग की जटिलता (जैसे, ट्री डेप्थ) के डेटा-संचालित चयन की अनुमति देता है। प्रक्रिया उम्मीदवार वर्गों की तुलना उनके आउट-ऑफ-सैंपल लॉस के आधार पर करती है। महत्वपूर्ण रूप से, सन्निकटन त्रुटि (approximation error) का मूल्यांकन केवल उन प्रकारों के उपसमूह पर किया जाता है जहाँ मॉडल भविष्यवाणी करने का विकल्प चुनता है, न कि वैश्विक स्तर पर। यह सरल मॉडलों को तब चुनने की अनुमति देता है जब वे एक विशिष्ट उपसमूह के लिए अच्छा प्रदर्शन करते हैं, जबकि मॉडल शेष भाग के लिए त्याग करता है।

2.5 त्याग लागत का अंशांकन (Calibration of Abstention Cost)

त्याग की लागत $c(x)$ को निर्णय-सैद्धांतिक रूप से एक अनुवर्ती प्रयोग (follow-up experiment) में अतिरिक्त डेटा एकत्र करने के बाद बनने वाले मीन-स्क्वेयर्ड एरर के रूप में व्याख्यायित किया जा सकता है। लेखक एक अनुवर्ती अध्ययन के प्रभावी नमूना आकार $m$ को चुनने के लिए एक ब्रेक-ईवन विश्लेषण प्रस्तावित करते हैं। प्रक्रिया उस न्यूनतम $m$ की पहचान करती है जिससे नए डेटा को एकत्र करने (और भविष्यवाणी को अपडेट करने) से होने वाली अपेक्षित हानि, एक बेंचमार्क लॉस (जैसे, नो-एब्स्टेंशन नियम का वेरिएंस) की तुलना में सांख्यिकीय रूप से काफी कम हो जाती है।

2.6 अनुकूलन एल्गोरिदम

• ट्री-आधारित नियम: एक निश्चित गहराई के लिए इष्टतम ट्री विभाजन और लीफ असाइनमेंट (आर्कटाइप बनाम अज्ञानता) खोजने के लिए एक सटीक रिकर्सिव एल्गोरिदम (एल्गोरिदम 1) प्रदान किया गया है।
• G-means क्लस्टरिंग: कोवेरिएट स्पेस पर क्लस्टरिंग के लिए सटीक और सुचारू (smooth) सन्निकटन एल्गोरिदम पर चर्चा की गई है।
• स्मूथ रिग्रेशन: ढांचे को एक हार्ड एब्स्टेंशन नियम के डिफरेंशिएबल सन्निकटन का उपयोग करके स्मूथ प्रेडिक्शन फंक्शन (जैसे, लीनियर/रिज रिग्रेशन) के लिए विस्तारित किया गया है।

3. मुख्य सैद्धांतिक योगदान

3.1 परिमित-नमूना पछतावा गारंटी (Finite-Sample Regret Guarantees)

पेपर एक ऑरेकल (oracle) के सापेक्ष इग्नोरेंस-अवेयर एस्टिमेटर के लिए परिमित-नमूना पछतावा (regret) बाउंड्स निकालता है, जो वास्तविक $\tau(x)$ जानता है और इष्टतम रूप से भविष्यवाणी और त्याग सेट चुनता है।

• सामान्य मॉडल: मानक मोमेंट कंडीशंस और प्रेडिक्शन क्लास $\mathcal{F}$ और एब्स्टेंशन क्लास $\Pi$ पर बाउंडेड कॉम्प्लेक्सिटी धारणाओं के तहत, पछतावा $O(1/\sqrt{N_X})$ की दर से लुप्त हो जाता है, जहाँ $N_X$ प्रकारों की संख्या है।
• डिस्क्रीट पार्टिशन: ट्री-आधारित पार्टिशन और G-मीन्स क्लस्टरिंग के लिए, लेखक मिलान मिनिमैक्स अपर और लोअर बाउंड्स निकालते हैं, जो पुष्टि करते हैं कि $1/\sqrt{N_X}$ की दर इष्टतम है। बाउंड्स स्पष्ट रूप से भविष्यवाणी समूहों और अज्ञानता के बेसिन दोनों की जटिलता को ध्यान में रखते हैं।

3.2 त्याग के साथ मॉडल चयन

पेपर एक नवीन मॉडल चयन गारंटी (थ्योरम 3.4) प्रदान करता है। मानक परिणामों के विपरीत जहाँ सन्निकटन त्रुटि वैश्विक रूप से मूल्यांकित की जाती है, यहाँ पछतावा (regret) निम्नलिखित में विभाजित होता है:

1. एक मॉडल चयन टर्म।
2. एक एस्टीमेशन नॉइज़ टर्म (वेरिएंस)।
3. अज्ञानता-मुक्त सन्निकटन त्रुटि: सबसे समृद्ध क्लास के सापेक्ष चुने गए मॉडल क्लास का बायस, जिसे केवल प्रेडिक्टिव सेट पर मूल्यांकित किया जाता है।
4. त्याग की लागत।

यह परिणाम दर्शाता है कि त्याग मॉडल चयन में सुधार करता है क्योंकि यह शोधकर्ता को एक सरल, अधिक सटीक मॉडल का उपयोग करने की अनुमति देता है जहाँ यह फिट बैठता है, जबकि उन संदर्भों में भविष्यवाणी रोकने की अनुमति देता है जहाँ मॉडल खराब प्रदर्शन करेगा।

3.3 त्याग लागत की व्याख्या

पेपर $c(x)$ के अमूर्त पैरामीटर और भविष्य के डेटा संग्रह के मूल्य के बीच एक औपचारिक संबंध स्थापित करता है। $c(x)$ को $m$ अतिरिक्त अवलोकनों के बाद एक भविष्यवाणी के मीन-स्क्वेयर्ड एरर के रूप में व्याख्यायित करके, ढांचा यह निर्धारित करने के लिए एक डेटा-संचालित विधि प्रदान करता है कि कब आगे का प्रयोग करना उचित है।

4. अनुभवजन्य अनुप्रयोग और परिणाम

लेखक "ग्रेजुएशन प्रोग्राम" के पुन: विश्लेषण पर इस पद्धति को लागू करते हैं, जो छह देशों (इथियोपिया, घाना, होंडुरास, भारत, पाकिस्तान, पेरू) में कार्यान्वित एक बहुआयामी गरीबी-विरोधी हस्तक्षेप है, जिसमें 10,000 से अधिक परिवार शामिल हैं।

• डेटा प्रोसेसिंग: वे बेसलाइन विशेषताओं (उपभोग, संपत्ति, खाद्य सुरक्षा, ऋण राशि) और देश के आधार पर 796 प्रकार बनाते हैं।
• मॉडल चयन: क्रॉस-वैलिडेशन और ब्रेक-ईवन विश्लेषण का उपयोग करके, वे 11 प्रेडिक्टिव आर्कटाइप्स के साथ एक डेप्थ-फोर ट्री चुनते हैं।
• अज्ञानता का बेसिन: लगभग 15% अवलोकनों को अज्ञानता के बेसिन में असाइन किया जाता है। ये मुख्य रूप से पेरू और पाकिस्तान के सबसे गरीब चतुर्थांशों (quartiles) में, और भारत एवं इथियोपिया में केंद्रित हैं, जो यह सुझाव देता है कि इन विशिष्ट उपसमूहों के लिए, मौजूदा साक्ष्य विश्वसनीय भविष्यवाणियां करने के लिए पर्याप्त नहीं हैं।
• विषमता निष्कर्ष: प्रेडिक्टिव आर्कटाइप्स पर्याप्त विषमता प्रकट करते हैं, जिनके प्रभाव शून्य के करीब से लेकर कंट्रोल-ग्रुप के स्टैंडर्ड डेविएशन के 48% तक भिन्न होते हैं। कई उच्च-प्रभाव वाले आर्कटाइप्स साझा किए गए हैं, जो सफल साक्ष्य एकत्रीकरण को प्रदर्शित करते हैं।
• नो-एब्स्टेंशन बेसलाइन्स के साथ तुलना:
  • एक मानक ट्री बिना त्याग के, मुख्य रूप से देश के आधार पर विभाजित होता है, जो पोर्टेबल क्रॉस-कंट्री पैटर्न की पहचान करने में विफल रहता है।
  • बिना त्याग वाला ट्री छोटे, उच्च-वेरिएंस वाले लीव्स बनाता है जो अत्यधिक और अस्थिर भविष्यवाणियां (जैसे, -103% या 249% के प्रभाव) उत्पन्न करता है।
  • एक इग्नोरेंस-अवेयर ट्री प्रेडिक्टिव सेट पर मानक प्रक्रियाओं (एम्पेरिकल बेज़, कार्ट, जनरलाइज्ड रैंडम फॉरेस्ट) और नो-एब्स्टेंशन ट्री की तुलना में माध्य-वर्ग त्रुटि (mean-squared error) को काफी कम कर देता है।
  • इग्नोरेंस-अवेयर ट्री के स्टैंडर्ड एरर नो-एब्स्टेंशन ट्री के मुकाबले लगभग आधे हैं।

संख्यात्मक अध्ययन (Numerical Study)
एक कैलिब्रेटेड मोंटे कार्लो अध्ययन एक "दूषित" क्षेत्र (पेरू का एक उपसमूह) पेश करता है जिसमें मनमाना, हेवी-टेल्ड विषमता है। परिणाम दिखाते हैं कि जैसे-जैसे इस संदूषण (contamination) की गंभीरता बढ़ती है, इग्नोरेंस-अवेयर ट्री दूषित क्षेत्र को अज्ञानता के बेसिन में सफलतापूर्वक असाइन कर देता है। यह शेष स्थिर क्षेत्रों के लिए भविष्यवाणी की सटीकता को सुरक्षित करता है, जिससे प्रतिस्पर्धी बेंचमार्क (कार्ट, रैंडम फॉरेस्ट, एम्पेरिकल बेज़) की तुलना में भविष्यवाणी त्रुटि में 50% तक और नो-एब्स्टेंशन ट्री की तुलना में 80% तक की कमी आती है।

5. महत्व और दावे

यह पेपर दावा करता है कि यह वर्तमान डेटा की सीमाओं को स्पष्ट रूप से स्वीकार करते हुए साक्ष्य एकत्रीकरण के लिए एक नया प्रतिमान (paradigm) प्रदान करता है। इसके प्राथमिक योगदान हैं:

1. अज्ञानता को सीखना: यह इस धारणा से आगे बढ़ता है कि प्रत्येक इकाई के लिए भविष्यवाणी की जानी चाहिए। इसके बजाय, यह "हम कहाँ नहीं जानते" की पहचान को अनुमान समस्या के एक मुख्य भाग के रूप में मानता है।
2. गलत विनिर्देश (Misspecification) के प्रति मजबूती: त्याग की अनुमति देकर, यह तरीका उन वैश्विक धारणाओं (जैसे, स्पर्सिटी, स्मूथनेस) को कम करता है जो मानक विषमता विधियों के लिए आवश्यक हैं। ये धारणाएं केवल उन डेटा उपसमूहों पर लागू होनी चाहिए जहाँ भविष्यवाणी की जाती है।
   प्रेडिक्शन के लिए उपयोग किए जाने वाले डेटा के भविष्य के मूल्य के साथ एक औपचारिक संबंध प्रदान करता है, जो यह निर्धारित करने के लिए एक ठोस, डेटा-संचालित नियम देता है कि कब रुकना है और अधिक डेटा एकत्र करना है।
3. बेहतर सटीकता: अनुभवजन्य और सिमुलेशन परिणाम बताते हैं कि कठिन-से-अनुमानित इकाइयों को बाहर करके, यह विधि शेष इकाइयों के लिए भविष्यवाणियों की सटीकता और स्थिरता में काफी सुधार करती है, जिससे विविध और शोरपूर्ण संदर्भों में जबरन एकत्रीकरण से होने वाले विरूपण से बचा जा जा सके।

लेखक इस कार्य को मेटा-एनालिसिस, ट्रीटमेंट इफेक्ट हेटेरोजेनिटी और रिजेक्शन विकल्पों के साथ मशीन लर्निंग के बीच एक सेतु के रूप में प्रस्तुत करते हैं, जो विशेष रूप से गैर-एक्सचेंजेबल और संभावित रूप से मिसस्पेसिफाइड पॉलिसी इवैल्यूएशन संदर्भों की चुनौतियों के लिए तैयार किया गया है।