📊 statistics

Anytime-Valid Confirmation of Covariate Balance for Prespecified Corrections

यह शोध पत्र समय-एकसमान विश्वास अनुक्रमों (time-uniform confidence sequences) का उपयोग करके पूर्व-निर्धारित सुधारों के कोवेरिएट संतुलन (covariate balance) की क्रमिक पुष्टि के लिए एक 'एनीटाइम-वैलिड' (anytime-valid) प्रक्रिया प्रस्तुत करता है, जो नियंत्रित गलत-पुष्टि दरों (false-confirmation rates) की गारंटी देते हुए कोवेरिएट शिफ्ट के तहत भारित कॉन्फॉर्मल प्रेडिक्शन (weighted conformal prediction) के लिए डाउनस्ट्रीम पर्याप्तता और पूरक निदान के प्रमाण प्रदान करता है।

मूल लेखक: Seungjin Choi

प्रकाशित 2026-07-28

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seungjin Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

डेटा का महा-विसंगति: क्यों आपके AI को वास्तविकता की जाँच की आवश्यकता है

कल्पना कीजिए कि आप एक शेफ हैं जिसने केवल एक धूप वाले, उष्णकटिबंधीय खेत के अवयवों (ingredients) का उपयोग करके एक रेसिपी को सिद्ध करने में वर्षों बिताए हैं। आप जानते हैं कि उन विशिष्ट टमाटरों और मिर्चों के साथ आपका व्यंजन कैसा स्वाद देता है। लेकिन फिर, आपको एक ठंडे, पहाड़ी गाँव में लोगों के एक नए समूह के लिए खाना पकाने का काम मिलता है। वहाँ के लोगों की पसंद अलग है, और इससे भी महत्वपूर्ण बात यह है कि आपके पास उपलब्ध एकमात्र सब्जियाँ पूरी तरह से एक अलग जलवायु की हैं। यदि आप बिना कुछ बदले अपनी उष्णकटिबंधीय रेसिपी को पहाड़ी सब्जियों के साथ पकाने की कोशिश करते हैं, तो व्यंजन संभवतः एक आपदा बन जाएगा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे कोवेरिएट शिफ्ट (covariate shift) कहा जाता है। यह तब होता है जब एक AI मॉडल को डेटा के एक सेट ( "स्रोत") पर प्रशिक्षित किया जाता है, लेकिन उसे डेटा के एक नए, अलग सेट ("लक्ष्य") पर भविष्यवाणियाँ करनी पड़ती हैं। खेल के नियम नहीं बदले हैं, लेकिन खिलाड़ी बदल गए हैं।

इसे ठीक करने के लिए, डेटा वैज्ञानिक अक्सर पुराने डेटा को "रीवेट" (reweight) करने की कोशिश करते हैं। इसे ऐसे समझें जैसे अपने पुराने उष्णकटिबंधीय टमाटरों को कम महत्व देना और नए पहाड़ी गाजरों को अधिक महत्व देना, ताकि अंतिम व्यंजन नए लोगों के लिए सही स्वाद दे सके। यह एक चतुर तरकीब है, लेकिन इसके साथ एक बड़ा जोखिम भी आता है: क्या होगा यदि आपकी गणित गलत हो? क्या होगा यदि आपने गाजरों को बहुत अधिक महत्व दिया, या टमाटरों को बहुत कम? यदि आप जाँच नहीं करते हैं, तो आपका AI आत्मविश्वास के साथ भयानक भविष्यवाणियाँ कर सकता है। यहीं से वह शोध पत्र (paper) शुरू होता है जिसे हम अब एक्सप्लोर करने जा रहे हैं। यह व्यंजन पकाने का नया तरीका आविष्कार करने की कोशिश नहीं करता है; इसके बजाय, यह एक अत्यंत सख्त, वास्तविक समय का 'टेस्ट-टेस्टर' बनाता है जो आपको बता सकता है, "हाँ, यह रीवेटिंग उपयोग करने के लिए सुरक्षित है," या "रुको! यह अभी भी बहुत खराब होने वाला है," जबकि आप अभी भी सामग्री एकत्र कर रहे हैं।

पेपर का बड़ा विचार: "एनीटाइम-वैलिड" टेस्ट

सेंगजिन चोई (Seungjin Choi) का पेपर एक बहुत ही विशिष्ट, परेशान करने वाली समस्या को संबोधित करता है: आप कैसे सुनिश्चित कर सकते हैं कि आपका डेटा सुधार वास्तव में काम करता है, विशेष रूप से तब जब नया डेटा अभी भी एक-एक करके आ रहा हो?

आमतौरता पर, जब वैज्ञानिक डेटा विसंगति को ठीक करते हैं, तो वे एक सुधार कारक (एक गणितीय "भार" या weight) की गणना करते हैं और उम्मीद करते हैं कि सब ठीक होगा। लेकिन यह पेपर तर्क देता है कि केवल उम्मीद करना पर्याप्त नहीं है। आपको सुरक्षा के प्रमाण की आवश्यकता है। लेखक एक नई विधि प्रस्तावित करते हैं जिसे एनीटाइम-वैलिड कन्फर्मेशन (Anytime-Valid Confirmation) कहा जाता है। कल्पना कीजिए कि आप अपनी दुकान में नए ग्राहकों के आने के लाइव स्ट्रीम को देख रहे हैं। आप जानना चाहते हैं कि क्या आपकी नई मूल्य निर्धारण रणनीति (सुधार) पुराने ग्राहकों की तुलना में निष्पक्ष और संतुलित है। आप चीज़ों को जाँचने के लिए दिन के अंत तक प्रतीक्षा नहीं करना चाहते; आप अभी जानना चाहते हैं कि क्या चीजें ठीक दिख रही हैं, और आप उस क्षण रुकना चाहते हैं जब आपके पास पर्याप्त प्रमाण हो।

यह पेपर इस समस्या को हल करने के लिए दो-भागों वाली प्रणाली पेश करता है, जो कुछ जटिल गणित का उपयोग करती है लेकिन बहुत सरल तर्क पर आधारित है:

1. "ग्लोबल ड्रिफ्ट" मॉनिटर (द कंपास)

सबसे पहले, एक उपकरण है जो एक दिशा-सूचक (compass) की तरह कार्य करता है। यह जाँचता है कि क्या नया डेटा स्ट्रीम सामान्य रूप से पुराने डेटा की तुलना में एक "बेहतर" दिशा में बढ़ रहा है। यह पूछता है: "क्या नया डेटा उस चीज़ के करीब है जो हम चाहते हैं, बजाय पुराने डेटा के?"

चुनौती: यह कंपास यह पहचानने में महान है कि क्या आप गलत दिशा में जा रहे हैं (जैसे खाई में गिरना), लेकिन यह यह नहीं बता सकता कि आप सही गंतव्य पर पहुँच गए हैं। आप एक सुंदर पहाड़ की ओर जा सकते हैं, लेकिन यदि आपको समुद्र तट पर जाना था, तो कंपास खुश है, लेकिन आप फिर भी खोए हुए हैं। पेपर दिखाता है कि केवल इसलिए कि एक सुधार "वैश्विक रूप से बेहतर" दिखता है, इसका मतलब यह नहीं है कि वह आपकी विशिष्ट आवश्यकताओं के लिए वास्तव में संतुलित है।

2. "बैलेंस कन्फर्मेशन" सर्टिफिकेट (द गोल्ड स्टैंडर्ड)

यह इस पेपर का मुख्य आकर्षण है। यह एक सख्त, चरण-दर-चरण जाँच है जो पूछती है: "क्या नए डेटा के विशिष्ट विवरण, त्रुटि के एक सूक्ष्म मार्जिन के भीतर, पुराने डेटा से बिल्कुल मेल खाते हैं?"

यह कैसे काम करता है: आप जाँचने के लिए विशिष्ट चीजों की एक सूची चुनते हैं (जैसे ग्राहकों की औसत आयु, या शहर में कितने लोग रहते हैं)। जैसे-जैसे नया डेटा आता है, सिस्टम एक "कॉन्फिडेंस बैंड" बनाता है कि नया डेटा क्या हो सकता है। यदि, किसी भी बिंदु पर, नए डेटा की पूरी संभावित सीमा आपके "टॉलरेंस बैंड" (वह क्षेत्र जहाँ आप कहते हैं, "ठीक है, यह काफी करीब है") के भीतर पूरी तरह से फिट बैठती है, तो सिस्टम रुक जाता है और आपको एक सर्टिफिकेट (प्रमाणपत्र) देता है।
जादू: यह सर्टिफिकेट "एनीटाइम-वैलिड" है। इससे कोई फर्क नहीं पड़ता कि आप 100 ग्राहकों के बाद रुकते हैं या 10,000 के बाद। गणित गारंटी देता है कि यदि आप रुकते हैं और कहते हैं कि "यह संतुलित है," तो आप लगभग निश्चित रूप से सही हैं। यदि डेटा वास्तव में संतुलित नहीं है, तो सिस्टम द्वारा आपको यह विश्वास दिलाने की संभावना कि यह संतुलित है, बहुत कम है (जिसे $\delta$ नामक संख्या द्वारा नियंत्रित किया जाता है, जिसे आमतौर पर बहुत कम रखा जाता है)।

"फाइनाइट सोर्स" ट्विस्ट: जब आपके पास पूर्ण पुराना डेटा नहीं होता

पेपर एक वास्तविक समस्या को भी संबोधित करता है: आमतौर पर, आपके पास अपने भार (weights) को पूरी तरह से गणना करने के लिए अनंत पुराना डेटा नहीं होता है। आपके पास केवल एक नमूना (sample) होता है।

समस्या: यदि आपका पुराना डेटा छोटा है, तो आपके "भार" डगमगाते हुए होंगे। यदि आप इसे अनदेखा करते हैं, तो आप सोच सकते हैं कि आप संतुलित हैं जबकि आप वास्तव में केवल भाग्यशाली थे।
समाधान: लेखक जाँचने के लिए दो अलग-अलग "बैंड" बनाते हैं।
- द कम्पैटिबिलिटी बैंड (The Compatibility Band): एक विस्तृत, धुंधला क्षेत्र जो कहता है, "हे, नया डेटा पुराने डेटा के अनुकूल हो सकता है, हमारी अनिश्चितता को देखते हुए।" यह त्वरित नज़र के लिए उपयोगी है, लेकिन यह गारंटी नहीं है।
- द कन्फर्मेशन बैंड (The Confirmation Band): एक संकीकर, सख्त क्षेत्र। आधिकारिक "गो" सर्टिफिकेट प्राप्त करने के लिए, डेटा को इस तंग क्षेत्र के भीतर फिट होना चाहिए। यदि पुराना डेटा बहुत डगमगाता है (छोटा सैंपल साइज), तो यह बैंड पूरी तरह से गायब हो सकता है, जो आपको बताता है, "हम इसकी पुष्टि नहीं कर सकते, हमें और पुराना डेटा चाहिए।" यह आपको सुरक्षा का झूठा दावा करने से रोकता है।

प्रयोगों ने क्या दिखाया

लेखकों ने केवल सिद्धांत नहीं लिखा; उन्होंने यह देखने के लिए सिमुलेशन चलाए कि उनके उपकरण कैसे व्यवहार करते हैं।

"झूठी उम्मीद" का जाल: एक प्रयोग में, उन्होंने एक ऐसा सुधार इस्तेमाल किया जो "ग्लोबल कंपास" पर बहुत अच्छा दिखता था (यह कुछ न करने से बेहतर था) लेकिन विशिष्ट विवरणों को संतुलित करने में वास्तव में बहुत खराब था। ग्लोबल टूल ने कहा, "अच्छा काम किया!" लेकिन बैलेंस कन्फर्मेशन टूल ने कहा, "रुको! यह संतुलित नहीं है!" यह साबित करता है कि दोनों उपकरण अलग-अलग, गैर-अतिव्यापी जानकारी देते हैं।
"गलत दिशा" का जाल: उन्होंने एक ऐसा सुधार भी टेस्ट किया जो वास्तव में हानिकारक था। ग्लोबल टूल ने सही ढंग से दिखाया कि यह गलत दिशा (नेगेटिव ड्रिफ्ट) में जा रहा है, लेकिन बैलेंस कन्फर्मेशन टूल ने सही ढंग से सर्टिफिकेट देने से इनकार कर दिया।
वास्तविक दुनिया का प्रभाव: उन्होंने दिखाया कि यदि आप एक वास्तविक भविष्यवाणी कार्य (जैसे ग्राहक व्यवहार की भविष्यवाणी करना) में "पुष्ट" (confirmed) सुधार का उपयोग करते हैं, तो आपकी भविष्यवाणियाँ बहुत अधिक सटीक होती हैं। यदि आप "अपुष्ट" या "आंशिक" सुधार का उपयोग करते हैं, तो आपकी भविष्यवाणियाँ अक्सर विफल हो जाती हैं, भले ही सुधार पहली नज़र में ठीक लग रहा हो।

निष्कर्ष (The Bottom Line)

यह पेपर आपको यह नहीं बताता कि अपने डेटा मिसमैच को कैसे ठीक करें (वह एक अलग काम है)। इसके बजाय, यह आपको एक विश्वसनीय, वास्तविक समय का निरीक्षक देता है जो आपको बताता है कि सुधार वास्तव में उपयोग करने के लिए पर्याप्त अच्छा है या नहीं।

यह हमें सिखाता है कि आर्टिफिशियल इंटेलिजेंस की दुनिया में, "बेहतर दिखना" और "संतुलित होना" एक ही बात नहीं है। आपके पास एक ऐसा सुधार हो सकता है जो वैश्विक स्तर पर चीजों को बेहतर बनाता है लेकिन फिर भी उन विशिष्ट विवरणों को छोड़ देता है जो आपके अंतिम निर्णय के लिए महत्वपूर्ण हैं। इस "एनीटाइम-वैलिड" पद्धति का उपयोग करके, आप अनुमान लगाना बंद कर सकते हैं और जानना शुरू कर सकते हैं। आप डेटा स्ट्रीम को देख सकते हैं, गणित से ग्रीन लाइट मिलने का इंतज़ार कर सकते हैं, और फिर एक सर्टिफिकेट के साथ अपना मॉडल तैनात कर सकते हैं जो कहता है, "हाँ, यह सुरक्षित है।" और यदि गणित कहता है "नहीं", या यदि डगमगाते पुराने डेटा के कारण बैंड बहुत चौड़े हैं, तो आप जानते हैं कि आगे बढ़ने से पहले और जानकारी एकत्र करनी है। यह तूफान के बीच अनुमान लगाने और एक जीपीएस होने के बीच का अंतर है जो केवल तभी आगे बढ़ने की अनुमति देता है जब सड़क वास्तव में साफ हो।

तकनीकी सारांश: पूर्वनिर्धारित सुधारों के लिए एनीटाइम-वैलिड (Anytime-Valid) कोवेरिएट बैलेंस का पुष्टिकरण

समस्या विवरण
कई मशीन लर्निंग डिप्लॉयमेंट में, लक्ष्य स्ट्रीम ( $P_X^t$ ) का इनपुट वितरण, स्रोत प्रशिक्षण वितरण ( $P_X^s$ ) से भिन्न होता है, जबकि सशर्त प्रतिक्रिया तंत्र अपरिवर्तित रहता है ( $P_t(Y|X) = P_s(Y|X)$ )। यह शुद्ध कोवेरिएट-शिफ्ट मॉडल है। अभ्यासकर्ता अक्सर एक सुधार फलन $w(x)$ (आमतौर पर रेडॉन-निकोडिम व्युत्पन्न $dP_X^t/dP_X^s$ का एक अनुमान) का निर्माण करते हैं ताकि डाउनस्ट्रीम कार्यों जैसे कि इम्पॉर्टेंस-वेटेड रिस्क मिनिमाइजेशन या कॉन्फॉर्मल प्रेडिक्शन के लिए स्रोत डेटा को पुन: भारित (reweight) किया जा सके।

हालाँकि, एक सुधार का निर्माण उसके सुरक्षित या पर्याप्त होने की गारंटी नहीं देता है। एक सुधार शोरपूर्ण (noisy), पक्षपाती हो सकता है, या जैसे-जैसे लक्षित जनसंख्या बदलती है, विफल हो सकता है। मौजूदा विधियों में अक्सर एक कठोर, अनुक्रमिक अनुमानात्मक ढांचा (sequential inferential framework) की कमी होती है जो इस पोस्ट-कंस्ट्रक्शन प्रश्न का उत्तर दे सके: दिए गए निश्चित उम्मीदवार सुधार $w$ के लिए, क्या प्रेरित सुधारा गया वितरण विशिष्ट डाउनस्ट्रीम उपयोग के लिए पर्याप्त रूप से संतुलित है? यह विशेष रूप से चुनौतीपूर्ण है जब लक्षित इनपुट क्रमिक रूप से और बिना लेबल के आते हैं, जिसके लिए एक ऐसे डायग्नोस्टिक की आवश्यकता होती है जो ऑप्शनल स्टॉपिंग (अर्थात, टाइप I एरर को बढ़ाए बिना किसी भी डेटा-डिपेंडेंट समय पर निगरानी रोक सकता है) के तहत वैध रहे।

कार्यप्रणाली
यह शोध पत्र एक ढांचे का प्रस्ताव करता है जो एक ही अनुक्रमिक लक्ष्य इनपुट स्ट्रीम पर चलने वाले दो समानांतर, एनीटाइम-वैलिड आकलन को अलग करता है:

स्रोत-कैलिब्रेटेड ग्लोबल रिलेटिव मॉनिटर (सहायक):
- तंत्र: एक ई-प्रोसेस (e-process) $M_n = \prod_{i=1}^n w(X_i)$ का निर्माण करता है, जहाँ $w$ एक पूर्वनिर्धारित सुधार है।
- वैधता: स्रोत-संदर्भ नल ( $X_i \sim P_X^s$ ) के तहत, $M_n$ एक गैर-ऋणात्मक मार्टिंगेल (nonnegative martingale) है। थ्रेशोल्ड $1/\alpha$ को पार करना इस बात का एनीटाइम-वैलिड प्रमाण प्रदान करता है कि स्ट्रीम स्रोत-समान नहीं है।
- व्याख्या: $M_n$ का लॉग-ग्रोथ KL-ड्रिफ्ट पहचान (KL-drift identity) का अनुसरण करता है: यह तब बढ़ता है जब सुधारा गया वितरण स्रोत की तुलना में लक्ष्य के अधिक करीब होता है (Kullback-Leibler (KL) जोखिम में)।
- सीमा: यह एक सापेक्ष माप है। एक क्रॉसिंग यह संकेत देती है कि सुधार अनवेटेड स्रोत की तुलना में बेहतर है, लेकिन यह पुष्टि नहीं करती कि सुधार डाउनस्ट्रीम उपयोग के लिए लक्ष्य के पर्याप्त करीब है। एक अधूरा सुधार भी सकारात्मक ड्रिफ्ट दिखा सकता है।
प्राथमिक एनीटाइम-वैलिड कोवेरिएट बैलेंस पुष्टिकरण:
- तंत्र: यह एक पूर्वनिर्धारित बैलेंसिंग फंक्शन क्लास $\mathcal{F} = \{f_1, \dots, f_m\}$ और सहनशीलता (tolerances) $\varepsilon_j$ पर ध्यान केंद्रित करता है। लक्ष्य यह पुष्टि करना है कि अवशिष्ट असंतुलन (residual imbalance) $\Delta_{\mathcal{F}}(w) = \sup_{f \in \mathcal{F}} |E_t[f(X)] - E_w[f(X)]|$ सहनशीलता के भीतर है।
- प्रक्रिया: यह लक्ष्य माध्यों के लिए टाइम-यूनिफॉर्म कॉन्फिडेंस सीक्वेंस (CS) का उपयोग करता है। यह प्रक्रिया केवल तभी रुकती है और संतुलन की पुष्टि करती है जब प्रत्येक बैलेंसिंग फंक्शन के लिए संपूर्ण कॉन्फिडेंस सीक्वेंस, वेटेड सोर्स मीन के चारों ओर स्थित फिक्स्ड टॉलरेंस बैंड के भीतर आ जाता है।
- परिमित-स्रोत प्रभाव (Finite-Source Effects): जब स्रोत मोमेंट्स का अनुमान सीमित नमूने से लगाया जाता है, तो पेपर निम्नलिखित के बीच अंतर करता है:
  - पुष्टिकरण बैंड (Contracted Confirmation Bands): सभी संभावित स्रोत मोमेंट्स पर टॉलरेंस बैंड्स का प्रतिच्छेदन (intersection)। यहाँ समावेशन औपचारिक रूप से $\delta + \eta$ के फॉल्स-कन्फर्मेशन बाउंड के साथ $\varepsilon$ -बैलेंस की पुष्टि करता है।
  - संगतता बैंड (Expanded Compatibility Bands): टॉलरेंस बैंड्स का संघ (union)। यहाँ समावेशन केवल यह सुझाव देता है कि लक्ष्य किसी संभावित स्रोत मोमेंट के साथ संगत है, लेकिन यह विशिष्ट $\varepsilon$ -बैलेंस के दावे की पुष्टि नहीं करता है।
- वैधता: यदि किसी भी फंक्शन के लिए वास्तविक असंतुलन सहनशीलता से अधिक है, तो गलत तरीके से संतुलन की पुष्टि करने की संभावना $\delta$ (या सीमित स्रोत अनिश्चितता के साथ $\delta + \eta$ ) से अधिक नहीं होगी।

मुख्य योगदान

एनीटाइम-वैलिड कन्फर्मेशन प्रोसीजर: प्राथमिक योगदान एक अनुक्रमिक प्रक्रिया है जो कोवेरिएट बैलेंस की पुष्टि करने की अनुमति देती है। मौजूदा दो-नमूना परीक्षणों (two-sample tests) के विपरीत जो अंतर का पता लगाते हैं, यह प्रक्रिया समानता-शैली के पुष्टिकरण (equivalence-style confirmation) प्रदान करती है कि विसंगति पर्याप्त रूप से कम है।
सापेक्ष और पूर्ण दावों का पृथक्करण: यह पेपर एक वैश्विक, स्रोत-कैलिब्रेटेड ई-प्रोसेस (सापेक्ष साक्ष्य) और एक स्थानीय, टॉलरेंस-आधारित बैलेंस कन्फर्मेशन (पूर्ण पर्याप्तता) के बीच स्पष्ट अंतर करता है। यह प्रदर्शित करता है कि ये गैर-अतिव्यापी (non-redundant) जानकारी प्रदान करते हैं; एक सुधार वैश्विक मॉनिटर को पास कर सकता है जबकि बैलेंस कन्फर्मेशन में विफल हो सकता है, और इसके विपरीत भी।
परिमित-स्रोत डेटा को संभालना: यह कार्य इस बात का औपचारिक उपचार प्रदान करता है जब सुधार सीमित डेटा से प्राप्त किया जाता है। यह फॉल्स-कन्फर्मेशन गारंटी को बनाए रखने के लिए संकुचित "कन्फर्मेशन बैंड्स" और डायग्नोस्टिक उद्देश्यों के लिए विस्तारित "कंपैटिबिलिटी बैंड्स" पेश करता है, यह स्पष्ट करते हुए कि बाद वाला पूर्ण दावे का समर्थन नहीं कर सकता है।
परिचालन विस्तार (Operational Extensions):
- स्वीकार्य-शिफ्ट मॉनिटरिंग: यह निर्धारित करने के लिए एक एनीटाइम-वैलिड टेस्ट कि क्या लक्ष्य स्ट्रीम पूर्वनिर्धारित एक्स्पोनेंशियल-टिल्ट सुधारों के एक परिवार से अधिक है।
- डाउनस्ट्रीम एकीकरण: वेटेड कॉन्फॉर्मल प्रेडिक्शन में तैनात किए जाने वाले बैलेंस-कन्फर्म्ड सुधारों के लिए एक वर्कफ़्लो, जहाँ कन्फर्मेशन कवरेज गारंटी की वैधता के लिए एक गेटकीपर के रूप में कार्य करता है।

परिणाम और प्रयोग
गौसियन मॉडल पर संख्यात्मक प्रयोग सैद्धांतिक दावों को स्पष्ट करते हैं:

ग्लोबल मॉनिटर: ई-प्रोसेस सही ढंग से पहचानता है कि कब एक सुधार स्रोत की तुलना में बेहतर (पॉजिटिव KL ड्रिफ्ट) है, लेकिन यह पहचानने में विफल रहता है कि कब सुधार अभी भी लक्ष्य से दूर है (जैसे, एक आंशिक सुधार जो केवल फीचर्स के एक उपसमुच्चय को संतुलित करता है)।
बैलेंस कन्फर्मेशन: प्रक्रिया सटीक सुधारों की पुष्टि करती है और उन आंशिक सुधारों को खारिज करती है जो सहनशीलता से अधिक होते हैं। यह प्रमाण की "स्थानीयता" (locality) को उजागर करती है: एक सुधार जो केवल कुछ फीचर्स को संतुलित करता है, उसे केवल तभी कन्फर्म किया जाता है जब बैलेंसिंग-फंक्शन क्लास उन फीचर्स तक सीमित हो।
परिमित-स्रोत प्रभाव: प्रयोग दर्शाते हैं कि जब स्रोत मोमेंट्स का अनुमान लगाया जाता है, तो पुष्टि के लिए विस्तारित कंपैटिबिलिटी बैंड्स का उपयोग करने से उच्च फॉल्स-कन्फर्मेशन दर (अध्ययन में 37.6%) होती है। इसके विपरीत, संकुचित कन्फर्मेशन बैंड्स फॉल्स-कन्फर्मेशन बाउंड को बनाए रखते हैं (अध्ययन में 0%), लेकिन जब स्रोत अनिश्चितता बहुत अधिक होती है, तो वे खाली बैंड्स (अध्ययन में 29.7% रन) का परिणाम दे सकते हैं।
डाउनस्ट्रीम प्रभाव: वेटेड कॉन्फॉर्मल प्रेडिक्शन में, सटीक वेटिंग नाममात्र कवरेज (nominal coverage) को बहाल करती है, जबकि आंशिक वेटिंग (अनुकूल वैश्विक साक्ष्य के बावजूद) अंडर-कवरेज की ओर ले जाती है। सटीक कैलिब्रेशन के साथ वेटेड फिटिंग वैधता बनाए रखते हुए दक्षता में सुधार करती है।

महत्व और दावे
यह पेपर विशेष रूप से एक पूर्वनिर्धारित कोवेरिएट सुधार की पर्याप्तता की पुष्टि करने के लिए पहले एनीटाइम-वैलिड ढांचे के रूप में दावा करता है। इसका महत्व "वेट्स के निर्माण" से हटकर "वेट्स के सांख्यिकीय प्रमाणन" (statistically certifying weights) की ओर जाने में निहित है।

लेखक जोर देते हैं कि परिणामी प्रमाण पत्र चुने गए बैलेंसिंग फंक्शन्स और सहनशीलता के संबंध में पूर्ण (absolute) है (डाउनस्ट्रीम उपयोग के लिए गारंटी प्रदान करता है), लेकिन स्थानीय (local) है (यह वैश्विक वितरण समानता की गारंटी नहीं देता है)। पेपर विनम्रतापूर्वक नोट करता है कि प्रक्रिया पूर्वनिर्धारित सुधार, बैलेंसिंग फंक्शन और सहनशीलता पर निर्भर करती है; यह एनीटाइम-वैलिड गारंटी का उल्लंघन किए बिना सर्वोत्तम सुधार या बैलेंसिंग फंक्शन को अनुकूल रूप से खोजने का समाधान करने का दावा नहीं करती है। यह कार्य एक गेटकीपिंग तंत्र के रूप में कार्य करता है, यह सुनिश्चित करता है कि कॉन्फॉर्मल प्रेडिक्शन जैसे डाउनस्ट्रीम कार्यों को केवल तभी तैनात किया जाए जब इनपुट वितरण बेमेल को कड़ाई से सीमित किया गया हो।