📈 economics

Calibeating Prediction-Powered Inference

यह शोध पत्र कैलिब्रेटेड प्रेडिक्शन-पावर्ड इन्फरेंस (Calibrated Prediction-Powered Inference) को प्रस्तुत करता है, जो एक अर्ध-पर्यवेक्षित (semisupervised) माध्य अनुमान पद्धति है जो पुनरप्रशिक्षण के बिना एस्टिमेटर की दक्षता और भविष्य कहने वाली सटीकता में सुधार करने के लिए एक छोटे लेबल वाले नमूने पर ब्लैक-बॉक्स प्रेडिक्शन स्कोर को पोस्ट-हॉक कैलिब्रेट करती है, जो आइसोटोनिक कैलिब्रेशन (isotonic calibration) के लिए प्रथम-क्रम अनुकूलता गारंटी और AIPW एवं PPI++ जैसे मौजूदा दृष्टिकोणों के विरुद्ध प्रतिस्पर्धी प्रदर्शन प्रदान करती है।

मूल लेखक: Lars van der Laan, Mark Van Der Laan

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lars van der Laan, Mark Van Der Laan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Calibrated Prediction-Powered Inference" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए विवरण दिया गया है।

बड़ी तस्वीर: "विशेषज्ञ" और "भीड़"

कल्पना कीजिए कि आप एक विशाल स्टेडियम में मौजूद सभी लोगों की औसत ऊँचाई का अनुमान लगाने की कोशिश कर रहे हैं।

समस्या: आपके पास 100 लोगों का एक छोटा समूह (लेबल वाला सैंपल) है, जिनकी ऊँचाई आप वास्तव में इंची टेप से माप सकते हैं।
अवसर: आपके पास 10,000 लोगों की एक विशाल भीड़ (अनलेबल वाला सैंपल) है, जिनके लिए आपके पास इंची टेप नहीं है, लेकिन आपके पास एक स्मार्ट AI रोबोट है जो उन्हें देखकर उनकी ऊँचाई का अनुमान लगा सकता है।
लक्ष्य: 10,000 लोगों की ऊँचाई का अनुमान लगाने के लिए रोबोट के अनुमानों का उपयोग करके, आपको औसत ऊँचाई का एक बहुत बेहतर अनुमान प्राप्त करना है, जो केवल उन 100 लोगों को मापने से कहीं अधिक सटीक होगा।

जाल: "अति-आत्मविश्वासी" रोबोट

पेपर एक आम गलती की ओर इशारा करता है। मान लीजिए कि आपका रोबोट रैंकिंग देने में बहुत अच्छा है। वह जानता है कि व्यक्ति A, व्यक्ति B से लंबा है, और व्यक्ति B, व्यक्ति C से लंबा है।

हालाँकि, रोबोट मिसकैलिब्रेटेड (Miscalibrated) है।

हो सकता है कि वह सोचे कि व्यक्ति A 6 फीट लंबा है, लेकिन वास्तव में वह 5'6" का है।
हो सकता है कि वह सोचे कि व्यक्ति B 5 फीट लंबा है, लेकिन वास्तव में वह 4'11" का है।

रोबोट के नंबर गलत हैं, भले ही उसका क्रम (Order) सही हो।

यदि आप केवल रोबोट के कच्चे नंबरों (Raw numbers) को लेते हैं और उनका औसत निकालते हैं, तो आपका अंतिम अनुमान गलत होगा। यदि आप उन 100 लोगों को देखकर औसत को "ठीक" करने की कोशिश करते हैं जिन्हें आपने मापा था, तो भी आपको एक ढीला-ढाला परिणाम मिल सकता है क्योंकि रोबक के नंबर स्केल के हिसाब से बहुत ज्यादा इधर-उधर हैं।

समाधान: "कैलिबेटिंग" (Calibrated Prediction-Powered Inference)

लेखक एक नई विधि पेश करते हैं जिसे Calibrated Prediction-Powered Inference कहा जाता है। इसे एक "रियलिटी चेक" (वास्तविकता की जाँच) चरण के रूप में समझें।

बड़ी भीड़ के लिए रोबोट के अनुमानों का उपयोग करने से पहले, आप उन 100 लोगों को लेते हैं जिन्हें आपने मापा था और रोबोट से पूछते हैं: "हे, तुमने कहा था कि ये 100 लोग इतने लंबे हैं। लेकिन हमने वास्तव में उन्हें मापा है। यहाँ सच्चाई दी गई है।"

फिर रोबोट अपनी गलतियों को सुधारने के लिए एक सरल नियम सीखता है।

लीनियर कैलिब्रेशन (Linear Calibration): "ओह, मैं हमेशा 5 इंच ज्यादा बता रहा हूँ। मैं बस सभी के अनुमान में से 5 इंच घटा दूँगा।"
आइसोटोनिक कैलिब्रेशन (Isotonic Calibration): "मैं सिर्फ एक निश्चित मात्रा से गलत नहीं हूँ; मेरी गलतियाँ लंबे लोगों के मामले में बढ़ती जाती हैं। मैं सभी के लिए स्केल को ठीक करने के लिए एक लचीला कर्व (Curve) सीखूँगा।"

एक बार जब रोबोट कैलिब्रेटेड (Calibrated) हो जाता है, तो उसके नंबर वास्तविकता के साथ मेल खाने लगते हैं। अब, जब आप इस "ठीक किए गए" रोबोट को 10,000 लोगों पर लागू करते हैं, तो आपका अंतिम औसत अविश्वसनीय रूप से सटीक होता है।

लेखक इसे "Calibeating" कहते हैं क्योंकि कैलिब्रेटेड स्कोर मूल कच्चे स्कोर की तुलना में परिणाम की भविष्यवाणी करने और औसत का अनुमान लगाने, दोनों में बेहतर प्रदर्शन करता है।

यह एक बड़ी बात क्यों है

पेपर इस प्रक्रिया के तीन तरीकों की तुलना करता है:

"कच्चा" तरीका (PPI): आप केवल रोबोट के कच्चे अनुमानों का उपयोग करते हैं।
- परिणाम: यदि रोबोट मिसकैलिब्रेटेड है, तो आपका उत्तर बेकार है।
"मानक" तरीका (AIPW): आप रोबोट के अनुमानों का उपयोग करते हैं लेकिन उन 100 मापे गए लोगों का उपयोग करके औसत को गणितीय रूप से सुधारने की कोशिश करते हैं।
- परिणाम: यह काम करता है, लेकिन यदि रोबोट के नंबर स्केल से बहुत ज्यादा बाहर हैं, तो यह अक्षम (Inefficient) है। यह एक टूटे हुए रूलर (Scale) को ठीक करने के लिए जटिल गणित करने के बजाय नया खरीदने के बजाय उसे ठीक करने की कोशिश करने जैसा है।
"कैलिब्रेटेड" तरीका (यह पेपर): आप पहले रोबोट के रूलर को ठीक करते हैं, फिर उसका उपयोग करते हैं।
- परिणाम: यह विजेता है। यह आपको सबसे कम त्रुटि मार्जिन के साथ सबसे सटीक उत्तर देता है।

"आइसोटोनिक कैलिब्रेशन" का जादू

पेपर एक विशिष्ट प्रकार के सुधार को उजागर करता है जिसे Isotonic Calibration कहा जाता है।

कल्पना कीजिए कि रोबोट की गलतियाँ अव्यवस्थित और नॉन-लीनियर (Non-linear) हैं (कभी-कभी वह बहुत गलत होता है, कभी-कभी थोड़ा सा)।
आइसोटोनिक कैलिब्रेशन एक स्मार्ट, लचीले रूलर की तरह है जो बिना दोबारा ट्रेनिंग के डेटा के अनुसार खुद को पूरी तरह से ढाल लेता है।
कूल थ्योरम (Cool Theorem): लेखक सिद्ध करते हैं कि एक बार जब आप इस स्मार्ट रूलर का उपयोग कर लेते हैं, तो आप इससे बेहतर नहीं कर सकते। आप नंबरों को कितना भी बदलने की कोशिश करें, आप एक बेहतर उत्तर नहीं पा सकेंगे। यह इस विशिष्ट समस्या के लिए "गोल्ड स्टैंडर्ड" है।

वास्तविक दुनिया का उदाहरण: LLM जज

पेपर ने इसका परीक्षण लार्ज लैंग्वेज मॉडल्स (LLMs) पर किया।

कल्पना कीजिए कि आप जानना चाहते हैं कि एक नया AI चैटबॉट कितना "अच्छा" है।
कठिन तरीका: आप हजारों चैटबॉट जवाबों को पढ़ने और उन्हें रेटिंग देने के लिए इंसानों को काम पर रखते हैं। यह महंगा और धीमा है।
आसान तरीका: आप एक स्वचालित "रिवॉर्ड मॉडल" (रोबोट) का उपयोग करते हैं जो चैटबॉट के जवाबों को रेट करता है।
समस्या: रोबोट अक्सर अति-आत्मविश्वासी होता है या एक अजीब स्केल का उपयोग करता है (जैसे, 0.5 के मानव औसत के बजाय 1000 के स्कोर देना)।
समाधान: लेखकों ने मानव रेटिंग के एक छोटे बैच का उपयोग किया, रोबोट के स्कोर को कैलिब्रेट करने के लिए, और फिर बाकी चीजों को रेट करने के लिए रोबोट का उपयोग किया।
परिणाम: उन्हें बहुत कम मानव रेटिंग का उपयोग करके चैटबॉट की गुणवत्ता का अत्यधिक सटीक अनुमान प्राप्त हुआ। उन्होंने बेहतर परिणामों के साथ पैसा और समय बचाया।

एक वाक्य में सारांश

केवल रोबोट के कच्चे नंबरों पर भरोसा न करें; अपने "सच्चाई" के छोटे नमूने का उपयोग करके रोबोट को वास्तविकता की भाषा बोलना सिखाएं, और फिर बाकी डेटा के लिए भारी काम करने दें।

यह दृष्टिकोण वैज्ञानिकों और डेटा विश्लेषकों को सस्ते, प्रचुर डेटा (जैसे AI भविष्यवाणियों) से उच्च-परिशुद्धता वाले उत्तर प्राप्त करने की अनुमति देता है, बिना हर चीज़ के लिए महंगे, पूर्ण डेटा की आवश्यकता के।

यहाँ लार्स वैन डेर लां और मार्क वैन डेर लां के शोध पत्र "Calibrated Prediction-Powered Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सेमी-सुपरवाइज्ड मीन एस्टिमेशन (semisupervised mean estimation) की समस्या को संबोधित करता है जहाँ:

एक छोटा लेबल वाला डेटासेट $\{(X_i, Y_i)\}_{i=1}^n$ उपलब्ध है, जिसमें कोवेरिएट्स (covariates) $X$ और आउटकम (outcomes) $Y$ शामिल हैं।
एक बड़ा अनलेबल डेटासेट $\{\tilde{X}_j\}_{j=1}^N$ उपलब्ध है, जिसमें केवल कोवेरिएट्स शामिल हैं।
एक ब्लैक-बॉक्स प्रेडिक्शन मॉडल $m(X)$ मौजूद है, जिसे बाहरी डेटा या ऐतिहासिक स्रोतों पर प्रशिक्षित किया गया है, जो अनलेबल डेटा के लिए स्कोर प्रदान करता है।

मुख्य चुनौती:
मानक दृष्टिकोण जैसे ऑगमेंटेड इनवर्स प्रोबेबिलिटी वेटिंग (AIPW) और प्रेडिक्शन-पावर्ड इन्फरेंस (PPI) प्रेडिक्शन स्कोर $m(X)$ का उपयोग रिग्रेशन एडजस्टमेंट के रूप में करते हैं ताकि दक्षता (efficiency) में सुधार किया जा सके। हालाँकि, ये विधियाँ $m(X)$ को स्थिर मानती हैं। यदि प्रेडिक्शन मॉडल मिसकैलिब्रेटेड (miscalibrated) है (अर्थात, इसके संख्यात्मक मान वास्तविक कंडीशनल मीन $E[Y|X]$ के साथ संरेखित नहीं हैं, भले ही वह व्यक्तियों को सही ढंग से रैंक करता हो), तो रेसिडुअल वेरिएंस (residual variance) $Y - m(X)$ उच्च बना रहता है। इससे इनएफिशिएंट एस्टिमेटर्स प्राप्त होते हैं जिनके कॉन्फिडेंस इंटरवल (confidence intervals) चौड़े होते हैं, भले ही मॉडल सूचनात्मक (informative) हो। यह शोध पत्र एक ऐसा तरीका खोजने का प्रयास करता है जो मूल ब्लैक-बॉक्स मॉडल को पुन: प्रशिक्षित (retrain) किए बिना दक्षता में सुधार कर सके।

2. कार्यप्रणाली: कैलिब्रेटेड प्रेडिक्शन-पावर्ड इन्फरेंस (Calibrated PPI)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जहाँ प्रेडिक्शन स्कोर को सेमी-सुपरवाइज्ड एस्टिमेशन के लिए उपयोग करने से पहले छोटे लेबल वाले नमूने (sample) पर पोस्ट-हॉक कैलिब्रेट (post-hoc calibrate) किया जाता है।

कार्यप्रवाह (Workflow)

इनपुट: लेबल वाला डेटा $(X, Y)$ , अनलेबल डेटा $\tilde{X}$ , और एक प्री-ट्रेंड स्कोर $m(X)$ ।
कैलिब्रेशन चरण: लेबल वाले डेटा पर एक ट्रांसफॉर्मेशन मैप $f: \mathbb{R} \to \mathbb{R}$ सीखें जो ट्रांसफॉर्म किए गए स्कोर और आउटकम के बीच स्क्वेयर्ड एरर (squared error) को कम करे:
$\hat{f} \in \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n (Y_i - f(m(X_i)))^2$
जहाँ $\mathcal{H}$ फंक्शन्स का एक वर्ग है (जैसे, लीनियर, आइसोटोनिक)।
कैलिब्रेटेड स्कोर: नया स्कोर $m^*_n(X) = \hat{f}(m(X))$ परिभाषित करें।
एस्टिमेशन: कैलिब्रेटेड स्कोरों का उपयोग करके सेमी-सुपरवाइज्ड मीन एस्टिमेटर की गणना करें:
$\hat{\psi}_{cal} = \frac{1}{n+N} \left( \sum_{i=1}^n m^*_n(X_i) + \sum_{j=1}^N m^*_n(\tilde{X}_j) \right)$

मुख्य सैद्धांतिक अंतर्दृष्टि (Key Theoretical Insights)

सटीक AIPW प्रतिनिधित्व: शोध पत्र सिद्ध करता है कि प्लग-इन एस्टिमेटर $\hat{\psi}_{cal}$ कैलिब्रेटेड स्कोर $m^*_n$ का उपयोग करने वाले AIPW एस्टिमेटर के ठीक समान (exactly equivalent) है। विशेष रूप से, क्योंकि कैलिब्रेशन लेबल सेट पर स्क्वेयर्ड एरर को कम करता है, इसलिए रेसिडुअल टर्म $\frac{1}{n}\sum (Y_i - m^*_n(X_i))$ शून्य होता है (या कैलिब्रेशन क्लास के प्रति ऑर्थोगोनल होता है), जो डबल-रोबस्टनेस प्रॉपर्टी को संतुष्ट करता है।
दक्षता लाभ (Efficiency Gain): $m(X)$ को $E[Y|X]$ (या $E[Y|m(X)]$ ) के बेहतर सन्निकटन (approximation) के लिए रूपांतरित करके, रेसिडुअल वेरिएंस को कम किया जाता है। चूंकि AIPW एस्टिमेटर्स का एसिम्प्टोटिक वेरिएंस (asymptotic variance) इस रेसिडुअल वेरिएंस पर निर्भर करता है, इसलिए कैलिब्रेशन सीधे दक्षता में सुधार करता है।
पुनः प्रशिक्षण की आवश्यकता नहीं: मूल ब्लैक-बॉक्स मॉडल $m(X)$ को कभी भी पुन: प्रशिक्षित नहीं किया जाता है; केवल एक हल्का पोस्ट-प्रोसेसिंग स्टेप लागू किया जाता है।

अध्ययन किए गए विशिष्ट कैलिब्रेशन तरीके

लीनियर कैलिब्रेशन (Linear Calibration): एक एफ़ाइन मैप $f(t) = a + bt$ फिट करता है।
- परिणाम: लेखक दिखाते हैं कि लीनियरली कैलिब्रेटेड PPI PPI++ (जो इम्पिरिकल एफिशिएंसी मैक्सिमाइजेशन का उपयोग करके एक इष्टतम स्केलिंग फैक्टर पाता है) के प्रथम-क्रम एसिम्प्टोटिक रूप से समकक्ष (first-order asymptotically equivalent) है।
आइसोटोनिक कैलिब्रेशन (Isotonic Calibration): एक गैर-घटता हुआ (non-decreasing) फंक्शन $f$ $f$ फिट करता है (पूल एडजसेंट वायलेटर्स एल्गोरिदम या मोनोटोनिक रिग्रेशन ट्री का उपयोग करके)।
- परिणाम: यह एक नॉन-पैरामीट्रिक दृष्टिकोण है जो डेटा के आकार के अनुकूल होता है। शोध पत्र स्थापित करता है कि आइसोटोनिक कैलिब्रेशन मूल स्कोर के मोनोटोनिक ट्रांसफॉर्मेशन पर आधारित सभी एस्टिमेटर्स में से सबसे छोटा एसिम्प्टोटिक वेरिएंस प्राप्त करता है।

3. प्रमुख योगदान (Key Contributions)

कैलिब्रेटेड PPI का परिचय: एक सरल, प्लग-इन ढांचा जो जटिल ब्लैक-बॉक्स मॉडल को पुन: प्रशिक्षित किए बिना सेमी-सुपरवाइज्ड मीन एस्टिमेशन में सुधार के लिए पोस्ट-हॉक प्रेडिक्शन स्कोर को कैलिब्रेट करता है।
आइसोटोनिक कैलिब्रेशन के लिए सैद्धांतिक गारंटी:
- कैलिबेटिंग (Calibeating): आइसोटोनिक कैलिब्रेशन मूल स्कोर और सरल नियमों (जैसे लीनियर कैलिब्रेशन) की तुलना में प्रेडिक्टिव सटीकता और एस्टिमेटर दक्षता दोनों में सुधार (calibeats) करता है।
- प्रथम-क्रम इष्टतमता (First-Order Optimality): एक बार जब कोई स्कोर आइसोटोनिक रूप से कैलिब्रेट हो जाता है, तो उस फिट किए गए स्कोर के किसी भी आगे के पोस्ट-प्रोसेसिंग से दक्षता में अतिरिक्त प्रथम-क्रम लाभ प्राप्त नहीं होता है। यह आगे के पोस्ट-प्रोसेसिंग के विरुद्ध "प्रथम-क्रम इष्टतम" है।
- एसिम्प्टोटिक नॉर्मलिटी: शोध पत्र आइसोटोनिक-कैलिब्रेटेड एस्टिमेटर के लिए एसिम्प्टोटिक नॉर्मलिटी और वैध वाल्ड इन्फरेंस (Wald inference) स्थापित करता है, जिसमें कैलिब्रेशन एरर के लिए $O(n^{-2/3})$ की कन्वर्जेंस रेट होती है, जो $O(n^{-1/2})$ एस्टिमेशन एरर की तुलना में नगण्य है।
मौजूदा विधियों का स्पष्टीकरण:
- दिखाता है कि मूल PPI एस्टिमेटर एक AIPW का विशेष मामला है जो इनएफिशिएंट हो सकता है जब प्रेडिक्शन मॉडल सटीक लेकिन अनकैलिब्रेटेड हो।
- प्रदर्शित करता है कि PPI++ अनिवार्य रूप से इम्पिरिकल एफिशिएंसी मैक्सिमाइजेशन के साथ एक AIPW एस्टिमेटर है और लीनियर कैलिब्रेशन के प्रथम-क्रम समकक्ष है।
अनुभवजन्य सत्यापन (Empirical Validation): सिमुलेशन और वास्तविक डेटा प्रयोग (LLM मूल्यांकन बेंचमार्क सहित) व्यापक रूप से दिखाते हैं कि कैलिब्रेटेड एस्टिमेटर्स अक्सर मानक PPI और AIPW से बेहतर प्रदर्शन करते हैं और PPI++ के प्रतिस्पर्धी या उससे श्रेष्ठ होते हैं।

4. परिणाम (Results)

सिमुलेशन: मिसकैलिब्रेटेड स्कोर वाले सिंथेटिक परिवेश में, कैलिब्रेटेड विधियों (LinearCal, IsoCal) ने कच्चे PPI और AIPW की तुलना में रूट मीन स्क्वेयर्ड एरर (RMSE) और कॉन्फिडेंस इंटरवल की चौड़ाई को काफी कम कर दिया।
रियल-डेटा बेंचमार्क:
- सेन्सस इनकम और फॉरेस्ट/गैलेक्सीज़: कैलिब्रेशन विधियाँ (विशेष रूप से LinearCal और AutoCal) लगातार PPI से बेहतर रहीं और PPI++ के प्रतिस्पर्धी रहीं।
- LLM मूल्यांकन (PPE): लार्ज लैंग्वेज मॉडल (LLM) रिवॉर्ड मॉडल्स का उपयोग करते हुए एक व्यावहारिक सेटिंग में, जब रिवॉर्ड मॉडल स्कोर खराब तरीके से स्केल किए गए थे, तो कच्चा AIPW/PPI नाटकीय रूप से विफल रहा (MSE लेबल-ओनली की तुलना में कई गुना अधिक था)। कैलिब्रेटेड PPI (विशेष रूप से LinearCal) ने वैधता और दक्षता को बहाल किया, लेबल-ओनली एस्टिमेशन की तुलना में ~7.5% से 10.5% तक MSE में कमी हासिल की, जिससे सस्ते, सार्वजनिक LLM इवैल्यूएटर्स को कठोर इन्फरेंस के लिए उपयोगी बनाया जा सका।
लेबल दक्षता (Label Efficiency): इन विधियों ने महत्वपूर्ण "लेबल बचत" हासिल की, जिसका अर्थ है कि वे लेबल-ओनली एस्टिमेशन के समान परिशुद्धता प्राप्त कर सके (उदाहरण के लिए, LLM प्रयोगों में 7-10% की बचत)।

5. महत्व (Significance)

समुदायों को जोड़ना: यह शोध पत्र प्रेडिक्शन-पावर्ड इन्फरेंस (मशीन लर्निंग) को स्थापित सेमीपैरामेट्रिक स्टैटिस्टिक्स, कॉज़ल इन्फरेंस और मिसिंग डेटा के साहित्य से जोड़ता है। यह स्पष्ट करता है कि PPI विधियाँ अनिवार्य रूप से AIPW और टारगेटेड मिनिमम लॉस एस्टीमेशन (TMLE) के उदाहरण हैं।
व्यावहारिक उपयोगिता: यह उन अभ्यासकर्ताओं के लिए एक "लाइटवेट" समाधान प्रदान करता है जिनके पास शक्तिशाली ब्लैक-बॉक्स मॉडल तक पहुँच है लेकिन उन्हें पुन: प्रशिक्षित करने के संसाधन नहीं हैं। एक सरल कैलिब्रेशन स्टेप इन मॉडलों की पूर्ण दक्षता क्षमता को अनलॉक कर सकता है।
मजबूती (Robustness): यह ढांचा सुनिश्चित करता है कि यदि कैलिब्रेशन चरण सही ढंग से किया गया है, तो प्रेडिक्शन मॉडल के मिसस्पेसिफाइड होने पर भी वैध इन्फरेंस प्राप्त हो।
सॉफ्टवेयर: लेखक इन विधियों को लागू करने के लिए एक पायथन पैकेज (ppi_aipw) प्रदान करते हैं, जिससे वे सेमी-सुपरवाइज्ड लर्निंग और कॉज़ल इन्फरेंस कार्यों में तत्काल अनुप्रयोग के लिए सुलभ हो जाते हैं।

संक्षेप में, यह शोध पत्र तर्क देता है कि कैलिब्रेशन केवल एक प्रेडिक्टिव टूल नहीं है बल्कि सेमी-सुपरवाइज्ड लर्निंग के लिए एक महत्वपूर्ण इन्फेरेंशियल स्टेप भी है। प्रेडिक्शन स्कोर को आउटकम स्केल के साथ संरेखित करके, आप जटिल मॉडलों को पुन: प्रशिक्षित करने की कम्प्यूटेशनल लागत के बिना प्रेडिक्शन और एस्टिमेशन दक्षता दोनों में सुधार (calibeating) कर सकते हैं।