📊 statistics

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

यह शोध पत्र पोस्ट-हॉक कैलिब्रेशन (जो पैरामीटर पोस्टीरियर को स्थिर रखते हुए कॉन्फॉर्मल थ्रेशोल्ड को समायोजित करता है) की तुलना इन-ट्रेनिंग अडैप्टेशन (जो स्वयं पैरामीटर पोस्टीरियर को पुन: भारित करता है) से करते हुए कॉन्फॉर्मल बेयस में लेबल शिफ्ट को संभालने के लिए एक एकीकृत ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि दोनों वैध कवरेज प्राप्त करते हैं लेकिन बाद वाला पक्षपातपूर्ण प्रशिक्षण व्यवस्थाओं में बेहतर दक्षता प्रदान करता है।

मूल लेखक: Seungjin Choi

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seungjin Choi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञान हैं। आपने एक विशिष्ट क्षेत्र (मान लीजिए, "सोर्स सिटी") के वर्षों के डेटा पर आधारित एक मॉडल बनाया है। आपका मॉडल सोर्स सिटी में बारिश की भविष्यवाणी करने में बहुत कुशल है।

अब, आपको एक नए स्थान, "टारगेट सिटी" के लिए पूर्वानुमान लगाने के लिए कहा गया है। लेकिन, इसमें एक पेंच है: टारगेट सिटी का जलवायु प्रोफाइल अलग है। वहां सोर्स सिटी की तुलना में बहुत अधिक बार बारिश होती है, लेकिन जब बारिश होती है, तो मौसम के पैटर्न (बादल, हवा, नमी) बिल्कुल एक जैसे ही दिखते हैं। यह वही है जिसे पेपर में लेबल शिफ्ट (Label Shift) कहा गया है। यहाँ परिणाम (बारिश बनाम कोई बारिश नहीं) की आवृत्ति (frequency) बदल गई है, लेकिन मौसम के संकेतों और बारिश के बीच का संबंध नहीं बदला है।

यदि आप बिना किसी सुधार के अपने पुराने सोर्स सिटी मॉडल का उपयोग सीधे टारगेट सिटी के लिए करते हैं, तो आपकी भविष्यवाणियां गलत होंगी। आप कह सकते हैं, "बारिश की संभावना केवल 10% है," जबकि वास्तव में, यह 50% हो सकती है।

यह पेपर इस समस्या को ठीक करने के लिए कॉन्फॉर्मल बेयस (Conformal Bayes) नामक एक विधि पेश करता है। यह केवल एक संख्या (जैसे "50% संभावना") देने के बजाय, एक प्रेडिक्शन सेट (prediction set) देता है (जैसे, "बारिश की संभावना 40% और 60% के बीच होगी")। लक्ष्य यह सुनिश्चित करना है कि यह रेंज नए जलवायु के साथ भी 90% समय सटीक रहे।

लेखक इस मॉडल को ठीक करने के लिए दो अलग-अलग तरीके प्रस्तावित करते हैं, जिन्हें वे स्ट्रेटजी A (Strategy A) और स्ट्रेटजी B (Strategy B) कहते हैं।

दो रणनीतियाँ

स्ट्रेटजी A: "पोस्ट-हॉक" टिल्ट (त्वरित समाधान)

इसे ऐसे समझें जैसे आप अपने तैयार मौसम रिपोर्ट को ग्राहक को सौंपने से पहले उसके पेज को फिर से लेबल (re-labeling) कर रहे हैं।

यह कैसे काम करता है: आप अपने मूल मॉडल को बिल्कुल वैसा ही रखते हैं जैसा वह है। आप इसके आंतरिक गणित को नहीं छेड़ते। इसके बजाय, जब आप अंतिम भविष्यवाणी रेंज की गणना करते हैं, तो आप डेटा पर एक "वेट" (weight) लागू करते हैं। यदि नए शहर में अधिक बारिश होती है, तो आप अतिरिक्त बारिश को ध्यान में रखने के लिए अपने अंतिम उत्तर को गणितीय रूप से "टिल्ट" (झुकाव देना) करते हैं।
उपमा: कल्पना कीजिए कि आपके पास सोर्स सिटी का एक नक्शा है। आप नक्शे को दोबारा नहीं बनाते। इसके बजाय, आप उसके ऊपर एक पारदर्शी शीट रखते हैं जिसमें एक फिल्टर लगा है जो कहता है, "याद रखें, यहाँ अधिक बारिश होती है।" फिर आप इस फिल्टर किए गए दृश्य के आधार पर अपना प्रेडिक्शन सर्कल बनाते हैं।
फायदे: यह सुरक्षित है और यह तब भी काम करता है जब आपको यह नहीं पता कि मूल मॉडल कैसे बनाया गया था (एक "ब्लैक बॉक्स")।
नुकसान: यदि मूल मॉडल पहले से ही पक्षपाती (biased) था (उदाहरण के लिए, इसे केवल उन दिनों के लिए प्रशिक्षित किया गया था जब भारी बारिश हुई थी), तो यह विधि केवल अंतिम संख्या को समायोजित करती है, लेकिन मॉडल की सोचने की प्रक्रिया में अंतर्निहित पूर्वाग्रह को ठीक नहीं करती है।

स्ट्रेटजी B: "इन-ट्रेनिंग" टिल्ट (गहरा समाधान)

इसे ऐसे समझें जैसे आप भविष्यवाणियां शुरू करने से पहले मौसम विज्ञता की प्रशिक्षण नियमावली (training manual) को फिर से लिखना है।

यह कैसे काम करता है: मॉडल अपनी अंतिम भविष्यवाणी करने से पहले, आप उसके "मस्तिष्क" (पैरामीटर्स) में वापस जाते हैं और उसके विश्वासों को समायोजित करते हैं। आप मॉडल को बताते हैं, "हे, जिस डेटा से तुमने सीखा था, वह झुका हुआ (skewed) था। आइए तुम्हारी आंतरिक समझ को इस बात के लिए समायोजित करें कि कितनी बार बारिश होती है।"
उपमा: नक्शे पर फिल्टर लगाने के बजाय, आप वास्तव में नक्शे को फिर से बनाते हैं ताकि वह नई वास्तविकता को दर्शा सके। आप भविष्यवक्ता को सिखाते हैं कि नए शहर में "औसत दिन" कैसा होता है।
फायदे: यदि आपका मूल प्रशिक्षण डेटा "समृद्ध" (enriched) था (उदाहरण के लिए, मॉडल ने केवल तूफानी दिनों का डेटा देखा था), तो यह विधि सक्रिय रूप से मॉडल को डी-बायस (de-bias/पूर्वाग्रह मुक्त) करती है। यह मूल कारण को ठीक करती है, जिससे भविष्यवाणियों की रेंज अधिक सटीक और सुव्यवस्थित हो जाती है।
नुकसान: आपको मॉडल की आंतरिक प्रशिक्षण प्रक्रिया तक पहुंच की आवश्यकता होती है। यदि मॉडल एक ब्लैक बॉक्स है, तो आप ऐसा नहीं कर सकते।

प्रयोग: किसका उपयोग कब करें?

लेखकों ने यह देखने के लिए दो कंप्यूटर प्रयोग चलाए कि कौन सी रणनीति जीतती है।

प्रयोग 1: "फेयर" (निष्पक्ष) ट्रेनिंग

परिदृश्य: मॉडल को सोर्स सिटी से एक पूरी तरह से संतुलित, निष्पक्ष डेटासेट पर प्रशिक्षित किया गया था।
परिणाम: दोनों रणनीतियों ने समान रूप से अच्छा काम किया। दोनों ने सही 90% सटीकता प्राप्त की। स्ट्रेटजी A थोड़ी सरल थी, लेकिन स्ट्रेटजी B ने कोई नुकसान नहीं पहुँचाया।
निष्कर्ष: यदि आपका प्रशिक्षण डेटा अच्छा और निष्पक्ष है, तो आप सरल "पोस्ट-हॉक" सुधार (स्ट्रेटजी A) का उपयोग कर सकते हैं।

प्रयोग 2: "बायस्ड" (पक्षपाती) ट्रेनिंग (लीड ऑप्टिमाइजेशन)

परिदृश्य: यह दवा की खोज (drug discovery) जैसी वास्तविक दुनिया की समस्या का अनुकरण करता है। कल्पना कीजिए कि आप अच्छी दवाओं को खोजने के लिए एक मॉडल को प्रशिक्षित कर रहे हैं, लेकिन आपके प्रशिक्षण डेटा में केवल "उच्च-गतिविधि" वाले यौगिक (सबसे अच्छी दवाएं) शामिल हैं। मॉडल पक्षपाती है क्योंकि वह सोचता है कि सब कुछ एक उच्च-गतिविधि वाली दवा है।
परिणाम:
- स्ट्रेटजी A (त्वरित सुधार) अभी भी सही कवरेज प्राप्त करने में सफल रही, लेकिन उसकी प्रेडिक्शन रेंज थोड़ी विस्तृत (wide) थी।
- स्ट्रेटजी B (गहरा सुधार) यहाँ चमक कर आई। मॉडल के आंतरिक पूर्वाग्रह को ठीक करके, इसने संकीर्ण, अधिक सटीक प्रेडिक्शन रेंज प्रदान की। इसने प्रभावी रूप से मॉडल को "डी-बायस" किया, जिससे वह नई वास्तविकता के बारे में अधिक स्मार्ट बन गया।
निष्कर्ष: यदि आपका प्रशिक्षण डेटा झुका हुआ या विशेषीकृत है (जो ड्रग डिस्कवरी जैसे विशेष क्षेत्रों में आम है), तो स्ट्रेटजी B बेहतर है क्योंकि यह केवल अंतिम आउटपुट को नहीं, बल्कि मॉडल के आंतरिक तर्क को साफ करती है।

सरल अंग्रेजी में सारांश

समस्या: आपका AI मॉडल ऐसे डेटा पर प्रशिक्षित किया गया था जो अब वास्तविक दुनिया से मेल नहीं खाता (लेबल शिफ्ट)।
समाधान: एक सुरक्षा जाल (प्रेडिक्शन रेंज) बनाने के लिए कॉन्फॉर्मल बेयस का उपयोग करें जो गारंटी के साथ सही हो।
चुनाव:
- यदि आपका मॉडल निष्पक्ष डेटा (fair data) पर प्रशिक्षित किया गया था, तो स्ट्रेटजी A (अंतिम आउटपुट को समायोजित करें) का उपयोग करें। यह सरल और प्रभावी है।
- यदि आपका मॉडल पक्षपाती या विशेष डेटा (biased or specialized data) (जैसे केवल "सर्वश्रेष्ठ" उदाहरणों) पर प्रशिक्षित किया गया था, तो स्ट्रेटजी B (मॉडल के आंतरिक मस्तिष्क को ठीक करें) का उपयोग करें। यह भविष्यवाणियों को अधिक सटीक बनाता है और पूर्वाग्रह को हटा देता है।

पेपर निष्कर्ष निकालता है कि जबकि दोनों विधियाँ सटीकता की गारंटी देती हैं, स्ट्रेटजी B वह "डी-बायसिंग ऑपरेटर" है जो मॉडल को अधिक कुशल बनाता है जब प्रशिक्षण डेटा अपूर्ण था।

तकनीकी सारांश: लेबल शिफ्ट के तहत कॉन्फॉर्मल बेयस (Conformal Bayes)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लेबल शिफ्ट (label shift) के तहत सांख्यिकीय रूप से वैध प्रेडिक्शन सेट्स (prediction sets) के निर्माण की चुनौती को संबोधित करता है। लेबल शिफ्ट एक ऐसा वितरण परिवर्तन (distributional shift) है जहाँ स्रोत ( $p_s(y)$ ) और लक्ष्य ( $p_t(y)$ ) डोमेन के बीच मार्जिनल लेबल वितरण बदल जाता है, जबकि कंडीशनल फीचर वितरण अपरिवर्तित रहता है ( $p_t(x|y) = p_s(x|y)$ )।

मानक कॉन्फॉर्मल बेयस में, प्रेडिक्शन सेट्स का निर्माण बेयसियन पोस्टीरियर प्रेडिक्टिव $p(y|x, D_{tr})$ और एक नॉन-कन्फॉर्मिटी स्कोर (आमतौर पर नेगेटिव लॉग-प्रेडिक्टिव डेंसिटी, NLPD) का उपयोग करके किया जाता है। लेबल शिफ्ट के तहत, स्रोत डोमेन से लिए गए कैलिब्रेशन डेटा और लक्ष्य डोमेन से लिए गए टेस्ट डेटा एक ही माप के तहत विनिमेय (exchangeable) नहीं रह जाते हैं। फलस्वरूप, स्रोत डेटा पर कैलिब्रेट किए गए प्रेडिक्शन सेट्स लक्ष्य टेस्ट पॉइंट्स पर नाममात्र कवरेज स्तर (nominal coverage level) प्राप्त करने में विफल रहते हैं। यह समस्या लीड-ऑप्टिमाइज़ेशन (lead-optimization) जैसे डोमेन में विशेष रूप से प्रासंगिक है, जहाँ प्रशिक्षण डेटा उच्च-सक्रिय यौगिकों (high-activity compounds) के लिए समृद्ध होता है, लेकिन भविष्यवाणियाँ एक पूर्ण रासायनिक लाइब्रेरी के लिए आवश्यक होती हैं जिसका लेबल वितरण भिन्न होता है।

2. कार्यप्रणाली (Methodology)

लेखक नाममात्र लक्ष्य-डोमेन कवरेज को बहाल करने के लिए दो पूरक रणनीतियों का विश्लेषण करने वाला एक एकीकृत ढांचा प्रस्तावित करते हैं। दोनों रणनीतियाँ वैधता सुनिश्चित करने के लिए इम्पॉर्टेंस-वेटेड (IW) कॉन्फॉर्मल कैलिब्रेशन पर निर्भर करती हैं, लेकिन वे मौलिक रूप से इस बात में भिन्न हैं कि वे प्रेडिक्टिव ज्योमेट्री को कैसे समायोजित करती हैं।

मुख्य धारणाएँ (Core Assumptions)

लेबल शिफ्ट (कंडीशनल इनवेरिएंस): $p_t(x|y) = p_s(x|y)$ , लेकिन $p_t(y) \neq p_s(y)$ ।
डेंसिटी रेशियो (Density Ratio): शिफ्ट को एक्सपोनेंशियल टिल्टिंग के माध्यम से मॉडल किया गया है: $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$ , जहाँ $\beta$ एक ज्ञात पैरामीटर है (या अनुमानित है)।
मॉडल: एक फ्रोजन बैकबोन $\phi(x)$ के साथ एक गॉसियन लीनियर हेड: $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$ ।

रणनीति A: पोस्ट-हॉक कैलिब्रेशन (प्रेडिक्टिव टिल्टिंग)

तंत्र (Mechanism): पैरामीटर पोस्टीरियर $\pi_s(\theta|D_{tr})$ अपरिवर्तित रहता है। सुधार को प्रेडिक्टिव स्तर पर लागू किया जाता है।
प्रक्रिया:
1. लक्ष्य पोस्टीरियर प्रेडिक्टिव को सोर्स प्रेडिक्टिव को टिल्ट करके प्राप्त किया जाता है: $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$ ।
2. नॉन-कन्फॉर्मिटी स्कोर इस टिल्टेड प्रेडिक्टिव का नेगेटिव लॉग-डेंसिटी है: $s_A(x, y) = -\log p_A(y|x, D_{tr})$ ।
3. कॉन्फॉर्मल थ्रेशोल्ड का कंप्यूटेशन कैलिब्रेशन स्कोर के इम्पॉर्टेंस-वेटेड क्वांटाइल का उपयोग करके किया जाता है।
ज्यामिति (Geometry): परिणामी प्रेडिक्शन सेट का केंद्र एपिस्टेमिक अनसर्टेंटी ( $\phi(x)^\top \Sigma_\theta \phi(x)$ के समानुपाती) के साथ एक शिफ्ट शामिल करता है। प्रशिक्षण वितरण से दूर स्थित इनपुट व्यापक अंतराल प्राप्त करते हैं।
आवश्यकताएँ: इसके लिए ट्रेनिंग पाइपलाइन तक पहुँच की आवश्यकता नहीं है; यह सोर्स मॉडल को एक ब्लैक बॉक्स की तरह मानता है।

रणनीति B: इन-ट्रेनिंग अडैप्टेशन (पोस्टीरियर टिल्टिंग)

तंत्र (Mechanism): कैलिब्रेशन से पहले पैरामीटर स्तर पर सुधार को लागू किया जाता है।
प्रक्रिया:
1. एक "टारगेट-टिल्टेड" पोस्टीरियर बनाया जाता है जो प्रति-अवलोकन लाइक्लीहुड रेश्यो का उपयोग करके सोर्स पोस्टीरियर को समायोजित करता है: $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$ ।
2. गॉसियन हेड्स के लिए, यह एक शिफ्टेड मीन के साथ क्लोज्ड-फॉर्म गॉसियन पोस्टीरियर देता है: $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$ , जहाँ $\bar{\phi}$ ट्रेनिंग सेट का मीन फीचर है।
3. नॉन-कन्फॉर्मिटी स्कोर इस सुधारात्मक पोस्टीरियर से प्राप्त प्रेडिक्टिव डिस्ट्रीब्यूशन का NLPD है।
4. कॉन्फॉर्मल थ्रेशोल्ड रणनीति A की तरह ही इम्पॉर्टेंट-वेटेड क्वांटाइल का उपयोग करता है।
ज्यामिति (Geometry): प्रेडिक्शन सेट के केंद्र में शिफ्ट, टेस्ट पॉइंट और ट्रेनिंग डिस्ट्रीब्यूशन के बीच समानता ( $\phi(x)^\top \bar{\phi}$ ) पर निर्भर करता है, न कि एपिस्टेमिक अनसर्टेंटी पर।
आवश्यकताएँ: इसके लिए ट्रेनिंग पाइपलाइन और मीन करेक्शन की गणना करने के लिए ट्रेनिंग फीचर्स तक पहुँच की आवश्यकता होती है।

एल्गोरिद्मिक पाइपलाइन (Algorithmic Pipeline)

दोनों रणनीतियाँ एक एकीकृत पाइपलाइन (एल्गोरिदम 1) का पालन करती हैं:

सोर्स बेयसियन लीनियर रिग्रेशन पैरामीटर्स की गणना करें।
स्कोर फंक्शन (या तो $s_A$ या $s_B$ ) की गणना करें।
कैलिब्रेशन सेट को स्कोर करें।
इम्पॉर्टेंस-वेटेड क्वांटाइल थ्रेशोल्ड की गणना करें।
प्रेडिक्शन सेट $C(x) = \{y : s(x, y) \leq \hat{q}\}$ का निर्माण करें।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): वैधता (जो इम्पॉर्टेंस-वेटेड क्वांटाइल द्वारा नियंत्रित होती है) और दक्षता (जो स्कोर ज्योमेट्री: प्रेडिक्टिव बनाम पोस्टीरियर टिल्टिंग द्वारा नियंत्रित होती है) के बीच एक पृथक्करण।
क्लोज्ड-फॉर्म समाधान (Closed-Form Solutions): गॉसियन हेड्स के लिए एक क्लोज्ड-फॉर्म टारगेट-टिल्टेड पोस्टीरियर का व्युत्पन्न, जो सुधारात्मक प्रेडिक्टिव डिस्ट्रीशन की सटीक गणना को सक्षम बनाता है।
तुलनात्मक विश्लेषण (Comparative Analysis): एक हेड-टू-हेड तुलना जो उन परिदृश्यों की पहचान करती है जहाँ प्रत्येक रणनीति बेहतर है:
- अनबायस्ड ट्रेनिंग (Unbiased Training): दोनों रणनीतियाँ वैध कवरेज प्राप्त करती हैं, लेकिन रणनीति A (प्रेडिक्टिव टिल्टिंग) संकीर्ण अंतराल प्रदान करती है। रणनीति B अनावश्यक बायस (bias) पेश करती है यदि सोर्स डेटा पहले से ही प्रतिनिधि है।
- बायस्ड/एनरिच्ड ट्रेनिंग (लीड-ऑप्टिमाइज़ेशन): रणनीति B एक डिबायसिंग ऑपरेटर (debiasing operator) के रूप में कार्य करती है। पैरामीटर पोस्टीरियर को ठीक करके, यह पैरामीटर बायस, प्रेडिक्टिव बायस और इंटरवल की चौड़ाई को एक साथ कम करती है जबकि वैध कवरेज बनाए रखती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिंथेटिक गॉसियन लीनियर रिग्रेशन डेटा के तहत दो व्यवस्थाओं में विधियों का मूल्यांकन करते हैं:

प्रयोग 1 (अनबायस्ड रिजीम): ट्रेनिंग डेटा सोर्स डिस्ट्रीब्यूशन से एक यूनिफॉर्म ड्रॉ है।
- कवरेज: सभी विधियाँ जो IW क्वांटाइल का उपयोग करती हैं (CB-IW, रणनीति A, रणनीति B), लेबल शिफ्ट की तीव्रता ( $\beta$ ) के बावजूद नाममात्र 90% कवरेज बनाए रखती हैं। अनवेटेड बेसलाइन विफल हो जाती है, और $\beta$ बढ़ने के साथ कवरेज खो देती है।
- दक्षता (Efficiency): रणनीति A सबसे संकीर्ण अंतराल (narrowest intervals) बनाती है। रणनीति B अधिक चौड़ी है क्योंकि MAP करेक्शन अनबायस्ड सेटिंग में पोस्टीरियर को सत्य (truth) से दूर ले जाता है।
प्रयोग 2 (लीड-ऑप्टिमाइज़ेशन रिजीम): ट्रेनिंग डेटा उच्च-रिस्पॉन्स यौगिकों के लिए समृद्ध (biased source) है।
- कवरेज: सभी IW-आधारित विधियाँ वैध 90% कवरेज बनाए रखती हैं। अनवेटेड बेसलाइन, बायस्ड मॉडल के कारण बढ़े हुए कैलिब्रेशन स्कोर के कारण, ओवर-कवर (91–95%) करती है।
- डिबायसिंग (Debiasing): रणनीति B बायस्ड सोर्स की तुलना में पैरामीटर बायस को लगभग 40% और प्रेडिक्टिव बायस को लगभग 34% कम करती है।
- दक्षता: रणनीति B, समान कवरेज बनाए रखते हुए, रणनीति A की तुलना में स्पष्ट रूप से संकीर्ण अंतराल (चौड़ाई में 16% तक की कमी) प्रदान करती है। यह प्रदर्शित करता है कि यदि सोर्स ट्रेनिंग डेटा बायस्ड है, तो पैरामीटर पोस्टीरियर को ठीक करना प्रेडिक्टिव डेंसिटी को ठीक करने की तुलना में अधिक कुशल है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह कॉन्फॉर्मल बेयस में लेबल शिफ्ट को संभालने के लिए एक सिद्धांतपूर्ण, एकीकृत दृष्टिकोण प्रदान करता है। इसका प्राथमिक महत्व वैधता के लिए कैलिब्रेशन और दक्षता के लिए अनुकूलन के बीच अंतर करने में निहित है:

वैलिडिटी केवल इम्पॉर्टेंस-वेटेड क्वांटाइल नियम द्वारा गारंटीकृत है, चाहे स्कोर को पोस्ट-हॉक सुधारा गया हो या इन-ट्रेनिंग।
दक्षता संदर्भ-निर्भर (context-dependent) है। अनबायस्ड सेटिंग्स में, पोस्ट-हॉक प्रेडिक्टिव टिल्टिंग श्रेष्ठ है क्योंकि यह पैरामीटर पोस्टीरियर को बदलने से बचता है। हालांकि, उन परिदृश्यों में जहाँ एनरिच्ड/बायस्ड ट्रेनिंग डेटा होता है (लीड-ऑप्टिमाइज़ेशन में आम), इन-ट्रेनिंग पोस्टीरियर अडैप्टेशन एक आवश्यक डिबायसिंग स्टेप के रूप में कार्य करता है, जो अंतर्निहित मॉडल की सटीकता और प्रेडिक्शन सेट्स की दक्षता दोनों में सुधार करता है।

लेखक नोट करते हैं कि वर्तमान ढांचा मजबूत धारणाओं (शुद्ध लेबल शिफ्ट, ज्ञात टिल्ट पैरामीटर, गॉसियन लीनियर हेड्स) और सिंथेटिक वैलिडेशन पर निर्भर करता है। वे सुझाव देते हैं कि डीप मॉडल्स तक विस्तार करने के लिए अनुमानित अनुमान (जैसे लैप्लेस एप्रोक्सिमेशन) की आवश्यकता होगी और वास्तविक दुनिया का सत्यापन भविष्य के कार्य के लिए छोड़ दिया गया है। वे लेबल वाले लक्ष्य डेटा के बिना साइडो-लेबल्स (pseudo-labels) का उपयोग करके $\beta$ का अनुमान लगाने के लिए एक दो-चरणीय प्रक्रिया भी रेखांकित करते हैं, जो आणविक गुण अनुप्रयोगों के लिए एक साथी शोध पत्र का संदर्भ देती है।