📊 statistics

Entropic Projection Alignment: Estimating, Explaining, and Improving Model Performance Under Distribution Shift

यह शोध पत्र एंट्रोपिक प्रोजेक्शन अलाइनमेंट (EPA) को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो मॉडल प्रदर्शन का अनुमान लगाने, फीचर-लेवल शिफ्ट की व्याख्या करने और मोमेंट मैचिंग एवं KL डाइवर्जेंस मिनिमाइजेशन के माध्यम से टार्गेट डोमेन सटीकता में सुधार करने के लिए एक क्लोज्ड-फॉर्म इम्पोर्टेंस वेटिंग समाधान प्रदान करके डिस्ट्रीब्यूशन शिफ्ट को संबोधित करता है।

मूल लेखक: Salim I. Amoukou, Emanuele Albini, Tom Bewley, Saumitra Mishra, Manuela Veloso

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Salim I. Amoukou, Emanuele Albini, Tom Bewley, Saumitra Mishra, Manuela Veloso

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जिसने एक विशिष्ट फार्म के अवयवों (ingredients) का उपयोग करके अपने सूप की रेसिपी को सिद्ध कर लिया है (स्रोत डोमेन - Source Domain)। आप जानते हैं कि उन अवयवों के साथ आपके सूप का स्वाद कैसा होता है। अब, आप इस सूप को एक अलग शहर में एक नए रेस्टोरेंट में परोसना चाहते हैं (लक्ष्य डोमेन - Target Domain), जहाँ के स्थानीय किसान ऐसी सब्जियाँ उगाते हैं जो दिखने में समान हैं लेकिन स्वाद में थोड़ी अलग हैं।

समस्या क्या है? आप अभी तक यह नहीं जानते कि नए शहर के ग्राहकों को वह सूप कैसा लगेगा क्योंकि आपने अभी तक उसे वहाँ परोसा नहीं है। और आप यह भी नहीं जानते कि कौन सी विशेष सब्जी स्वाद में बदलाव का कारण बन रही है, और आप निश्चित रूप से अपनी पूरी रेसिपी को फेंककर फिर से शुरुआत नहीं करना चाहते।

यह शोध पत्र EPA (एंट्रोपिक प्रोजेक्शन अलाइनमेंट - Entropic Projection Alignment) नामक एक विधि पेश करता है जो इस परिदृश्य में तीन समस्याओं को हल करता है:

अनुमान लगाना (Estimating): यह अनुमान लगाना कि नया शहर में आपका सूप कैसा लगेगा, बिना उसे अभी परोसे।
व्याख्या करना (Explaining): यह पता लगाना कि ठीक कौन सी सब्जी (विशेषता/feature) स्वाद के अंतर के लिए जिम्मेदार है।
सुधारना (Improving): अपनी पुरानी रेसिपी और नए ग्राहकों की पसंद का उपयोग करके, रेसिपी में थोड़ा बदलाव करना ताकि वह नए शहर में बेहतरीन स्वाद दे सके।

यहाँ बताया गया है कि EPA कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "वेटेड टेस्टिंग" की तरकीब (अनुमान लगाना)

आमतौर पर, यह अनुमान लगाने के लिए कि नए सब्जियों के साथ आपका सूप कैसा होगा, आप अपने किचन में पुराने फार्म की मिट्टी और जलवायु को पूरी तरह से फिर से बनाने की कोशिश कर सकते हैं। यह अविश्वसनीय रूप से कठिन और अक्सर असंभव है।

EPA एक स्मार्ट तरीका अपनाता है। पूरे नए फार्म की नकल करने के बजाय, यह पूछता है: "क्या होगा अगर हम बस अपने पुराने अवयवों को लें और उनमें से कुछ को एक 'वोट' (एक भार/weight) दें ताकि वे नए वाले जैसे दिख सकें?"

उपमा: कल्पना कीजिए कि आपके पास पुराने सेबों की एक टोकरी है। कुछ छोटे हैं, कुछ बड़े हैं। नया शहर बड़े सेबों को पसंद करता है। नए सेब खरीदने के बजाय, आप बस यह मान लेते हैं कि आपकी पुरानी टोकरी के बड़े सेब अधिक महत्वपूर्ण हैं। आप उन्हें "भार" (weight) 2 देते हैं, और छोटे सेबों को 0.5 देते हैं।
जादू: EPA इन भारों (weights) की गणना गणितीय रूप से इस प्रकार करता है कि आपके भारित (weighted) पुराने सेबों का औसत स्वाद, नए सेबों के औसत स्वाद से मेल खा जाए।
लाभ: क्योंकि EPA इन भारों को यथासंभव "समान" रखने की कोशिश करता है (यह किसी एक सेब को 1000 का भार देने और दूसरे को 0 देने से बचता है), यह रेसिपी को अस्थिर होने से रोकता है। यह भविष्य के स्वाद का अनुमान लगाने का एक "सुरक्षित" तरीका है।

2. "अंतर पहचानो" खेल (व्याख्या करना)

कभी-कभी सूप का स्वाद खराब होता है, लेकिन आपको पता नहीं होता कि क्यों। क्या यह गाजर है? आलू है? या मसाला है?

EPA एक जासूसी खेल खेल सकता है। यह पुराने अवयवों को फिर से भारित करने की कोशिश करता है—पहले केवल गाजरों का उपयोग करके, फिर केवल आलू का, और इसी तरह।

उपमा: यह पूछता है, "यदि मैं नए शहर से मेल खाने के लिए केवल गाजरों के भार को बदल दूँ, तो क्या सूप का स्वाद सही हो जाएगा?" यदि हाँ, तो गाजर ही अपराधी है। यदि नहीं, तो यह आलू के साथ प्रयास करता है।
परिणाम: यह अवयवों (विशेषताओं) के सबसे छोटे समूह को खोज निकालता है जिन्हें समायोजित करने पर पुराना सूप नए शहर जैसा स्वाद देने लगता है। यह आपको बताता है कि नए वातावरण में वास्तव में क्या बदला है।

3. "फाइन-ट्यूनिंग" शेफ (सुधारना)

एक बार जब आप भार (weights) जान जाते हैं, तो आप उन्हें केवल फेंकते नहीं हैं। आप उनका उपयोग अपने कुकिंग रोबोट (AI मॉडल) को नए शहर के लिए बेहतर खाना बनाना सिखाने के लिए करते हैं।

उपमा: अपने मुख्य शेफ को निकालने और एक नया शेफ रखने के बजाय जिसने पहले कभी खाना नहीं बनाया है, आप अपने वर्तमान शेफ को कहते हैं, "हे, जब आप इन बड़े सेबों को देखें, तो उन पर विशेष ध्यान दें क्योंकि नए ग्राहक उन्हें पसंद करते हैं।"
विधि: पेपर में बूस्टिंग (Boosting) नामक तकनीक का उपयोग किया गया है। यह शेफ को भारित अवयवों के आधार पर छोटे, विशिष्ट सबक देने जैसा है। शेफ सब कुछ शून्य से सीखने के बजाय, नई पसंद के अनुसार अपनी कुकिंग को थोड़ा समायोजित करना सीख जाता है।

यह अन्य तरीकों से बेहतर क्यों है?

यह पेपर इस समस्या को हल करने के लिए अन्य "शेफ" (तरीकों) के साथ EPA की तुलना करता है:

"डेंसिटी रेश्यो" शेफ (SEES): यह हर एक सामग्री संयोजन की सटीक संभावना की गणना करने की कोशिश करता है। यह समुद्र तट पर रेत के हर कण को गिनने की कोशिश करने जैसा है। यह धीमा है और गलतियों की संभावना अधिक है।
"कर्नेल" शेफ (KMM): यह औसत स्वाद से मेल खाने की कोशिश करता है, लेकिन अक्सर एक सामग्री को बहुत अधिक भार दे देता है और बाकी को अनदेखा कर देता है, जिससे सूप अजीब और अस्थिर हो जाता है।
EPA का लाभ: EPA तेज़ है (यह एक स्पष्ट उत्तर के साथ एक सरल गणितीय पहेली को हल करता है) और स्थिर है (यह भारों को संतुलित रखता है)। इसे नए शहर के "गुप्त नुस्खे" को जानने की आवश्यकता नहीं है; इसे बस प्रमुख सांख्यिकी (जैसे सेबों का औसत आकार) से मेल खाने की आवश्यकता है।

निष्कर्ष

लेखकों ने इसका परीक्षण वास्तविक दुनिया के डेटा (जैसे क्रेडिट स्कोर और मेडिकल डेटा) पर किया जहाँ "सामग्री" (डेटा) समय या स्थान के साथ बदल जाती है। उन्होंने पाया कि EPA:

अन्य तरीकों की तुलना में नए प्रदर्शन का अनुमान बहुत अधिक सटीकता से लगाता है।
इसने बदलते कारकों (जैसे कि कौन सा विशिष्ट डेटा कॉलम बदल रहा था) को अधिक सटीक रूप से पहचाना।
इसने शून्य से शुरू करने या पुराने तरीकों का उपयोग करने की तुलना में नए वातावरण में मॉडल के प्रदर्शन में सुधार बेहतर तरीके से किया।

संक्षेप में, EPA एक मजबूत, तेज़ और स्मार्ट तरीका है जो एक AI मॉडल को बिना लेबल (जवाब) देखे, एक नई दुनिया के अनुकूल होने में मदद करता है। यह एक शेफ को पूरी तरह से नई व्यंजन शैली सीखने के लिए मजबूर करने के बजाय, परिचित सामग्रियों के हिस्सों को समायोजित करके एक नई संस्कृति के लिए खाना बनाना सिखाने जैसा है।

तकनीकी सारांश: एंट्रोपिक प्रोजेक्शन अलाइनमेंट (EPA)

1. समस्या की परिभाषा

यह शोध पत्र डिस्ट्रीब्यूशन शिफ्ट (वितरण बदलाव) की चुनौती को संबोधित करता है, जहाँ सोर्स डोमेन ( $P$ ) पर प्रशिक्षित मशीन लर्निंग मॉडल को एक अलग डेटा वितरण वाले टार्गेट डोमेन ( $Q$ ) में तैनात किया जाता है। विचाराधीन विशिष्ट सेटिंग अनसुपरवाइज्ड डोमेन एडाप्टेशन (अsupervised डोमेन अनुकूलन) है: सोर्स डोमेन लेबल वाला डेटा $(X, Y)$ प्रदान करता है, जबकि टार्गेट डोमेन केवल अनलेबल फीचर्स $X$ प्रदान करता है।

लेखक इस सेटिंग में तीन परस्पर जुड़े हुए चुनौतियों की पहचान करते हैं:

एस्टिमेशन (अनुमान): अनलेबल टार्गेट डोमेन पर मॉडल के प्रदर्शन (रिस्क) का सटीक अनुमान लगाना।
एक्सप्लेनेशन (व्याख्या): यह पहचानना कि विशिष्ट फीचर्स (विशेषताएं) वितरण बदलाव के लिए कौन से जिम्मेदार हैं (विशेष रूप से "स्पार्स जॉइंट शिफ्ट्स" के तहत जहाँ फीचर्स और संभावित रूप से लेबल्स का एक उपसमूह बदलता है)।
इम्प्रूवमेंट (सुधार): टार्गेट डोमेन पर प्रदर्शन में सुधार करने के लिए मॉडल को अनुकूलित करना।

मौजूदा साहित्य अक्सर विशिष्ट इनवेरियंस धारणाओं (जैसे कोवेरिएट शिफ्ट, लेबल शिफ्ट) पर निर्भर करता है या पूर्ण डेंसिटी रेशियो $dQ/dP$ को रिकवर करने का प्रयास करता है, जो अत्यंत कठिन है और उच्च वेरिएंस (विचलन) के प्रति संवेदनशील है। यह शोध पत्र तर्क देता है कि पूर्ण डेंसिटी रेशियो को रिकवर करना आवश्यक नहीं है; इसके बजाय, विश्वसनीय अनुमान और अनुकूलन के लिए सावधानीपूर्वक चुने गए मोमेंट्स (क्षणों) को मैच करना पर्याप्त है।

2. कार्यप्रणाली: एंट्रोपिक प्रोजेक्शन अलाइनमेंट (EPA)

मुख्य योगदान एंट्रोपिक प्रोजेक्शन अलाइनमेंट (EPA) है, जो एक एकीकृत ढांचे के रूप में डोमेन अलाइनमेंट को एक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या के रूप में प्रस्तुत करता है।

मुख्य फॉर्मूलेशन

EPA एक पुनर्वेटेड (reweighted) सोर्स डिस्ट्रीब्यूशन $\tilde{P}$ की तलाश करता है जो मूल सोर्स डिस्ट्रीब्यूशन $\hat{P}$ के जितना संभव हो उतना करीब हो (KL डाइवर्जेंस द्वारा मापा गया) और टार्गेट डिस्ट्रीब्यूशन के विशिष्ट मोमेंट्स को मैच करने वाली लीनियर बाधाओं (constraints) को संतुष्ट करता हो।

गणितीय रूप से, एक फीचर मैप $\Phi: \mathcal{X} \to \mathbb{R}^k$ और एम्पिरिकल टार्गेट मोमेंट $\hat{\mu}_Q = \mathbb{E}_{\hat{Q}_X}[\Phi(X)]$ दिए जाने पर, EPA निम्नलिखित को हल करता है:
$\hat{P}^* \in \arg \min_{\tilde{P}} KL(\tilde{P} \parallel \hat{P}) \quad \text{s.t.} \quad \mathbb{E}_{\tilde{P}}[\Phi(X)] = \hat{\mu}_Q$

सैद्धांतिक गुण

क्लोज्ड-फॉर्म सॉल्यूशन: कर्नेल मीन मैचिंग (KMM) के विपरीत, जिसे $n$ सैंपल्स के साथ स्केलिंग करने वाले क्वाड्रेटिक प्रोग्राम को हल करने की आवश्यकता होती है, EPA महत्व के भार (importance weights) $\lambda_i$ के लिए एक अद्वितीय, क्लोज्ड-फॉर्म समाधान प्रदान करता है:
$\lambda_i = \frac{\exp(\langle \xi, \Phi(X_i) \rangle)}{\sum_{j=1}^n \exp(\langle \xi, \Phi(X_j) \rangle)}$
यहाँ, $\xi$ एक स्ट्रिक्टली कॉन्वेक्स फंक्शन का अद्वितीय मिनिमाइज़र है।
इम्प्लिसिट रेगुलराइजेशन (अंतर्निहित नियमितीकरण): KL मिनिमाइज़ेशन, वेट्स के एंट्रॉपी को मैक्सिमाइज करने के समान है। यह एक मजबूत रेगुलराइज़र के रूप में कार्य करता है, जो वेट्स को कुछ ही सैंपल्स पर केंद्रित होने से रोकता है (जिससे हाई वेरिएंस होता है) और मजबूती सुनिश्चित करता है।
स्केलेबिलिटी (स्केलेबिलिटी): ऑप्टिमाइज़ेशन में केवल $k$ पैरामीटर्स ( $\Phi$ का आयाम) शामिल हैं, जिससे यह बड़े डेटासेट्स के लिए स्केलेबल हो जाता है जहाँ $k \ll n$ है।

"अलाइनमेंट" की अवधारणा

एक महत्वपूर्ण सैद्धांतिक अंतर्दृष्टि यह है कि सटीक प्रदर्शन अनुमान के लिए पूर्ण डेंसिटी रेशियो रिकवरी की आवश्यकता नहीं है। इसके बजाय, इसके लिए अलाइनमेंट की आवश्यकता होती है।

परिभाषा: एक फीचर मैप $\Phi$ एक हाइपोथीसिस क्लास $\mathcal{H}$ और लॉस फंक्शन $\ell$ के साथ "अलाइन्ड" है यदि डिसग्रीमेंट फंक्शन्स (फंक्शंस जो $g(x) = \ell(f(x), h(x))$ के रूप में होते हैं) $\Phi$ के एफ़ाइन स्पैन (affine span) के भीतर स्थित हैं।
निहितार्थ: यदि $\Phi$ अलाइन्ड है, तो $\Phi$ के मोमेंट्स को सोर्स और टार्गेट डिस्ट्रीब्यूशंस के बीच मैच करने से विसंगति अंतराल (discrepancy gap) पूरी तरह से समाप्त हो जाता है, जिससे पुनर्वेटेड सोर्स रिस्क, टार्गेट रिस्क का एक विश्वसनीय एस्टिमेटर बन जाता है।
व्यावहारिक कार्यान्वयन: टैबुलर डेटा और ट्री-बेस्ड मॉडल्स (पेपर का मुख्य फोकस) के लिए, लेखक फीचर मैप $\Phi$ के रूप में फीचर्स और मॉडल प्रेडिक्शन्स के क्वांटाइल बिनिंग (quantile binning) का उपयोग करने का प्रस्ताव देते हैं। यह सभी संभावित ट्री रीजन को सूचीबद्ध किए बिना प्रभावी ढंग से डिसग्रीमेंट स्पेस का अनुमान लगाता है।

तीन चुनौतियों का समाधान

एस्टिमेशन (अनुमान): EPA अलाइन्ड $\Phi$ का उपयोग करके सोर्स लॉस को रीवेट करता है, जिससे टार्गेट एरर का अनुमान मिलता है।
एक्सप्लेनेशन (व्याख्या): स्पार्स शिफ्ट्स को समझाने के लिए, EPA कैंडिडेट फीचर सबसेट्स का परीक्षण करता है। यह टार्गेट डिस्ट्रीब्यूशन के मोमेंट्स को मैच करने के लिए सोर्स को रीवेट करता है और उस न्यूनतम सेट को चुनता है जो KL दूरी (डिसक्रेपेंसी) को कम करता है, जिससे उन न्यूनतम फीचर्स की पहचान होती है जो शिफ्ट को संचालित कर रहे हैं।
इम्प्रूवमेंट (सुधार): नया मॉडल स्क्रैच से ट्रेन करने के बजाय, EPA मौजूदा मॉडल में सुधार करने के लिए प्राप्त वेट्स का उपयोग बूस्टिंग के रूप में करता है। यह वर्तमान मॉडल $f$ में एक सुधारात्मक टर्म जोड़ता है, जो पुनर्वेटेड सोर्स डेटा पर वेटेड लॉस को मिनिमाइज करता है।

3. मुख्य योगदान

एकीकृत ढांचा (Unified Framework): EPA केवल अनलेबल टार्गेट डेटा का उपयोग करके एस्टिमेशन, एक्सप्लेनेशन और इम्प्रूवमेंट को एक एकल ढांचे में एकीकृत करने वाला पहला तरीका है।
सैद्धांतिक गारंटी: यह पेपर स्थापित करता है कि "अलाइनमेंट" की स्थिति के तहत विश्वसनीय अनुमान के लिए मोमेंट मैचिंग पर्याप्त है, जिससे पूर्ण डेंसिटी रेशियो रिकवरी की आवश्यकता से बचा जा सकता है। यह फाइनाइट-सैंपल कंसंट्रेशन बाउंड्स और वेरिएंस विश्लेषण प्रदान करता है जो दर्शाता है कि EPA के वेट्स का वेरिएंस KMM की तुलना में कम है।
कंप्यूटेशनल दक्षता: एक क्लोज्ड-फॉर्म सॉल्यूशन के माध्यम से कॉन्वेक्स ऑप्टिमाइज़ेशन का उपयोग करके, EPA, डेंसिटी रेशियो एस्टिमेशन विधियों (जैसे SEES) और क्वाड्रेटिक प्रोग्रामिंग विधियों (जैसे KMM) की तुलना में काफी तेज़ है।
मजबूती (Robustness): एंट्रोपिक प्रोजेक्शन फॉर्मूलेशन इम्प्लिसिट रेगुलराइजेशन प्रदान करता है, जो उन हाई-वेरिएंस वेट्स को रोकता है जो अक्सर प्रैक्टिकल में इम्पॉर्टेंस वेटिंग के साथ आते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन प्रकार के डिस्ट्रीब्यूशन शिफ्ट पर EPA का मूल्यांकन किया: स्पार्स कोवेरिएट शिफ्ट, स्पार्स जॉइंट शिफ्ट, और नेचुरल शिफ्ट्स (Adult, HELOC, NHANES, और Folktables जैसे वास्तविक दुनिया के डेटासेट्स का उपयोग करके)।

एस्टिमेशन: EPA ने टार्गेट एरर का अनुमान लगाने में बेसलाइन्स (SEES, KMM, डोमेन क्लासिफायर वेटिंग) को काफी पीछे छोड़ दिया, विशेष रूप से हानिकारक शिफ्ट्स का प्रतिनिधित्व करने वाले बिन्स में 30–70% बेहतर सटीकता (कम मीन एब्सोल्यूट एरर) हासिल की।
एक्सप्लेनेशन: स्पार्स शिफ्ट्स के लिए जिम्मेदार फीचर्स की पहचान करने में, EPA ने SEES वेरिएंट्स की तुलना में बेहतर सटीकता (60% तक अधिक) प्रदर्शित की।
इम्प्रूवमेंट: मॉडल्स को अनुकूलित करने के दौरान (XGBoost का उपयोग करते हुए), EPA ने केवल अनलेबल डेटा का उपयोग करने वाले तरीकों में औसत सुधार में लगातार उच्चतम स्तर हासिल किया। विशेष रूप से, मॉडल मिसस्पेसिफिकेशन (नॉन-लीनियर डेटा पर लीनियर मॉडल्स) वाले परिदृश्यों में, जहाँ यूनिफॉर्म वेटिंग विफल रही, वहां भी EPA ने पर्याप्त लाभ प्रदान किया।
दक्षता: EPA, SEES-C की तुलना में एक ऑर्डर ऑफ मैग्नीट्यूड तेज़ था और KMM की तुलना में काफी तेज़ था, जबकि तुलनीय या बेहतर सटीकता बनाए रखी।

5. महत्व और दावे

यह पेपर दावा करता है कि EPA एक मजबूत, कुशल और सैद्धांतिक रूप से ठोस समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

पैराडाइम में बदलाव: पूर्ण डेंसीटी रेशियो एस्टिमेशन के कठिन कार्य से हटकर अधिक सुलभ और पर्याप्त कार्य—मोमेंट मैचिंग विद अलाइन्ड फीचर्स—की ओर बढ़ना।
व्यावहारिक प्रयोज्यता: एक ऐसा तरीका प्रदान करना जो जटिल डीप लर्निंग आर्किटेक्चर या लेबल वाले टार्गेट डेटा की आवश्यकता के बिना, मानक टैबुलर डेटा और ट्री-बेस्ड मॉडल्स (जो कई उद्योगों में स्टेट-ऑफ-द-आर्ट हैं) के साथ अच्छी तरह से काम करता है।
विश्वसनीयता: एंट्रॉपी-मैक्सिमाइजिंग प्रकृति के कारण, यह इम्पॉर्टेंस वेटिंग में निहित "बायस-वेरिएंस ट्रेड-ऑफ" के प्रति कम संवेदनशील है।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान ढांचा टैबुलर डेटा के लिए तैयार किया गया है, लेकिन एंट्रोपिक प्रोजेक्शन और अलाइनमेंट के अंतर्निर्हित सिद्धांतों को भविष्य के कार्य में अनस्ट्रक्चर्ड डोमेन (जैसे इमेज) के लिए विस्तारित किया जा सकता है, बशर्ते सार्थक फीचर रिप्रेजेंटेशन की पहचान की जा सके।