🤖 machine learning

Non-Parametric Rehearsal Learning via Conditional Mean Embeddings

यह शोध पत्र "अवांछित भविष्य से बचने" की समस्या के लिए एक गैर-पैरामीट्रिक रिहर्सल लर्निंग फ्रेमवर्क प्रस्तुत करता है जो प्रतिबंधात्मक पैरामीट्रिक धारणाओं के बिना जटिल, गैर-रेखीय निर्णय गतिकी को मॉडल करने के लिए कंडीशनल मीन एम्बेडिंग्स और कर्नेल रिज रिग्रेशन का उपयोग करता है, जबकि सैद्धांतिक निरंतरता गारंटी और अनुभवजन्य सत्यापन प्रदान करता है।

मूल लेखक: Wen-Bo Du, Tian-Zuo Wang, Han-Jia Ye, Zhi-Hua Zhou

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wen-Bo Du, Tian-Zuo Wang, Han-Jia Ye, Zhi-Hua Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बैंक मैनेजर हैं। आपके पास एक कंप्यूटर प्रोग्राम है जो किसी ऋण आवेदक (loan applicant) की प्रोफाइल (उनका क्रेडिट स्कोर, कर्ज आदि) को देखता है और उनके भविष्य की भविष्यवाणी करता है। प्रोग्राम कहता है, "ओह! यह व्यक्ति ऋण चुकाने में विफल (default) हो सकता है।"

अनचाहे भविष्य से बचना (Avoiding Undesired Future - AUF) समस्या यह पूछती है: उस बुरे परिणाम को रोकने के लिए आप अभी क्या बदल सकते हैं? शायद आप ब्याज दर कम कर सकते हैं या ऋण की राशि बदल सकते हैं। यदि आप ऐसा करते हैं, तो क्या आवेदक ऋण चुकाएगा?

यह शोध पत्र इस बात को समझने का एक नया, स्मार्ट तरीका पेश करता है कि सबसे अच्छे बदलाव कैसे किए जाएं, बिना दुनिया के सटीक गणितीय नियमों का अनुमान लगाए।

यहाँ उनके दृष्टिकोण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका: "कठोर ब्लूप्रिंट" (The Rigid Blueprint)

पिछले तरीकों ने इसे यह मानकर हल करने की कोशिश की कि दुनिया एक सरल, सीधी रेखा वाली मशीन (जैसे एक रैखिक समीकरण/linear equation) की तरह काम करती है। उन्होंने माना कि यदि आप एक लीवर दबाते हैं (ब्याज दर बदलते हैं), तो परिणाम पूरी तरह से अनुमानित, सीधी रेखा में आगे बढ़ता है।

समस्या: वास्तविक जीवन अव्यवस्थित है। यह एक सीधी रेखा नहीं है; यह एक घुमावदार, ऊबड़-खाबड़ सड़क है। यदि आप मान लेते हैं कि सड़क सीधी है जबकि वह वास्तव में घुमावदार है, तो आपका नेविगेशन सिस्टम विफल हो जाएगा, और आप कार को खाई में गिरा सकते हैं। पुराने तरीके तब टूट जाते थे जब डेटा जटिल या "गैर-रैखिक" (non-linear) हो जाता था।

2. नया तरीका: "जादुई मानचित्र" (The Magic Map - Non-Parametric Learning)

लेखक एक ऐसा तरीका प्रस्तावित करते हैं जो यह नहीं मानता कि सड़क सीधी है या घुमावदार। इसके बजाय, यह डेटा से सीधे सड़क के आकार को सीखता है, जैसे कि एक GPS जो चलते समय इलाके को सीखता है। वे इसे नॉन-पैरामीट्रिक रिहर्सल लर्निंग (Non-Parametric Rehearsal Learning) कहते हैं।

इसे भविष्य के लिए एक "रिहर्सल" के रूप में सोचें। आप वास्तव में ऋण नहीं देते हैं; आप एक मानसिक सिमुलेशन चलाते हैं कि क्या होगा यदि आप ब्याज दर बदलते हैं।

3. तीन जादुई तरकीबें

इस सिमुलेशन को बिना किसी कठोर ब्लूप्रिंट के काम करने में सक्षम बनाने के लिए, वे तीन चतुर तरकीबों का उपयोग करते हैं:

क. "सॉफ्ट टारगेट" (लक्ष्य को सुगम बनाना - Smoothing the Goal)

लक्ष्य आमतौर पर बाइनरी होता है: "क्या ऋण चुकाया गया? हाँ (1) या नहीं (0)।" यह एक लाइट स्विच की तरह है—या तो चालू या बंद। एक लाइट स्विच को अनुकूलित (optimize) करना कठिन है क्योंकि आप इसे "आंशिक रूप से" चालू या बंद नहीं कर सकते।

समाधान: वे लाइट स्विच को एक डिमर स्विच (dimmer switch) से बदल देते हैं। यह पूछने के बजाय कि "क्या उन्होंने भुगतान किया?", वे पूछते हैं "वे भुगतान करने के कितने करीब हैं?" वे एक चिकनी, घुमावदार फलन (जिसे प्रोबिट सरोगेट/Probit surrogate कहा जाता है) का उपयोग करते हैं जो तीखे "हाँ/नहीं" को एक कोमल ढलान में बदल देता है। यह कंप्यूटर को "ग्रेडिएंट डिसेंट" (पहाड़ी से नीचे फिसलना) का उपयोग करके सबसे अच्छी सेटिंग खोजने की अनुमति देता है, न कि किसी सपाट चट्टान पर फंसने की।

ख. "घोस्ट वेरिएबल" (कंडीशनल मीन एम्बेडिंग्स - Conditional Mean Embeddings)

वास्तविक दुनिया में, ब्याज दर बदलना ही एकमात्र चीज़ नहीं है जो होती है। अन्य छिपे हुए कारक भी हैं (जैसे उधारकर्ता की नौकरी की स्थिरता) जो ब्याज दर और भुगतान करने की क्षमता दोनों को प्रभावित करते हैं। यदि आप इन्हें अनदेखा करते हैं, तो आपको लग सकता है कि दर कम करने से उन्होंने भुगतान किया, जबकि वास्तव में, यह केवल इसलिए है क्योंकि उनकी नौकरी स्थिर है।

समाधान: वे कंडीशनल मीन एम्बेडिंग्स (CME) नामक एक गणितीय उपकरण का उपयोग करते हैं। कल्पना करें कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। केवल थर्मामीटर देखने के बजाय, आप वायुमंडल के एक "घोस्ट" (भूतिया) संस्करण को देखते हैं जो हवा, नमी और दबाव को एक साथ संभालता है। CMEs मॉडल को छिपे हुए कारकों को "देखने" और आपके कार्य (दर बदलना) के वास्तविक प्रभाव को शोर (noise) से अलग करने की अनुमति देते हैं।

ग. "नेस्टेड एस्टिमेटर" (दो-चरणीय नृत्य - The Two-Step Dance)

सबसे अच्छा बदलाव गणना करने के लिए, वे समस्या को दो चरणों वाले नृत्य में विभाजित करते हैं:

चरण 1 (इनर लूप): "यदि मैं दर बदलता हूँ और उधारकर्ता की नौकरी की स्थिरता विशिष्ट है, तो क्या होगा?" वे पिछले डेटा के आधार पर इस परिणाम का अनुमान लगाने के लिए 'कर्नेल रिज रिग्रेशन' (Kernel Ridge Regression) नामक तकनीक का उपयोग करते हैं।
चरण 2 (आउटर लूप): "लेकिन मुझे उधारकर्ता की नौकरी की स्थिरता अभी पता नहीं है; मैं केवल उनका क्रेडिट स्कोर जानता हूँ।" इसलिए, वे चरण 1 के परिणामों को लेते हैं और उन्हें क्रेडिट स्कोर के आधार पर विभिन्न नौकरी स्थिरता की संभावना के अनुसार औसत निकालते हैं।

यह "नेस्टिंग" उन्हें ऐतिहासिक डेटा का उपयोग करके एक परिकल्पित परिवर्तन का परिणाम निकालने की अनुमति देती है, प्रभावी रूप से एक ऐसे भविष्य का सिमुलेशन करती है जो अभी तक हुआ ही नहीं है।

4. परिणाम: क्या यह काम करता है?

लेखकों ने इस "जादुई मानचित्र" का दो तरह से परीक्षण किया:

सिंथेटिक गेम्स (Synthetic Games): उन्होंने जटिल, घुमावदार नियमों (गैर-रैखिक) और शोर वाले डेटा वाले नकली संसार बनाए। उनकी विधि पुराने "सीधी रेखा" वाले तरीकों की तुलना में बहुत बेहतर तरीके से सर्वोत्तम चालें खोज पाई।
वास्तविक दुनिया का डेटा (NHANES): उन्होंने मधुमेह प्रबंधन के परिदृश्य को सिम्युलेट करने के लिए एक विशाल अमेरिकी स्वास्थ्य सर्वेक्षण (NHANES) का उपयोग किया।
- सेटअप: आयु और आय (संदर्भ) को देखते हुए, कौन से जीवनशैली परिवर्तन (जैसे आहार या व्यायाम जैसे क्रियाशील चर) रोगी के रक्त शर्करा को स्वस्थ सीमा में रखेंगे?
- परिणाम: बिना किसी बदलाव के, केवल 40.2% सिम्युलेटेड मरीज स्वस्थ रहे। उनके नए तरीके के साथ, 59.6% मरीज स्वस्थ रहे। उन्होंने "अच्छे भविष्य" की संभावनाओं में महत्वपूर्ण सुधार किया।

सारांश

यह शोध पत्र जटिल, अप्रत्याशित वातावरण में निर्णय लेने का एक नया तरीका प्रस्तुत करता है। दुनिया को एक सरल, सीधी रेखा वाले मॉडल में फिट करने के बजाय, यह डेटा से सीधे वास्तविकता के जटिल, घुमावदार आकार को सीखने के लिए उन्नत गणित (कर्नेल और एम्बेडिंग्स) का उपयोग करता है। यह "हाँ/नहीं" लक्ष्यों को सुचारू बनाता है ताकि उन्हें अनुकूलित करना आसान हो सके और यह सुनिश्चित करने के लिए दो-चरणीय सिमुलेशन का उपयोग करता है कि आपके द्वारा किए गए परिवर्तन वास्तव में अच्छे परिणाम का कारण बनते हैं, न कि केवल भाग्यशाली होते हैं।

संक्षेप में: यह भविष्य का पूर्वाभ्यास करने का एक स्मार्ट तरीका है ताकि आप आज बेहतर निर्णय ले सकें, बिना ब्रह्मांड के सटीक नियमों को जाने।

तकनीकी सारांश: कंडीशनल मीन एम्बेडिंग्स के माध्यम से नॉन-पैरामीट्रिक रिहर्सल लर्निंग

1. समस्या परिभाषा: अनचाहे भविष्य से बचना (Avoiding Undesired Future - AUF)

यह शोध पत्र अनचाहे भविष्य से बचने (AUF) की समस्या को संबोधित करता है, जो एक निर्णय लेने की चुनौती है जहाँ एक मॉडल एक अवांछनीय परिणाम की भविष्यवाणी करता है और उसे रोकने के लिए प्रभावी कार्यों की पहचान करने का प्रयास करता है। मानक पूर्वानुमान कार्यों के विपरीत, AUF के लिए क्रियाशील चरों (actionable variables) $A$ पर एक निर्णय परिवर्तन $a$ को अनुकूलित करने की आवश्यकता होती ताकि इस संभावना को अधिकतम किया जा सके कि लक्ष्य परिणाम $Y$ एक वांछित क्षेत्र $S$ के भीतर रहे (जैसे, $P(Y \in S | X=x, \text{do}(A=a))$ )।

मुख्य कठिनाई अवलोकन संबंधी डेटा (observational data) में निहित कन्फाउंडिंग बायस (confounding bias) है। ऐतिहासिक रिकॉर्ड में अक्सर अन-एक्शनबल कारक (कन्फाउंडर्स $U$ ) होते हैं जो क्रियाशील चरों $A$ और परिणामों $Y$ दोनों को प्रभावित करते हैं। फलस्वरूप, एक सक्रिय हस्तक्षेप (active intervention) के तहत वितरण ( $P(Y | X, \text{do}(A=a))$ ) और अवलोकन संबंधी सशर्त वितरण ( $P(Y | X, A=a)$ ) काफी भिन्न होते हैं। मौजूदा समाधान, जैसे कि रिहर्सल लर्निंग फ्रेमवर्क, काफी हद तक प्रतिबंधात्मक पैरामीट्रिक मान्यताओं (जैसे, एडिटिव गौसियन नॉइज़ के साथ लीनियर सिस्टम) पर निर्भर रहे हैं। ये मान्यताएं जटिल, वास्तविक दुनिया की प्रणालियों में अनुप्रयोग को सीमित करती हैं जहाँ डेटा जनरेशन तंत्र नॉन-लीनियर और नॉन-एडिटिव होते हैं। कुछ नॉन-लीनियर विस्तारों में उपयोग किए जाने वाले ह्यूरिस्टिक सरोगेट्स अक्सर वास्तविक AUF उद्देश्य से विचलित हो जाते हैं, जिससे उप-इष्टतम (suboptimal) निर्णय होते हैं।

2. कार्यप्रणाली (Methodology)

लेखक AUF के लिए पहले नॉन-पैरामीट्रिक रिहर्सल लर्निंग फ्रेमवर्क का प्रस्ताव करते हैं, जो डेटा जनरेशन के लिए विशिष्ट कार्यात्मक रूपों (functional forms) को मानने से बचता है। कार्यप्रणाली के तीन मुख्य घटक हैं:

A. विच्छिन्न वांछनीयता (Discontinuous Desirability) के लिए स्मूथ सरोगेट

मूल AUF उद्देश्य में $P(Y \in S)$ की संभावना को अधिकतम करना शामिल है, जो एक विच्छिन्न इंडिकेटर फंक्शन $I(Y \in S)$ पर निर्भर करता है। यह फंक्शन नॉन-डिफरेंशिएबल है और मानक रिप्रोडसिंग कर्नेल हिलबर्ट स्पेस (RKHS) में नहीं रहता है, जिससे प्रत्यक्ष अनुकूलन और कर्नेल-आधारित अनुमान कठिन हो जाता है।

समाधान: लेखक एक स्मूथ प्रोबिट सरोगेट (smooth Probit surrogate) $w_\eta(y)$ पेश करते हैं। इसे $S$ के लिए परिभाषित कंजुक्स पॉलीटोप (convex polytope) के लिए मानक सामान्य वितरणों के संचयी वितरण फलनों (CDFs) के उत्पाद के रूप में परिभाषित किया गया है, यह हार्ड इंडिकेटर का अनुमान लगाता है।
लाभ: $w_\eta(y)$ एक $C^\infty$ -कंटीन्यूअस फंक्शन है, जो व्यवहार्य क्षेत्र $S$ के बाहर भी नॉन-जीरो ग्रेडिएंट प्रदान करता है, जो सकारात्मक नमूनों की कमी होने पर अनुकूलन में सहायता करता है। सैद्धांतिक विश्लेषण एक एप्रोक्सिमेशन एरर बाउंड $O(\frac{\sqrt{\ln \eta}}{\eta})$ स्थापित करता है।

B. कंडीशनल मीन एम्बेडिंग्स (CMEs) के माध्यम से पहचान क्षमता (Identifiability)

बिना पैरामीट्रिक मान्यताओं के अवलोकन संबंधी डेटा से इंटरवेंशनल प्रोबेबिलिटी का अनुमान लगाने के लिए, यह विधि कंडीशनल मीन एम्बेडिंग्स (CMEs) का लाभ उठाती है।

स्ट्रक्चरल डिकंपोजिशन: मध्यवर्ती चरों $Z$ को क्रियाशील चरों $A$ , प्री-अल्टरेशन नॉन-एक्शनबल कन्फाउंडर्स $U$ , और पोस्ट-अल्टरेशन वेरिएबल्स $U_{post}$ में विभाजित किया गया है।
पहचान क्षमता (Identifiability): लेखक सिद्ध करते हैं कि स्मूथ किया गया AUF उद्देश्य अवलोकन संबंधी वितरण से एक नेस्टेड एक्सपेक्टेशन के रूप में पहचाना जा सकता है:
$E_{Y \sim P(\cdot|x, \text{do}(a))}[w_\eta(Y)] = E_{U \sim P(\cdot|x)} [ E_{Y \sim P(\cdot|x, u, a)}[w_\eta(Y)] ]$
यह फॉर्मूलेशन अनुमति देता है कि इंटरवेंशनल एक्सपेक्टेशन को केवल कन्फाउंडर्स $U$ पर कंडीशन करके अवलोकन संबंधी डेटा का उपयोग करके कंप्यूट किया जा सके।

C. नेस्टेड कर्नेल रिज रिग्रेशन (KRR) एस्टिमेटर

लेखक इस उद्देश्य को कंप्यूट करने के लिए कर्नेल रिज रिग्रेशन पर आधारित एक दो-चरणीय नेस्टेड एस्टिमेटर विकसित करते हैं:

चरण 1 (इनर एक्सपेक्टेशन): संयुक्त संदर्भ $(x, u, a)$ के सापेक्ष सरोगेट $w_\eta(Y)$ का कंडीशनल एक्सपेक्टेशन अनुमानित करना। यह $\mathcal{H}_{k_y}$ में $Y$ के CME को $h=(x,u,a)$ के सापेक्ष अनुमानित करके प्राप्त किया जाता है।
चरण 2 (आउटर एक्सपेक्टेशन): $x$ के दिए गए वितरण पर चरण 1 के परिणाम का एक्सपेक्टेशन अनुमानित करना। इसमें $\mathcal{H}_{k_x}$ में $x$ के दिए गए $U$ के CME का अनुमान लगाना शामिल है।

क्लोज्ड-फॉर्म सॉल्यूशन: डिकम्पोजेबल कर्नेल्स की धारणा के तहत, नेस्टेड एस्टिमेटर एक्शन के फीचर मैप का एक लीनियर फंक्शन बन जाता है: $\hat{J}_\eta(a; x) = \omega(x)^T k_a(a)$ । वेट वेक्टर $\omega(x)$ ऐतिहासिक वांछनीयता और संदर्भ प्रासंगिकता को एकीकृत करता है और $U$ के कर्नेल ग्राम मैट्रिक्स के माध्यम से स्पष्ट रूप से कन्फाउंडर्स के लिए समायोजन करता है।
ऑप्टिमाइजेशन: उच्च अनुमानित उपयोगिता वाले ऐतिहासिक कार्यों पर इनिशियलाइज करने के लिए एक मल्टी-स्टार्ट प्रोजेक्टेड ग्रेडिएंट एसेंट एल्गोरिदम का उपयोग किया जाता है।

3. प्रमुख योगदान

नॉन-पैरामीट्रिक फ्रेमवर्क: AUF के लिए पहले नॉन-पैरामीट्रिक रिहर्सल लर्निंग दृष्टिकोण का प्रस्ताव, जो विशिष्ट पैरामीट्रिक रूपों पर निर्भर किए बिना नॉन-लीनियर सिस्टम और नॉन-एडिटिव नॉइज़ को संभालने में सक्षम है।
सैद्धांतिक गारंटी:
- अवलोकन संबंधी डेटा से स्मूथ किए गए AUF उद्देश्य की पहचान क्षमता (identifiability) की स्थापना।
- नेस्टेड KRR एस्टिमेटर के लिए फाइनाइट-सैंपल एरर बाउंड्स और कंसिस्टेंसी गारंटी का व्युत्पत्ति।
- यह प्रमाण कि प्रोबिट सरोगेट का एप्रोक्सिमेशन एरर $\eta \to \infty$ होने पर शून्य हो जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक बेंचमार्क (लीनियर और नॉन-लीनियर) और मधुमेह प्रबंधन के लिए NHANES 2011–2018 डेटा से निर्मित एक रियल-डेटा-डिराइव्ड सेमी-सिंथेटिक बेंचमार्क पर मूल्यांकन।

4. प्रायोगिक परिणाम

विधि का मूल्यांकन कई बेसलाइन्स के विरुद्ध किया गया, जिनमें पैरामीट्रिक रिहर्सल मेथड्स (QWZ23, MICNS, CARE) और एक ह्यूरिस्टिक नॉन-पैरामीट्रिक अप्रोच (Grad-Rh) शामिल हैं।

लीनियर सेटिंग्स: लीनियर एडिटिव गौसियन सेटिंग्स में, प्रस्तावित विधि CARE (जो इन विशिष्ट स्थितियों के तहत सैद्धांतिक रूप से इष्टतम है) के तुल्य प्रदर्शन करती है और अन्य बेसलाइन्स से बेहतर प्रदर्शन करती है, बावजूद इसके कि इसे वास्तविक पैरामीट्रिक रूप का ज्ञान नहीं है।
नॉन-लीनियर सेटिंग्स: नॉन-लीनियर सिंथेटिक सेटिंग्स और बैंक लेंडिंग उदाहरण में, प्रस्तावित विधि सभी बेसलाइन्स से काफी बेहतर प्रदर्शन करती है, जो जटिल तंत्रों के प्रति बेहतर अनुकूलन क्षमता प्रदर्शित करती है।
NHANES बेंचमार्क: सेमी-सिंथेटिक डायबिटीज डेटासेट पर, विधि ने AUF प्रोबेबिलिटी को बेसलाइन के 0.402 (कोई एक्शन नहीं) से बढ़ाकर 0.596 कर दिया, जो सभी अनुकूलित एक्शन मेथड्स से बेहतर है।
कन्फाउंडिंग विश्लेषण: बैंक लेंडिंग परिदृश्य पर एक केस स्टडी ने दिखाया कि कन्फाउंडिंग को अनदेखा करने वाले मेथड्स (शुद्ध कंडीशनल एक्सपेक्टेशन का उपयोग करने वाले) ऐसे उप-इष्टतम कार्यों का सुझाव देते हैं जो वास्तव में सफलता की संभावना को बेसलाइन की तुलना में कम कर देते हैं। प्रस्तावित नेस्टेड एस्टिमेटर ने कन्फाउंडिंग संरचना को स्पष्ट रूप से मॉडल करके इष्टतम हस्तक्षेप की सही पहचान की।

5. महत्व और दावे

यह पेपर दावा करता है कि इसका प्राथमिक महत्व रिहर्सल लर्निंग को जटिल, नॉन-लीनियर और नॉन-एडिटिव वातावरण तक विस्तारित करने में है जहाँ पारंपरिक पैरामीट्रिक मान्यताएं विफल हो जाती हैं। कंडीशनल मीन एम्बेडिंग्स और एक स्मूथ सरोगेट उद्देश्य का उपयोग करके, दृष्टिकोण एक सैद्धांतिक रूप से स्थापित, नॉन-पैरामीट्रिक समाधान प्रदान करता है जिसे सीधे अवलोकन संबंधी डेटा से सीखा जा सकता है।

लेखक इस बात पर जोर देते हैं कि उनका तरीका ह्यूरिस्टिक सरोगेट्स (जो वास्तविक AUF लक्ष्य के साथ गलत संरेखित हो सकते हैं) और पैरामीट्रिक मॉडल्स (जो मॉडल मिस-स्पेसिफिकेशन से ग्रस्त होते हैं) की खामियों से बचता है। NHANES डायबिटीज बेंचमार्क पर सफल अनुप्रयोग उच्च-दांव वाले वास्तविक दुनिया के निर्णय लेने (जैसे चिकित्सा हस्तक्षेप और वित्तीय ऋण) के लिए इस फ्रेमवर्क की क्षमता को उजागर करता है, जहाँ ट्रायल-एंड-एरर एक्सप्लोरेशन निषेध है और डेटा पूरी तरह से अवलोकन संबंधी है। यह कार्य बिना किसी मजबूत स्ट्रक्चरल धारणाओं के अनिश्चितता के तहत निर्णय लेने के लिए एक नया आधार स्थापित करता है।