🤖 machine learning

Information-Directed Sampling for Causal Bandits

यह शोधपत्र गैर-हेरफेर योग्य चरों वाले संदर्भगत कारण बैंडिट्स (contextual causal bandits) के लिए बेयसियन थॉमसन सैंपलिंग और सूचना-निर्देशित सैंपलिंग एल्गोरिदम प्रस्तावित करता है, जो एंट्रॉपी-निर्भर उप-रैखिक रिग्रेट बाउंड्स स्थापित करता है और उच्च-पुरस्कार निर्णय की पहचान को त्वरित करने के लिए साझा कारण तंत्रों का प्रभावी ढंग से लाभ उठाकर बेसलाइन की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Muhammad Qasim Elahi, Murat Kocaoglu, Mahsa Ghasemi

प्रकाशित 2026-07-20

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Muhammad Qasim Elahi, Murat Kocaoglu, Mahsa Ghasemi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आप संदिग्ध से कुछ भी पूछ नहीं सकते जो आप चाहें। कुछ सुराग कांच के पीछे बंद हैं—आप उन्हें देख सकते हैं, लेकिन छू नहीं सकते। यह "कॉज़ल बैंडिट्स" (causal bandits) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक कंप्यूटर प्रयोग करके सर्वोत्तम निर्णय लेना सीखता है। एक मानक खेल में, यदि आप एक चाल चलते हैं और आपको इनाम मिलता है, तो आप केवल उस विशिष्ट चाल के बारे में सीखते हैं। लेकिन वास्तविक दुनिया में, क्रियाएं डोमिनोज़ की तरह जुड़ी होती हैं; एक को धकेलने से कई अन्य गिर सकते हैं। कॉज़ल बैंडिट्स इन छिपे हुए कनेक्शनों का उपयोग तेजी से सीखने के लिए करते हैं: यदि आप सीखते हैं कि एक डोमिनो कैसे गिरता है, तो आप बिना उसे छुए ही अनुमान लगा सकते हैं कि अगला कैसे गिरेगा। हालाँकि, एक बड़ी समस्या तब उत्पन्न होती है जब उनमें से कुछ डोमिनोज़ "गैर-हेरफेर योग्य" (non-manipulable) होते हैं। आप एक लीवर को धक्का दे सकते हैं (एक क्रिया), लेकिन आप रोगी की आयु या मौसम (गैर-हेरफेर योग्य चर) को नहीं बदल सकते, भले ही वे परिणाम को भारी रूप से प्रभावित करते हों। चुनौती यह पता लगाने की है कि सर्वोत्तम रणनीति कैसे सीखी जाए जब सबसे महत्वपूर्ण सुराग आपके नियंत्रण से बाहर हों।

यह शोध पत्र ठीक उसी पहेली को हल करने के लिए दो नए, स्मार्ट तरीकों को पेश करते हुए इस पहेली पर काम करता है। लेखक, इस विचार के साथ काम करते हुए कि चीजों के जुड़ने का "मानचित्र" ज्ञात है, एक ऐसी विधि प्रस्तावित करते हैं जहाँ AI अज्ञात प्रणालियों को संभावनाओं से भरे एक रहस्यमय बॉक्स की तरह मानता है। केवल अनुमान लगाने के बजाय, AI "इन्फॉर्मेशन-डायरेक्टेड सैंपलिंग" (IDS) नामक तकनीक का उपयोग करता है। IDS को एक ऐसे जासूस के रूप में सोचें जो न केवल उस सुराग को चुनता है जो उसे अभी मामले को सुलझाने में मदद करेगा, बल्कि उस सुराग को भी चुनता है जो उसे पूरे रहस्य के बारे में सबसे अधिक सिखाएगा, भले ही वह इसे तुरंत हल न कर दे। शोध पत्र दिखाता है कि इस दृष्टिकोण का उपयोग करके, AI विभिन्न प्रयोगों के बीच जानकारी को पुराने तरीकों की तुलना में बहुत बेहतर तरीके से साझा कर सकता है।

शोधकर्ताओं ने दो विशिष्ट रणनीतियाँ विकसित कीं। पहली रणनीति "थॉम्पसन सैंपलिंग" (Thompson Sampling) का एक नया रूप है, जो एक भारित सिक्का उछालने जैसा है जिससे यह तय किया जाता है कि अगला प्रयोग कौन सा करना है, जहाँ भार इस बात पर आधारित होता है कि उस प्रयोग के सर्वश्रेष्ठ होने की कितनी संभावना है। उन्होंने गणितीय रूप से सिद्ध किया कि यह विधि समय के साथ बेहतर होती जाती है, और इसमें होने वाली "गलतियाँ" बहुत धीमी गति से बढ़ती हैं। दूसरी, और अधिक जटिल रणनीति, उनके नए IDS संस्करण की है। क्योंकि कंप्यूटर पर IDS के गणित को पूरी तरह से हल करना अविश्वसनीय रूप से कठिन है, इसलिए उन्हें "मोंटे कार्लो" (Monte Carlo) पद्धति का उपयोग करना पड़ा—मूल रूपiously उनके दिमाग में हजारों सिम्युलेटेड परिदृश्यों को चलाकर एक अच्छा अनुमान लगाना। शोध पत्र की बड़ी खोज यह है कि इन अनुमानों के साथ भी, यह विधि अविश्वसनीय रूप से अच्छी तरह से काम करती है। उन्होंने सिद्ध किया कि इन सिमुलेशनों से उत्पन्न त्रुटियां छोटी और नियंत्रणीय हैं। अपने काल्पनिक परिदृश्यों पर परीक्षणों में, इन नई विधियों ने पुराने कॉज़ल और नॉन-कॉज़ल दोनों तरीकों को पीछे छोड़ दिया, यह दिखाते हुए कि जब आप सब कुछ छू नहीं सकते, तो सीखने का सबसे अच्छा तरीका यह है कि सावधानीपूर्वक उन प्रयोगों को चुना जाए जो आपको पूरी तस्वीर के बारे में सबसे अधिक सिखाते हैं।

तकनीकी सारांश: सूचना-निर्देशित नमूनाकरण (Information-Directed Sampling) - कारण संबंधी बैंडिट्स के लिए

समस्या का स्वरूप (Problem Formulation)

यह शोध पत्र गैर-हेरफेर योग्य चरों (non-manipulable variables) वाले वातावरण में संदर्भगत कारण संबंधी बैंडिट्स (contextual causal bandits) की समस्या को संबोधित करता है। मानक मल्टी-आर्म्ड बैंडिट समस्याओं में, अज्ञात वितरणों के साथ पुरस्कारों को अधिकतम करने के लिए क्रियाएं चुनी जाती हैं। कारण संबंधी बैंडिट्स (causal bandits) में, क्रियाएं एक संरचनात्मक कारण मॉडल (SCM) पर हस्तक्षेप ($do(X=x)$) के अनुरूप होती हैं, जहाँ पुरस्कार साझा कारण तंत्रों (shared causal mechanisms) के माध्यम से जुड़े होते हैं।

यहाँ संबोधित विशिष्ट चुनौती तब उत्पन्न होती है जब ग्राफ के कुछ चर पुरस्कार को प्रभावित करते हैं लेकिन उन्हें सीधे हेरफेर (manipulate) नहीं किया जा सकता (जैसे, जनसांख्यिकीय गुण, आनुवंशिक विशेषताएं, या व्यापक आर्थिक स्थितियां)। हालांकि इन चरों में हस्तक्षेप नहीं किया जा सकता, वे संदर्भ चर के रूप में कार्य करते हैं जो क्रिया चयन से पहले देखे जाते हैं और हस्तक्षेप के बाद देखे जाने वाले चर के रूप में भी कार्य करते हैं। लक्ष्य उपलब्ध हस्तक्षेपों के सेट में से एक व्यवहार्य हस्तक्षेप का चयन करना है ताकि संदर्भ-निर्भर अपेक्षित पुरस्कार $\mu_x(c) = E[Y | do(x), C=c]$ को अधिकतम किया जा सके, जबकि विभिन्न हस्तक्षेपों के बीच कुशलतापूर्वक सूचना साझा की जा सके।

लेखक निम्नलिखित धारणाएँ लेते हैं:

एक ज्ञात कारण ग्राफ $G$ जिसमें कोई गुप्त भ्रामक कारक (latent confounders) नहीं हैं।
गैर-हेरफेर योग्य चरों का एक सेट $N \subseteq V \setminus \{Y\}$ ।
संदर्भ चर $C$ क्रिया चयन से पूर्व देखे जाते हैं और पूर्वजों (ancestry) के अंतर्गत बंद हैं (अर्थात, $An(C)=C$)।
अवलोकनात्मक वितरण (observational distribution) अज्ञात है, जिसे सशर्त संभाव्यता तालिकाओं (CPTs) द्वारा पैरामीटराइज किया गया है।

कार्यप्रणाली (Methodology)

1. बेयसियन स्वरूप और पैरामीटराइजेशन (Bayesian Formulation and Parameterization)

लेखक एक बेयसियन ढांचे को अपनाते हैं जहाँ अज्ञात पैरामीटर $\theta$ प्रत्येक चर के पैरेंट कॉन्फ़िगरेशन के दिए गए CPTs के अवलोकनात्मक वितरण के स्थानीय वेक्टर्स $\theta_{ij}$ का एक संयोजन है।

पैरामीटर स्वतंत्रता (Parameter Independence): पैरामीटर वेक्टर $\theta$ को स्थानीय वेक्टर्स $\theta_{ij}$ में विभाजित किया गया है, जो प्रत्येक चर के पैरेंट कॉन्फ़िगरेशन के संगत CPTs से संबंधित हैं।
पोस्टीरियर अपडेट (Posterior Updates): संयुग्मी डिरिचलेट प्रायर (conjugate Dirichlet priors) को मानते हुए, $\theta$ पर पोस्टीरियर वितरण को देखे गए डेटा के आधार पर विश्लेषणात्मक रूप से अपडेट किया जाता है। यह एक हस्तक्षेप के तहत एकत्र किए गए नमूनों को अन्य हस्तक्षेपों के लिए अनुमानों को परिष्कृत करके साझा CPTs को अपडेट करने की अनुमति देता है।

2. उम्मीदवार भुजाओं (Candidate Arms) की पहचान

गैर-हेरफेर योग्य चरों को संभालने के लिए, यह शोध पत्र ली और बरेइनबोइम [2019] से प्राप्त संभावित इष्टतम न्यूनतम हस्तक्षेप सेटों (POMISs) की अवधारणा का उपयोग करता है।

प्रोजेक्शन (Projection): मूल ग्राफ को केवल हेरफेर योग्य चरों वाले ग्राफ $H$ पर प्रोजेक्ट किया जाता है। गैर-हेरफेर योग्य चरों द्वारा प्रेरित गुप्त भ्रामक प्रभाव (latent confounding) को $H$ में द्विदिश किनारों (bidirected edges) द्वारा दर्शाया जाता है।
आर्म चयन (Arm Selection): प्रोजेक्टेड ग्राफ $H$ के POMISs को सूचीबद्ध करके उम्मीदवार भुजाओं का सेट $\mathcal{A}$ तैयार किया जाता है। यह सुनिश्चित करता है कि एल्गोरिदम केवल उन हस्तक्षेपों पर विचार करता है जो हेरफेर क्षमता संबंधी बाधाओं के तहत सैद्धांतिक रूप से इष्टतम हैं।

3. प्रस्तावित एल्गोरिदम (Proposed Algorithms)

यह शोध पत्र मानक बैंडिट एल्गोरिदम के दो कारण वेरिएंट प्रस्तावित करता है:

A. कॉज़ल थॉमसन सैंपलिंग (Causal Thompson Sampling - TS)

तंत्र: प्रत्येक दौर $t$ में, संदर्भ $C_t=c_t$ दिए जाने पर, एल्गोरिदम संदर्भ-सशर्त पोस्टीरियर $P(\theta | F_t, C_t=c_t)$ से एक पैरामीटर $\theta_t$ का नमूना लेता है। फिर यह वह क्रिया $a_t$ चुनता है जो नमूने लिए गए पैरामीटर के तहत अपेक्षित पुरस्कार को अधिकतम करती है: $a_t = \arg\max_{a \in \mathcal{A}} E[Y_a | \theta_t, c_t]$ ।
रिग्रेट विश्लेषण (Regret Analysis): लेखक इष्टतम क्रिया मैपिंग की एंट्रॉपी, $H(\Pi^*)$ , पर निर्भर उप-रैखिक (sublinear) बेयसियन रिग्रेट बाउंड स्थापित करते हैं। यह बाउंड $O(\sqrt{T |A| |C| \log |A|})$ के रूप में स्केल करता है।

B. कॉज़ल इंफॉर्मेशन-डायरेक्टेड सैंपलिंग (Causal Information-Directed Sampling - IDS)

तंत्र: IDS एक वितरण चुनता है जो सूचना अनुपात (information ratio) को न्यूनतम करता है, जिसे वर्ग अपेक्षित तात्कालिक रिग्रेट और इष्टतम क्रिया के बारे में अपेक्षित सूचना लाभ के अनुपात के रूप में परिभाषित किया गया है।
- रिग्रेट टर्म: $\Delta_t(\pi | c_t) = \sum \pi(a) E[Y_{\Pi^*(c_t)} - Y_a]$ ।
- सूचना लाभ टर्म: $g_t(\pi | c_t) = \sum \pi(a) D_{KL}(P(\Pi^*, Y_a) || P(\Pi^*)P(Y_a))$ ।
मोंटे कार्लो सन्निकटन (Monte Carlo Approximation): चूंकि निरंतर पैरामीटर स्पेस में सूचना अनुपात की गणना के लिए आवश्यक पोस्टीरियर अपेक्षाएं विश्लेषणात्मक रूप से कठिन (intractable) हैं, इसलिए एल्गोरिदम पोस्टीरियर से $N$ मोंटे कार्लो नमूनों का उपयोग करके इनका सन्निकटन करता है।
त्रुटि नियंत्रण (Error Control): लेखक अपेक्षित रिग्रेट और अपेक्षित सूचना लाभ दोनों के मोंटे कार्लो अनुमानों के लिए उच्च-संभाव्यता सांद्रता सीमाएं (Lemmas 3 और 4) व्युत्पन्न करते हैं। ये सीमाएं स्पष्ट रूप से सन्निकटन द्वारा पेश की गई अतिरिक्त त्रुटि को मात्रात्मक रूप से बताती हैं।

मुख्य योगदान (Key Contributions)

गैर-हेरफेर योग्य चरों के लिए बेयसियन ढांचा: यह शोध पत्र अवलोकनात्मक CPTs को अज्ञात पैरामीटर मानकर गैर-हेरफेर योग्य चरों वाले संदर्भगत कारण संबंधी बैंडिट्स को सूत्रबद्ध करता है। यह स्वरूप साझा कारण तंत्रों के माध्यम से सूचना साझाकरण को सक्षम बनाता है, भले ही कुछ चरों में हस्तक्षेप नहीं किया जा सकता हो।
रिग्रेट गारंटी के साथ कॉज़ल थॉमसन सैंपलिंग: लेखक एक कॉज़ल TS एल्गोरिदम प्रस्तावित करते हैं और एक एंट्रॉपी-निर्भर उप-रैखिक बेयसियन रिग्रेट बाउंड सिद्ध करते हैं। यह संरचनात्मक बाधाओं और संदर्भ के साथ TS गारंटियों का विस्तार करता है।
सन्निकटन विश्लेषण के साथ कॉज़ल IDS: यह शोध पत्र एक कॉज़ल IDS एल्गोरिदम विकसित करता है जो रिग्रेट न्यूनीकरण और सूचना प्राप्ति के बीच संतुलन बनाता है। महत्वपूर्ण रूप से, यह एक ऐसा रिग्रेट बाउंड व्युत्पन्न करता है जो मानक सूचना-सैद्धांतिक शब्द को मोंटे कार्लो सन्निकटन द्वारा पेश की गई त्रुटि से स्पष्ट रूप से अलग करता है। जब सूचना अनुपात की गणना सटीक रूप से की जाती है (ओरेकल संस्करण), तो मानक उप-रैखिक IDS दर प्राप्त होती है।
मोंटे कार्लो अनुमानों के लिए सांद्रता सीमाएं: लेखक अपेक्षित तात्कालिक रिग्रेट और प्रासंगिक सूचना लाभ के मोंटे कार्लो अनुमानों के लिए उच्च-संभाव्यता आत्मविश्वास सीमाएं प्रदान करते हैं। ये परिणाम एल्गोरिदम के प्रदर्शन आश्वासन पर पोस्टीरियर-सैंपलिंग त्रुटि के प्रभाव को मात्रात्मक रूप से बताते हैं।

परिणाम और मूल्यांकन (Results and Evaluation)

प्रस्तावित विधियों का कई कृत्रिम (synthetic) कारण संबंधी बैंडिट कार्यों पर मूल्यांकन किया गया, जिसमें संरचित उदाहरण और यादृच्छिक रूप से उत्पन्न कारण ग्राफ शामिल हैं।

प्रदर्शन: प्रयोग दर्शाते हैं कि प्रस्तावित Causal TS और Causal IDS एल्गोरिदम दोनों कारण और गैर-कारण बेसलाइन से बेहतर प्रदर्शन करते हैं।
तंत्र: बेहतर प्रदर्शन का श्रेय एल्गोरिदम की साझा कारण संरचना के माध्यम से विभिन्न हस्तक्षेपों के बीच साझा सूचना का प्रभावी ढंग से उपयोग करने की क्षमता को दिया जाता है, विशेष रूप से गैर-हेरफेर योग्य चरों की उपस्थिति में।

महत्व (Significance)

यह शोध पत्र उन कारणों वाले वातावरण में निर्णय लेने के लिए एक सिद्धांतवादी ढांचे को प्रदान करने में अपनी महत्ता का दावा करता है जहाँ चरों पर पूर्ण नियंत्रण असंभव है। गैर-हेरफेर योग्य चरों को कारण बैंडित ढांचे में एकीकृत करके और कठोर रिग्रेट बाउंड (सन्निकटन त्रुटियों के विश्लेषण सहित) के साथ एल्गोरिदम पेश करके, यह कार्य सैद्धांतिक कारण अनुमान (causal inference) और व्यावहारिक अनुक्रमिक निर्णय लेने (sequential decision-making) के बीच के अंतर को पाटता है। IDS में मोंटे कार्लो सन्निकटन त्रुटियों का स्पष्ट प्रबंधन एक प्रमुख सैद्धांतिक प्रगति के रूप में रेखांकित किया गया है, जो यह सुनिश्चित करता है कि सूचना-निर्देशित नमूनाकरण के लाभ सुरक्षित रहें, भले ही सटीक गणना अव्यवहार्य हो।