🤖 machine learning

Transformers as Bayesian In-Context Experimenters: Smoothness-Adaptive Efficient ATE Estimation

यह शोध पत्र "बेयसियन इन-कॉन्टेक्स्ट एक्सपेरिमेंटर्स" (Bayesian in-context experimenters) प्रस्तुत करता है, जो एक ट्रांसफार्मर-आधारित ढांचा है जो एक बेयसियन पोस्टीरियर नेमन टीचर (Bayesian posterior Neyman teacher) की नकल करना सीखकर औसत उपचार प्रभावों (Average Treatment Effects - ATE) के लिए इष्टतम अनुक्रमिक विचरण अनुमान और आवंटन प्रक्रिया को एमोर्टाइज़ (amortize) करता है, जिससे सुपरवाइज्ड प्रीट्रेनिंग के माध्यम से स्मूथनेस-एडेप्टिव (smoothness-adaptive), ओरेकल-एफिशिएंट (oracle-efficient) अनुमान प्राप्त होता है।

मूल लेखक: Jiachun Li, David Simchi-Levi

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiachun Li, David Simchi-Levi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि दो नई दवाओं में से कौन सी बेहतर काम करती है। आपके पास मरीजों की एक लंबी कतार है, और प्रत्येक मरीज के लिए, आपको निर्णय लेना होगा: "क्या मैं उन्हें दवा A दूँ या दवा B?"

यदि आप हर मरीज के लिए सिक्का उछालते हैं (50/50 संभावना), तो आपको बहुत सारा डेटा तो मिलेगा, लेकिन यह अक्षम (inefficient) होगा। यदि आप किसी तरह यह जान पाते कि प्रत्येक विशिष्ट प्रकार के मरीज के लिए कौन सी दवा बेहतर काम करती है, तो आप लगभग सभी को वही दवा देते, उत्तर तेजी से सीखते, और संसाधनों की बर्बादी कम करते। यही औसत उपचार प्रभाव (Average Treatment Effect - ATE) का अनुमान लगाने का लक्ष्य है: सत्य को तेजी से सीखने के लिए उपचारों को सौंपने का सबसे अच्छा तरीका खोजना।

"Transformers as Bayesian In-Context Experimenters" नामक शोध पत्र एक चतुर नया तरीका प्रस्तावित करता है जिसे एक ट्रांसफॉर्मर (Transformer) (वही तकनीक जो आधुनिक चैटबॉट्स के पीछे है) का उपयोग करके किया जाता है। यह इसे सरल उपमाओं का उपयोग करके इस प्रकार समझाता है:

1. समस्या: "ओरेकल" (Oracle) बनाम वास्तविकता

एक आदर्श दुनिया में, एक जादुई "ओरेकल" (एक पूर्ण मार्गदर्शक) होता है जो दवाओं के प्रति प्रत्येक मरीज की प्रतिक्रिया की सटीक परिवर्तनशीलता (variability) को जानता है।

ओरेकल का नियम: यदि दवा A का एक निश्चित मरीज के लिए परिणाम बहुत अनिश्चित और उतार-चढ़ाव वाले हैं, लेकिन दवा B बहुत स्थिर है, तो ओरेकल कहता है, "अधिक लोगों को दवा A दें!" क्यों? क्योंकि आपको उस अनिश्चित वाली दवा को समझने के लिए अधिक डेटा की आवश्यकता है। इसे नेमन एलोकेशन (Neyman Allocation) कहा जाता है।
वास्तविकता: हमारे पास ओरेकल नहीं है। हमें खेल के नियमों का पता नहीं है। हमें खेल खेलते समय ही नियमों का अनुमान लगाना होता है। पारंपरिक तरीके नियमों का अनुमान लगाने की कोशिश करते हैं, जो धीमा है और जिसमें मानवीय इंजीनियरिंग की बहुत आवश्यकता होती है।

2. समाधान: "बायेसियन शिक्षक" (The Bayesian Teacher)

लेखकों ने पहले एक सैद्धांतिक "शिक्षक" (एक बायेसियन मॉडल) बनाया।

शिक्षक कैसे काम करता है: कल्पना कीजिए कि शिक्षक एक जासूस है जो एक नोटबुक रखता है। हर बार जब कोई मरीज दवा लेता है और उसका परिणाम मिलता है, तो शिक्षक अपने विश्वासों को अपडेट करता है।
- यदि परिणाम अस्त-व्यst हैं, तो शिक्षक सोचता है, "मुझे यहाँ अधिक डेटा की आवश्यकता है।"
- यदि परिणाम सुचारू और अनुमानित हैं, तो शिक्षक सोचता है, "मैं इसे जानता हूँ; मैं इसकी जाँच करना बंद कर सकता हूँ।"
शिक्षक इस नोटबुक का उपयोग अगले मरीज को कौन सी दवा देनी है, यह तय करने के लिए करता है, जिसका लक्ष्य हमेशा अधिक से अधिक जानकारी प्राप्त करना होता है। यह "स्वर्ण मानक" (Gold Standard) है।

3. नवाचार: "छात्र" ट्रांसफॉर्मर (The Student Transformer)

बड़ा सवाल यह है: क्या हम एक AI को इस तरह प्रशिक्षित कर सकते हैं कि वह गणित के नियमों को स्पष्ट रूप से प्रोग्राम किए बिना इस शिक्षक की तरह कार्य करे?

लेखक कहते हैं हाँ। उन्होंने एक ट्रांसफॉर्मर को "छात्र" के रूप में प्रशिक्षित किया जो शिक्षक की नकल करता है।

इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning): हर नए प्रयोग के साथ AI को फिर से प्रशिक्षित करने के बजाय, AI पिछले मरीजों के इतिहास ("संदर्भ") को देखता है और तुरंत अगले मरीज के लिए सबसे अच्छी रणनीति का पता लगा लेता है। यह एक ऐसे छात्र की तरह है जो एक बार पाठ्यपुस्तक पढ़ लेता है और फिर बिना दोबारा किताब खोले किसी भी नई समस्या को हल कर सकता है।
जादुई ट्रिक: शोध पत्र यह सिद्ध करता है कि ट्रांसफॉर्मर का आंतरिक "अटेंशन" (attention) तंत्र (यह कैसे इतिहास के विभिन्न हिस्सों पर ध्यान केंद्रित करता है) स्वाभाविक रूप से शिक्षक के जटिल बायेसियन अपडेट के समान गणित करता है। यह स्वचालित रूप से "पर्याप्त सांख्यिकी" (sufficient statistics) बनाता है।

4. कठिन हिस्सा: अज्ञात सहजता (Unknown Smoothness)

यहाँ एक पेचीदा हिस्सा है। कुछ दवाओं के प्रभाव "सुचारू" (predictable, gentle curves) होते हैं, जबकि अन्य "खुरदरे" (jagged, chaotic) होते हैं।

यदि आप मान लेते हैं कि प्रभाव सुचारू है जबकि वह वास्तव में खुरदरा है, तो आपको गलत उत्तर मिलेगा।
यदि आप मानते हैं कि यह खुरदरा है जबकि यह सुचारू है, तो आप अनावश्यक डेटा एकत्र करने में समय बर्बाद करेंगे।
मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts): लेखकों ने ट्रांसफॉर्मर को एक विशेष "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) हेड दिया है। इसे AI के भीतर विभिन्न विशेषज्ञों के पैनल के रूप में समझें। एक विशेषज्ञ सुचारू पैटर्न में अच्छा है, दूसरा खुरदरे पैटर्न में।
गेटकीपर (The Gatekeeper): जैसे-जैसे AI अधिक डेटा देखता है, AI के भीतर एक "गेटकीपर" यह सीखता है कि किस विशेषज्ञ की बात सुननी है। यदि डेटा सुचारू दिखता है, तो वह सुचारू विशेषज्ञ की बात सुनता है। यदि यह खुरदरा दिखता है, तो वह खुरदरे विशेषज्ञ पर स्विच हो जाता है। यह AI को वास्तविक दुनिया की जटिलता के अनुसार स्वचालित रूप से अनुकूलित होने की अनुमति देता है।

5. परिणाम: क्या हुआ?

लेखकों ने सिमुलेशन में इसका परीक्षण किया:

अनुकरण (Imitation): AI ने लगभग बिल्कुल एक पूर्ण बायेसियन शिक्षक की तरह कार्य करना सीख लिया।
अनुकूलन (Adaptation): भले ही AI को डेटा की "सुचारूता" के बारे में कभी बताया नहीं गया था, इसने इसे खुद ही समझ लिया और अपनी रणनीति को पूरी तरह से समायोजित किया।
दक्षता (Efficiency): उपचार प्रभाव का अनुमान लगाने के लिए, AI की विधि केवल सिक्का उछालने (यादृच्छिक असाइनमेंट) की तुलना में बहुत अधिक सटीक थी। यह पूर्ण ओरेकल के प्रदर्शन के करीब पहुँच गया, लेकिन बिना नियमों को पहले से जाने।

सारांश

शोध पत्र दिखाता है कि हम एक आधुनिक AI (एक ट्रांसफॉर्मर) को एक स्मार्ट, स्व-समायोजित प्रयोग डिजाइनर के रूप में प्रशिक्षित कर सकते हैं। एक मानव इंजीनियर द्वारा हर नए अध्ययन के लिए नियमों को मैन्युअल रूप से बदलने के बजाय, हम एक ऐसे "शिक्षक" पर एक बार AI को प्रशिक्षित कर सकते हैं जो नियमों को जानता है। इसके बाद, AI प्रयोग के इतिहास को देखना सीखता है और तुरंत उपचारों को सौंपने का सबसे अच्छा तरीका तय करता है, जिससे वह डेटा की किसी भी जटिलता के अनुसार खुद को ढाल लेता है। यह एक रोबोट को केवल उदाहरण दिखाकर एक मास्टर सांख्यिकीविद् बनने की शिक्षा देने जैसा है कि एक मास्टर कैसे सोचता है।

तकनीकी सारांश: बेयसियन इन-कॉन्टेक्स्ट प्रयोगकर्ता के रूप में ट्रांसफॉर्मर

समस्या का निरूपण
यह शोध पत्र कोवेरिएट्स (covariates) के साथ अनुक्रमिक, दो-आर्म (two-arm) सेटिंग्स में औसत उपचार प्रभाव (Average Treatment Effect - ATE) का अनुमान लगाने के लिए अनुकूली प्रयोगों को डिजाइन करने की चुनौती को संबोधित करता है। ऐसे प्रयोगों के लिए इष्टतम रणनीति "ओरेकल" नेमन एलोकेशन (Neyman allocation) है, जो ATE एस्टीमेटर के विचरण (variance) को कम करने के लिए अज्ञात आर्म-कंडीशनल रेसिडुअल वेरिएंस के आधार पर उपचार प्रायिकताएं आवंटित करती है। इसे इष्टतम रूप से लागू करने के लिए एक बेयसियन प्रयोगकर्ता की आवश्यकता होती है जो संभावित परिणामों के मोमेंट्स (means और second moments) पर नॉनपैरामेट्रिक विश्वासों को अनुक्रमिक रूप से अपडेट करता है और इन पोस्टीरियर अनिश्चितताओं को उपचार असाइनमेंट प्रायिकताओं में अनुवादित करता है।

उच्च-आयामी कोवेरिएट स्पेस में एक महत्वपूर्ण बाधा संभावित परिणाम फलनों (potential outcome functions) की अज्ञात स्मूथनेस (smoothness) है। अत्यधिक स्मूथ प्रायर (priors) पूर्वाग्रह (bias) उत्पन्न करते हैं, जबकि अत्यधिक रफ प्रायर धीरे अभिसरित (converge) होते हैं। इसके अलावा, वास्तविक समय में पूर्ण बेयसियन अपडेट-एंड-डिजाइन प्रक्रिया को तैनात करना कम्प्यूटेशनल रूप से गहन है, जिसके लिए प्रति-प्रयोग इंजीनियरिंग की आवश्यकता होती है। लेखक यह जांचते हैं कि क्या इस जटिल अनुक्रमिक अनुमान और आवंटन प्रक्रिया को इन-कॉन्टेक्स्ट लर्निंग (in-context learning), विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर के माध्यम से "एमोर्टाइज" (amortized) किया जा सकता है, ताकि एक ऐसी पॉलिसी बनाई जा सके जो स्पष्ट प्रति-चरण बेयसियन गणना के बिना प्रयोगात्मक इतिहास को सीधे इष्टतम असाइनमेंट प्रायिकताओं में मैप कर सके।

कार्यप्रणाली
लेखक एक ढांचे का प्रस्ताव करते हैं जो "बेयसियन इन-कॉन्टेक्स्ट एक्सपेरिमेंटर" के इर्द-गिर्द केंद्रित है, जिसे एक "बेयसियन पोस्टीरियर नेमन टीचर" की नकल करने के लिए प्रशिक्षित ट्रांसफॉर्मर पॉलिसी के रूप में कार्यान्वित किया गया है।

बेयसियन टीचर:
- मॉडल: टीचर गॉसियन-सीरीज प्रायर का उपयोग करके आर्म-कंडीशनल मीन्स ( $\mu_w$ ) और सेकंड मोमेंट्स ( $q_w$ ) पर नॉनपैरामेट्रिक बेयसियन विश्वास बनाए रखता है। ये प्रायर एक स्मूथनेस पैरामीटर $\beta$ द्वारा इंडेक्स किए गए हैं।
- पदानुक्रमित अनुकूलन (Hierarchical Adaptation): अज्ञात स्मूथनेस को संभालने के लिए, टीचर एक पदानुक्रमित बेयसियन विस्तार का उपयोग करता है जहाँ $\beta$ को एक कॉम्पैक्ट इंटरवल पर प्रायर के साथ एक रैंडम वेरिएबल के रूप में माना जाता है। यह अनुमति देता है कि डेटा संचित होने के साथ पोस्टीर $\text{posterior}$ उपयुक्त स्मूथनेस क्लास पर केंद्रित हो जाए।
- एलोकेशन: टीचर अपने विश्वासों को एक सरलीकृत गॉसियन क्वासी-लाइकलीहुड (स्क्वेर्ड लॉस) का उपयोग करके अपडेट करता है और अगले उपचार यूनिट को पोस्टीरियर नेमन प्रोपेंसिटी के अनुसार असाइन करता है: $e_t(x) \propto \sqrt{\bar{v}_{1,t-1}(x)} / (\sqrt{\bar{v}_{0,t-1}(x)} + \sqrt{\bar{v}_{1,t-1}(x)})$ , जहाँ $\bar{v}$ रेसिडुअल वेरिएंस का पोस्टीरियर मीन है।
- सैद्धांतिक गारंटी: पेपर यह सिद्ध करता है कि हल्के रेगुलेरिटी कंडीशंस के तहत, टीचर का पोस्टीरियर मिनिमैक्स नॉनपैरामेट्रिक रेट पर संकुचित (contract) होता है (वास्तविक स्मूथनेस के अनुकूल) और परिणामी डिजाइन ओरेकल नेमन एलोकेशन की ओर अभिसरित होता है, जो अंतिम ATE एस्टीमेटर (AIPW के माध्यम से) के लिए सेमीपैरामेट्रिक एफिशिएंसी सुनिश्चित करता है।
ट्रांसफॉर्मर एक्सप्रेसिविटी और निर्माण:
- आर्किटेक्चर: लेखक रचनात्मक रूप से प्रदर्शित करते हैं कि एक ट्रांसफॉर्मर टीचर के मैपिंग को दर्शा सकता है।
  - अटेंशन एक पर्याप्त सांख्यिकी (Sufficient Statistics) के रूप में: सेल्फ-अटेंशन ब्लॉक्स ऐतिहासिक टोकन को एकत्रित करके एम्पिरिकल रिस्पॉन्स स्टैटिस्टिक्स और कोवेरिएंस-वेक्टर प्रोडक्ट्स को कंप्यूट करते हैं, जो प्रभावी रूप से गॉसियन-सीरीज मॉडल के लिए पर्याप्त सांख्यिकी के रूप में कार्य करते हैं।
  - FFNs ग्रेडिएंट डिसेंट के रूप में: टोकन-वाइज फीड-फॉरवर्ड नेटवर्क (FFNs) उस फाइनाइट-रैंक de-masked रिज रिग्रेशन समस्या को हल करने के लिए प्रोजेक्टेड ग्रेडिएंट डिसेंट स्टेप्स को लागू करते हैं जो बेयसियन पोस्टीरियर मीन अपडेट के अनुरूप है।
  - डायनेमिक मास्किंग: आर्किटेक्चर एक डायनेमिक इफेक्टिव-डायमेंशन मास्क का उपयोग करता है जो बेसिस कोऑर्डिनेट्स ( $J$ ) की संख्या को सक्रिय करता है जो सैंपल साइज ( $N$ ) और स्मूथनेस प्रायर पर निर्भर करता है। यह बायस-वेरिएंस ट्रेडऑफ को लागू करता है: $J$ को इस तरह चुना जाता है कि एम्पिरिकल ग्राम मैट्रिक्स वेल-कंडीशन्ड रहे और प्रायर प्रिसिजन हावी न हो।
  - मिक्सचर-ऑफ-एक्सपर्ट्स (MoE): एक MoE गेट स्मूथनेस क्लासेस के पदानुक्रमित पोस्टीरियर को अनुमानित करता है। यह विभिन्न "एक्सपर्ट" नेटवर्क्स (प्रत्येक एक विशिष्ट स्मूथनेस स्तर $\beta_k$ के अनुरूप) को अटेंशन-आधारित स्टैटिस्टिक्स से प्राप्त अनुमानित मार्जिनल लाइकलीहुड स्कोर के आधार पर वेट करता है।
- ERM के माध्यम से सामान्यीकरण: पेपर सुपरवाइज्ड एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) के माध्यम से इस पॉलिसी के लर्निंग का विश्लेषण करता है। ट्रांसफॉर्मर को टीचर के इनपुट-आउटपुट व्यवहार (हिस्ट्री-टू-प्रोपेंसिटी मैपिंग) की नकल करने के लिए सीमित प्रीट्रेनिंग ट्रेजेक्टरीज पर प्रशिक्षित किया जाता है। सिद्धांत यह गारंटी देता है कि प्रशिक्षित मॉडल बिना आंतरिक पोस्टीरियर स्टेट को स्पष्ट रूप से रिकवर किए या इंफरेंस के दौरान ग्रेडिएंट स्टेप्स को निष्पादित किए, टीचर के व्यवहार को अपोक्सिमेशन और एस्टिमेशन एरर्स तक अनुमानित कर सकता है।

मुख्य योगदान

बेयसियन डिजाइन और स्मूथनेस अडैप्टिविटी: लेखकों ने एक बेयसन पोस्टीरियर नेमन टीचर को परिभाषित किया है जो अज्ञात आउटकम स्मूथनेस के लिए एक पदानुक्रमित प्रायर के माध्यम से अनुकूलित होता है। वे सिद्ध करते हैं कि यह डिजाइन निकट-ओरेकल कॉन्ट्रैक्शन रेट्स और इष्टतम ATE एफिशिएंसी प्राप्त करता है।
ट्रांसफॉर्मर एक्सप्रेसिविटी: वे एक रचनात्मक प्रमाण प्रदान करते हैं कि ट्रांसफॉर्मर बेयसियन अपडेट-एंड-डिजाइन मैप को दर्शा सकते हैं। विशेष रूप से, वे दिखाते हैं कि कैसे अटेंशन मैकेनिज्म और प्रोजेक्टेड ग्रेडिएंट डिसेंट ब्लॉक्स फाइनाइट-रैंक de-masked रिज रिग्रेशन को साकार कर सकते हैं और कैसे एक MoE गेट स्मूथनेस अडैप्टिविटी को लागू कर सकता है।
जनरलाइजेशन थ्योरी: पेपर एक ERM जनरलाइजेशन बाउंड स्थापित करता है, जो यह दर्शाता है कि सुपरवाइज्ड प्रीट्रेनिंग सीमित ट्रेजेक्टरीज पर ट्रांसफॉर्मर को अनुकरणीय (imitate) करने योग्य एडेप्टिव एक्सपेरिमेंटेशन मैप सीखने में सक्षम बनाती है, जो टीचर के हिस्ट्री-टू-प्रोपेंसिटी व्यवहार की नकल करती है।
एम्पिरिकल वैलिडेशन: सिंथेटिक डेटा पर प्रयोगों से पता चलता है कि:
- एक एकल ट्रांसफॉर्मर, जो केवल बेयसियन मिक्सचर पोस्टीरियर लेबल्स पर प्रशिक्षित है (बिना किसी स्पष्ट MoE हेड के), अनदेखे स्मूथनेस लेवल्स के लिए स्मूथनेस-एडाप्टिव मिनिमैक्स रेट्स प्राप्त करता है।
- डिजाइन ट्रांसफॉर्मर बेयसियन-नेमन एलोकेशन व्यवहार को पुनरुत्पादित करता है, जो आर्म-विशिष्ट रेसिडुअल वेरिएंस के प्रति दिशात्मक प्रतिक्रिया देता है, भले ही वह अपने लेटेंट स्टेट्स में आउटकम मोमेंट्स को स्पष्ट रूप से न सीख रहा हो।
- सीखा गया पॉलिसी ATE एस्टिमेशन प्रिसिजन में सुधार करता है (MSE को कम करता है) और यूनिफॉर्म रैंडमाइजेशन की तुलना में, और आउट-ऑफ-डिस्ट्रीब्यूशन वेरिएंस रेश्यो के तहत भी ओरेकल नेमन एलोकेशन के प्रदर्शन के करीब पहुंचता है।

परिणाम और महत्व
पेपर दावा करता है कि ट्रांसफॉर्मर "एमोर्टाइज्ड बेयसियन इन-कॉन्टेक्स्ट एक्सपेरिमेंटर" के रूप में कार्य कर सकते हैं। एक्सपेरिमेंटल हिस्ट्री से ट्रीटमेंट प्रोपेंसिटी को सीधे मैप करने के लिए सीखकर, ये मॉडल परिनियोजन (deployment) के समय पूर्ण बेयसियन डिजाइन समस्या को हल करने की आवश्यकता के बिना इस प्रक्रिया को सरल बना देते हैं।

इसका महत्व इस बात के प्रदर्शन में निहित है कि:

एमोर्टाइजेशन संभव है: जटिल अनुक्रमिक बेयसियन अनुमान और इष्टतम डिजाइन को एक निश्चित न्यूरल नेटवर्क पॉलिसी में संकुचित किया जा सकता है।
अनुकूलनशीलता उभरती है: मॉडल बिना किसी स्पष्ट इंजीनियरिंग के अज्ञात फंक्शन स्मूथनेस और वेरिएंस स्ट्रक्चर के अनुकूल हो सकता है।
दक्षता संरक्षित रहती है: सीखा गया पॉलिसी ओरेकल नेमन एलोकेशन के समान सांख्यिकीय दक्षता प्राप्त करता है, जो सांख्यिकीय रूप से सिद्धांतबद्ध प्रयोगात्मक डिजाइन के लिए ट्रांसफॉर्मर के उपयोग को मान्य करता है।

लेखक उल्लेख करते हैं कि वर्तमान अध्ययन दो-आर्म प्रयोगों और सिंथेटिक वातावरण तक सीमित है, और इस दृष्टिकोण को समृद्ध एक्शन स्पेस, विलंबित परिणामों और वास्तविक दुनिया के लॉग्स तक विस्तारित करना एक भविष्य की दिशा है। व्यापक प्रभाव को डिजिटल स्वास्थ्य और ऑनलाइन सेवाओं जैसे डोमेन में बेहतर डेटा दक्षता के रूप में फ्रेम किया गया है।