📊 statistics

Generator-Mediated Bandits: Thompson Sampling for GenAI-Powered Adaptive Interventions

यह शोध पत्र जनरेटिव एआई-संचालित अनुकूली हस्तक्षेपों (adaptive interventions) के लिए थॉम्पसन सैंपलिंग के साथ जेनरेटर-मीडिएटेड बैंडिट्स (GAMBITTS) का परिचय देता है, जो एक नवीन एल्गोरिदम है जो नीति शिक्षण (policy learning) को त्वरित करने और बेहतर रिग्रेट बाउंड्स प्राप्त करने के लिए एक्शन चयन और स्टोकेस्टिक ट्रीटमेंट जनरेशन के बीच के विभाजन को स्पष्ट रूप से मॉडल करके मानक बैंडिट विधियों में सुधार करता है।

मूल लेखक: Marc Brooks, Gabriel Durham, Kihyuk Hong, Ambuj Tewari

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marc Brooks, Gabriel Durham, Kihyuk Hong, Ambuj Tewari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मैनेजर हैं जो अपनी टीम के कर्मचारियों को खुश और उत्पादक रखने की कोशिश कर रहे हैं। आपके पास एक बड़ा, शक्तिशाली AI असिस्टेंट है (एक बहुत ही रचनात्मक लेकिन अप्रत्याशित रोबोट की तरह) जो प्रत्येक कर्मचारी के लिए कस्टम प्रेरणादायक संदेश लिख सकता है।

पुराने तरीके में, आप पहले से लिखे गए विकल्पों की एक निश्चित सूची में से एक संदेश चुनते (जैसे "अच्छा काम किया!" या "जारी रखें!")। आप एक संदेश भेजते, देखते कि कर्मचारी की प्रतिक्रिया क्या है, और फिर अगला संदेश चुनते। यह कंप्यूटर विज्ञान में एक मानक "बैंडिट" (Bandit) समस्या की तरह है: आप विभिन्न विकल्पों को आज़माते हैं यह देखने के लिए कि कौन सा सबसे अच्छा परिणाम देता है।

लेकिन Generative AI की इस नई दुनिया में, चीजें अलग तरह से काम करती हैं। आप एक विशिष्ट संदेश नहीं चुनते; इसके बजाय, आप AI को एक प्रॉम्ट (एक प्रश्न या कमांड) देते हैं (जैसे "दौड़ने के बारे में एक उत्साहजनक नोट लिखें")। AI उस प्रॉम्ट को लेता है और मौके पर एक अनूठा संदेश जेनरेट करता है। यह ट्रीटमेंट (उपचार/प्रक्रिया) है। क्योंकि AI स्टोकेस्टिक (यादृच्छिक/रैंडम) है, इसलिए एक ही प्रॉम्ट से कई अलग-अलग संदेश बन सकते हैं।

मुख्य समस्या: "अनुवादक" का अंतर (The "Translator" Gap)

इस प्रक्रिया को इस प्रकार समझें:

आप (एजेंट): आप एक प्रॉम्ट चुनते हैं (जैसे, "दौड़ने के बारे में उत्साहजनक नोट लिखें")।
AI (जेनरेटर): यह आपके प्रॉम्ट को लेता है और एक विशिष्ट टेक्स्ट संदेश निकालता है। यह ट्रीटमेंट है। क्योंकि AI स्टोकेस्टिक (रैंडम) है, इसलिए एक ही प्रॉम्ट से कई अलग-अलग संदेश उत्पन्न हो सकते हैं।
कर्मचारी (पर्यावरण): वे संदेश पढ़ते हैं और प्रतिक्रिया देते हैं (जैसे, वे दौड़ने जाते हैं या नहीं जाते)। यह प्रतिक्रिया रिवॉर्ड (पुरस्कार/परिणाम) है।

पेंच: आप उस सटीक संदेश को नियंत्रित नहीं करते जो कर्मचारी पढ़ता है; आप केवल प्रॉम्ट को नियंत्रित करते हैं। मानक कंप्यूटर एल्गोरिदम इस मामले में खराब होते हैं क्योंकि वे मानते हैं कि यदि आप "विकल्प A" चुनते हैं, तो आपको हमेशा "विकल्प A" ही मिलेगा। लेकिन यहाँ, "विकल्प A" चुनने से आपको 50% बार एक बेहतरीन संदेश मिल सकता है और 50% बार एक उबाऊ संदेश। यदि आप उस वास्तविक संदेश को अनदेखा कर देते हैं जो AI ने लिखा है, तो आप मूल्यवान सुरागों को खो रहे हैं।

समाधान: GAMBITTS

लेखकों ने GAMBITTS नामक एक नया तरीका बनाया है। इसे एक दो-चरणीय जासूसी खेल के रूप में समझें:

चरण 1: "संदेश अनुवादक" मॉडल। सिस्टम यह अनुमान लगाने के लिए सीखता है कि AI किसी दिए गए प्रॉम्ट के लिए किस तरह के संदेश उत्पन्न करेगा। यह समझ जाता है, "ओह, जब मैं 'उत्साहवर्धन' के लिए कहता हूँ, तो AI आमतौर पर छोटे, प्रभावशाली वाक्य लिखता है, लेकिन कभी-कभी यह लंबे, अलंकारिक वाक्य भी लिखता है।"
चरण 2: "रिवॉर्ड" मॉडल। सिस्टम यह सीखता है कि संदेशों के किस प्रकार से वास्तव में कर्मचारी दौड़ने लगते हैं।

जादुई ट्रिक: केवल यह अनुमान लगाने के बजाय कि कौन सा प्रॉम्ट सबसे अच्छा है, GAMBITTS पूरी प्रक्रिया का अनुकरण (सिमुलेशन) करता है। यह पूछता है: "यदि मैं यह प्रॉम्ट भेजता हूँ, तो AI द्वारा कौन से संदेश लिखे जाने की संभावना है? और हमने जो सीखा है उसके आधार पर, उन संदेशों में से कौन से संदेश आमतौर पर एक खुश कर्मचारी की ओर ले जाते हैं?"

AI द्वारा जेनरेट किए गए वास्तविक टेक्स्ट (अर्थात "ट्रीटमेंट") को देखकर, सिस्टम बहुत तेज़ी से सीखता है। यह एक ऐसे शेफ की तरह है जो खाना पकाने के दौरान सॉस को चखकर उसमें मसाला एडजस्ट करता है, बजाय इसके कि वह ग्राहक के खाना खाने का इंतज़ार करे कि उसे कैसा लगा।

गेम खेलने के दो तरीके

पेपर में इस पद्धति के दो संस्करणों का वर्णन किया गया है:

"पूरी तरह से ऑनलाइन" शेफ (foGAMBITTS): यह संस्करण वास्तविक कर्मचारियों से बात करते समय सब कुछ सीखता है। यह देखता है कि AI संदेश कैसे बनाता है और कर्मचारियों की प्रतिक्रिया क्या होती है, और तुरंत अपने दिमाग को अपडेट करता है। यह लचीला है लेकिन इसे सीखने में अधिक समय लगता है क्योंकि इसे AI के लिखने के तरीके और लोगों की प्रतिक्रिया, दोनों को एक साथ समझना पड़ता है।
"आंशिक रूप से ऑनलाइन" शेफ (poGAMBITTS): यह संस्करण अधिक स्मार्ट है यदि आपके पास एक अतिरिक्त किचन हो। वास्तविक कर्मचारियों से बात करने से पहले, शेफ सिमुलेशन में अभ्यास कर सकता है। वे यह देखने के लिए कि AI आमतौर पर क्या लिखता है, एक विशिष्ट प्रॉम्ट के लिए 1,000 संदेश जेनरेट करने के लिए AI से कह सकते हैं। एक बार जब उन्हें पता चल जाता है कि AI का व्यवहार कैसा है, तो उन्हें केवल यह सीखना होता है कि कर्मचारी कैसे प्रतिक्रिया देते हैं। यह बहुत तेज़ और अधिक कुशल है।

यह क्यों मायने रखता है (पेपर के अनुसार)

लेखकों ने अपने विचार का परीक्षण करने के लिए कंप्यूटर सिमुलेशन (मेडिकल इंटर्न और मानसिक स्वास्थ्य के एक काल्पनिक परिदृश्य का उपयोग करके) चलाए। उन्होंने पाया कि:

गति: GAMBITTS ने मानक तरीकों की तुलना में बहुत तेज़ी से सर्वोत्तम रणनीति सीखी।
दक्षता: इसने खराब प्रॉम्ट आज़माने में समय बर्बाद नहीं किया क्योंकि यह "मध्यवर्ती चरण" (AI का संदेश जेनरेशन) को समझता था।
मजबूती (Robustness): भले ही सिस्टम यह पूरी तरह से न समझ पाता कि AI के टेक्स्ट को कैसे सारांशित किया जाए, फिर भी इसने अच्छा प्रदर्शन किया, विशेष रूप से तब जब "रिवॉर्ड" (कर्मचारी की प्रतिक्रिया) शोरपूर्ण (noisy) या कठिन थी।

निचोड़

यह पेपर तर्क देता है कि जब आप निर्णय लेने के लिए Generative AI का उपयोग करते हैं, तो आप AI को एक साधारण बटन की तरह नहीं मान सकते। आपको इस तथ्य को ध्यान में रखना होगा कि AI इस प्रक्रिया के बीच में एक रचनात्मक, रैंडम जेनरेटर है। एक ऐसा मॉडल बनाकर जो यह समझता हो कि AI कैसे लिखता है और लोग कैसे प्रतिक्रिया देते हैं, आप बेहतर और तेज़ निर्णय ले सकते हैं।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता कि इसका वर्तमान में अस्पतालों या स्कूलों में उपयोग किया जा रहा है।
यह दावा नहीं करता कि यह अभी तक वास्तविक दुनिया में अवसाद को ठीक करेगा या स्वास्थ्य परिणामों में सुधार करेगा।
यह पूरी तरह से एक सैद्धांतिक और सिमुलेशन-आधारित अध्ययन है जो दिखाता है कि यह विशिष्ट गणितीय दृष्टिकोण एक नियंत्रित, कंप्यूटर-जनित वातावरण में मौजूदा तरीकों की तुलना में बेहतर काम करता है।

तकनीकी सारांश: जनरेटर-मीडिएटेड बैंडिट्स (GAMBITTS)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र क्रमिक निर्णय लेने की समस्याओं (sequential decision-making problems) के एक विशिष्ट वर्ग को संबोधित करता है जहाँ एजेंट का कार्य सीधे पर्यावरण के रिवॉर्ड (इनाम) को निर्धारित नहीं करता है। इसके बजाय, एजेंट एक क्रिया (जैसे, एक क्वेरी या प्रॉम्प्ट) चुनता है, जो एक स्टोकेस्टिक जनरेटर (जैसे, एक लार्ज लैंग्वेज मॉडल) को एक ट्रीटमेंट (जैसे, एक टेक्स्ट रिस्पॉन्स) उत्पन्न करने के लिए ट्रिगर करता है। इसके बाद पर्यावरण उस उत्पन्न ट्रीटमेंट पर प्रतिक्रिया करता है, जिससे रिवॉर्ड प्राप्त होता है।

लेखक इसे जनरेटर-मीडिएटेड बैंडिट (GAMBIT) समस्या के रूप में औपचारिक रूप देते हैं। इस ढांचे में:

एक्शन/ट्रीटमेंट विभाजन: एजेंट एक क्रिया $A_t$ (क्वेरी) चुनता है, लेकिन पर्यावरण को एक स्टोकेस्टिक ट्रीटमेंट $G_t$ (जनरेटेड आउटपुट) प्राप्त होता है।
उच्च-आयामीता (High-Dimensionality): ट्रीटमेंट स्पेस $G$ (जैसे, प्राकृतिक भाषा टेक्स्ट) उच्च-आयामी है, जिससे इसका सीधा मॉडलिंग करना असंभव हो जाता है।
लेटेंट एम्बेडिंग (Latent Embedding): यह माना जाता है कि ट्रीटमेंट का रिवॉर्ड $Y_t$ पर प्रभाव एक निम्न-आयामी पर्याप्त एम्बेडिंग $Z^*$ के माध्यम से होता है। चूंकि $Z^*$ अवलोकित नहीं है, इसलिए एजेंट को एक वर्किंग एम्बेडिंग $Z = h(G)$ पर निर्भर रहना पड़ता है।
स्टोकेस्टिक मीडिएशन: स्टैंडर्ड कॉन्टेक्स्टुअल बैंडिट्स के विपरीत, जहाँ क्रियाएं सीधे रिवॉर्ड से जुड़ी होती हैं, यहाँ क्रिया केवल स्टोकेस्टिक ट्रीटमेंट वितरण के माध्यम से अप्रत्यक्ष रूप से रिवॉर्ड को प्रभावित करती है। स्टैंडर्ड बैंडिट एल्गोरिदम ट्रीटमेंट वितरण की संरचना का लाभ उठाने में विफल रहते हैं, जिससे लर्निंग अक्षम हो जाती है।

कार्यप्रणाली: GAMBITTS

लेखक जनरेटर-मीडिएटेड बैंडिट–थॉमसन सैंपलिंग (GAMBITTS) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो ट्रीटमेंट जनरेशन प्रक्रिया और रिवॉर्ड जनरेशन प्रक्रिया दोनों को स्पष्ट रूप से मॉडल करता है। यह दृष्टिकोण हस्तक्षेप प्रक्रिया (intervention process) में अनिश्चितता को पकड़ने के लिए दो-चरणीय सैंपलिंग प्रक्रिया का उपयोग करता है।

मुख्य घटक

यह ढांचा दो कंडीशनल डिस्ट्रीबशन को मॉडल करता है:

ट्रीटमेंट मॉडल: $Z_t \sim f_1(z; A_t, X_t, \theta_1)$ , जो क्रिया और कॉन्टेक्स्ट के आधार पर ट्रीटमेंट एम्बेडिंग के वितरण को दर्शाता है।
रिवॉर्ड मॉडल: $E[Y_t | Z_t, X_t] = m_2(Z_t, X_t; \theta_2)$ , जो ट्रीटमेंट एम्बेडिंग और कॉन्टेक्स्ट दिए जाने पर अपेक्षित रिवॉर्ड को दर्शाता है।

एल्गोरिथमिक वेरिएंट्स

यह पेपर दो प्राथमिक इंस्टांशियेशन्स पेश करता है:

फुल्ली ऑनलाइन GAMBITTS (foGAMBITTS):
- यह देखे गए डेटा का उपयोग करके ट्रीटमेंट मॉडल ( $\theta_1$ ) और रिवॉर्ड मॉडल ( $\theta_2$ ) दोनों को क्रमिक रूप से अपडेट करता है।
- यह तब उपयुक्त है जब एजेंट के पास जनरेटर के लिए सिम्युलेटर या ऑफलाइन डेटा तक पहुंच नहीं होती है।
- यह दोनों पैरामीटर्स के पोस्टीरियर डिस्ट्रीब्यूशन पर इंटीग्रेशन करके क्रियाएं चुनता है: $E[Y | a, x] = \int m_2(z, x; \theta_2) f_1(z; a, x, \theta_1) dz$ ।
पार्शियली ऑनलाइन GAMBITTS (poGAMBITTS):
- यह ट्रीटमेंट डिस्ट्रीब्यूशन ( $f_1$ ) को उपयोगकर्ता के इंटरैक्शन से स्वतंत्र रूप से सीखने के लिए एक जनरेटर सिम्युलेटर या ऑफलाइन डेटा का लाभ उठाता है।
- ट्रीटमेंट मॉडल को प्री-ट्रेन (या एम्पिरिकली अनुमानित) किया जाता है और स्थिर रखा जाता है, जबकि केवल रिवॉर्ड मॉडल ( $\theta_2$ ) को ऑनलाइन अपडेट किया जाता है।
- यह अपघटन जटिल ट्रीटमेंट डिस्ट्रीब्यूशन को सीखने के कार्य को अलग करके अधिक कुशल ऑनलाइन अनुकूलन की अनुमति देता है।

एन्सेम्बल-आधारित विस्तार

गैर-रेखीय रिवॉर्ड संबंधों को संभालने और प्रतिबंधात्मक पैरामेट्रिक धारणाओं से बचने के लिए, लेखक एन्सेम्बल सैंपलिंग (ल और वैन रॉय, 2017 के अनुसार) का उपयोग करके दोनों वेरिएंट्स का विस्तार करते हैं। ये वेरिएंट्स (ens-foGAMBITTS और ens-poGAMBITTS) पोस्टीरियर को अनुमानित करने के लिए रिवॉर्ड मॉडल्स के एक एन्सेम्बल को बनाए रखते हैं, जिससे मल्टीलेयर पर्सेप्ट्रॉन्स (MLPs) जैसे लचीले मॉडल्स का उपयोग संभव होता है।

मुख्य योगदान

फ्रेमवर्क की परिभाषा: GAMBIT समस्या का औपचारिक रूप देना, जो स्टैंडर्ड बैंडिट्स और कॉज़ल बैंडिट्स से अलग है, क्योंकि यह उन विशिष्ट मीडिएशन स्ट्रक्चर पर ध्यान केंद्रित करता है जहाँ क्रियाएं स्टोकेस्टिक, उच्च-आयामी ट्रीटमेंट उत्पन्न करती हैं।
एल्गोरिथमिक इंस्टांशियेशन्स: GAMBITTS एल्गोरिदम (फुल्ली ऑनलाइन, पार्शियली ऑनलाइन, और एन्सेम्बल-आधारित) का विकास जो ट्रीटमेंट-रिवॉर्ड विभाजन को स्पष्ट रूप से मॉडल करता है।
सैद्धांतिक गारंटी:
- foGAMBITTS और poGAMBITTS दोनों के लिए बेयसियन रिग्रेट बाउंड्स का व्युत्पत्ति।
- रिग्रेट स्रोतों को ट्रीटमेंट अनिश्चितता और रिवॉर्ड अनिश्चितता में विभाजित करना।
- यह सिद्ध करना कि GAMBITTS, स्टैंडर्ड थॉमसन सैंपलिंग की तुलना में बेहतर (sharper) रिग्रेट बाउंड प्राप्त करता है जब ट्रीटमेंट एम्बेडिंग आयाम $d$ , कॉन्टेक्स्ट और एक्शन स्पेस के आकार के गुणनफल से काफी छोटा होता है ( $d \ll \sqrt{CK}$ )।
- यह प्रदर्शन करना कि लीनियर रिवॉर्ड्स के साथ poGAMBITTS, $\tilde{O}(\sigma_2 d \sqrt{T})$ की रिग्रेट स्केलिंग प्राप्त करता है, जो लीनियर सेटिंग में $K$ संख्या से स्वतंत्र है, बशर्ते कि ट्रीटमेंट मॉडल पर्याप्त सटीक हो।
अनुभवजन्य सत्यापन (Empirical Validation): सिमुलेशन अध्ययन जो यह प्रदर्शित करते हैं कि GAMBITTS, स्टैंडर्ड कॉन्टेक्स्टुअल और नॉन-कॉन्टेक्स्टुअल थॉमसन सैंपलिंग की तुलना में लगातार बेहतर प्रदर्शन करता है, विशेष रूप से बड़े एक्शन स्पेस वाले सेटिंग्स में और देखे गए ट्रीटमेंट्स का उपयोग करके अपेक्षित रिवॉर्ड्स का अनुमान लगाने के दौरान।

परिणाम

लेखकों ने 2023 के इंटरन हेल्थ स्टडी (IHS) पर आधारित एक सिमुलेशन अध्ययन का उपयोग करके GAMBITTS का मूल्यांकन किया, जहाँ एक एजेंट मानसिक स्वास्थ्य सहायता संदेश उत्पन्न करने के लिए LLM के लिए प्रॉम्प्ट चुनता है।

प्रदर्शन: GAMBITTS ने स्टैंडर्ड थॉमसन सैंपलिंग (कॉन्टेक्स्टुअल और नॉन-कॉन्टेक्स्टुअल दोनों) की तुलना में लगातार कम संचयी (cumulative) रिग्रेट प्राप्त किया।
स्केलेबिलिटी: एक्शन आर्म्स ( $K$ ) की संख्या में बदलाव वाले प्रयोगों में, लीनियर poGAMBITTS का रिग्रेट स्थिर रहा, जबकि स्टैंडर्ड मेथड्स में $K$ बढ़ने के साथ गिरावट आई।
मिसस्पेसिफिकेशन संवेदनशीलता: अध्ययन ने रेखांकित किया कि GAMBITTS का प्रदर्शन वर्किंग ट्रीटमेंट एम्बेडिंग ( $Z$ ) की गुणवत्ता के प्रति संवेदनशील है। जब एम्बेडिंग रिवॉर्ड-प्रासंगिक आयाम के साथ खराब रूप से सह-संबंधित होती है, तो प्रदर्शन गिर जाता है और स्टैंडर्ड मेथड्स से भी नीचे जा सकता है। हालांकि, लचीले रिवॉर्ड मॉडल्स (एन्सेम्बल-आधारित) ने इन समस्याओं को कम करने में मदद की।
शोर (Noise) का प्रभाव: रिवॉर्ड शोर ( $\sigma_2$ ) के उच्च होने पर स्टैंडर्ड मेथड्स की तुलना में GAMBITTS का लाभ बढ़ गया, क्योंकि ट्रीटमेंट मॉडल के माध्यम से सामान्यीकरण (generalize) करने की क्षमता अधिक महत्वपूर्ण हो जाती है।

महत्व और दावे

पेपर का दावा है कि GAMBITTS क्लासिकल बैंडिट लर्निंग और आधुनिक जनरेटिव AI अनुप्रयोगों के बीच एक आवश्यक सैद्धांतिक और एल्गोरिथमिक सेतु प्रदान करता है। जनरेटर-मीडिएटेड हस्तक्षेपों की स्टोकेस्टिक प्रकृति को स्पष्ट रूप से मॉडल करके, यह ढांचा एजेंटों को निम्नलिखित की अनुमति देता है:

ट्रीटमेंट जानकारी का लाभ उठाना: यह देखे गए ट्रीटमेंट (जैसे, जनरेटेड टेक्स्ट) का उपयोग करके पॉलिसी लर्निंग को तेज करने के लिए जानकारी का उपयोग करना, न कि इस जानकारी को शोर मानकर त्याग देना।
क्रियाओं के बीच सामान्यीकरण करना: ट्रीटमेंट स्पेस में साझा संरचना का लाभ उठाकर, भले ही प्रॉम्प्ट्स (क्रियाओं) की संख्या बहुत अधिक हो, कुशलतापूर्वक सीखना।
अनुकूली mHealth का समर्थन करना: उन जस्ट-इन-टाइम एडेप्टिव इंटरवेंशन (pJTAIs) के लिए एक व्यवहार्य ढांचा प्रदान करना जो वास्तविक समय में कंटेंट जनरेशन के लिए LLMs का उपयोग करते हैं, जहाँ फिक्स्ड इंटरवेंशन लाइब्रेरी पर्याप्त नहीं होती हैं।

लेखक कहते हैं कि हालांकि यह ढांचा एक निश्चित जनरेटर और विशिष्ट एम्बेडिंग स्ट्रक्चर को मानता है, फिर भी यह मार्केटिंग, शिक्षा और स्वास्थ्य सेवा जैसे डोमेन में वैयक्तिकरण (personalization) के नए रास्ते खोलता है जहाँ उपचार डायनामिक रूप से जनरेट किए जाते हैं न कि एक स्टेटिक लाइब्रेरी से चुने जाते हैं। वे उल्लेख करते हैं कि भविष्य के कार्य ऑनलाइन एम्बेडिंग लर्निंग, जनरेटर फाइन-ट्यूनिंग और सुरक्षा बाधाओं को संबोधित कर सकते हैं, लेकिन वर्तमान कार्य प्रस्तावित दृष्टिकोण के लिए मौलिक रिग्रेट बाउंड्स और अनुभवजन्य प्रभावकारिता स्थापित करता है।