🤖 machine learning

Cost of Structural Learning Under Censored Feedback: A Threshold-Bandit Approach

यह शोध पत्र सेंसर फीडबैक के तहत सीखने की समस्या को संबोधित करने के लिए थ्रेशोल्ड-एक्टिवेटेड कोऑपरेटिव मल्टी-आर्म्ड बैंडिट (TAC-MAB) फ्रेमवर्क पेश करता है, जो लॉगरिदमिक रिग्रेट वाला एक केंद्रीकृत एल्गोरिदम और एक विकेंद्रीकृत इवेंट-ट्रिगर्ड प्रोटोकॉल प्रस्तावित करता है जो संचार में 23 गुना कमी के साथ लगभग केंद्रीकृत प्रदर्शन प्राप्त करता है।

मूल लेखक: Michael Ledford, William Regli

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Ledford, William Regli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप बचाव कर्मियों की एक टीम का नेतृत्व कर रहे हैं जो बंद दरवाजों को खोलने की कोशिश कर रही है। प्रत्येक दरवाजा एक खजाने के कमरे की ओर ले जाता है, लेकिन इसमें एक पेच है: आपको यह नहीं पता कि प्रत्येक दरवाजा खोलने के लिए कितने लोगों की आवश्यकता है।

यदि आप बहुत कम लोग भेजते हैं, तो दरवाजा टस से मस नहीं होता। लॉक बस चुपचाप क्लिक करता है, और आपको कोई जानकारी नहीं मिलती। आपको यह नहीं पता चलता कि दरवाजा टूटा हुआ है, लॉक जाम हो गया है, या आपने बस पर्याप्त लोग नहीं भेजे।
यदि आप पर्याप्त लोग भेजते हैं, तो दरवाजा खुल जाता है। यदि वहां खजाना है, तो आपको इनाम मिलता है। यदि दरवाजा खुलता है लेकिन कमरा खाली है, तो आपको एक "विफलता" का संकेत मिलता है, लेकिन कम से कम आपको यह पता चल जाता है कि दरवाजा खोला जा सकता है।

यह वह मुख्य समस्या है जिसे यह शोध पत्र संबोधित करता है: आप खेल के नियमों को कैसे सीखते हैं जब आपकी विफलताएं पूरी तरह से मौन होती हैं?

समस्या: "मौन विफलता" का जाल (The "Silent Failure" Trap)

वास्तविक दुनिया के कई टीम परिदृश्यों में (जैसे खोज एवं बचाव या ड्रोन का समन्वय), सफलता इस बात पर निर्भर करती है कि कितने लोग मिलकर काम कर रहे हैं।

जाल: यदि आप बहुत कम लोगों के साथ कोई कार्य करने का प्रयास करते हैं, तो आपको कोई फीडबैक नहीं मिलता। यह बिल्कुल वैसा ही दिखता है जैसे कि आपने पर्याप्त लोगों के साथ प्रयास किया हो लेकिन आप "अभागे" (stochastic failure) रहे हों।
परिणाम: यदि एजेंट (टीम के सदस्य) अकेले कार्य करते हैं, तो वे छोटे समूहों के साथ प्रयास करते रहेंगे, मौन विफलताओं का सामना करेंगे, और यह महसूस करने में विफल रहेंगे कि उन्हें एक बड़े समूह की आवश्यकता है। वे अक्षमता के एक चक्र में फंस जाते हैं।

समाधान: एक दो-चरणीय रणनीति (A Two-Step Strategy)

लेखक इस बारे में सोचने का एक नया तरीका प्रस्तावित करते हैं, जिसे TAC-MAB (थ्रेशोल्ड-एक्टिवेटेड कोऑपरेटिव मल्टी-आर्म्ड बैंडिट) कहा जाता है। वे "कितने लोगों की आवश्यकता है" को एक छिपे हुए नंबर के रूप में देखते जिसे आपको अनुमान लगाना है।

उन्होंने दो दृष्टिकोणों का परीक्षण किया:

1. केंद्रीकृत दृष्टिकोण (The "Control Tower" - नियंत्रण टॉवर)

कल्पना कीजिए कि एक टॉवर में एक अकेला कमांडर है जो सब कुछ देख सकता है।

यह कैसे काम करता है: कमांडर टीम को बताता है कि वास्तव में कौन कहाँ जाएगा। यदि एक दरवाजा विफल होता है, तो कमांडर जानता है, "ठीक है, हमने 2 लोग भेजे, लेकिन यह विफल रहा। अगली बार 3 लोगों के साथ प्रयास करते हैं।"
परिणाम: यह बहुत अच्छी तरह से काम करता है। टीम नियमों को जल्दी सीख लेती है और समय बर्बाद करना बंद कर देती है। यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह विधि अत्यधिक कुशल है, जिसमें सीखने की "लागत" समय के साथ बहुत धीमी गति से बढ़ती है।

2. विकेंद्रीकृत दृष्टिकोण (The "Whisper Network" - व्हिस्पर नेटवर्क)

अब, कल्पना कीजिए कि टीम के पास कोई कमांडर नहीं है। हर कोई अपने आप में स्वतंत्र है, लेकिन वे एक-दूसरे से बात कर सकते हैं।

चुनौती: यदि सभी लोग हर समय बात करते हैं, तो वे ऊर्जा और बैंडविड्थ बर्बाद करते हैं। यदि वे कभी बात नहीं करते, तो वे इस बात पर असहमत हो सकते हैं कि कितने लोगों की आवश्यकता है (उदाहरण के लिए, एजेंट A को लगता है कि 3 लोगों की आवश्यकता है, एजेंट B को लगता है कि 5 की)। यदि वे असहमत हैं, तो वे बेमेल टीमें भेज सकते हैं और विफल हो सकते हैं।
नवाचार (D-TAC): लेखकों ने एक स्मार्ट नियम बनाया: "तब तक बात न करें जब तक कुछ महत्वपूर्ण न बदले।"
- एजेंट अधिकांश समय चुपचाप काम करते हैं।
- वे केवल तभी रुकते हैं और तालमेल बिठाते हैं (अपने नोट्स साझा करते हैं) जब वे कुछ नया खोजते हैं, जैसे: "हे, मैंने 3 लोगों के साथ प्रयास किया और यह सफल रहा!" (यह एक बड़ी उपलब्धि है) या "मैंने 3 लोगों के साथ प्रयास किया और यह लगातार 5 बार विफल रहा; शायद हमें 4 की आवश्यकता है।" (यह एक संरचनात्मक परिवर्तन है)।
परिणाम: यह विधि "कंट्रोल टॉवर" के लगभग समान प्रदर्शन करती है लेकिन 23 गुना कम संचार का उपयोग करती है। यह एक ऐसी टीम की तरह है जो हर 5 मिनट में मीटिंग करने के बजाय केवल तभी मीटिंग करती है जब उन्हें कोई नया सुराग मिलता है।

मुख्य निष्कर्ष (Key Takeaways)

मौन विफलताएं खतरनाक होती हैं: समन्वय के बिना, टीमें यह नहीं सीख सकती हैं कि उन्हें अधिक लोगों की आवश्यकता है क्योंकि "विफलता" को "बुरे भाग्य" जैसा ही समझा जाता है।
संरचना मायने रखती है: आपको पहले समस्या की संरचना (कितने लोगों की आवश्यकता है) को सीखना होगा, इससे पहले कि आप सांख्यिकी (खजाना मिलने की कितनी संभावना है) को अनुकूलित कर सकें।
दक्षता संभव है: आपको इसके लिए निरंतर, शोर भरे संचार की आवश्यकता नहीं है। केवल तब तालमेल बिठाकर जब आपकी "सिद्धांत" नियमों के बारे में बदलता है, एक विकेंद्रीकृत टीम केंद्रीकृत टीम के लगभग समान प्रदर्शन कर सकती है।

संक्षेप में

यह शोध पत्र दिखाता है कि जब किसी टीम की सफलता एक अज्ञात "न्यूनतम समूह आकार" को प्राप्त करने पर निर्भर करती है, तो अकेले कार्य करना विफलता की ओर ले जाता है। हालाँकि, एक स्मार्ट रणनीति का उपयोग करके जहाँ एजेंट केवल तभी जानकारी साझा करते हैं जब "न्यूनतम समूह आकार" के बारे में उनकी समझ बदलती है, वे निरंतर बात किए बिना कुशलतापूर्वक नियमों को सीख सकते हैं। यह एक ऐसी टीम के बीच का अंतर है जो हर सेकंड अपडेट चिल्लाती है बनाम एक ऐसी टीम जो केवल तभी बोलती है जब उन्हें एक नया नियम पता चलता है।

तकनीकी सारांश: सेंसर किए गए फीडबैक के तहत संरचनात्मक शिक्षण की लागत

1. समस्या का निरूपण: TAC-MAB

यह शोध पत्र थ्रेशोल्ड-एक्टिवेटेड कोऑपरेटिव मल्टी-आर्म्ड बैंडिट (TAC-MAB) पेश करता है, जो एक ऐसा ढांचा है जो सहयोगात्मक मल्टी-एजेंट सिस्टम को मॉडल करता है जहाँ कार्य की सफलता एक अज्ञात आकार थ्रेशोल्ड (threshold) को पूरा करने वाले एजेंटों के गठबंधन पर निर्भर करती है।

सेटिंग: $M$ समरूप (homogeneous) एजेंटों की एक टीम $K$ स्थिर कार्यों (tasks) पर $T$ क्षितिज (horizon) के दौरान कार्य करती है। प्रत्येक कार्य $k$ का एक अज्ञात पूर्णांक व्यवहार्यता थ्रेशोल्ड (feasibility threshold) $\tau_k$ , एक सफलता की संभावना $p_k$ , और एक मान $v_k$ होता है।
सेंसर किया गया फीडबैक (Censored Feedback): यदि कार्य $k$ को सौंपा गया गठबंधन आकार $c_{k,t}$ , $\tau_k$ से कम है, तो निष्पादन का परिणाम नियत रूप से 0 होता है। महत्वपूर्ण रूप से, एजेंट सेंसरिंग (अपर्याप्त गठबंधन आकार) और स्टोकेस्टिक विफलता (गठबंधन आकार $\ge \tau_k$ लेकिन कार्य संभाव्यता के कारण विफल हुआ) के बीच अंतर नहीं कर सकते हैं।
पहचान की चुनौती (The Identifiability Challenge): सेंसर किए गए फीडबैक के तहत, स्वतंत्र अन्वेषण (exploration) विफल हो जाता है क्योंकि एजेंट विफलता से $\tau_k$ को नहीं सीख सकते; एक विफलता यह संकेत नहीं देती कि गठबंधन बहुत छोटा था या केवल दुर्भाग्यपूर्ण था।
उद्देश्य: संचयी पुरस्कार (cumulative reward) को अधिकतम करने के लिए दो युग्मित उप-समस्याओं को हल करना: (1) सेंसर किए गए फीडबैक के तहत अज्ञात थ्रेशोल्ड $\tau$ को सीखना, और (2) अपेक्षित पुरस्कार को अधिकतम करने के लिए $M$ एजेंटों का आवंटन अनुकूलित करना (एक 0/1 नैपसैक समस्या)।

2. कार्यप्रणाली

केंद्रीकृत बेसलाइन: C-TAC

लेखक पहले एक आदर्श केंद्रीकृत आर्किटेक्चर (C-TAC) का विश्लेषण करते हैं जहाँ एक समन्वयक (coordinator) सभी परिणामों को देखता है और शून्य लागत पर आवंटन प्रसारित करता है।

एल्गोरिदम: C-TAC प्रत्येक कार्य के लिए एक चरण बनाए रखता है: SEARCH (खोज), MONITOR (निगरानी), या INFEASIBLE (अव्यवहार्य)।
- SEARCH चरण में, एल्गोरिदम गठबंधन आकारों का क्रमिक परीक्षण करता है (लीनियर सर्च)। यदि कोई विफलता होती है, तो यह अनुमानित थ्रेशोल्ड $\hat{\tau}_k$ को बढ़ाता है। यदि सफलता होती है, तो कार्य MONITOR चरण में चला जाता है, जिससे $\hat{\tau}_k$ स्थिर हो जाता है और ध्यान औसत पुरस्कार $\hat{\mu}_k$ के अनुमान पर केंद्रित हो जाता है।
- एक विफलता बजट $N_{max}$ अनंत SEARCH चरणों को रोकता है; यदि एक विशिष्ट आकार पर $N_{max}$ लगातार विफलताएं होती हैं, तो थ्रेशोल्ड को बढ़ाया जाता है।
- समन्वयक वर्तमान अनुमानों के आधार पर UCB1 इंडेक्स का उपयोग करके प्रत्येक दौर में एक सटीक 0/1 नैपसैक समस्या हल करता है।
सैद्धांतिक गारंटी: प्रमेय 1 स्थापित करता है कि C-TAC $O(\log T)$ संचयी पछतावा (cumulative regret) प्राप्त करता है। पछतावे को विभाजित किया गया है:
1. संरचनात्मक खोज पद (Structural Search Term): सेंसर किए गए फीडबैक के तहत व्यवहार्यता को हल करने की लागत, जो $\sum \min(\tau_k, M) \log T$ के साथ स्केल करती है।
2. सांख्यिकीय निगरानी पद (Statistical Monitoring Term): सफलता की संभावनाओं के अनुमान की लागत, जो मानक कॉम्बिनेटोरियल बैंडिट पदों ( $\sum \frac{v_k^2 \log T}{\Delta_k}$ ) के साथ स्केल करती है।
3. टेल फेलियर्स (Tail Failures): दुर्लभ कॉन्फिडेंस इंटरवल विफलताओं को सीमित करने वाला एक स्थिरांक पद।

विकेंद्रीकृत प्रोटोकॉल: D-TAC

निरंतर सिंक्रोनाइज़ेशन को महंगा समझते हुए, लेखक एक विकेंद्रीकृत इवेंट-ट्रिगर प्रोटोकॉल, D-TAC का प्रस्ताव करते हैं।

आभासी समन्वयक (Virtual Coordinator): प्रत्येक एजेंट C-TAC प्लानर की एक स्थानीय प्रति चलाता है।
नियत सहमति (Deterministic Consensus): एजेंट संयुक्त योजनाओं को व्यक्तिगत कार्यों में मैप करने के लिए एक साझा, नियत असाइनमेंट नियम (एजेंट आईडी के आधार पर) का उपयोग करते हैं। यदि एजेंटों के पास समान विश्वास अवस्थाएँ (belief states) हैं, तो वे बिना किसी बातचीत के समान योजनाएं निष्पादित करते हैं।
इवेंट-ट्रिगर सिंक्रोनाइज़ेशन: एजेंट केवल विशिष्ट संरचनात्मक घटनाओं के होने पर संचार करते हैं, न कि हर दौर में:
- प्रकार I (व्यवहार्यता सफलता/Feasibility Breakthrough): एक एजेंट वर्तमान सिंक्ड लोअर बाउंड से छोटे गठबंधन आकार के साथ एक सफलता देखता है (परिकल्पना का खंडन करता है)।
- प्रकार II (संरचनात्मक छंटाई/Structural Pruning): एक एजेंट वर्तमान अनुमानित थ्रेशोल्ड पर $N_{max}$ लगातार विफलताओं को एकत्रित करता है, जिससे स्थानीय लोअर बाउंड में वृद्धि होती है।
- आवधिक हार्टबीट (Periodic Heartbeat): रिवॉर्ड अनुमानों में विचलन को सीमित करने के लिए एक निम्न-आवृत्ति सिंक।
विश्वास संलयन (Belief Fusion): सिंक होने पर, एजेंट विश्वासों को रूढ़ रूप से संलयित करते हैं: लोअर बाउंड्स को max-fusion (मोनोटोनिक गैर-घटते) के माध्यम से अपडेट किया जाता है, और अपर बाउंड्स को min-fusion के माध्यम से। यह सुनिश्चित करता है कि संरचनात्मक असहमति स्व-सीमित हो।
जटिलता: प्रपोजिशन 2 बताता है कि सहमति तक पहुँचने के लिए आवश्यक कुल संरचनात्मक सिंक्रोनाइज़ेशन घटनाओं की संख्या $O(KM)$ द्वारा सीमित है।

3. मुख्य परिणाम

सैद्धांतिक निष्कर्ष

पछतावा अपघटन (Regret Decomposition): शोध पत्र सिद्ध करता है कि सेंसर किए गए फीडबैक के तहत सीखने की लागत सांख्यिकीय अनुमान से अलग है। संरचनात्मक शिक्षण की लागत शुरुआत में आती है और $T$ के क्षितिज के साथ लॉग फैक्टर से आगे नहीं बढ़ती है।
पहचान की स्थिति (Identifiability Condition): सबलीनियर पछतावा तभी संभव है यदि ज्ञात निचली सीमा $p_{min} > 0$ मौजूद हो, जो यह सुनिश्चित करती है कि स्टोकेस्टिक विफलता को सेंसरिंग से अलग किया जा सके।

अनुभवजन्य निष्कर्ष (Empirical Findings)

प्रयोग $M=5$ एजेंटों, $K=10$ कार्यों और $T=10,000$ राउंड के साथ किए गए।

स्वतंत्र शिक्षण की विफलता: स्वतंत्र UCB एजेंट निरंतर लीनियर पछतावा प्रदर्शित करते हैं। समन्वय के बिना, वे आवश्यक गठबंधन बनाने में विफल रहते हैं, और केवल सेंसर किया गया फीडबैक प्राप्त करते हैं, जिससे वे उप-इष्टतम, कम-थ्रेशोल्ड कार्यों की ओर अभिसरित (converge) हो जाते हैं।
C-TAC और D-TAC का प्रदर्शन: दोनों एल्गोरिदम व्यवहार्यता को हल करने के लिए एक प्रारंभिक समन्वय लागत वहन करते हैं, जिसके बाद पछतावे की वृद्धि काफी धीमी हो जाती है।
संचार दक्षता: D-TAC केंद्रीकृत बेसलाइन (4,303 संदेश बनाम 100,000 संदेश) की तुलना में 23 $\times$ संचार में कमी प्राप्त करता है, जबकि संचयी पछतावा उसी क्रम की परिमाण (order of magnitude) के भीतर रहता है।
स्केलेबिलिटी: जैसे-जैसे अधिकतम व्यवहार्यता थ्रेशोल्ड $\tau_{max}$ बढ़ता है, स्वतंत्र एजेंट तेजी से बढ़ता पछतावा झेलते हैं। D-TAC उच्च समन्वय आवश्यकताओं के तहत भी सुचारू रूप से कार्य करता है और केंद्रीकृत प्रदर्शन के करीब पहुँच जाता है।

4. महत्व और दावे

शोध पत्र का दावा है कि यह सेंसर किए गए फीडबैक के तहत सीखने की समन्वय लागत को स्पष्ट करता है। इसके प्राथमिक योगदान हैं:

औपचारिकीकरण (Formalization): मानक सांख्यिकीय अनुमान से व्यवहार्यता-गेटेड फीडबैक की संरचनात्मक कठिनाई को अलग करने के लिए TAC-MAB को परिभाषित करना।
एल्गोरिदम डिजाइन: यह प्रदर्शित करना कि निरंतर सिंक्रोनाइज़ेशन के बिना विकेंद्रीकृत सेटिंग में लगभग-केंद्रीकृत प्रदर्शन प्राप्त किया जा सकता है।
दक्षता: यह दिखाना कि इवेंट-ट्रिगर प्रोटोकॉल अज्ञात संरचनात्मक बाधाओं को सीखने की क्षमता को बनाए रखते हुए संचार ओवरहेड को नाटकीय रूप से (एक क्रम के परिमाण तक) कम कर सकते हैं।

लेखक स्पष्ट रूप से कहते हैं कि उनका कार्य लॉजिस्टिक समन्वय लागत से व्यवहार्यता सीखने की लागत को अलग करता है। वे गैर-स्थिर वातावरण और प्रतिकूल विफलताओं के संबंध में सीमाओं को स्वीकार करते हुए, रुक-रुक कर होने वाले संचार के तहत विकेंद्रीकृत सेटिंग के लिए औपचारिक वर्स्ट-केस पछतावा गारंटी को भविष्य के कार्य के लिए खुला विषय मानते हैं।