🤖 AI

Learning to Hand Off: Provably Convergent Workflow Learning under Interface Constraints

यह शोध पत्र इंटरफ़ेस बाधाओं के तहत संचालित मल्टी-एजेंट वर्कफ़्लो के लिए एक विकेंद्रीकृत $Q$ -लर्निंग एल्गोरिदम, IC- $Q$ को प्रस्तुत करता है, और त्रुटि को फंक्शन-एप्रोक्सिमेशन, रिप्रेजेंटेशन और मिक्सिंग-टाइम घटकों में विभाजित करके इस सेटिंग में न्यूरल $Q$ -लर्निंग के लिए पहला परिमित-नमूना अभिसरण (फाइनाइट-सैंपल कन्वर्जेंस) गारंटी स्थापित करता है, जबकि संयुक्त प्रक्षेप पथों (जॉइंट ट्रेजेक्टरीज) तक पहुंच के बिना केंद्रीकृत ओरेकल प्रदर्शन के साथ इसकी क्षमता को अनुभवजन्य रूप से मान्य करता है।

मूल लेखक: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

प्रकाशित 2026-05-20

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiayu Li, Enpei Zhang, Dawei Zhou, Elynn Chen, Yujun Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, उच्च-दांव वाली असेंबली लाइन है जहाँ विभिन्न विशेषज्ञ मिलकर एक उत्पाद बनाते हैं। आपके पास एक प्लानर (Planner) है जो विचार का खाका खींचता है, एक कोडर (Coder) है जो निर्देश लिखता है, एक टेस्टर (Tester) है जो बग्स की जाँच करता है, और एक राइटर (Writer) है जो रिपोर्ट को अंतिम रूप देता है।

एक आदर्श दुनिया में, एक एकल "सुपर मैनेजर" पूरी प्रक्रिया को देखता है, हर विचार, हर ड्राफ्ट और हर गलती को देखता है, और सबको बताता है कि आगे क्या करना है। यह ऐसे ही काम करने वाले अधिकांश वर्तमान AI सिस्टम हैं। लेकिन वास्तविक दुनिया में, ये विशेषज्ञ अक्सर अलग-अलग कंपनियों से होते हैं, अलग-अलग सॉफ़्टवेयर का उपयोग करते हैं, या उनके कड़े गोपनीयता नियम होते हैं। प्लानर, कोडर के निजी नोट्स नहीं देख सकता, और कोडर, टेस्टर की आंतरिक चेकलिस्ट नहीं देख सकता। वे केवल अगले व्यक्ति को एक "हैंडऑफ डॉक्यूमेंट" (जैसे कि कागज का टुकड़ा या डिजिटल फ़ाइल) पास करते हैं।

यह कागज, "लर्निंग टू हैंड ऑफ" (Learning to Hand Off), एक विशिष्ट समस्या का समाधान करता है: आप इस टीम को एक साथ मिलकर काम करने के लिए कैसे सिखा सकते हैं जब कोई भी पूरी तस्वीर नहीं देख पाता, और वे केवल उस एकल हैंडऑफ डॉक्यूमेंट के माध्यम से ही बात कर सकते हैं?

यहाँ उनके समाधान का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "ब्लाइंड रिले" (The Blind Relay)

आमतौर पर, एक टीम को अच्छा काम करने के लिए सिखाने के लिए, आपको उन्हें शुरू से अंत तक पूरी प्रक्रिया के वीडियो दिखाने होते हैं ताकि वे अपनी गलतियों से सीख सकें। लेकिन इस परिदृश्य में:

कोई केंद्रीय आँख नहीं: किसी के पास भी पूरी प्रक्रिया का वीडियो नहीं है।
गोपनीयता की दीवारें: प्लानर नहीं जानता कि कोडर क्या सोच रहा है; कोडर नहीं जानता कि टेस्टर की निजी स्थिति क्या है।
हैंडऑफ: केवल एक विशिष्ट आर्टिफैक्ट (इंटरफेस) ही एक हाथ से दूसरे हाथ में जाता है।

यदि आप यहाँ मानक AI प्रशिक्षण विधियों का उपयोग करने का प्रयास करते हैं, तो वे विफल हो जाते हैं क्योंकि वे यह मान लेते हैं कि सभी सब कुछ देख सकते हैं।

2. समाधान: "IC-SMDP" (असेंबली लाइन का मानचित्र)

लेखकों ने एक नया गणितीय मानचित्र बनाया है जिसे IC-SMDP कहा जाता है। इसे एक रिले रेस के नियम पुस्तिका के रूप में समझें जहाँ:

रेस: कार्य को "लेग्स" (legs) में विभाजित किया गया है। प्रत्येक एजेंट (प्लानर, कोडर, आदि) अपना हिस्सा दौड़ता है।
बैटन (Baton): "हैंडऑफ आर्टिफैक्ट" बैटन है।
नियम: जब आप बैटन पास करते हैं, तो आप केवल बैटन और अपने स्वयं के निजी नोट्स को देख सकते हैं। आप अन्य धावकों की नोटबुक में झाँक नहीं सकते।

यह मानचित्र सिद्ध करता है कि इन सख्त सीमाओं के बावजूद, टीम इस दौड़ को सफलतापूर्वक चलाने का इष्टतम तरीका सीख सकती है।

3. एल्गोरिदम: "IC-Q" (फुसफुसाने की रणनीति)

वे बिना किसी केंद्रीय प्रबंधक के टीम को कैसे सिखाते हैं? उन्होंने IC-Q नामक एक एल्गोरिदम का आविष्कार किया।

कल्पना कीजिए कि धावक एक रिले रेस में हैं, लेकिन वे एक-दूसरे को निर्देश चिल्लाकर नहीं दे सकते। इसके बजाय, जब धावक A, धावक B को बैटन सौंपता है, तो धावक B एक त्वरित मानसिक गणना करता है: "यदि मैं यह बैटन लेता हूँ और अपना हिस्सा दौड़ता हूँ, तो मैं सबसे अच्छा संभव स्कोर कैसे प्राप्त कर सकता हूँ?"

धावक B फिर वापस धावक A को एक एकल संख्या फुसफुसाता है: "मैं सबसे अच्छा स्कोर 95 प्राप्त कर सकता हूँ।"

धावक A उस एकल संख्या का उपयोग यह तय करने के लिए करता है: "ठीक है, यदि मैं धावक B को बैटन सौंपता हूँ, तो टीम को 95 मिलेगा। यदि मैं इसे धावक C को सौंपता हूँ, तो टीम को 70 मिलेगा। मैं B को सौंपता हूँ।"

जादू: वे हर हैंडऑफ पर केवल एक संख्या (स्केलर) का आदान-प्रदान करते हैं। वे निजी विचार, कोड या लंबे लॉग साझा नहीं करते हैं। यह सिस्टम को तेज़, निजी और सस्ता रखता है।

4. गारंटी: "स्कोरकार्ड" (The Scorecard)

इस पेपर का सबसे महत्वपूर्ण हिस्सा गणितीय प्रमाण है। लेखकों ने केवल यह नहीं कहा कि "यह काम करता हुआ लगता है।" उन्होंने यह भी सिद्ध किया कि यह कितना अच्छा काम करता है और यह क्यों विफल हो सकता है।

उन्होंने संभावित त्रुटियों को तीन श्रेणियों में विभाजित किया, जैसे कि एक स्पोर्ट्स टीम के लिए स्कोरकार्ड होता है:

"धुंधले चश्मे" की त्रुटि (Interface Gap): कभी-कभी हैंडऑफ डॉक्यूमेंट (बैटन) में पर्याप्त विवरण नहीं होता। यदि दस्तावेज़ बहुत अस्पष्ट है, तो टीम गलतियाँ करती है। गणित कहता है: दस्तावेज़ जितना खराब होगा, स्कोर उतना ही कम होगा, लेकिन हम सटीक रूप से अनुमान लगा सकते हैं कि वह कितना कम होगा।
"छात्र का मस्तिष्क" त्रुटि (Neural Approximation): AI एजेंट सीखने वाले छात्र हैं। कभी-कभी वे इतने स्मार्ट नहीं होते या उन्होंने इतना अध्ययन नहीं किया होता कि वे सही रास्ता खोज सकें। गणित कहता है: यदि आप उन्हें अधिक कंप्यूटिंग पावर (एक बड़ा मस्तिष्क) देते हैं, तो यह त्रुटि कम हो जाती है।
"प्रतीक्षा समय" की त्रुटि (Mixing Time): रिले में, कभी-कभी धावकों को अपना हिस्सा पूरा करने में लंबा समय लगता है। गणित इस बात का हिसाब रखता है कि हैंडऑफ में कितना समय लगता है और यह सुनिश्चित करता है कि टीम देरी से भ्रमित न हो।

बड़ी दावा: पेपर यह सिद्ध करता है कि यदि आप इन तीनों कारकों को मिला दें, तो आप सटीक रूप से अनुमान लगा सकते हैं कि टीम कितनी अच्छी होगी। यह पहली बार है जब किसी ने ऐसा किया है जहाँ एक विकेंद्रीकृत टीम (decentralized team) काम करती है जहाँ कोई भी पूरा खेल नहीं देख पाता।

5. प्रमाण: "लैब टेस्ट"

लेखकों ने चार अलग-अलग "गेम्स" में इसका परीक्षण किया:

एक सिंथेटिक गेम: एक नकली, नियंत्रित वातावरण जहाँ वे "धुंधले चश्मे" वाले नॉब को ऊपर-नीचे कर सकते थे। जैसे-जैसे उन्होंने हैंडऑफ डॉक्यूमेंट को बदतर बनाया, टीम का स्कोर ठीक वैसे ही गिरा जैसा गणित ने भविष्यवाणी की थी।
गणित की समस्याएं: AI एजेंटों की एक टीम (प्लानर, कोडर, चेकर) कठिन गणितीय प्रश्न हल कर रही है। टीम ने समस्या को सही विशेषज्ञ तक भेजने का तरीका स्वचालित रूप से सीख लिया, जो एक "सुपर मैनेजर" के प्रदर्शन के बराबर था जिसने सब कुछ देखा था, भले ही किसी भी एकल एजेंट ने पूरी बातचीत नहीं देखी थी।
रूटिंग (Routing): 100 नोड्स के नेटवर्क के माध्यम से डेटा भेजना। टीम ने बिना किसी केंद्रीय मानचित्र के सबसे तेज़ रास्ता खोजने का तरीका सीखा।
CPU प्रोग्रामिंग: कंप्यूटर चिप को प्रोग्राम करने के लिए काम करने वाले एजेंट। यहाँ भी, भले ही एजेंटों को यह सीखना था कि उन्हें कैसे कार्य करना है (न कि केवल किसे पास करना है), सिस्टम ने काम किया।

सारांश

यह पेपर एक उच्च-प्रदर्शन, गोपनीयता-केंद्रित असेंबली लाइन बनाने के मैनुअल की तरह है। यह सिद्ध करता है कि शानदार परिणाम प्राप्त करने के लिए आपको हर किसी पर नज़र रखने वाले "बिग ब्रदर" की आवश्यकता नहीं है। इसके बजाय, आप विशेष एजेंटों को हर हैंडऑफ पर एक सरल "स्कोर" पास करना सिखा सकते हैं।

परिणामस्वरूप एक ऐसा सिस्टम मिलता है जो सिद्ध (provable) है (हम जानते हैं कि यह कितना अच्छा होगा), निजी (private) है (एजेंट अपने रहस्य साझा नहीं करते हैं), और कुशल (efficient) है (वे बहुत कम डेटा पास करते हैं)। यह एक अराजक, अंधेरी रिले रेस को एक समन्वित, विजेता टीम में बदल देता है।

तकनीकी सारांश: लर्निंग टू हैंड ऑफ (Learning to Hand Off)

समस्या विवरण (Problem Statement)

यह शोध पत्र अनुक्रमिक विकेंद्रीकृत बहु-एजेंट प्रणालियों (sequential decentralized multi-agent systems) के भीतर, विशेष रूप से मल्टी-एजेंट LLM पाइपलाइनों के संदर्भ में, इष्टतम वर्कफ्लो सीखने की चुनौती को संबोधित करता है। केंद्रीकृत व्यवस्थाओं के विपरीत जहाँ एक एकल डिज़ाइनर के पास एजेंट प्रक्षेप पथों (trajectories) का वैश्विक दृश्य होता है, लक्षित परिचालन व्यवस्था में ऐसे एजेंट शामिल हैं जो संगठनात्मक, वेंडर या ट्रस्ट सीमाओं को पार करते हैं। इस सेटिंग में:

अनुक्रमिक हैंडऑफ (Sequential Handoffs): नियंत्रण एक विशिष्ट विशेषज्ञ एजेंट से दूसरे को एक साझा आर्टिफैक्ट (जैसे कि संदेश या कोड स्निपेट) के माध्यम से हस्तांतरित होता है।
विकेंद्रीकरण (Decentralization): कोई भी पक्ष प्रशिक्षण या निष्पादन के दौरान संयुक्त प्रक्षेप पथों (joint trajectories) तक पहुँच प्राप्त नहीं करता है।
इंटरफ़ेस बाधाएं (Interface Constraints): प्रत्येक एजेंट केवल उस आर्टिफैक्ट को देखता है जो उसे प्राप्त होता है और अपने निजी स्टेट (state) को देखता है; आंतरिक अवस्थाएं, चेन्स ऑफ थॉट (chains of thought), और मालिकाना प्रॉम्प्ट्स सीमाओं के पार प्रकट नहीं किए जाते हैं।
सीमित-नमूना आवश्यकताएं (Finite-Sample Requirements): परिनियोजन (deployments) सीमित कंप्यूट और API बजट के तहत संचालित होते हैं, जिसके लिए केवल एसिम्प्टोटिक अभिसरण (asymptotic convergence) के बजाय सैंपल दक्षता (sample efficiency) पर गारंटी की आवश्यकता होती है।

मौजूदा ढांचे इस विशिष्ट बाधाओं के संयोजन को संबोधित करने में विफल रहते हैं। Dec-POMDPs समवर्ती कार्यों (concurrent actions) को मानते हैं; CTDE प्रशिक्षण के दौरान संयुक्त प्रक्षेप पथ तक पहुँच की आवश्यकता रखता है; और ऑप्शंस फ्रेमवर्क निर्णय के समय पूर्ण स्टेट अवलोकन मानता है। इसके अलावा, मल्टी-एजेंट LLM ऑर्केस्ट्रेशन पर पिछला कार्य बिना किसी निर्णय-सैद्धांतिक आधार या अभिसरण गारंटी के हाथ से डिज़ाइन किए गए अनुकूली नियमों पर निर्भर करता है।

कार्यप्रणाली (Methodology)

औपचारिक मॉडल: IC-SMDP

लेखक इस समस्या को एक इंटरफ़ेस-बाधित सेमी-मार्कोव निर्णय प्रक्रिया (Interface-Constrained Semi-Markov Decision Process - IC-SMDP) के रूप में औपचारिक रूप देते हैं।

संरचना: सिस्टम एक प्रिमिटिव टाइम स्केल पर विकसित होता है लेकिन हैंडऑफ समय पर निर्णय लेता है। प्रत्येक एजेंट इनवोकेशन को एक टेम्पोरली एक्सटेंडेड "ऑप्शन" माना जाता है।
स्टेट्स (States):
- ग्लोबल लेटेंट स्टेट ( $x_t$ ): किसी भी एजेंट द्वारा अनऑब्जर्व की गई अवस्था।
- इंटरफ़ेस स्टेट ( $m_t$ ): वह आर्टिफैक्ट जो एजेंटों के बीच पारित किया जाता है (एकमात्र क्रॉस-एजेंट सूचना चैनल)।
- प्राइवेट स्टेट ( $\ell^{(i)}_t$ ): एजेंट $i$ के लिए स्थानीय।
अवलोकन (Observations): एजेंट $i$ देखता है $o_t = \phi_i(m_t, \ell^{(i)}_t)$ , जहाँ $\phi_i$ एक एजेंट-विशिष्ट अवलोकन मानचित्र है। यह इंटरफ़ेस बाधा को लागू करता है: एजेंट कच्चे इंटरफ़ेस स्टेट या अन्य एजेंटों के निजी स्टेट को सीधे नहीं देख सकते।
एक्शन (Actions): एजेंट एक स्थानीय एक्शन और एक उत्तराधिकारी एजेंट (या एक STOP सिग्नल) चुनते हैं।
उद्देश्य: अवलोकन बाधाओं के अधीन, वर्कफ्लो पर अपेक्षित डिस्काउंटेड रिटर्न को अधिकतम करना।

एल्गोरिदम: IC-Q

लेखक IC-Q प्रस्तावित करते हैं, जो एक एसिंक्रोनस विकेंद्रीकृत Q-लर्निंग एल्गोरिदम है जिसे प्री-कॉन्फ़िगर रिजीम (जहाँ स्थानीय क्रियाएं निश्चित हैं, और केवल उत्तराधिकारी चयन सीखा जाता है) के लिए डिज़ाइन किया गया है।

तंत्र (Mechanism): प्रत्येक एजेंट अपने स्वयं के AIS (Approximate Information State) अवलोकनों पर एक स्थानीय Q-फंक्शन बनाए रखता है।
वैल्यू पासिंग (Value Passing): प्रत्येक हैंडऑफ पर, उत्तराधिकारी एजेंट एक स्केलर बूटस्ट्रैप टारगेट $b_{k+1} = \max_{c'} \hat{Q}_{c'}(o'_{k+1}, c')$ की गणना करता है और इस स्केलर को, विकल्प अवधि $\tau_{k+1}$ और संचित रिवॉर्ड $R_k$ के साथ, पूर्ववर्ती (predecessor) को वापस भेजता है।
अपडेट (Update): पूर्ववर्ती अपने स्थानीय Q-फंक्शन को रिग्रेशन टारगेट $y_k = R_k + \gamma^{\tau_{k+1}} b_{k+1}$ का उपयोग करके अपडेट करता है।
कम्युनिकेशन ओवरहेड (Communication Overhead): एजेंटों के बीच समन्वय ठीक तीन स्केलर प्रति हैंडऑफ तक सीमित है, जो न्यूनतम बैंडविड्थ और API लागत सुनिश्चित करता है।

सैद्धांतिक ढांचा (Theoretical Framework)

विश्लेषण सिंगल-एजेंट प्रिमिटिव-स्टेप MDPs से एप्रोक्सिमेट इंफॉर्मेशन स्टेट (AIS) ढांचे को मल्टी-एजेंट SMDPs तक ले जाता है।

AIS स्थितियां: लेखक विकल्प पैमाने (option scale) पर रिवॉर्ड पर्याप्तता ( $\epsilon_\phi$ ) और इवोल्यूशन पर्याप्तता ( $\delta_\phi$ ) को परिभाषित करते हैं, जो रैंडम विकल्प अवधि और रैंडम डिस्काउंट फैक्टर $\gamma^{\tau_{k+1}}$ को ध्यान में रखते हैं।
अभिसरण प्रमाण (Convergence Proof): पेपर मानक धारणाओं (यूनिफॉर्म एर्गोडिसिटी, बाउंडेड रिवार्ड्स/ड्यूरेशन्स, वेल-कंडीशन्ड फीचर्स, और एक विशिष्ट SMDP-स्तरीय बेलमैन कॉन्ट्रैक्शन कंडीशन) के तहत IC-Q के लिए एक परिमित-नमूना अभिसरण सीमा स्थापित करता है।

मुख्य योगदान (Key Contributions)

औपचारिक मॉडल (IC-SMDP): इंटरफ़ेस बाधाओं के तहत अनुक्रमिक हैंडऑफ के लिए एक निर्णय-सैद्धांतिक मॉडल का परिचय, जो दिखाता है कि यह एक परिभाषित SMDP को प्रेरित करता है जिसमें एक मात्रात्मक इंटरफ़ेस गैप है।
विकेंद्रीकृत एल्गोरिदम (IC-Q): एक एसिंक्रोनस Q-लर्निंग एल्गोरिदम का डिज़ाइन जहाँ क्रॉस-एजेंट समन्वय को प्रति हैंडऑफ एक एकल स्केलर तक सीमित किया गया है, जो सख्त गोपनीयता और बैंडविड्थ बाधाओं का सम्मान करता है।
परिमित-नमूना अभिसरण गारंटी (Finite-Sample Convergence Guarantee): विकेंद्रीकृत आंशिक अवलोकन के तहत न्यूरल Q-लर्निंग के लिए पहला परिमित-नमूना बाउंड। यह बाउंड तीन स्वतंत्र रूप से नियंत्रणीय त्रुटि स्रोतों में विभाजित है:
- न्यूरल एप्रोक्सिमेशन एरर: जो व्यापक नेटवर्क के साथ समाप्त हो जाता है।
- इंटरफ़ेस रिप्रेजेंटेशन गैप: वह कीमत जो सीमित अवलोकन के कारण चुकानी पड़ती है, जो AIS स्थितियों द्वारा बाउंड है।
- मिक्सिंग-टाइम रेसिड्यूल: जो विकल्पों की रैंडम अवधि के आधार पर $O(1/T)$ की दर से घटता है।
सैद्धांतिक नवीनता (Theoretical Novelty): प्रमाण तीन चुनौतियों को संबोधित करता है जो पिछले कार्यों में नहीं थीं:
- एक रैंडम डिस्काउंट (विकल्प अवधि पर निर्भर) के तहत बेलमैन कॉन्ट्रैक्शन (न कि एक निश्चित डिस्काउंट)।
- प्रिमिटिव-स्टेप स्केल के बजाय ऑप्शन स्केल पर AIS गैप का प्रसार।
- रैंडम विकल्प अवधि के तहत मार्कोवियन नॉइज़ का नियंत्रण।

अनुभवजन्य परिणाम (Empirical Results)

लेखक चार प्रयोगों के माध्यम से अपने ढांचे और सिद्धांत को मान्य करते हैं:

सिंथेटिक IC-SMDP: सैद्धांतिक बाउंड में तीन त्रुटि पदों को अलग करने के लिए 10 एजेंटों वाला एक नियंत्रित वातावरण।
- परिणाम: अनुभवजन्य वैल्यू गैप, इंटरफ़ेस अवलोकन के बिगड़ने पर AIS गैप के साथ मजबूती से सह-संबंधित ( $\rho \approx 0.916$ ) है। त्रुटि स्केलिंग $O(1/T)$ मिक्सिंग रेसिड्यूल और मिक्सिंग टाइम पर निर्भरता के साथ मेल खाती है।
मल्टी-LLM गणितीय तर्क (Mathematical Reasoning): चार LLM एजेंट (कमिश्नर, थिंकर, चेकर, एडिटर) गणित की समस्याओं को हल करते हैं। एजेंट केवल 4-बिट AIS एनकोडिंग (उत्तर स्थिति, संशोधन, चेक, शुद्धता) देखते हैं, न कि पूरी बातचीत।
- परिणाम: IC-Q एक सेंट्रलाइज्ड ओरकल से मेल खाता है और पूर्व-निर्धारित इष्टतम वर्कफ्लो (जैसे कठिन समस्याओं के लिए चेकर को शामिल करना, आसान समस्याओं के लिए इसे छोड़ देना) को रिकवर करता है, बिना किसी एजेंट द्वारा संयुक्त प्रक्षेप पथ देखे।
मल्टी-एजेंट रूटिंग (Multi-Agent Routing): 100 एजेंट रैंडम ग्राफ में कार्यों को रूट करते हैं जहाँ सटीक AIS अवलोकन उपलब्ध हैं ( $\epsilon_\phi = \delta_\phi = 0$ $ϵ_{ϕ} = δ_{ϕ} = 0$ )।
- परिणाम: IC-Q विभिन्न ग्राफ वितरणों में 100% रूटिंग सटीकता प्राप्त करता है, जो उस स्थिति में एल्गोरिदम को मान्य करता है जहाँ AIS गैप टर्म शून्य हो जाता है।
मल्टी-एजेंट CPU प्रोग्रामिंग: छह एजेंट मिलकर मेमोरी स्टेट्स को ट्रांसफॉर्म करते हैं। यहाँ स्थानीय क्रियाएं और उत्तराधिकारी चयन दोनों सीखे जाते हैं (अनुकूली रिजीम)।
- परिणाम: IC-Q अनदेखे टारगेट स्टेट्स पर $\approx 80\%$ सटीकता प्राप्त करता है, जो औपचारिक प्रमेय के प्री-कॉन्फ़िगर स्कोप से परे अनुभवजन्य सामान्यीकरण (generalization) प्रदर्शित करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह पहला ढांचा प्रदान करता है जो अनुक्रमिक विकेंद्रीकृत वर्कफ्लो की चार विशिष्ट परिचालन स्थितियों (अनुक्रमिक हैंडऑफ, पूर्ण विकेंद्रीकरण, इंटरफ़ेस-सीमित अवलोकन, और परिमित-नमूना गारंटी) का सम्मान करता है।

सैद्धांतिक महत्व: यह विकेंद्रीकृत आंशिक अवलोकन के तहत न्यूरल Q-लर्निंग के लिए पहला संयुक्त एसिम्प्टोटिक और परिमित-नमूना बाउंड प्रदान करता है। यह रैंडम ड्यूरेशन्स वाले मल्टी-एजेंट SMDPs तक AIS ढांचे का विस्तार करता है, जो पहले अनसुलझा था।
व्यावहारिक महत्व: परिणाम दर्शाते हैं कि केंद्रीयकृत डेटा एक्सेस या एजेंटों की आंतरिक अवस्थाओं के प्रदर्शन के बिना उच्च-प्रदर्शन वर्कफ्लो लर्निंग संभव है। एल्गोरिदम सख्त गोपनीयता और संचार बाधाओं का पालन करते हुए जटिल LLM कार्यों में सेंट्रलाइज्ड ओरकल के बराबर प्रदर्शन करता है।
विनम्रता (Modesty): लेखक स्पष्ट रूप से नोट करते हैं कि औपचारिक अभिसरण प्रमाण प्री-कॉन्फ़िगर रिजीम (निश्चित स्थानीय नीतियों) पर लागू होता है। अनुकूली रिजीम (CPU प्रोग्रामिंग) में सफलता को सामान्यीकरण के रूप में अनुभवजन्य साक्ष्य के रूप में प्रस्तुत किया गया है, जबकि अनुकूली मामले के लिए औपचारिक अभिसरण को भविष्य के कार्य के लिए छोड़ दिया गया है।