🤖 machine learning

SAT: Sequential Agent Tuning for Coordinator Free Plug and Play Multi-LLM Training with Monotonic Improvement Guarantees

यह शोध पत्र सीक्वेंशियल एजेंट ट्यूनिंग (SAT) को प्रस्तुत करता है, जो एक समन्वयक-मुक्त (coordinator-free) प्रशिक्षण ढांचा है जो मोनोटोनिक सुधार गारंटी और प्लग-एंड-प्ले इनवेरिएंस के साथ स्थिर, स्केलेबल मल्टी-एलएलएम (multi-LLM) सहयोग को सक्षम बनाता है, और अनुभवजन्य रूप से यह प्रदर्शित करता है कि छोटे मॉडलों की एक टीम जटिल बेंचमार्क पर काफी बड़े एकल मॉडलों से बेहतर प्रदर्शन कर सकती है।

मूल लेखक: Yi Xie, Yangyang Xu, Yi Fan, Bo Liu

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi Xie, Yangyang Xu, Yi Fan, Bo Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से महंगा सुपर-कंप्यूटर (एक "लार्ज लैंग्वेज मॉडल" या "LLM") है, जो समस्याएँ सुलझाने में बहुत बुद्धिमान है लेकिन इसे चलाने में एक बड़ी धनराशि खर्च होती है। अब, कल्पना कीजिए कि आप उसी बुद्धिमत्ता को बिना वह बड़ी धनराशि खर्च किए प्राप्त करना चाहते हैं।

यह शोध पत्र एक समाधान प्रस्तावित करता है जिसे SAT (सीक्वेंशियल एजेंट ट्यूनिंग) कहा जाता है। एक विशाल सुपर-कंप्यूटर खरीदने के बजाय, आप तीन छोटे, सस्ते और अधिक कुशल कंप्यूटरों की एक टीम को मिलकर काम करने के लिए काम पर रखते हैं।

यहाँ यह शोध पत्र समझाता है कि यह टीम कैसे काम करती है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "परिवर्तन की अराजकता" (The Chaos of Change)

आमतौर पर, जब आप AI एजेंटों की एक टीम को एक साथ काम करने के लिए प्रशिक्षित करने की कोशिश करते हैं, तो यह एक बैंड को एक गाना बजाना सिखाने जैसा होता है जबकि वे सभी एक ही समय में अपने वाद्य यंत्र और शीट संगीत बदल रहे हों। यदि हर कोई एक साथ बदलता है, तो संगीत एक गड़बड़ी बन जाता है। शोध पत्र इसे "कंपाउंडिंग डिस्ट्रीब्यूशन शिफ्ट्स" (compounding distribution shifts) कहता है। टीम को स्थिर रखना कठिन है क्योंकि जब एक एजेंट कुछ नया सीखता है, तो वह बाकी सभी के लिए संदर्भ (context) बदल देता है, जिससे पूरा समूह भ्रमित हो जाता है।

2. समाधान: "रिले रेस" (The Relay Race - SAT)

लेखकों की विधि, SAT, इसे एक मुक्त-प्रतियोगिता (free-for-all) के बजाय एक रिले रेस में बदलकर हल करती है।

एक बार में एक: एक समय में केवल एक ही एजेंट (एक धावक) को अपनी रणनीति अपडेट करने का मौका मिलता है।
"मध्यवर्ती" दृष्टिकोण (The "Intermediate" View): जब एजेंट #1 दौड़ रहा होता है, तो अन्य दो एजेंट स्थिर रहते हैं। एजेंट #1 टीम की वर्तमान स्थिति के आधार पर सीखता है। फिर, एजेंट #2 आगे आता है, नई स्थिति को देखता है (एजेंट #1 के सुधारों के साथ), और सीखता है। फिर एजेंट #3 भी यही करता है।
कोच की आवश्यकता नहीं: अन्य तरीकों के विपरीत जिनमें सबको क्या करना है यह बताने के लिए एक केंद्रीय "कोच" या "जज" की आवश्यकता होती है, यह टीम खुद को चलाती है। वे बस बारी-बारी से सुधार करते हैं।

3. सुरक्षा जाल: "ट्रस्ट रीजन्स" (The Safety Net: "Trust Regions")

हम यह कैसे सुनिश्चित करें कि एजेंट #1 इतनी तेज़ न दौड़ जाए कि वह दौड़ में सबके लिए सब कुछ बर्बाद कर दे?
शोध पत्र KL ट्रस्ट रीजन्स (KL Trust Regions) की अवधारणा का उपयोग करता है। इसे एक पट्टे (leash) या सुरक्षा क्षेत्र के रूप में सोचें।

हर बार जब कोई एजेंट अपडेट होता है, तो उसे अपने व्यवहार को केवल थोड़ा सा बदलने की अनुमति होती है।
वे अचानक पीछे की ओर दौड़ने या बाड़ के ऊपर से कूदने का निर्णय नहीं ले सकते। उन्हें अपने पिछले व्यवहार के एक विशिष्ट "त्रिज्या" (radius) के भीतर रहना चाहिए।
यह सुनिश्चित करता है कि भले ही वे सीखते रहें, टीम अचानक बिखर न जाए। शोध पत्र गणितीय रूप से सिद्ध करता है कि यदि हर कोई इस पट्टे के भीतर रहता है, तो टीम का प्रदर्शन हमेशा बेहतर (monotonic improvement) होगा और कभी खराब नहीं होगा।

4. जादुई ट्रिक: "प्लग-एंड-प्ले" (The Magic Trick: "Plug-and-Play")

यह शोध पत्र का सबसे रोमांचक दावा है। कल्पना कीजिए कि आपके पास तीन धावकों की एक टीम है। सीजन के बीच में, आपको एहसास होता है कि उनमें से एक वास्तव में एक विश्व स्तरीय स्प्रिंटर है, लेकिन आपने अभी तक उन्हें प्रशिक्षित नहीं किया है।

पुराना तरीका: आपको पूरी टीम को निकालना पड़ेगा और नए स्प्रिंटर के साथ काम करने के लिए सभी को फिर से प्रशिक्षित करना पड़ेगा।
SAT तरीका: आप उस एजेंट को एक मजबूत एजेंट के साथ आसानी से बदल (swap) सकते हैं।
आपका आश्वासन: क्योंकि "पट्टा" (ट्रस्ट रीजन) और रिले शैली मौजूद है, शोध पत्र सिद्ध करता है कि आप एक मजबूत एजेंट को बिना दूसरों को फिर से प्रशिक्षित किए बदल सकते हैं, और टीम तुरंत बेहतर प्रदर्शन करेगी। यह एक कार के चलते समय उसमें एक मानक इंजन को हटाकर रेसिंग इंजन लगाने जैसा है; कार बिना नए चेसिस के तुरंत तेज़ हो जाती है।

5. परिणाम: छोटा दल बनाम विशालकाय (The Results: Small Team vs. Giant)

लेखकों ने इसे तीन छोटे AI मॉडलों (कुल 12 बिलियन पैरामीटर्स) की एक टीम के साथ परखा।

प्रतिस्पर्धा: उन्होंने इस छोटी टीम को एक एकल, विशाल AI मॉडल (32 बिलियन पैरामीटर्स) और अन्य विशाल मॉडलों के खिलाफ खड़ा किया।
परिणाम: SAT के साथ प्रशिक्षित इस छोटी टीम ने कठिन गणित और तर्क परीक्षणों में विशाल मॉडल को हरा दिया।
अपग्रेड: जब उन्होंने तीसरे एजेंट को फिर से प्रशिक्षित किए बिना, दो छोटे एजेंटों को थोड़े बड़े, मजबूत एजेंटों के साथ बदला, तो टीम का स्कोर काफी बढ़ गया, जिससे साबित हुआ कि "प्लग-एंड-प्ले" सिद्धांत वास्तव में काम करता है।

सारांश

शोध पत्र छोटे AI मॉडलों की टीमों को प्रशिक्षित करने का एक तरीका पेश करता है जिसमें वे सख्त सुरक्षा सीमाओं के भीतर बारी-बारी से सीखते हैं। यह अराजकता को रोकता है, यह गारंटी देता है कि वे बेहतर होते रहेंगे, और आपको किसी भी समय मजबूत सदस्यों को शामिल करने की अनुमति देता है बिना पूरी प्रक्रिया को फिर से शुरू किए। यह छोटे, किफायती हिस्सों से एक "सुपर-टीम" बनाने का एक तरीका है जो एक एकल, महंगे विशालकाय मॉडल से बेहतर प्रदर्शन करती है।

तकनीकी सारांश: SAT: कोऑर्डिनेटर-मुक्त प्लग-एंड-प्ले मल्टी-LLM ट्रेनिंग के लिए अनुक्रमिक एजेंट ट्यूनिंग (Sequential Agent Tuning)

1. समस्या विवरण (Problem Statement)

विशाल पैरामीटर संख्या वाले लार्ज लैंग्वेज मॉडल्स (LLMs) उत्कृष्ट प्रदर्शन तो करते हैं, लेकिन मेमोरी, कंप्यूटेशन और ऊर्जा के संबंध में उनकी तैनाती की लागत अत्यधिक होती है। जबकि हालिया दृष्टिकोण छोटे, कुशल LLMs की टीमों का उपयोग करने का प्रस्ताव देते हैं ताकि वे सामूहिक रूप से एक एकल बड़े मॉडल के बराबर या उससे बेहतर प्रदर्शन कर सकें, वे दो महत्वपूर्ण चुनौतियों का सामना करते हैं:

समन्वय जटिलता (Coordination Complexity): कई एजेंटों को संयुक्त रूप से अपडेट करने से संचयी वितरण बदलाव (compounding distribution shifts) उत्पन्न होते हैं, जिससे प्रशिक्षण अस्थिर हो जाता है और बिना किसी केंद्रीय नियंत्रक (central controller) के समन्वय करना कठिन हो जाता है।
सैद्धांतिक अंतराल (Theoretical Gaps): मौजूदा मल्टी-एजेंट विधियाँ अक्सर पूर्व-निर्धारित भूमिका असाइनमेंट (जैसे, प्लानर/सॉल्वर) पर निर्भर करती हैं जो सिस्टम की क्षमता को सीमित करती हैं, और उनमें मजबूत सैद्धांतिक आधारों का अभाव होता है जो यह गारंटी दे सकें कि मल्टी-एजेंट सिस्टम मजबूत, स्थिर सुधार प्राप्त करेंगे।

यह शोध पत्र इस प्रश्न का समाधान करता है: क्या छोटे, कुशल मॉडल्स की टीमें एक अच्छी तरह से ट्यून किए गए बड़े मॉडल के बराबर या उससे बेहतर प्रदर्शन कर सकती हैं, जबकि प्रशिक्षण स्थिरता सुनिश्चित की जा सके और मॉड्यूलर अपग्रेड की अनुमति दी जा सके?

2. कार्यप्रणाली: अनुक्रमिक एजेंट ट्यूनिंग (SAT)

लेखक Sequential Agent Tuning (SAT) का प्रस्ताव करते हैं, जो एक कोऑर्डिनेटर-मुक्त प्रशिक्षण प्रतिमान (paradigm) है जो टीम को एक फैक्टराइज्ड पॉलिसी (factorized policy) के रूप में मानता है और ब्लॉक-कोऑर्डिनेट अपडेट का उपयोग करता है।

मुख्य तंत्र (Core Mechanisms)

फैक्टराइज्ड पॉलिसी और मास्क्ड एक्टिवेशन (Factorized Policy & Masked Activation): टीम पॉलिसी को व्यक्तिगत एजेंट पॉलिसियों के उत्पाद के रूप में परिभाषित किया गया है: $\pi(a|s) = \prod_{i=1}^n \pi^{(i)}(a_i|s)$ । उन परिदृश्यों को संभालने के लिए जहाँ केवल एजेंटों के उपसमुच्चय (subsets) ही किसी दिए गए स्टेट में कार्य करते हैं (जैसे, टूल राउटर), फ्रेमवर्क एक "मास्क्ड एक्टिवेशन" दृश्य का उपयोग करता है जहाँ निष्क्रिय एजेंट एक निश्चित 'नो-ऑप' (no-op) एक्शन लेते हैं।
अनुक्रमिक ब्लॉक-कोऑर्डिनेट अपडेट (Sequential Block-Coordinate Updates): सभी एजेंटों को एक साथ अपडेट करने के बजाय, एजेंटों को एक विशिष्ट क्रम $\sigma$ में क्रमिक रूप से अपडेट किया जाता है। एजेंट $\sigma(i)$ को अपडेट करते समय, सिस्टम एक इंटरमीडिएट पॉलिसी $\hat{\pi}_{i-1}$ पर आधारित होता है, जो अनुक्रम के पिछले एजेंटों की नई अपडेट की गई पॉलिसियों को शेष एजेंटों की वर्तमान पॉलिसियों के साथ जोड़ती है।
सीक्वेंस-अवेयर एडवांटेज एस्टिमेटर (Sequence-Aware Advantage Estimator): अनुक्रमिक अपडेट के कारण होने वाले वितरण बदलाव (distribution shift) को कम करने के लिए, SAT एक ऑन-पॉलिसी एडवांटेज एस्टिमेटर का उपयोग करता है जो वर्तमान इंटरमीडिएट ऑक्यूपेंसी ( $d_{\hat{\pi}_{i-1}}$ ) पर आधारित होता है। यह सुनिश्चित करता है कि एडवांटेज को अपडेट के समय की पॉलिसी स्टेट के तहत मूल्यांकित किया जाए, न कि प्रारंभिक टीम पॉलिसी के तहत।
प्रति-एजेंट KL ट्रस्ट रीजन्स (Per-Agent KL Trust Regions): ऑक्यूपेंसी ड्रिफ्ट को अलग करने के लिए, प्रत्येक एजेंट अपडेट को प्रति-स्टेट KL डाइवर्जेंस ट्रस्ट रीजन ( $D_{KL}(\pi^{(i)}_{tar} || \pi^{(i)}_{cur}) \leq \delta_i$ ) द्वारा नियंत्रित किया जाता है। यह एक एकल एजेंट के अपडेट के दौरान स्टेट विज़िटेशन डिस्ट्रीब्यूशन के बदलाव को सीमित करता है।
प्लग-एंड-प्ले अलाइनमेंट (Plug-and-Play Alignment): जब एक एजेंट को एक मजबूत प्री-ट्रेंड मॉडल के साथ बदला जाता है, तो एक "स्टेज-0" अलाइनमेंट स्टेप नए मॉडल को वर्तमान एजेंट की पॉलिसी के आसपास के मौजूदा ट्रस्ट रीजन पर प्रोजेक्ट करता है। यह सुनिश्चित करता है कि नया एजेंट मॉनोटोनिक सुधार के लिए आवश्यक सैद्धांतिक सीमाओं के भीतर से शुरुआत करे।

एल्गोरिद्मिक कार्यान्वयन (Algorithmic Implementation)

ट्रेनिंग लूप (एल्गोरिदम 1) में शामिल है:

वर्तमान टीम पॉलिसी के तहत ऑन-पॉलिसी रोलआउट एकत्र करना।
एजेंटों के माध्यम से क्रमवार इटरेट करना।
इंटरमीडिएट पॉलिसी $\hat{\pi}_{i-1}$ का निर्माण करना।
सीक्वेंस-लेवल एडवांटेज की गणना करना (ग्रुप नॉर्मलाइजेशन और क्लिपिंग जैसे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन सिद्धांतों का उपयोग करके) जो $\hat{\pi}_{i-1}$ पर आधारित हो।
क्लिप्ड ऑब्जेक्टिव और KL पेनल्टी के साथ एजेंट को ऑप्टिमाइज़ करना, जो हाई-क्वांटाइल मॉनिटर के माध्यम से ट्रस्ट रीजन बाधा को लागू करता है।

3. सैद्धांतिक योगदान (Theoretical Contributions)

शोध पत्र एक सैद्धांतिक ढांचा स्थापित करता है जो तीन महत्वपूर्ण गारंटियाँ प्रदान करता है:

मोनोटोनिक सुधार (Monotonic Improvement): फ्रेमवर्क एक उच्च-संभावना वाला प्रमाण (certificate) प्रदान करता है कि अपडेट के एक पूर्ण चरण के बाद टीम का प्रदर्शन $J(\bar{\pi})$ निरंतर सुधरता है। सुधार बाउंड को इस प्रकार निकाला गया है:
$J(\bar{\pi}) - J(\pi_{cur}) \geq \sum (\text{Information-Geometric Gain}) - \sum (\text{Occupancy-Shift Penalty}) - \sum (\text{Estimator Bias}) - \sum (\text{Finite-Sample Error})$
ऑक्यूपेंसी-शिफ्ट पेनल्टी $\sum \sqrt{\delta_i}$ के साथ स्केल करती है, जो छोटे प्रति-एजेंट ट्रस्ट रीजन्स के उपयोग को सही ठहराती है।
सीक्वेंस-अग्नोस्टिक गारंटियाँ (Sequence-Agnostic Guarantees): सुधार के बाउंड्स इस बात पर निर्भर नहीं करते कि एक चरण के भीतर एजेंटों को किस क्रम में अपडेट किया गया है। यह लचीले शेड्यूलिंग या सीखे गए अपडेट ऑर्डर्स की अनुमति देता है।
प्लग-एंड-प्ले इनवेरियंस (Plug-and-Play Invariance): सिद्धांत सिद्ध करता है कि एजेंटों को शेष टीम को पुन: प्रशिक्षित (retraining) किए बिना मजबूत मॉडल्स में अपग्रेड किया जा सकता है। यदि नया एजेंट ट्रस्ट रीजन के भीतर शुरू होता है (स्टेज-0 अलाइनमेंट के माध्यम से), तो मॉनोटोनिक सुधार की गारंटी वैध रहती है। इसके अलावा, अपग्रेड्स प्रदर्शन प्रमाण को "टाइट" (tighten) कर सकते हैं, या या तो निश्चित त्रिज्या (radii) पर सरोगेट वैल्यू को बढ़ा सकते हैं या छोटे रेडियस के साथ समान लाभ प्राप्त कर सकते हैं (संचयी दंड को कम करते हुए)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डोमेन में SAT का मूल्यांकन किया: गणितीय तर्क (AIME24/25, MATH-500, ZebraLogic), सक्रिय तर्क (ARBench), और प्लानिंग (AutoLogi, PlanBench)।

लार्ज मॉडल्स बनाम प्रदर्शन: SAT के साथ प्रशिक्षित तीन 4B-पैरामीटर एजेंटों की एक टीम (कुल 12B) ने AIME24/25 बेंचमार्क पर Qwen3-32B मॉडल को औसतन 3.9% से पीछे छोड़ दिया। तीन 8B एजेंटों की एक टीम (24B) ने कई मेट्रिक्स पर 30B–70B बेसलाइन्स और थिंकिंग-मॉडल बेसलाइन्स (जैसे, OpenAI o3-mini) के मुकाबले प्रतिस्पर्धी या बेहतर परिणाम प्राप्त किए।
विषमता (Heterogeneity): प्रयोगों ने दिखाया कि विभिन्न मॉडल आकारों और परिवारों (जैसे, 2x4B + 1x8B) को मिलाने से प्रदर्शन में लाभ होता है, हालांकि क्षमता बढ़ने के साथ इसमें घटते प्रतिफल (diminishing returns) मिलते हैं। "थिंकिंग" और "नॉन-थिंकिंग" एजेंटों को मिलाने से अक्सर प्रदर्शन में गिरावट आई, जो संगत सीक्वेंस-लेवल सरोगेट्स की आवश्यकता का सुझाव देता है।
प्लग-एंड-प्ले सत्यापन: लेखकों ने प्रशिक्षित टीम में एजेंटों को बदलकर प्लग-एंड-प्ले सिद्धांत को सत्यापित किया। एक प्रशिक्षित टीम में दो 4B एजेंटों को 8B एजेंटों से बदलने से शेष एजेंट को पुन: प्रशिक्षित किए बिना कंपोजिट स्कोर में 10.4% की वृद्धि हुई। तीन 8B एजेंटों के पूर्ण प्रतिस्थापन से स्कोर 70.4% (56.5% के बेसलाइन से) तक बढ़ गया, जिसमें उल्लंघन दर (violation rate) बहुत कम (2.5%) थी।
ट्रस्ट रीजन डायनेमिक्स: प्रयोगात्मक विश्लेषण ने पुष्टि की कि KL बाधाओं के उल्लंघन की दर लगभग $\sqrt{\delta}$ के रूप में स्केल करती है, जो ऑक्यूपेंसी-शिफ्ट पेनल्टी के अनुरूप है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि SAT व्यावहारिक और स्केलेबल पथ प्रदान करता है, विशेष रूप से संसाधन-बाधित वातावरण में उच्च-प्रदर्शन वाले AI सिस्टम तैनात करने के लिए। इसका महत्व निम्नलिखित में निहित है:

विकेंद्रीकृत प्रशिक्षण (Decentralized Training): केंद्रीय नियंत्रक या पूर्व-निर्धारित भूमिकाओं की आवश्यकता को समाप्त करना, जिससे एजेंटों को अनुक्रमिक अपडेट के माध्यम से एक फैक्टराइज्ड पॉलिसी सीखने की अनुमति मिलती है।
सैद्धांतिक कठोरता (Theoretical Rigor): मल्टी-LLM ट्रेनिंग में मॉनोटोनिक सुधार और प्लग-एंड-प्ले इनवेरियंस के लिए पहली बार सिद्ध गारंटी प्रदान करना, जो संयुक्त अपडेट की स्थिरता संबंधी समस्याओं को संबोधित करता है।
दक्षता (Efficiency): यह प्रदर्शित करना कि छोटे-मॉडल की टीमें काफी बड़े मोनोलिथिक मॉडल्स से बेहतर प्रदर्शन कर सकती हैं, जो इस धारणा को चुनौती देती है कि प्रदर्शन केवल मॉडल आकार के साथ रैखिक रूप से बढ़ता है।
मॉड्यूलरिटी (Modularity): एजेंटों के "प्लग-एंड-प्ले" प्रतिस्थापन को सक्षम बनाना, जिससे सिस्टम को पूर्ण पुन: प्रशिक्षण की लागत के बिना घटकों को विकसित करने और अपग्रेड करने की अनुमति मिलती है।

लेखक इस कार्य को केवल मोनोलिथिक मॉडल्स को स्केल करने से हटकर रणनीतिक रूप से छोटे, समन्वित एजेंटों की टीमों को आगे बढ़ाने के रूप में देखते हैं।