🤖 AI

Hera: Learning Long-Horizon Coordination for Device-Cloud Collaborative LLM Agents

Hera एक नवीन स्टेप-लेवल डिवाइस-क्लाउड समन्वयक है जो लॉन्ग-होरिज़न LLM एजेंटों के लिए है, जो कार्य सफलता और कम्प्यूटेशनल लागत के बीच संतुलन को अनुकूलित करने के लिए इमिटेशन लर्निंग और कॉस्ट-अवेयर रीइन्फोर्समेंट लर्निंग के दो-चरणीय प्रशिक्षण प्रतिमान का उपयोग करता है, जिससे क्लाउड के उपयोग में उल्लेखनीय कमी के साथ क्लाउड-ओनली प्रदर्शन के करीब प्रदर्शन प्राप्त होता है।

मूल लेखक: Yuxin Zhang, Mengxue Hu, Zheng Lin, Xiaoyi Fan, Fan Xie, Zihan Fang, Jing Yang, Wenjun Zhu, Zhiwen Chen, Chengfei Lv, Zhe Chen

प्रकाशित 2026-05-26

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yuxin Zhang, Mengxue Hu, Zheng Lin, Xiaoyi Fan, Fan Xie, Zihan Fang, Jing Yang, Wenjun Zhu, Zhiwen Chen, Chengfei Lv, Zhe Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन महंगा सहायक (क्लाउड/Cloud) और एक तेज़, सस्ता लेकिन कभी-कभी भूलक्कड़ सहायक (डिवाइस/Device) है। आपको उन्हें एक लंबे, जटिल पहेली को हल करने के लिए मिलकर काम करने की आवश्यकता है, जैसे कि एक सप्ताह की छुट्टी की योजना बनाना या किसी भूलभुलैया से बाहर निकलना।

समस्या यह है:

यदि आप डिवाइस को सब कुछ करने देते हैं, तो यह तेज़ और मुफ्त है, लेकिन यह रास्ता भटक सकता है या कठिन हिस्सों में गलतियाँ कर सकता है।
यदि आप क्लाउड को सब कुछ करने देते हैं, तो यह उत्तम है, लेकिन इसमें बहुत पैसा खर्च होता है और बात करने में काफी समय लगता है क्योंकि यह बहुत दूर है।

मौजूदा सिस्टम आमतौर पर यह तय करने की कोशिश करते हैं कि: "क्या हमें इस पूरे कार्य के लिए क्लाउड का उपयोग करना चाहिए?" यदि कार्य कठिन दिखता है, तो वे क्लाउड का उपयोग करते हैं। यदि कार्य आसान दिखता है, तो वे डिवाइस का उपयोग करते हैं। लेकिन यह एक मास्टर शेफ को पूरे सप्ताह के लिए हर एक सब्जी काटने के लिए काम पर रखने जैसा है, भले ही शेफ की ज़रूरत केवल एक कठिन सजावट (गार्निश) के लिए हो।

मिलिए हेरा (Hera) से।

हेरा एक "टीम कैप्टन" है जो पूरे कार्य के लिए निर्णय नहीं लेती। इसके बजाय, यह कदम-दर-कदम (step-by-step) काम पर नज़र रखती है और पलक झपकते ही निर्णय लेती है: "क्या यह विशिष्ट कदम आसान है? डिवाइस को करने दें। क्या यह कदम कठिन है? मदद के लिए क्लाउड को बुलाएं।"

हेरा एक महान कप्तान बनने के लिए कैसे सीखती है

हेरा एक दो-चरणीय प्रशिक्षण प्रक्रिया के माध्यम से इस कप्तान के रूप में विकसित होती है, जैसे एक कोच एक एथलीट को प्रशिक्षित करता है:

चरण 1: "शैडोइंग" चरण (इमिटेशन लर्निंग/अनुकरण सीखना)
सबसे पहले, हेरा क्लाउड को पूरे कार्य को पूरी तरह से करते हुए देखती है। फिर, वह डिवाइस को क्लाउड के उत्तरों का मार्गदर्शन लेकर ठीक वही कदम उठाने के लिए कहती है।

यदि डिवाइस अपने आप कदम सही कर लेता है, तो हेरा सीखती है: "ठीक है, डिवाइस यहाँ सक्षम है। क्लाउड को बुलाने की कोई आवश्यकता नहीं है।"
यदि डिवाइस भ्रमित हो जाता है या कोई अलग विकल्प चुनता है, तो हेरा सीखती है: "आह, यह कदम डिवाइस के लिए बहुत कठिन है। हमें यहाँ क्लाउड की मदद की ज़रूरत है।"
इससे हेरा को उन नियमों की एक बुनियादी समझ मिलती है जहाँ डिवाइस संघर्ष करता है।

चरण 2: "रणनीति" चरण (रीइन्फोर्समेंट लर्निंग/सुदृढीकरण सीखना)
अब, हेरा खुद खेल खेलने की कोशिश करती है। यह डिवाइस और क्लाउड के कदमों को मिलाकर कार्यों को हल करने का प्रयास करती है। इसे दो चीजों के आधार पर स्कोर मिलता है:

क्या हम जीत गए? (क्या कार्य पूरा हुआ?)
क्या हमने बहुत अधिक खर्च किया? (क्या हमने क्लाउड को बहुत बार बुलाया?)

हेरा सीखती है कि उसे हर कठिन कदम के लिए क्लाउड की आवश्यकता नहीं है। वह सीखती है कि कभी-कभी, एक लंबी यात्रा के बीच में केवल एक महत्वपूर्ण कदम के लिए क्लाउड को बुलाना ही पूरे प्लान को पटरी पर रखने के लिए पर्याप्त होता है। वह केवल तभी क्लाउड को बुलाकर पैसे बचाने के बारे में सीखती है जब विफलता से बचने के लिए यह बिल्कुल आवश्यक हो।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

शोधकर्ताओं ने हेरा का परीक्षण तीन अलग-अलग "पहेलियों" पर किया:

ALFWorld: एक रोबोट जो घर को व्यवस्थित करने की कोशिश कर रहा है।
WebShop: एक एजेंट जो किसी वेबसाइट पर विशिष्ट वस्तुएं खरीदने की कोशिश कर रहा है।
AppWorld: एक एजेंट जो ऐप्स को प्रबंधित करने के लिए कोड लिखने की कोशिश कर रहा है।

जादुई आंकड़े:

सफलता दर (Success Rate): हेरा ने क्लाउड का हर समय उपयोग करने वाली सफलता दर का 92.5% हासिल किया। यह लगभग कभी विफल नहीं होती।
लागत बचत (Cost Savings): इसने महंगे क्लाउड का उपयोग केवल 46.3% चरणों के लिए किया। बाकी काम डिवाइस ने संभाला।
गति (Speed): क्योंकि इसने स्थानीय डिवाइस का बहुत अधिक उपयोग किया, इसलिए पूरी प्रक्रिया क्लाउड का हर बार इंतज़ार करने की तुलना में बहुत तेज़ थी।

निष्कर्ष

हेरा को एक स्मार्ट मैनेजर के रूप में सोचें जो जानता है कि कब जूनियर कर्मचारी (डिवाइस) को नियमित काम संभालने देना है और कब वरिष्ठ विशेषज्ञ (क्लाउड) को कठिन समस्याओं के लिए बुलाना है। ऐसा करके, टीम काम को लगभग उतना ही अच्छा पूरा करती है जितना कि विशेषज्ञ द्वारा सब कुछ करने पर होता, लेकिन आधे खर्च और दोगुनी गति के साथ।

पेपर का दावा है कि यह पहला सिस्टम है जो इन निर्णयों को पूरे कार्य के बजाय कदम-दर-कदम लेता है, जो यह सिद्ध करता है कि एक जटिल समस्या को हल करने के लिए हर एक चाल के लिए सुपरकंप्यूटर की आवश्यकता नहीं है।

तकनीकी सारांश: हेरा (Hera) – डिवाइस-क्लाउड सहयोगी LLM एजेंटों के लिए लॉन्ग-होरिज़न समन्वय सीखना

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों ने वातावरण के साथ स्वायत्त अंतःक्रिया के माध्यम से जटिल, लॉन्ग-होरिज़न (long-horizon) कार्यों को हल करने की क्षमता प्रदर्शित की है। हालाँकि, उनका वास्तविक दुनिया में परिनियोजन एक मौलिक डिवाइस-क्लाउड दुविधा (device–cloud dilemma) का सामना करता है:

डिवाइस-साइड बाधाएं: ऑन-डिवाइस मॉडल (आमतौर पर <10B पैरामीटर्स) कुशल और कम विलंबता (low-latency) वाले होते हैं, लेकिन उनमें जटिल मल्टी-स्टेप प्लानिंग के लिए आवश्यक तर्क की गहराई की कमी हो सकती है, जिससे प्रदर्शन में गिरावट और असंगत प्रक्षेपवक्र (trajectories) उत्पन्न होते हैं।
क्लाउड-साइड सीमाएं: शक्तिशाली क्लाउड मॉडल बेहतर तर्क प्रदान करते हैं, लेकिन वे महत्वपूर्ण नेटवर्क विलंबता, उच्च कम्प्यूटेशनल लागत और गोपनीयता संबंधी चिंताएं पेश करते हैं, जो उन्हें रोबोटिक्स या इंटरैक्टिव GUI नेविगेशन जैसे रीयल-टाइम अनुप्रयोगों के लिए अव्यावहारिक बनाते हैं।

मौजूदा डिवाइस-क्लाउड रूटिंग विधियां आमतौर पर कोर्स (coarse), टास्क-लेवल निर्णय लेती हैं, जो अनुमानित कठिनाई या आत्मविश्वास के आधार पर पूरे क्वेरी को डिवाइस या क्लाउड को सौंप देती हैं। यह "सब-या-कुछ-नहीं" वाला दृष्टिकोण उन लॉन्ग-होरिज़न एजेंट कार्यों के लिए अनुपयुक्त है जहाँ निष्पादन विभिन्न कठिनाई वाले परस्पर निर्भर चरणों के एक अनुक्रम के रूप में विकसित होता है। यह शोध पत्र प्रतिपादित करता है कि कार्य सफलता और इन्फरेंस लागत के बीच प्रभावी ढंग से संतुलन बनाने के लिए एक सूक्ष्म, स्टेप-लेवल समन्वय (step-level coordination) रणनीति आवश्यक है।

2. कार्यप्रणाली: हेरा (Hera) फ्रेमवर्क

लेखक हेरा (Hera) का प्रस्ताव करते हैं, जो एक हल्का स्टेप-लेवल डिवाइस-क्लाउड समन्वयक है जिसे कार्य सफलता और क्लाउड उपयोग के बीच ट्रेड-ऑफ को अनुकूलित करने के लिए डिज़ाइन किया गया है। हेरा एक 500M-पैरामीटर वाला डिकोडर-ओनली ट्रांसफॉर्मर है जिसमें एक बाइनरी क्लासिफिकेशन हेड है जो प्रत्येक इंटरैक्शन स्टेप $t$ पर यह निर्णय लेता है कि स्टेट को लोकल डिवाइस पॉलिसी ( $\pi_{\theta_d}$ ) या क्लाउड पॉलिसी ( $\pi_{\theta_c}$ ) को रूट किया जाए।

हेरा एक नवीन दो-चरणीय प्रशिक्षण प्रतिमान (two-stage training paradigm) का उपयोग करता है:

चरण 1: इमिटेशन लर्निंग (IL) के माध्यम से कोल्ड-स्टार्ट

प्रत्यक्ष सुदृढीकरण संकेतों (reinforcement signals) के बिना रूटिंग पॉलिसी को इनिशियलाइज़ करने के लिए, लेखक इमिटेशन लर्निंग का उपयोग करते हैं:

ट्रैजेक्टरी संग्रह: कार्यों के एक सेट के लिए दोनों डिवाइस और क्लाउड एजेंटों को चलाकर (rollout) ट्रैजेक्टरी जनरेट की जाती हैं।
फिल्टरिंग: वे कार्य जहाँ क्लाउड डिवाइस की तुलना में काफी बेहतर प्रदर्शन करता है (एक मार्जिन $\delta$ से अधिक), उन्हें उस क्षेत्र को परिभाषित करने के लिए चुना जाता है जहाँ क्लाउड सहायता आवश्यक है।
सुपरविजन: क्लाउड के सफल ट्रैजेक्टरी स्टेट्स पर डिवाइस एजेंट को "रिप्ले" किया जाता है। एक स्टेप-लेवल कंसिस्टेंसी लेबल $y_t$ $y_{t}$ जनरेट किया जाता है:
- $y_t = 1$ (क्लाउड को रूट करें): यदि डिवाइस का एक्शन $a^d_t$ , क्लाउड के एक्शन $a^c_t$ से भिन्न है।
- $y_t = 0$ (डिवाइस को रूट करें): यदि एक्शन समान हैं।
प्रशिक्षण: राउटर को इस डेटासेट पर बाइनरी क्रॉस-एंट्रॉपी (BCE) लॉस का उपयोग करके एक बाइनरी क्लासिफायर के रूप में प्रशिक्षित किया जाता है, जो इसके लेटेंट स्पेस को दोनों मॉडल्स के बीच प्रदर्शन अंतर के साथ संरेखित करता है।

चरण 2: स्टेट ग्रुपिंग के साथ कॉस्ट-अवेयर रीइन्फोर्समेंट लर्निंग (RL)

IL चरण एक प्रायर (prior) प्रदान करता है लेकिन सीधे क्लाउड कॉल्स को कम करते हुए रिटर्न को अधिकतम करने के संयुक्त उद्देश्य को अनुकूलित नहीं करता है। हेरा को RL का उपयोग करके रिफाइन किया जाता है:

रोलआउट्स: वर्तमान राउटर का उपयोग करके प्रत्येक कार्य के लिए कई ट्रैजेक्टरी ( $N$ ) एकत्र की जाती हैं, जिसमें अन्वेषण (exploration) को प्रोत्साहित करने के लिए टेम्परेचर-स्केल्ड बर्नौली डिस्ट्रीब्यूशन के माध्यम से स्टोकेस्टिसिटी पेश की जाती है।
स्टेट ग्रुपिंग: विभिन्न रोलआउट्स में सामना किए गए समान स्टेट्स को ग्रुप किया जाता है। प्रत्येक अद्वितीय स्टेट $s$ $s$ के लिए, सिस्टम अनुमान लगाता है:
- $\hat{R}(d; s)$ : अपेक्षित ट्रैजेक्टरी रिटर्न यदि निर्णय $d$ (डिवाइस या क्लाउड) लिया जाता है।
- $\hat{C}(d; s)$ : अपेक्षित भविष्य के क्लाउड कॉल्स (वर्तमान स्टेप सहित) यदि निर्णय $d$ लिया जाता है।
प्रेफरेंस लेबलिंग: एक प्रेफरेंस लेबल $y(s)$ एक उच्च अपेक्षित रिटर्न वाले निर्णय को चुनकर प्राप्त किया जाता है। यदि रिटर्न्स तुलनीय हैं (मार्जिन $\epsilon$ के भीतर), तो कम अपेक्षित भविष्य के क्लाउड उपयोग वाले निर्णय को प्राथमिकता दी जाती है।
ऑप्टिमाइज़ेशन: राउटर को इन प्रेफरेंस लेबल्स पर BCE लॉस को मिनिमाइज करके अपडेट किया जाता है, जिसमें IL-इनिशियलाइज्ड पैरामीटर्स से अत्यधिक विचलन को रोकने के लिए एक $L_2$ रेगुलराइजेशन टर्म शामिल है।

3. मुख्य योगदान

शोध पत्र तीन प्राथमिक योगदानों का दावा करता है:

प्रथम स्टेप-लेवल समन्वयक: हेरा को लॉन्ग-होरिज़न कार्यों के लिए स्टेप-लेवल पर संचालित होने वाले पहले डिवाइस-क्लाउड एजेंट समन्वयक के रूप में प्रस्तुत किया गया है, जो पूर्ववर्ती टास्क-लेवल राउटरों की तुलना में प्रदर्शन-लागत ट्रेड-ऑफ को अधिक सूक्ष्मता से संबोधित करता है।
दो-चरणीय प्रशिक्षण ढांचा: लेखकों ने एक विशिष्ट प्रशिक्षण पाइपलाइन विकसित की है जो इमिटेशन लर्निंग (एक्शन कंसिस्टेंसी के आधार पर कोल्ड-स्टार्ट इनिशियलाइजेशन के लिए) और स्टेट-ग्रुपेड रीइन्फोर्समेंट लर्निंग (ट्रैजेक्टरी रिटर्न और क्लाउड कॉस्ट के संयुक्त अनुकूलन के लिए) को जोड़ती है।
अनुभवजन्य श्रेष्ठता: व्यापक प्रयोगों से पता चलता है कि हेरा स्टेट-ऑफ-द-आर्ट बेसलाइन्स को पछाड़ देता है, और टास्क सफलता तथा क्लाउड उपयोग के बीच एक मजबूत पारेटो फ्रंटियर (Pareto frontier) प्राप्त करता है।

4. प्रयोगात्मक परिणाम

हेरा का मूल्यांकन तीन चुनौतीपूर्ण लॉन्ग-होरिज़न बेंचमार्क पर किया गया: ALFWorld (एम्बॉडीड हाउसहोल्ड टास्क), WebShop (ई-कॉमर्स नेविगेशन), और AppWorld (मल्टी-ऐप कोडिंग टास्क)। डिवाइस मॉडल Qwen2.5-7B-Instruct था, और क्लाउड मॉडल Qwen-Max था।

मुख्य निष्कर्ष:

परफॉरमेंस-कॉस्ट ट्रेड-ऑफ: हेरा ने क्लाउड-ओनली सफलता दर का 92.5% प्राप्त किया, जबकि केवल 46.3% स्टेप्स के लिए क्लाउड का उपयोग किया।
बेसलाइन के साथ तुलना:
- ALFWorld पर, हेरा ने $4.0 \times 10^{-3}$ की लागत के साथ 86.1% सफलता दर हासिल की, जो क्लाउड-ओनली बेसलाइन (90.9% सफलता, $11.7 \times 10^{-3}$ लागत) और अन्य सभी रूटिंग बेसलाइन्स (जैसे, RouteLLM, FrugalGPT) से काफी बेहतर है।
- WebShop पर, हेरा ने 34.1% सफलता के साथ $8.1 \times 10^{-3}$ की लागत प्राप्त की, जबकि क्लाउड-ओनली 35.6% सफलता $14.7 \times 10^{-3}$ लागत पर था।
- AppWorld पर, हेरा ने 19.7% सफलता के साथ $31.3 \times 10^{-3}$ की लागत प्राप्त की, जबकि क्लाउड-ओनली 22.6% सफलता के साथ $43.8 \times 10^{-3}$ था।
विलंबता (Latency): क्लाउड इनवोकेशन को कम करके, हेरा ने उच्च सफलता दर बनाए रखते हुए एंड-टू-एंड विलंबता को काफी कम कर दिया (जैसे, ALFWorld पर 105.5s बनाम 174.1s)।
एब्लेशन स्टडीज (Ablation Studies): RL चरण को हटाने से कम सफलता दर और उच्च क्लाउड उपयोग हुआ। IL चरण को हटाने से अस्थिर प्रशिक्षण और खराब प्रदर्शन हुआ, जो दो-चरणीय पाइपलाइन की आवश्यकता की पुष्टि करता है।
माइक्रो-बेंचमार्क्स: विश्लेषण ने दिखाया कि हेरा प्रभावी ढंग से उन "क्रिटिकल स्टेप्स" की पहचान करता है जिनमें डीप कॉन्टेक्स्ट ट्रैकिंग या जटिल कंस्ट्रेंट कंपोजिशन की आवश्यकता होती है, और उन्हें क्लाउड को रूट करता है, जबकि रूटीन स्टेप्स को स्थानीय रूप से संभालता है।

5. महत्व और दावे

शोध पत्र तर्क देता है कि हेरा कोर्स, टास्क-लेवल रूटिंग से सूक्ष्म, डायनेमिक सहयोग की ओर एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। इसका महत्व निम्नलिखित में निहित है:

उन्नत एजेंटों का लोकतंत्रीकरण: यह प्रदर्शित करके कि केवल क्लाउड हस्तक्षेप के लिए महत्वपूर्ण अंश के स्टेप्स की आवश्यकता होती है, हेरा परिष्कृत एजेंटों को उपयोगकर्ता के डिवाइस पर तैनात करने के लिए कम्प्यूटेशनल और वित्तीय बाधाओं को कम करता है।
रीयल-टाइम अनुप्रयोगों को सक्षम करना: यह फ्रेमवर्क विलंबता-संवेदनशील अनुप्रयोगों (जैसे, रोबोटिक कंट्रोल, इंटरैक्टिव असिस्टेंट) को अत्यधिक लागत या देरी के बिना डिवाइस हार्डवेयर पर व्यवहार्य बनाता है।
स्केलेबिलिटी: हेरा एक मजबूत प्रदर्शन-लागत पारेटो फ्रंटियर स्थापित करता है, जो उन वास्तविक दुनिया के वातावरण में स्केलेबल, टिकाऊ और सर्वव्यापी स्वायत्त एजेंटों के लिए एक व्यवहार्य मार्ग का सुझाव देता है जहाँ संसाधन प्रतिबंध सर्वोपरि हैं।

लेखक सीमाओं को भी नोट करते हैं, जिसमें सिंक्रोनस, विश्वसनीय कनेक्टिविटी की धारणा और ऑफलोडेड डेटा के लिए बिल्ट-इन गोपनीयता-संरक्षण तंत्र का अभाव शामिल है, जिन्हें भविष्य के अनुसंधान के क्षेत्र के रूप में पहचाना गया है।