Just A Rather Very Intelligent Spoken Agent
यह शोध पत्र JarvisBench प्रस्तुत करता है, जो एक नया बेंचमार्क और मॉड्यूलर प्रोटोटाइप है जिसे ट्रेस-ग्राउंडेड प्रतिक्रियाओं और सक्रिय मार्गदर्शन के माध्यम से रीयल-टाइम उपयोगकर्ता संपर्क, कार्य पारदर्शिता और समग्र प्रदर्शन में सुधार करके लॉन्ग-होरिज़न AI एजेंट वर्कफ़्लो को बढ़ाने में 'ऑलवेज-ऑन', स्पोकन मीडिएटर्स की प्रभावशीलता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एआई के युग में गायब होता मध्यस्थ (The Missing Middleman in the Age of AI)
कल्पना कीजिए कि आपने अपने लिए एक जटिल ट्रीहाउस (पेड़ पर घर) बनाने के लिए एक प्रतिभाशाली, सुपर-फास्ट इंटर्न को काम पर रखा है। आप उसे ब्लूप्रिंट देते हैं और कहते हैं, "शुरू हो जाओ!" फिर, आप दूर चले जाते हैं। घंटों तक, आपको हथौड़े की हल्की धप-धप या लकड़ी की आरी की आवाज़ के अलावा कुछ सुनाई नहीं देता। आपको पता ही नहीं है कि वह ट्रीहाउस सही तरीके से बना रहा है या नहीं, क्या उसने किसी सड़ी हुई टहनी पर प्रहार किया है, या उसने सीढ़ी के बजाय स्लाइड बनाने का फैसला कर लिया है। आप उनके काम में बाधा डाले बिना बस जाकर देख भी नहीं सकते, और यदि आप सवाल पूछने के लिए उनके खत्म होने तक इंतजार करते हैं, तो आपको बहुत देर हो सकती है जब आपको पता चलेगा कि पूरी संरचना खतरनाक रूप से झुक रही है। यह कई उन्नत एआई एजेंटों की वर्तमान स्थिति है: वे अविश्वसनीय रूप से सक्षम "श्रमिक" हैं जो लंबे, शांत अंतराल में काम करते हैं, जिससे उनके मानव बॉस अंधेरे में रह जाते हैं।
यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में रहता है, विशेष रूप से एआई एजेंटों (AI Agents) पर ध्यान केंद्रित करता है। एक एआई एजेंट को केवल एक चैटबॉट के रूप में न सोचें जो एक प्रश्न का उत्तर देता है, बल्कि एक डिजिटल कर्मचारी के रूप में सोचें जो योजना बना सकता है, उपकरणों (जैसे वेब ब्राउज़र या कोड एडिटर) का उपयोग कर सकता है, और लंबे समय तक बहु-चरणीय समस्याओं को हल कर सकता है। यहाँ मुख्य अवधारणा "लॉन्ग-होरिज़न" (दीर्घकालिक) कार्य है: एक ऐसा काम जिसमें समय लगता है, कई चरणों की आवश्यकता होती है, और जो सूक्ष्म तरीकों से गलत हो सकता है। यह शोध पत्र तर्क देता है कि जबकि हमारे एआई श्रमिक स्मार्ट हो रहे हैं, उनसे बात करने का हमारा तरीका अतीत में ही अटका हुआ है। हमें एक नए प्रकार के इंटरफ़ेस की आवश्यकता है—केवल आदेश देने का तरीका नहीं, बल्कि एक ऐसा तरीका जिससे हम जुड़े रह सकें, सवाल पूछ सकें और बिना काम रोके वास्तविक समय में श्रमिक का मार्गदर्शन कर सकें।
जार्विस से मिलें: हमेशा सक्रिय रहने वाला फुसफुसाने वाला (Meet Jarvis: The Always-On Whisperer)
इस पेपर के लेखक, एनवीडिया (NVIDIA) के चेन और चेन, इस "लूप से बाहर" वाली समस्या का समाधान प्रस्तावित करते हैं। वे जार्विसबेंच (JarvisBench) नामक एक अवधारणा पेश करते हैं, जो अनिवार्य रूप से एक नए प्रकार के एआई सहायक के लिए एक परीक्षण स्थल है। इस सहायक को एक "मध्यस्थ" या "मध्यस्थ" (middleman) के रूप में सोचें जो आपके (उपयोगकर्ता) और आपके मेहनती एआई एजेंट के बीच बैठा है।
फिल्म आयरन मैन में, पात्र जे.ए.आर.वी.आई.एस. (J.A.R.V.I.S.) उस चीज़ का सटीक उदाहरण है जिसे लेखक बनाना चाहते हैं। वह केवल टोनी स्टार्क के सवाल पूछने का इंतज़ार नहीं करता; वह सुनता है, देखता है कि टोनी क्या कर रहा है, तुरंत जवाब देता है, और यहाँ तक कि बोल उठता है यदि टोनी कोई गलती करने वाला हो। शोध पत्र सुझाव देता है कि वर्तमान एआई एजेंटों में इस "जार्विस" परत की कमी है। आमतौर पर, आप एक निर्देश देते हैं, एआई शांति से काम करता है, और यदि कुछ गलत होता है तो आपको केवल एक टेक्स्ट अपडेट मिलता है। लेखक तर्क देते हैं कि यह बहुत ही कमजोर जुड़ाव है। वे एक ऐसा एजेंट चाहते हैं जो "हमेशा सक्रिय" हो, मौखिक बातचीत करने में सक्षम हो, जो यह समझाने के लिए तैयार हो कि क्या हो रहा है, और यदि वह कहीं फंस जाए तो मानव से त्वरित मार्गदर्शन (nudge) मांग सके।
इस विचार को सिद्ध करने के लिए, टीम ने एक प्रोटोटयप सिस्टम और नियमों का एक सेट बनाया, जिसे वे जार्विसबेंच (JarvisBench) कहते हैं। उन्होंने केवल एक विशिष्ट रोबोट नहीं बनाया; उन्होंने एक लचीला ढांचा बनाया जहाँ विभिन्न "मस्तिष्क" (AI मॉडल) और विभिन्न "श्रमिक" जोड़े जा सकते हैं ताकि यह देखा जा सके कि वे एक साथ कितनी अच्छी तरह काम करते हैं।
दो-ट्रैक परीक्षण: क्या यह काम में मदद करता है? क्या यह इंसान की मदद करता है?
शोधकर्ताओं ने एक दो-भाग वाली चुनौती निर्धारित की ताकि यह देखा जा सके कि क्या उनका "जार्विस" विचार वास्तव में कोई अंतर पैदा करता है।
ट्रैक 1: श्रमिक का सबसे अच्छा दोस्त (एजेंट-सहयोग - Agent-Collaboration)
इस ट्रैक में, लक्ष्य यह देखना है कि क्या जार्विस मध्यस्थ होने से एआई श्रमिक वास्तव में अपना काम बेहतर ढंग से पूरा करने में मदद पाता है। कल्पना कीजिए कि एआई श्रमिक एक जटिल पहेली को हल करने या कोड का एक हिस्सा लिखने की कोशिश कर रहा है। जार्विस के बिना, श्रमिक गलतियों के चक्र में फंस सकता है या गलत मोड़ ले सकता है और उसे तब तक पता नहीं चलेगा जब तक बहुत देर न हो जाए। जार्विस के साथ, मध्यस्थ श्रमिक की हर हरकत पर नज़र रखता है। यदि श्रमिक दो बार एक ही गलती करता है या भ्रमित दिखता है, तो जार्वस क्रिया को रोकता है (या रुकने का अनुकरण करता है) और एक मानव विशेषज्ञ से एक त्वरित टिप मांगता है। फिर वह उस टिप को श्रमिक को वापस सौंप देता है।
उनके परीक्षणों के परिणाम उत्साहजनक थे। उन्होंने विभिन्न एआई श्रमिकों का उपयोग करके 34 अलग-अलग दीर्घकालिक कार्य (जैसे जानकारी खोजना, फाइलें व्यवस्थित करना, या कोड लिखना) चलाए। जब उन्होंने जार्विस मध्यस्थ को जोड़ा, तो श्रमिकों ने अपने कार्यों को पूरा करने में बेहतर प्रदर्शन किया। उदाहरण के लिए, "क्लोड ओपस 4.7" (Claude Opus 4.7) मस्तिष्क का उपयोग करने वाले एक श्रमिक का सफलता स्कोर 64.01% से बढ़कर 75.79% हो गया। मध्यस्थ ने काम खुद नहीं किया; इसने केवल एक सेतु के रूप में कार्य किया, परेशानी वाले स्थानों की पहचान की और श्रमिक को वापस पटरी पर लाने के लिए पर्याप्त मानवीय मार्गदर्शन लाया। शोध पत्र सुझाव देता है कि यह "मिडल लेयर" (मध्य परत) एआई एजेंटों को पूरी तरह से पुनर्गठित किए बिना उनकी गलतियों से उबरने में मदद करने के लिए महत्वपूर्ण है।
ट्रैक 2: इंसान का सबसे अच्छा दोस्त (यूजर-इंटरैक्शन - User-Interaction)
दूसरा ट्रैक एक अलग सवाल पूछता है: क्या यह मध्यस्थ अनुभव को बेहतर बनाता है? कल्पना कीजिए कि आप बॉस हैं, और आप जानना चाहते हैं, "आप अभी क्या कर रहे हैं?" या "आपने उस फ़ाइल को क्यों चुना?" पुराने तरीके में, आपको लॉग्स (logs) खंगालने पड़ते या रिपोर्ट का इंतज़ार करना पड़ता। जार्विस के साथ, आप बस पूछ सकते हैं, "हे, क्या चल रहा है?" और तुरंत मौखिक उत्तर प्राप्त कर सकते हैं।
शोधकर्ताओं ने इसे एक सिम्युलेटेड "गैर-विशेषज्ञ" उपयोगकर्ता द्वारा सवाल पूछने के माध्यम से परखा। उन्होंने मापा कि मध्यस्थ श्रमिक की प्रगति को समझाने में कितना सक्षम था और संदर्भ (context) के बारे में सवालों के जवाब देने में कितना कुशल था। उन्होंने पाया कि मध्यस्थ के पीछे का "मस्तिष्क" बहुत मायने रखता है। एक बहुत ही स्मार्ट मस्तिष्क (जैसे GPT-5.4) संदर्भ संबंधी प्रश्नों के उत्तर देने में उत्कृष्ट था, जिसने 5 में से 3.91 का उच्च स्कोर प्राप्त किया। हालाँकि, छोटे और तेज़ मस्तिष्क भी यह समझाने में अच्छे थे कि श्रमिक वर्तमान में क्या कर रहा है। मुख्य निष्कर्ष यह है कि एक अच्छा मध्यस्थ आपको सूचित और व्यस्त रख सकता है बिना इसके कि आपको तकनीकी विशेषज्ञ होने या कोड की स्क्रीन को घूरने की आवश्यकता हो।
इसका क्या अर्थ है (और क्या नहीं)
शोध पत्र सावधानीपूर्वक कहता है कि ये सिमुलेशन और विशिष्ट परीक्षणों पर आधारित प्रारंभिक परिणाम हैं। वे यह दावा नहीं कर रहे हैं कि उन्होंने सभी एआई समस्याओं को हल कर लिया है या एक पूर्ण रोबोटिक नौकर बना लिया है। उन्होंने स्पष्ट रूप से इस विचार को खारिज कर दिया कि मध्यस्थ को काम अपने हाथ में लेना चाहिए या कार्य को स्वयं हल करना चाहिए। मध्यस्थ का काम सख्ती से देखना, सुनना और मार्गदर्शन करना है।
उन्होंने यह भी पाया कि मध्यस्थ के "मस्तिष्क" की गुणवत्ता अत्यंत महत्वपूर्ण है। यदि मस्तिष्क पर्याप्त स्मार्ट नहीं है, तो वह अनावश्यक रूप से श्रमिक को बाधित कर सकता है या गलत सलाह दे सकता है। लेकिन जब मस्तिष्क मजबूत होता है, तो एक स्मार्ट श्रमिक और एक स्मार्ट मध्यस्थ का संयोजन एक ऐसी टीम बनाता है जो अधिक पारदर्शी, अधिक सहायक और सफल होने की अधिक संभावना रखती है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि एआई का भविष्य केवल श्रमिकों को स्मार्ट बनाने के बारे में नहीं है; यह मानव और मशीन के बीच एक बेहतर संवाद बनाने के बारे में है। एक "जार्विस" परत जोड़कर, हमें अंततः ऐसे एआई एजेंट मिल सकते हैं जो केवल हमारे लिए काम नहीं करते, बल्कि हमारे साथ काम करते हैं, हमें लूप में रखते हैं और चीजें कठिन होने पर मदद के लिए तैयार रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।