JarvisBench: Always-on Intelligence Between Humans and Agents
यह शोध पत्र JarvisBench को प्रस्तुत करता है, जो एक बेंचमार्क और फ्रेमवर्क है जिसे एक 'ऑलवेज-ऑन अटेंशन-कोऑर्डिनेशन लेयर' का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो विविध मल्टी-एजेंट कार्यों में रुक-रुक कर आने वाले मानव उपयोगकर्ताओं और निरंतर निष्पादित होने वाले लॉन्ग-होराइजन एजेंटों के बीच द्वि-दिशीय अंतःक्रियाओं को मध्यस्थता प्रदान करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक नए प्रकार की मशीन उभर कर आई है: स्वायत्त एजेंट (autonomous agent)। ये केवल साधारण उपकरण नहीं हैं जो किसी कार्य को करने के लिए आदेश का इंतजार करते हैं, बल्कि ये डिजिटल कार्यकर्ता हैं जो बिना रुके घंटों तक जटिल और लंबे प्रोजेक्ट्स को स्वयं संचालित करने में सक्षम हैं। वे कोड लिख सकते हैं, डेटा का विश्लेषण कर सकते हैं, या शेड्यूल प्रबंधित कर सकते हैं। हालाँकि, इन अथक मशीनों और उन मनुष्यों के बीच, जिनकी वे सेवा करने के लिए बनाई गई हैं, एक मौलिक बेमेल (mismatch) मौजूद है। मानवीय ध्यान एक सीमित संसाधन है; हम हर सेकंड स्क्रीन को नहीं देख सकते, न ही हम किसी मशीन को सवाल पूछने के लिए लगातार बाधित कर सकते हैं। इसके विपरीत, मशीनें हमारा मन नहीं पढ़ सकतीं कि हमें कब हस्तक्षेप करने की आवश्यकता है या कब उन्होंने कोई ऐसी गलती की है जिसके लिए हमारे निर्णय की आवश्यकता है। यह एक कठिन समन्वय समस्या (coordination problem) पैदा करता है: यदि मानव ध्यान देना बंद कर देता है, तो मशीन अपने मार्ग से भटक सकती है, लेकिन यदि मशीन लगातार ध्यान की मांग करती है, तो यह अक्षम और निराशाजनक हो जाता है। शोधकर्ताओं के लिए चुनौती एक ऐसा सिस्टम बनाने की है जो इस अंतर को पाट सके, जिससे मानव प्रक्रिया में शामिल (in the loop) रह सके बिना निरंतर डिजिटल कार्य के शोर से अभिभूत हुए।
इसे हल करने के लिए, NVIDIA के शोधकर्ताओं की एक टीम ने 'जार्विसबेंच' (JarvisBench) नामक एक नया ढांचा पेश किया है, जिसका नाम आयरन मैन फिल्मों के काल्पनिक सहायक के नाम पर रखा गया है, जिसे एक विशिष्ट प्रकार के "हमेशा सक्रिय" (always-on) समन्वय स्तर का परीक्षण करने के लिए डिज़ाइन किया गया है। एक व्यस्त कार्यालय की कल्पना करें जहाँ श्रमिकों की एक टीम एक जटिल संरचना बना रही है। अतीत में, एक प्रबंधक को या तो श्रमिकों को लगातार देखते रहना पड़ता या काम पूरा होने तक उन पर अंधविश्वास करना पड़ता। नया सिस्टम एक समर्पित पर्यवेक्षक (supervisor) के रूप में कार्य करता है जो श्रमिकों को देखता है, प्रबंधक के सवालों के जवाब तुरंत देता है, और ठीक जानता है कि महत्वपूर्ण निर्णय के लिए प्रबंधक को कब कंधे पर थपथपाना है। यह पर्यवेक्षक स्वयं निर्माण नहीं करता है; यह केवल मानव और कार्यरत एजेंटों के बीच सूचना और ध्यान के प्रवाह का प्रबंधन करता है। शोधकर्ताओं ने एक कठोर परीक्षण क्षेत्र बनाया ताकि यह देखा जा सके कि क्या ऐसा पर्यवेक्षक वास्तव में कार्य की गुणवत्ता में सुधार कर सकता है और बिना अराजकता पैदा किए मानव को व्यस्त रख सकता है।
शोधकर्ताओं ने 45 विशिष्ट परिदृश्यों से बना एक बेंचमार्क तैयार किया, जिसमें एक एजेंट द्वारा किए जाने वाले एकल कार्यों से लेकर दस अलग-अलग एजेंटों के मिलकर काम करने वाले जटिल प्रोजेक्ट्स तक शामिल हैं। ये कार्य 19 विभिन्न डोमेन में फैले हुए थे, सॉफ्टवेयर विकास से लेकर रचनात्मक लेखन तक, और इन्हें हजारों सार्वजनिक उम्मीदवारों में से सावधानीपूर्वक चुना गया था ताकि यह सुनिश्चित हो सके कि वे यथार्थवादी हों। महत्वपूर्ण रूप से, इन परीक्षणों में मानवीय सहायता की आवश्यकता शुरुआत में निर्देश छोड़ने से मजबूर नहीं की गई थी। इसके बजाय, कार्य के दौरान मानवीय निर्णय की आवश्यकता स्वाभाविक रूप से उत्पन्न हुई। उदाहरण के लिए, एक एजेंट रिपोर्ट लिख रहा हो सकता है और अचानक ऐसी स्थिति में आ सकता है जहाँ उसे दो वैध लेकिन बहुत अलग रास्तों में से एक को चुनना हो, जिनमें से कोई भी प्रारंभिक निर्देशों में स्पष्ट रूप से वर्जित या अनिवार्य नहीं था। ठीक उसी क्षण, सिस्टम को यह पहचानना था कि मानवीय निर्णय की आवश्यकता है, कार्य को रोकना था, मार्गदर्शन के लिए मानव से पूछना था, और फिर उस नए निर्देश के साथ कार्य को निर्बाध रूप से फिर से शुरू करना था।
अध्ययन ने यह मापने के लिए दो मुख्य चीजों का परीक्षण किया कि क्या यह समन्वय स्तर काम करता है। पहला, उन्होंने परीक्षण किया कि क्या सिस्टम मानवीय मदद के लिए सही क्षणों की पहचान करने में सफल रहा और क्या ऐसा करने से अंतिम परिणाम में सुधार हुआ। दूसरा, उन्होंने परीक्षण किया कि क्या सिस्टम श्रमिकों को बाधित किए बिना चल रहे कार्य के बारे में मानव के प्रश्नों का उत्तर दे सकता है। परिणामों ने दिखाया कि इस समन्वय परत को जोड़ने से एजेंटों के प्रदर्शन में लगातार सुधार हुआ। जब सिस्टम सक्रिय था, तो एजेंटों ने अपने कार्यों को काफी उच्च स्कोर के साथ पूरा किया, जिसमें कार्य की जटिलता और विशिष्ट एजेंट के आधार पर लगभग 5 से 25 अंकों का सुधार देखा गया। यह सिस्टम मल्टी-एजेंट प्रोजेक्ट्स में विशेष रूप से प्रभावी साबित हुआ, जहाँ विभिन्न श्रमिकों और मानव पर्यवेक्षक के बीच समन्वय से 28 अंकों तक की वृद्धि हुई।
हालाँकि, शोधकर्ताओं ने पाया कि सभी "पर्यवेक्षक" समान नहीं होते। सिस्टम का प्रदर्शन समन्वय परत को चलाने के लिए उपयोग किए जाने वाले विशिष्ट आर्टिफिशियल इंटेलिजेंस मॉडल पर बहुत अधिक निर्भर करता है। एक विशेष मॉडल, GPT-5.6-Sol, सबसे प्रभावी बनकर उभरा, जिसने मानव प्रश्नों के उच्चतम गुणवत्ता वाले उत्तर दिए और कार्य के परिणामों में सबसे अधिक सुधार किया। अन्य मॉडलों का भी परीक्षण किया गया, और हालांकि उन सभी ने बिना किसी पर्यवेक्षक के रहने की तुलना में कुछ सुधार दिखाया, लेकिन वे मानवीय ध्यान का उपयोग करने में कितने कुशल थे, इसमें भिन्नता थी। कुछ मॉडलों ने मदद के लिए अधिक बार पूछा लेकिन बदले में कम लाभ प्राप्त किया, जबकि अन्य अधिक चयनात्मक थे। अध्ययन ने यह भी मापा कि सिस्टम मानव के बोलने पर कितनी जल्दी प्रतिक्रिया दे सकता है, यह पाते हुए कि प्रतिक्रिया की गति आवाज को संसाधित करने और उत्तर उत्पन्न करने के लिए उपयोग की जाने वाली विशिष्ट तकनीक पर निर्भर करती है, जिसमें कुछ सिस्टम दो सेकंड से भी कम समय में प्रतिक्रिया देते हैं।
शोधकर्ता इस बात पर ध्यान देने में सावधानी बरत रहे थे कि यह सिस्टम कार्यकर्ता एजेंटों को प्रतिस्थापित नहीं करता है या उनके सोचने के तरीके को नहीं बदलता है। इसके बजाय, यह एक बाहरी परत के रूप में कार्य करता है जो कार्य का अवलोकन करता है और बातचीत का प्रबंधन करता है। यह डिज़ाइन इस बात की अनुमति देता है कि एक ही समन्वय प्रणाली को एजेंटों को फिर से बनाए बिना विभिन्न प्रकार के एजेंटों के साथ उपयोग किया जा सके। अध्ययन ने एक ट्रेड-ऑफ (trade-off) को भी रेखांकित किया: अधिक मानवीय इनपुट माँगने से बेहतर परिणाम मिल सकते हैं, लेकिन यह मानव के समय और ध्यान का अधिक उपभोग भी करता है। उनके द्वारा बनाया गया सिस्टम इस संतुलन को समायोजित करने की अनुमति देता है, जिससे उपयोगकर्ता यह तय कर सकते हैं कि वे कितना शामिल होना चाहते हैं। जबकि वर्तमान प्रोटोटाइप एक अंतिम उत्पाद के बजाय एक संदर्भ बिंदु के रूप में कार्य करता है, यह प्रदर्शित करता है कि "कार्य करने के कार्य" को "ध्यान के प्रबंधन के कार्य" से अलग करना एक व्यवहार्य और शक्तिशाली रणनीति है। एक समर्पित इंटरफेस बनाकर जो मानव के लिए हमेशा उपलब्ध है लेकिन कार्यकर्ता के आंतरिक तर्क के लिए अदृश्य है, जटिल, दीर्घकालिक प्रोजेक्ट्स को मानवीय आवश्यकताओं के अनुरूप रखना संभव है, बिना मानव को पूरी अवधि तक स्क्रीन को घूरने की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।