SentinelBench: A Benchmark for Long-Running Monitoring Agents
यह शोध पत्र SentinelBench प्रस्तुत करता है, जो 10 सिंथेटिक वेब वातावरणों में 100 कार्यों से युक्त एक ओपन-सोर्स बेंचमार्क है जिसे समय के साथ विकसित होने वाली स्थितियों की कुशलतापूर्वक निगरानी करने और बाहरी घटनाओं पर प्रतिक्रिया देने की एआई एजेंटों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिससे निरंतर कार्रवाई के बजाय निरंतर ध्यान (sustained attention) को प्राथमिकता देने वाले लंबे समय तक चलने वाले निगरानी कार्यों के लिए प्रदर्शन बेसलाइन स्थापित की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने लिए एक काम करने के लिए एक बहुत ही स्मार्ट, बहुत तेज़ रोबोट सहायक को काम पर रखा है। अधिकांश समय, हम इन रोबोटों से उम्मीद करते हैं कि वे अतिसक्रिय गिलहरियों (hyperactive squirrels) की तरह होंगे: लगातार दौड़ते, क्लिक करते, चेक करते और चीजों को जबरदस्ती करने की कोशिश करते। यदि कोई वेबपेज लोड नहीं होता है, तो वे उसे रिफ्रेश करते हैं। यदि कोई टिकट बिक्री के लिए उपलब्ध नहीं है, तो वे हर सेकंड "रिफ्रेश" बटन दबाते रहते हैं।
इस पेपर के लेखक, SentinelBench, तर्क देते हैं कि यह "गिलहरी वाला दृष्टिकोण" (squirrel approach) वास्तव में कई दीर्घकालिक कार्यों को संभालने का गलत तरीका है। कभी-कभी, एक एजेंट के लिए सबसे अच्छा काम यह होता है कि वह शांति से बैठे, दरवाजे की निगरानी करे, और सही क्षण का इंतजार करे।
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "गिलहरी" बनाम "सेंटिनल" (The "Squirrel" vs. The "Sentinel")
कल्पना कीजिए कि आप कॉन्सर्ट टिकट की बिक्री शुरू होने का इंतजार कर रहे हैं।
- गिलहरी (वर्तमान AI): यह हर 0.5 सेकंड में पेज को रिफ्रेश करती है। यह बहुत अधिक बिजली (पैसा) खर्च करती है और थक जाती है, लेकिन हो सकता है कि यह उस सटीक सेकंड को मिस कर दे जब बटन बदलता है क्योंकि यह पागलों की तरह क्लिक करने में बहुत व्यस्त है।
- सेंटिनल (आदर्श AI): यह एक आरामदायक कुर्सी पर बैठता है और घड़ी देखता है। इसे पता है कि सेल दोपहर 2:00 बजे शुरू होगी। यह धैर्यपूर्वक प्रतीक्षा करता है। जैसे ही घड़ी में 2:00 बजते हैं, यह तुरंत टिकट खरीदने के लिए उछल पड़ता है।
पेपर कहता है कि वर्तमान AI एजेंट ज्यादातर "गिलहरियाँ" हैं। वे "सेंटिनल" के काम में खराब हैं क्योंकि वे संसाधन बर्बाद करते हैं और अक्सर अधीर होने के कारण विफल हो जाते हैं।
2. समाधान: SentinelBench (प्रशिक्षण का मैदान)
इसे ठीक करने के लिए, शोधकर्ताओं ने एक प्रशिक्षण मैदान बनाया जिसे SentinelBench कहा जाता है।
इसे एक विशाल, सिम्युलेटेड वीडियो गेम की दुनिया के रूप में समझें जिसमें 10 अलग-अलग "कमरे" हैं (जैसे एक नकली ईमेल इनबॉक्स, एक नकली स्टॉक मार्केट, एक नकली म्यूजिक स्ट्रीमिंग सर्विस और एक नकली जॉब बोर्ड)।
- स्क्रिप्ट: इन कमरों के अंदर, घटनाएं एक सख्त शेड्यूल पर होती हैं। मिनट 12 पर एक नई जॉब पोस्टिंग आती है। मिनट 40 पर एक स्टॉक की कीमत लक्ष्य तक पहुँचती है। मिनट 30 पर एक नया गाना आता है।
- परीक्षण: AI एजेंट को एक कार्य दिया जाता है जैसे, "तब तक प्रतीक्षा करें जब तक कि एक नई जॉब पोस्टिंग में 'Kubernetes' का उल्लेख न हो, फिर उसके लिए आवेदन करें और मुझे बताएं।"
- ट्विस्ट: एजेंट को एक लाइव, बदलती हुई वेबसाइट पर नेविगेट करना होता है। वह केवल एक फाइल नहीं पढ़ सकता; उसे स्क्रीन को "देखना" होगा, ठीक वैसे ही जैसे एक इंसान देखेगा।
3. दो रणनीतियाँ: "सोना" बनाम "इंतजार करना" ("Sleep" vs. "Wait")
शोधकर्ताओं ने यह देखने के लिए कि AI एजेंट प्रतीक्षा को कैसे संभालते हैं, दो अलग-अलग टूल्स का उपयोग करके परीक्षण किया:
- टूल A: "स्लीप" बटन (गिलहरी की झपकी): एजेंट खुद से कहता है, "मैं 5 सेकंड बाद वापस चेक करूँगा।" वह 5 सेकंड के लिए सो जाता है, फिर जागता है और फिर से चेक करता है।
- दोष: यदि वह 5 सेकंड के लिए सो जाता है, तो वह सेकंड 3 पर हुई किसी घटना को मिस कर सकता है। यदि वह बहुत जल्दी-जल्दी जागता है (हर 1 सेकंड में), तो वह बिना किसी कारण के बहुत सारा पैसा (कंप्यूटिंग पावर) खर्च करता है।
- टूल B: "Wait_for" बटन (सेंटिनल का कान): एजेंट कहता है, "मैं एक नया ईमेल आने का इंतजार करूँगा। जैसे ही यह होता है, मुझे जगा देना।" कंप्यूटर बैकग्राउंड में पेज की निगरानी करता है। जैसे ही ईमेल आता है, एजेंट को तुरंत सूचित किया जाता है।
- लाभ: यह बार-बार चेक करने में ऊर्जा बर्बाद नहीं करता। यह तभी कार्य करता है जब वास्तव में कुछ बदलता है।
4. उन्होंने क्या पाया
शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स के साथ 100 अलग-अलग कार्यों का परीक्षण किया। यहाँ क्या हुआ:
- लागत (Cost): "Wait" टूल का उपयोग करने वाले एजेंट बहुत सस्ते थे। कुछ मामलों में, "Sleep" एजेंट चलाने में 10 गुना अधिक खर्च हुए क्योंकि वे लगातार पेज चेक कर रहे थे, भले ही कुछ भी नहीं हो रहा था।
- सफलता (Success): "Wait" एजेंट घटनाओं को पकड़ने में आम तौर पर बेहतर थे। "Sleep" एजेंट अक्सर घटना होने के ठीक समय पर सो जाते थे, या वे इतने थक जाते थे (इतना पैसा खर्च कर देते थे) कि उन्होंने हार मान ली।
- धैर्य मायने रखता है (Patience Matters): जब शोधकर्ताओं ने कार्यों को लंबा बनाया (एक 10 मिनट के कार्य को 40 मिनट तक खींच दिया), तो "Sleep" एजेंट और भी खराब हो गए। या तो उन्होंने बहुत जल्दी हार मान ली या उन्होंने बहुत सारा पैसा खर्च कर दिया। "Wait" एजेंट शांत और कुशल बने रहे।
5. मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि दीर्घकालिक निगरानी कार्यों के लिए, धैर्य एक विशेषता है, बग नहीं।
यदि आप चाहते हैं कि कोई AI आपके लिए वेबसाइट की निगरानी करे, तो आपको उसे "रिफ्रेश करते रहना" नहीं कहना चाहिए। आपको उसे एक ऐसा टूल देना चाहिए जो उसे यह कहने की अनुमति दे, "मैं तब तक इंतजार करूँगा जब तक कि पेज बदल नहीं जाता, फिर मैं आपको बताऊंगा।" यह पैसा बचाता है, समय बचाता है, और वास्तव में काम को बेहतर ढंग से पूरा करता है।
संक्षेप में: SentinelBench एक स्कोरबोर्ड है जो साबित करता है कि लंबे कामों के लिए सबसे अच्छे AI एजेंट वे नहीं हैं जो सबसे तेज़ दौड़ते हैं; बल्कि वे हैं जो जानते हैं कि कब चुपचाप बैठना है और इंतजार करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।