Beyond Reactivity: Measuring Proactive Problem Solving in LLM Agents
यह शोध पत्र PROBE को प्रस्तुत करता है, जो एक नया बेंचमार्क है जो LLM एजेंटों का मूल्यांकन करने के लिए सक्रियता (proactivity) को खोजने, पहचानने और अनिर्दिष्ट मुद्दों को हल करने में विभाजित करता है, जिससे यह पता चलता है कि GPT-5 और Claude Opus-4.1 जैसे अत्याधुनिक मॉडल भी उच्च स्वायत्त प्रदर्शन प्राप्त करने में संघर्ष करते हैं, जिनका सर्वोत्तम स्कोर केवल 40% है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "आदेशों की प्रतीक्षा करने" से "जरूरतों को समझने" तक
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुपर-फास्ट पर्सनल असिस्टेंट है। अभी, इनमें से अधिकांश असिस्टेंट एक रेस्टोरेंट के ऑर्डर लेने वाले (order-takers) की तरह हैं। आपको मेनू देखना होगा, तय करना होगा कि आपको क्या चाहिए, और कहना होगा, "मुझे बर्गर चाहिए।" असिस्टेंट फिर जाकर बर्गर ले आता है। वे रिएक्टिव (reactive) हैं; वे तभी हिलते हैं जब आप उन्हें बताते हैं।
इस पेपर के लेखक यह देखना चाहते हैं कि क्या हम ऐसे असिस्टेंट बना सकते हैं जो एक विचारशील बटलर (thoughtful butler) की तरह हों। एक अच्छा बटलर आपको देखता है, नोटिस करता है कि आप अपनी घड़ी देख रहे हैं और आह भर रहे हैं, और कहता है, "मैं देख रहा हूँ कि आपकी मीटिंग 10 मिनट में है और आपने अभी तक अपना प्रेजेंटेशन पैक नहीं किया है। मैंने इसे पहले ही आपके बैग में रख दिया है और कार भी बुला ली है।" यह प्रोएक्टिव (proactive) व्यवहार है।
यह पेपर पूछता है: क्या वर्तमान AI एजेंट्स वास्तव में यह कर सकते हैं? क्या वे आपके ईमेल, कैलेंडर और दस्तावेजों के ढेर को देख सकते हैं, बिना आपके बताए समझ सकते हैं कि क्या गलत हो रहा है, और उसे ठीक कर सकते हैं?
समस्या: "घास के ढेर में सुई" का परीक्षण
इस परीक्षण के लिए, शोधकर्ताओं ने महसूस किया कि मौजूदा परीक्षण बहुत आसान थे। वे एक छोटे दराज में लाल मोज़ा खोजने के बारे में पूछने जैसे थे। वास्तविक जीवन कठिन है; यह कपड़ों से भरे गोदाम में लाल मोज़ा खोजने जैसा है, जहाँ मोज़े का ज़िक्र तीन सप्ताह पहले लिखे गए एक नोट में हो सकता है, जो लंच की योजनाओं और मौसम के बारे में हज़ार अन्य नोट्स के बीच मिला हुआ हो।
इसे हल करने के लिए, उन्होंने PROBE (Proactive Resolution of Bottlenecks) नामक एक नया परीक्षण बनाया।
PROBE कैसे काम करता है:
- सेटअप: उन्होंने 235 अलग-अलग काल्पनिक लोगों (जैसे एक सीनियर अकाउंटेंट या प्रोजेक्ट मैनेजर) के लिए 1,000 काल्पनिक "कार्यदिवस" बनाए। प्रत्येक काल्पनिक व्यक्ति के पास सैकड़ों ईमेल, कैलेंडर इनवाइट और टेक्स्ट फाइलों वाला एक विशाल डिजिटल "डेटास्टोर" है।
- छिपी हुई समस्या: प्रत्येक परिदृश्य में, उन्होंने एक विशिष्ट समस्या (एक 'बॉटलनेक') छिपाई। उदाहरण के लिए, एक महत्वपूर्ण रिपोर्ट पर हस्ताक्षर गायब हैं, या एक डेडलाइन मिस हो गई क्योंकि एक फ़ाइल गलत फॉर्मेट में थी।
- जाल: समस्या स्पष्ट नहीं है। सबूत 5 या 6 अलग-अलग ईमेल और कैलेंडर इवेंट्स में बिखरे हुए हैं। साथ ही, सैकड़ों "डिस्ट्रैक्टर" दस्तावेज़ (जैसे लंच या मौसम के बारे में ईमेल) भी हैं जो AI को भ्रमित करने के लिए डिज़ाइन किए गए हैं।
- लक्ष्य: AI एजेंट को यह करना होगा:
- खोज (Search): सुराग खोजने के लिए घास के ढेर को छानना।
- पहचान (Identify): यह समझना कि वास्तव में समस्या क्या है (जैसे, "फ़ाइल फॉर्मेट गलत है, डेडलाइन नहीं")।
- कार्य (Act): 25 संभावित कार्यों की सूची में से इसे ठीक करने के लिए एक सही कार्य चुनना (जैसे, "IT टीम को ईमेल भेजें" बनाम "मीटिंग का समय बदलें")।
परिणाम: "40% की सीमा"
शोधकर्ताओं ने सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5 और Claude Opus) और विभिन्न "एजेंट फ्रेमवर्क्स" (AI को सोचने के तरीके प्रोग्राम करने के अलग-अलग तरीके) का परीक्षण किया।
चौंकाने वाला परिणाम: सबसे अच्छे AI मॉडल्स भी केवल 40% बार सफल हुए।
इसे एक मेडिकल परीक्षा की तरह समझें। यदि दुनिया के सबसे स्मार्ट डॉक्टर उस टेस्ट में केवल 40% सवाल सही करते हैं जो यह देखने के लिए बनाया गया है कि क्या वे मरीज का निदान (diagnose) बिना बताए कर सकते हैं, तो हमें पता है कि हमें अभी लंबा रास्ता तय करना है।
वे कहाँ विफल हुए?
- खोज (The Search): वे अक्सर सुरागों को मिस कर देते थे। उन्होंने गलत ईमेल देखे या कैलेंडर को अनदेखा कर दिया।
- निदान (The Diagnosis): भले ही उन्हें सुराग मिल गए हों, वे अक्सर गलत समस्या का अनुमान लगाते थे। वे सोच सकते थे कि मुद्दा "बहुत अधिक काम" था जबकि वास्तव में वह "एक गायब फ़ाइल" थी।
- समाधान (The Fix): कभी-कभी वे समस्या जानते थे लेकिन गलत समाधान चुन लेते थे (जैसे प्लंबर की जरूरत होने पर पुलिस को बुला लेना)।
मानव तुलना
शोधकर्ताओं ने मनुष्यों को भी यह टेस्ट देने के लिए कहा।
- कैच (The Catch): टेस्ट एक बार में पढ़ने के लिए बहुत लंबा था (यह 100,000 शब्दों का था!)।
- समाधान: उन्होंने मनुष्यों को एक "छोटा संस्करण" दिया जहाँ उन्होंने महत्वपूर्ण हिस्सों का सारांश दिया था।
- परिणाम: मनुष्य छोटे संस्करण में बहुत बेहतर प्रदर्शन करते थे (लगभग 70-80% सफलता)। इससे सिद्ध हुआ कि मुख्य कठिनाई तर्क (logic) में नहीं थी, बल्कि सूचना की लंबाई और जटिलता में थी। AI डेटा के विशाल ढेर में सब कुछ ट्रैक रखने में संघर्ष करता है।
निष्कर्ष: हम अभी भी "रिएक्टिव" हैं
पेपर निष्कर्ष निकालता है कि हालांकि AI निर्देशों का पालन करने में बेहतर हो रहा है, लेकिन यह अभी भी अपने आप समस्याओं का पूर्वानुमान (anticipating) लगाने में बहुत खराब है।
- अंतराल (The Gap): "जो कहा गया है उसे करने" और "यह समझने कि क्या करने की आवश्यकता है" के बीच एक बड़ा अंतर है।
- भविष्य: "बटलर" स्तर तक पहुँचने के लिए, AI को लंबे दस्तावेज़ों को पढ़ने, समय के साथ कड़ियों को जोड़ने और मानवीय संबंधों (जैसे यह जानना कि किसे ईमेल करना है और किसे अनदेखा करना है) को समझने में बहुत बेहतर होना होगा।
संक्षेप में: हमने बहुत स्मार्ट इंजन बनाए हैं, लेकिन उन्हें अभी भी एक इंसान की ज़रूरत है जो उन्हें स्टीयर करे और बताए कि कहाँ देखना है। वे अभी तक खुद कार चलाने के लिए तैयार नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।