Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents
यह शोध पत्र चेकपॉइंट्स और नियंत्रित हस्तक्षेपों का उपयोग करते हुए एक नैदानिक पद्धति प्रस्तुत करता है ताकि लॉन्ग-होराइजन सुरक्षा LLM एजेंटों में अपस्ट्रीम बाधाओं का सटीक पता लगाया जा सके, जो यह प्रकट करता है कि विफलता के मोड और मार्गदर्शन रणनीतियों की प्रभावकारिता मॉडल की पीढ़ियों के बीच महत्वपूर्ण रूप से बदल सकती है, जिससे समग्र सफलता मेट्रिक्स के बजाय सूक्ष्म विफलता विश्लेषण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, सॉफ्टवेयर एजेंटों का एक नया वर्ग उभरा है, जो डिजिटल वातावरण के साथ ठीक वैसे ही बातचीत करने में सक्षम है जैसे कि एक इंसान करता है, और जटिल, बहु-चरणीय कार्यों को पूरा कर सकता है। ये सिस्टम, जो लार्ज लैंग्वेज मॉडल्स पर आधारित हैं, उन्हें नेटवर्क खोजने, छिपी हुई जानकारी ढूँढने और सुरक्षा परीक्षण निष्पादित करने के निर्देश दिए जा सकते हैं। हालाँकि, जब इन एजेंटों को ऐसे समस्याओं को हल करने के लिए कहा जाता है जो एक लंबी अवधि तक चलती हैं और जिनमें कई परस्पर निर्भर चरण शामिल होते हैं, तो केवल यह पूछना कि "क्या वे सफल रहे?" अक्सर एक अधूरी कहानी बताता है। एक लंबी यात्रा के बिल्कुल अंत में हुई विफलता का मतलब यह नहीं हो सकता कि एजेंट के पास काम पूरा करने का कौशल नहीं था; इसका मतलब यह हो सकता है कि एजेंट शुरुआती बिंदु खोजने से पहले ही रास्ता भटक गया था। इन डिजिटल खोजकर्ताओं के भटकने के स्थान और कारण को समझना न केवल उनके प्रदर्शन को बेहतर बनाने के लिए महत्वपूर्ण है, बल्कि यह जानने के लिए भी है कि वे वास्तव में क्या करने में सक्षम हैं।
कैलिफोर्निया विश्वविद्यालय, डेविस और रोचेस्टर इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने इन विफलताओं को देखने का एक नया तरीका विकसित किया है। केवल यह गिनने के बजाय कि एक एजेंट कितनी बार शुरू से अंत तक कार्य पूरा करता है, उन्होंने एक डायग्नोस्टिक सिस्टम बनाया है जो रास्ते में चेकपॉइंट्स (चेकपोस्ट) स्थापित करता है। एक जंगल के माध्यम से एक लंबे, घुमावदार रास्ते की कल्पना करें जहाँ लक्ष्य एक विशिष्ट दुर्लभ फूल को खोजना और फिर उसे वापस लाना है। यदि कोई यात्री पहले मील के बाद कभी आगे नहीं बढ़ पाता, तो उसे फूल खोजने का अवसर ही नहीं मिलता, और उसके वापस लाने में विफल होने की कहानी हमें फूल को पहचानने या उसे ले जाने की उसकी क्षमता के बारे में कुछ भी नहीं बताती। शोधकर्ता सुरक्षा एजेंटों के लिए इसी तर्क को लागू करते हैं और उस सटीक क्षण को चिह्नित करते हैं जब कोई कार्य संभव हो जाता है—जब एजेंट ने आवश्यक जानकारी या स्थिति को खोज लिया हो जिससे आगे बढ़ा जा सके। विफलताओं को इस क्षण से पहले होने वाली विफलताओं से अलग करके, वे उस एजेंट के बीच अंतर कर सकते हैं जो केवल रास्ता भटक गया था और उस एजेंट के बीच जो सही रास्ता मिलने के बाद अपना मार्ग भूल गया था।
टीम ने चार अलग-अलग प्रकार की सुरक्षा चुनौतियों का उपयोग करके इस दृष्टिकोण का परीक्षण किया, जिनमें से प्रत्येक को एक विशिष्ट दीर्घकालिक कौशल की जांच के लिए डिज़ाइन किया गया था। मुख्य परीक्षणों में से एक, जिसे 'कंट्रोल्ड स्टेट रियूज' (Controlled State Reuse) कहा जाता है, के लिए आवश्यक था कि एक एजेंट डिजिटल जानकारी का एक विशिष्ट टुकड़ा खोजे, कई असंबंधित क्रियाएं करे, और फिर उस मूल जानकारी का उपयोग अंतिम लक्ष्य को पूरा करने के लिए करे। जब उन्होंने पहली बार इन परीक्षणों को जेमिनी 2.5 फ्लैश (Gemini 2.5 Flash) नामक मॉडल के साथ चलाया, तो परिणाम निराशाजनक दिखे: एजेंट अधिकांश समय कार्य पूरा करने में विफल रहा। हालाँकि, जब शोधकर्ताओं ने चेकपॉइंट्स को देखा, तो उन्हें वास्तविक समस्या का पता चला। विफल प्रयासों के विशाल बहुमत में, एजेंट उस प्रारंभिक जानकारी को खोजने में ही विफल रहा जिसे उसे याद रखना था। वह दौड़ जीतने में नहीं, बल्कि शुरुआती रेखा तक पहुँचने में विफल हो रहा था।
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक नियंत्रित हस्तक्षेप (intervention) पेश किया। उन्होंने एक परिदृश्य बनाया जहाँ, कार्य के एक विशिष्ट बिंदु पर, एजेंट को एक छोटा, लक्षित संकेत मिला जिसने विभिन्न प्रकार की डिजिटल सेवाओं के बीच अंतर करने के तरीके को स्पष्ट किया। उन्होंने इस "बचाव" संदेश की तुलना एक "प्लेसबो" संदेश से की जो दिखने में समान था लेकिन जिसमें कोई उपयोगी जानकारी नहीं थी। परिणाम चौंकाने वाले थे। जब एजेंट को सहायक संकेत मिला, तो प्रारंभिक जानकारी खोजने की उसकी क्षमता लगभग दो-तिहाई प्रयासों से बढ़कर लगभग सभी में पहुँच गई। एक बार जब एजेंट ने जानकारी खोज ली, तो वह कार्य पूरा करने में लगभग हमेशा सफल रहा। इसने पुष्टि की कि एजेंट का पिछला संघर्ष स्मृति या तर्क की कमी के कारण नहीं था, बल्कि केवल इसलिए था क्योंकि वह शुरुआती सुराग खोजने में भ्रमित था।
कहानी ने एक आश्चर्यजनक मोड़ लिया जब शोधकर्ताओं ने ठीक उसी प्रयोग को एक नए, अधिक उन्नत मॉडल, जेमिनी 3.7 फ्लैश (Gemini 3.7 Flash) के साथ दोहराया। उन्होंने नए मॉडल के व्यवहार के आधार पर कुछ भी बदले बिना, उन्हीं कार्यों, उन्हीं चेकपॉइंट्स और उसी सहायक संकेत का उपयोग किया। इस बार, परिणाम विपरीत था। सहायक संकेत ने वास्तव में नए मॉडल को प्रारंभिक जानकारी खोजने में और भी खराब प्रदर्शन करने पर मजबूर कर दिया। इसके अलावा, जब इस नए मॉडल ने जानकारी खोजने में सफलता प्राप्त की, तो वह उसके बाद कार्य पूरा करने में बार-बार विफल रहा। बाधा (bottleneck) स्थानांतरित हो गई थी। पुराने मॉडल के लिए, समस्या शुरुआती बिंदु खोजने की थी; नए मॉडल के लिए, समस्या वह थी जो जानकारी मिलने के बाद हुई।
यह उलटफेर उन लोगों के लिए एक महत्वपूर्ण सबक देता है जो इन बुद्धिमान प्रणालियों का निर्माण या मूल्यांकन कर रहे हैं। विफलता का स्रोत स्थिर नहीं है; यह तकनीक के विकसित होने के साथ बदलता है। एक डायग्नोस्टिक टूल जो मॉडलों की एक पीढ़ी के लिए पूरी तरह से काम करता है, वह अगली पीढ़ी के लिए भ्रामक हो सकता है। शोधकर्ताओं ने पाया कि केवल अंतिम सफलता दर पर भरोसा करने से ये सूक्ष्म अंतर पूरी तरह से छिप जाते। चेकपॉइंट विश्लेषण के बिना, कोई यह मान सकता था कि नया मॉडल सुराग खोजने में बेहतर है लेकिन उन्हें याद रखने में खराब है, या इसके विपरीत। इसके बजाय, विस्तृत विवरण ने प्रकट किया कि कठिनाई की प्रकृति मौलिक रूप से बदल गई थी।
अध्ययन ने अन्य प्रकार के लॉन्ग-होरिज़न (दीर्घकालिक) कार्यों का भी परीक्षण किया, जैसे कि विफल रणनीति से उबरना या अनिश्चित परिणाम के समय निर्णय लेना। कुछ मामलों में, एजेंट कार्य में इतने अच्छे थे कि वे कभी विफल नहीं हुए, जिससे यह बताना असंभव हो गया कि क्या परीक्षण वास्तव में चुनौतीपूर्ण था। कुछ अन्य मामलों में, एजेंट लगातार उस विशिष्ट पथ से बचते रहे जिसे परीक्षण द्वारा मापने का प्रयास किया जा रहा था, जिसका अर्थ था कि उनके परिणाम उन्हें उस कौशल के बारे में कुछ भी नहीं बता पाए जिसे वे टेस्ट करना चाह रहे थे। ये निष्कर्ष बताते हैं कि लंबे, जटिल कार्यों के लिए, मंजिल जितनी ही यात्रा भी मायने रखती है।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस एजेंटों को समझने के लिए एक स्पष्ट मानचित्र प्रदान करता है। यह दिखाता है कि सफलता एक एकल संख्या नहीं है, बल्कि चरणों का एक संग्रह है, जिसका प्रत्येक चरण अपनी संभावित विफलता होती है। यह पहचानकर कि एक एजेंट कहाँ रुकता है और क्यों, शोधकर्ता अनुमान लगाने के बजाय सही समस्याओं को ठीक करना शुरू कर सकते हैं। अध्ययन यह प्रदर्शित करता है कि जो स्मृति या योजना की विफलता लग सकती है, वह वास्तव में खोज (discovery) की विफलता हो सकती है, और एक संस्करण के लिए समाधान दूसरे संस्करण के लिए गलत उपकरण हो सकते हैं। जैसे-जैसे ये सिस्टम अधिक सक्षम होते जा रहे हैं, उनकी विशिष्ट विफलताओं का निदान करने की क्षमता उन्हें बनाने से भी उतनी ही महत्वपूर्ण होती जा रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।