The Compaction Cliff in Long-Running AI Agent Memory
यह शोध पत्र "कॉम्पैक्शन क्लिफ" (Compaction Cliff) की पहचान करता है, जो एक ऐसी घटना है जहाँ मानक संदर्भ संपीड़न (context compression) के कारण एआई एजेंट महत्वपूर्ण सुरक्षा नियमों को खो देते हैं, और "नॉलेज ट्राइएज" (Knowledge Triage) का प्रस्ताव करता है, जो सुरक्षा निष्ठा को बनाए रखने और कई डोमेन में डाउनस्ट्रीम कार्य प्रदर्शन में सुधार करने के लिए प्रकार-विशिष्ट ऑपरेटरों का उपयोग करने वाला एक ढांचा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे डिजिटल सहायक की कल्पना करें जो कभी नहीं भूलता। एक इंसान के विपरीत, जो एक घंटे के बाद बातचीत का ट्रैक खो सकता है, ये आर्टिफिशियल इंटेलिजेंस एजेंट दिनों, हफ्तों या महीनों तक लगातार चलने के लिए डिज़ाइन किए गए हैं, जो लगातार नए तथ्य सीख रहे हैं, पिछली घटनाओं को याद रख रहे हैं और नियमों की एक लंबी सूची का पालन कर रहे हैं। कार्य करने के लिए, वे इस सारी जानकारी को एक अस्थायी कार्यक्षेत्र (वर्कस्पेस) में रखते हैं, ठीक वैसे ही जैसे कोई व्यक्ति अपने डेस्क पर कागजों का ढेर रखता है। हालाँकि, इस कार्यक्षेत्र की एक सख्त आकार सीमा होती है। जैसे-जैसे बातचीत बढ़ती है और कागजों का ढेर बहुत मोटा होता जाता है, सिस्टम को नई जानकारी के लिए जगह बनाने के लिए कुछ चीजों को फेंकना पड़ता है। यहीं पर खतरा छिपा है। यदि सिस्टम केवल जगह बचाने के लिए सबसे पुरानी या कम स्पष्ट चीजों को फेंक देता है, तो यह अनजाने में एक महत्वपूर्ण सुरक्षा नियम को हटा सकता है, जैसे कि "इस विशिष्ट एलर्जी वाले रोगियों को यह दवा न दें।" परिणाम एक ऐसा एजेंट होता है जो कुशल तो है लेकिन खतरनाक रूप से विस्मरणीय है, जो संभावित रूप से हानिकारक सलाह दे सकता है क्योंकि इसने उसी निर्देश को खो दिया जो इसे सुरक्षित रखने के लिए बनाया गया था।
जर्मनी के पासौ विश्वविद्यालय के शोधकर्ताओं ने एक विशिष्ट विफलता पैटर्न की पहचान की है जिसे वे "कॉम्पेक्शन क्लिफ" (Compaction Cliff) कहते हैं। उन्होंने पाया कि जब ये लंबे समय तक चलने वाले एजेंट आकार की सीमा में फिट होने के लिए अपनी मेमोरी को सिकोड़ने की कोशिश करते हैं, तो वे सभी जानकारी के साथ ऐसा व्यवहार करते हैं जैसे कि वे समान हों। एक सुरक्षा नियम को मौसम के बारे में एक सामान्य अवलोकन की तरह संक्षिप्त और छोटा कर दिया जाता है। शोधकर्ताओं ने पाया कि यह दृष्टिकोण नाजुक है। अपने परीक्षणों में, एक लोकप्रिय एआई मॉडल का उपयोग करते हुए, सिस्टम संकुचन के एक दौर के बाद लगभग आधे सुरक्षा नियमों को बनाए रखने में सफल रहा। लेकिन जैसे-जैसे प्रक्रिया समय के साथ दोहराई गई, जीवित बचे नियमों की संख्या तेजी से गिर गई। संपीड़न के केवल पांच दौरों के बाद, मूल सुरक्षा नियमों में से केवल दस में से एक ही बचा रहा। एजेंट ने प्रभावी रूप से एक चट्टान चढ़ी और उससे नीचे गिर गया, उन सुरक्षा घेरों (गार्डरेल्स) को खो दिया जो उसे सुरक्षित रखते थे।
इसे हल करने के लिए, टीम ने एक नई विधि विकसित की जिसे वे "नॉलेज ट्राइएज" (Knowledge Triage) कहते हैं। यह नाम चिकित्सा पद्धति से आता है जहाँ मरीजों को उनकी तात्कालिकता के आधार पर छाँटा जाता है, यह तय किया जाता है कि किसे तत्काल देखभाल की आवश्यकता है और कौन प्रतीक्षा कर सकता है। इस डिजिटल संस्करण में, सिस्टम पहले एजेंट की मेमोरी में मौजूद हर जानकारी को पांच अलग-अलग श्रेणियों में से एक में वर्गीकृत करता है। कुछ आइटम सख्त सुरक्षा नियम हैं जिन्हें कभी भी बदला नहीं जाना चाहिए। अन्य कार्यों के लिए चरण-दर-चरण निर्देश हैं, जिन्हें तब तक फिर से लिखा जा सकता है जब तक कि चरण काम करते रहें। इसके बाद सामान्य विश्वास, नरम प्राथमिकताएं और पिछले घटनाओं के रिकॉर्ड हैं। महत्वपूर्ण अंतर्दृष्टि यह है कि जानकारी के इन विभिन्न प्रकारों को एक जैसा व्यवहार करने की आवश्यकता नहीं है। एक सुरक्षा नियम के लिए पूर्ण संरक्षण की आवश्यकता होती है, जबकि किसी पिछली घटना की स्मृति को संक्षेपित किया जा सकता है या यदि स्थान कम हो तो हटाया भी जा सकता है।
टीम ने इन विभिन्न श्रेणियों को संभालने के लिए तीन विशिष्ट उपकरण बनाए। पहला उपकरण, जो मेमोरी को सिकोड़ने के लिए डिज़ाइन किया गया है, सुरक्षा नियमों को लॉक करता है ताकि उन्हें बदला या हटाया न जा सके, जबकि कम महत्वपूर्ण जानकारी को संकुचित या प्लेसहोल्डर्स के साथ बदला जा सकता है। दूसरा उपकरण उन स्थितियों को संभालता है जब कोई विषय बहुत बड़ा होता है और संकुचन के बाद भी फिट नहीं बैठता। विषय को इस तरह से काटने के बजाय जिससे एक नियम उस स्थिति से अलग हो जाए जिससे वह लागू होता है, यह उपकरण प्रासंगिक सुरक्षा नियम की प्रत्येक नए खंड में प्रतिलिपि बनाता है, यह सुनिश्चित करता है कि नियम उस जानकारी के साथ चले जिसका वह शासन करता है। तीसरा उपकरण उस जानकारी को प्रबंधित करता है जो मुख्य कार्यक्षेत्र के बाहर संग्रहीत है। जब एजेंट को कुछ खोजने की आवश्यकता होती है, तो यह उपकरण सुनिश्चित करता है कि प्रश्न से संबंधित किसी भी सुरक्षा नियम को अन्य, कम महत्वपूर्ण विवरणों को देखने से पहले वापस लाया जाए।
टीम ने वास्तविक दुनिया के एजेंट कॉन्फ़िगरेशन के एक विशाल संग्रह पर इस दृष्टिकोण का परीक्षण किया, जिसमें सार्वजनिक सॉफ्टवेयर रिपॉजिटरी से लगभग 4,00,000 उदाहरण लिए गए। उन्होंने पाया कि उनकी नई विधि मौजूदा उत्पादन टूल्स की तुलना में सुरक्षा नियमों को बहुत बेहतर तरीके से संरक्षित करती है। जबकि सर्वोत्तम मौजूदा विधियाँ संपीड़न के एक दौर के बाद केवल आधे नियमों को बनाए रखती हैं, नई प्रणाली लगभग सभी को बनाए रखती है। महत्वपूर्ण रूप से, दूसरे दौर से आगे बढ़ते हुए नई प्रणाली का प्रदर्शन 96% रिकॉल पर स्थिर हो गया, जबकि पुराने तरीकों का प्रदर्शन पांचवें दौर तक गिरकर केवल 10% रह गया। यह अंतर विभिन्न प्रकार के एआई मॉडल और डेटा को व्यवस्थित करने के विभिन्न तरीकों में भी बना रहा।
इस सुधार का प्रभाव केवल टेक्स्ट को बरकरार रखने के बारे में नहीं था; इसने वास्तविक कार्यों में एजेंटों के व्यवहार को बदल दिया। एक चिकित्सा परिदृश्य में, नया सिस्टम सुरक्षा दिशानिर्देशों का 97% मामलों में सफलतापूर्वक पालन करता है, जो मानक सिस्टम से काफी बेहतर प्रदर्शन करता है जो अधिक बार विफल होता है। रिटेल और एयरलाइन कस्टमर सर्विस परीक्षणों में, नए तरीके का उपयोग करने वाले एजेंटों ने पुराने तरीकों की तुलना में अधिक कार्यों को सही ढंग से पूरा किया, भले ही पुराने तरीकों को काम करने के लिए अधिक कुल स्थान दिया गया हो। शोधकर्ताओं ने निष्कर्ष निकाला कि सुरक्षित, लंबे समय तक चलने वाले एआई की कुंजी केवल अधिक मेमोरी होना नहीं है, बल्कि यह जानना है कि उसे कैसे छाँटना है। जानकारी को उसके महत्व के आधार पर वर्गीकृत करके और सुरक्षा नियमों को गैर-परक्राम्य (non-negotiable) मानकर, उन्होंने एजेंट को "कॉम्पेक्शन क्लिफ" से गिरने से रोका, यह सुनिश्चित किया कि डिजिटल सहायक सक्षम और सुरक्षित बना रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।