Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them
यह शोध पत्र InflateBench को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जबकि LLM एजेंटों में कॉन्टेक्स्ट संकुचन (context compaction) शायद ही कभी निर्देश हानि (instruction loss) का कारण बनता है, यह अक्सर उपयोगकर्ता की प्राथमिकताओं को सख्त आवश्यकताओं में गलत तरीके से विस्तृत करके "कन्स्ट्रेंट इन्फ्लेशन" (constraint inflation) की ओर ले जाता है, जो एक ऐसी समस्या है जिसे निर्देश हानि के लिए मौजूदा समाधान अक्सर और अधिक बढ़ा देते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक डिजिटल सहायक की कल्पना करें जो एक ही जटिल प्रोजेक्ट पर घंटों काम कर सकता है, फ़ाइलें पढ़ सकता है, टूल्स चला सकता है और एक मानव उपयोगकर्ता के साथ बातचीत कर सकता है। जैसे-जैसे यह बातचीत बढ़ती है, यह अंततः कंप्यूटर की मेमोरी में एक साथ रखने के लिए बहुत लंबी हो जाती है। काम जारी रखने के लिए, सिस्टम को इतिहास को संकुचित (compress) करना पड़ता है, जिसमें चैट के शुरुआती हिस्सों को एक संक्षिप्त सारांश से बदल दिया जाता है जो मुख्य बिंदुओं को पकड़ लेता है। यह आर्टिफिशियल इंटेलिजेंस में एक मानक तकनीक है, बिल्कुल वैसे ही जैसे एक इंसान लंबी बैठक को याद रखने के लिए नोट्स लेता है। वर्षों से, शोधकर्ता इस बात से चिंतित रहे हैं कि ये सारांश महत्वपूर्ण विवरणों को भूल सकते हैं, जिससे सहायक उपयोगकर्ता के विशिष्ट नियमों या सुरक्षा निर्देशों का ट्रैक खो सकता है। प्रचलित डर यह रहा है कि मशीन बस काम बिगाड़ देगी।
हालाँकि, एक नया अध्ययन बताता है कि समस्या यह नहीं है कि मशीन भूल जाती है, बल्कि यह है कि वह बहुत अधिक याद रखती है। वास्तव में, यह अक्सर चीजों को बहुत व्यापक या बहुत सख्त तरीके से याद रखती है। शोधकर्ता इसे "कन्स्ट्रेंट इन्फ्लेशन" (constraint inflation) कहते हैं। यह तब होता है जब एक सारांश एक अस्थायी, एक-बार के अनुरोध को एक स्थायी नियम में बदल देता है। उदाहरण के लिए, यदि कोई उपयोगकर्ता कहता है, "इंटरनेट डाउन होने के कारण इस विशिष्ट फ़ाइल के लिए टेस्ट छोड़ दें," तो एक अच्छा सारांश यह नोट करेगा कि परीक्षण उस एक फ़ाइल के लिए छोड़ दिए गए थे। हालाँकि, एक त्रुटिपूर्ण सारांश, निर्देश को इस रूप में दर्ज करेगा कि "जब इंटरनेट डाउन हो तो हमेशा टेस्ट छोड़ दें।" नियम अभी भी मौजूद है, लेकिन इसका अर्थ बदल गया है—यह एक अस्थायी समाधान से बदलकर एक स्थायी नीति बन गया है। यह सूक्ष्म बदलाव बाद में सहायक से गलतियाँ करवा सकता है, क्योंकि वह एक अस्थायी समाधान को भविष्य के हर कार्य पर लागू करने लगता है।
इसकी आवृत्ति को मापने के लिए, शोधकर्ताओं ने 'इन्फ्लेटबेंच' (InflateBench) नामक एक परीक्षण वातावरण बनाया। उन्होंने कोडिंग, डेटा विश्लेषण और ऑफिस वर्क जैसे पांच विभिन्न क्षेत्रों में 240 यथार्थवादी कार्य सत्र बनाए। प्रत्येक सत्र में, उन्होंने ज्ञात दायरे (scope) वाले छह विशिष्ट निर्देश डाले, जैसे कि एक बार का कार्य या एक अस्थायी प्राथमिकता। फिर उन्होंने बातचीत का सारांश निकालने के सात अलग-अलग तरीकों को दो अलग-अलग प्रकार के लैंग्वेज मॉडल्स का उपयोग करके चलाया। लक्ष्य यह देखना था कि क्या सारांश निर्देशों को बरकरार रखते हैं, उन्हें पूरी तरह से खो देते हैं, या गलती से उन्हें विस्तारित कर देते हैं। उन्होंने यह भी परीक्षण किया कि क्या इन विस्तारित नियमों ने वास्तव में डिजिटल सहायक के अगले व्यवहार को बदल दिया।
परिणाम आश्चर्यजनक थे। सारांशों ने निर्देशों को लगभग कभी नहीं खोया; वास्तव में, उन्होंने उनमें से 99 प्रतिशत से अधिक को बनाए रखा। लेकिन जबकि वे शायद ही कभी भूलते थे, वे अक्सर अतिरंजित (over-exaggerate) करते थे। जब सिस्टम ने फ्री-फॉर्म सारांश का उपयोग किया, तो इसने लगभग 12 से 14 प्रतिशत पात्र मदों (eligible items) को बढ़ा दिया। जब इसने नियमों और प्राथमिकताओं के लिए विशिष्ट अनुभागों वाला एक स्ट्रक्चर्ड टेम्पलेट उपयोग किया, तो वह संख्या बढ़कर लगभग 20 प्रतिशत हो गई। सबसे आम त्रुटि एक प्राथमिकता को आवश्यकता में बदलना, या एक बार के कार्य को स्थायी नियम के रूप में मानना था। उदाहरण के लिए, वर्तमान कार्य के लिए केवल एक विशिष्ट टूल का उपयोग करने के अनुरोध को अक्सर इस नियम के रूप में फिर से लिखा गया कि उस टूल का हमेशा उपयोग किया जाना चाहिए।
अध्ययन ने दो लोकप्रिय सुधारों का भी परीक्षण किया जो निर्देशों के नुकसान को रोकने के लिए डिज़ाइन किए गए थे। एक विधि में नियमों को एक अलग सूची में निकालना शामिल था, और दूसरी विधि में उन्हें "पिन" करना शामिल था ताकि वे हर सारांश में दिखाई दें। शोधकर्ताओं ने पाया कि ये सुधार काम नहीं आए क्योंकि निर्देश खो नहीं रहे थे। इसके बजाय, इन तरीकों ने इन्फ्लेशन की समस्या को और भी बदतर बना दिया। "पिन किया गया" तरीका, विशेष रूप से, कुछ मामलों में इन्फ्लेशन को 50 प्रतिशत से अधिक तक पहुंचा देता था। नियमों को शब्दशः दोहराने के लिए मजबूर करके, सारांशों ने उस संदर्भ को खो दिया जो यह दर्शाता था कि वे नियम अस्थायी थे। सिस्टम अब यह अंतर नहीं कर सका कि कौन सा स्थायी नियम है और कौन सा एक-बार का अनुरोध।
अंत में, शोधकर्ताओं ने जांच की कि क्या इन बढ़े हुए नियमों ने डिजिटल सहायक के व्यवहार को वास्तव में बदल दिया। उन्होंने पाया कि वे ऐसा ही करते हैं। जब सारांश में एक बढ़ा हुआ (inflated) नियम होता था, तो सहायक द्वारा उन कार्यों पर उस नियम को लागू करने की संभावना काफी बढ़ जाती थी जहाँ वह लागू नहीं होता था। हालांकि सहायक हर मामले में बढ़े हुए नियमों का पालन नहीं करते थे, लेकिन त्रुटि की दर इतनी अधिक थी कि यह एक गंभीर चिंता का विषय है। अध्ययन निष्कर्ष निकालता है कि लंबी बातचीत को संभालने के वर्तमान तरीके को बदलने की आवश्यकता है। नियमों को रखना ही पर्याप्त नहीं है; सिस्टम को यह भी ट्रैक करना चाहिए कि वे नियम कितने समय तक रहने चाहिए। इसके बिना, डिजिटल सहायक एक कठोर कार्यकर्ता बनने का जोखिम उठाता है जो पुराने, अस्थायी निर्देशों को शाश्वत कानूनों के रूप में मानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।