Ghost in the Context: Measuring Policy-Carriage Failures in Decision-Time Assembly
यह शोध पत्र भाषा मॉडल एजेंटों में "पॉलिसी-कैरिएज विफलताओं" (policy-carriage failures) की पहचान और मात्रा निर्धारण करता है जो निर्णय के समय संदर्भ संयोजन (जैसे कि ट्रंकेशन और सारांश) के कारण होती हैं जो अनजाने में निर्देश-वहन करने वाली स्थिति (directive-bearing state) को हटा देती हैं, और 'सेफकॉन्टेक्स्ट' (SafeContext) नामक एक नियंत्रण परत का मूल्यांकन करता है जो महत्वपूर्ण स्थिति को पिन करने और अनुस्मारक डालने द्वारा इन जोखिमों को आंशिक रूप से कम करती है, हालांकि इसकी प्रभावशीलता सीमित और पॉलिसी-आधारित बनी हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Ghost in the Context" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
मुख्य विचार: मशीन में "भूत" (The "Ghost" in the Machine)
कल्पना कीजिए कि आप एक अदालत में जज हैं। आपके पास सबूतों का एक विशाल ढेर (बातचीत का इतिहास) है और आपको कुछ सख्त नियमों का पालन करना है (नीतियाँ)। लेकिन, आपको अंतिम निर्णय लेने से पहले उस ढेर के केवल ऊपर के 10 पन्ने पढ़ने की अनुमति है।
यह पेपर तर्क देता है कि AI एजेंटों के साथ भी ऐसी ही समस्या है। AI के जवाब देने से पहले, एक "बिचौलिया" सिस्टम (जिसे Decision-Time Context Assembly कहा जाता है) बातचीत के इतिहास को काटता है, उसका सारांश बनाता है, और उसे एक छोटे बॉक्स में फिट करके AI मॉडल को भेज देता है।
डरावनी बात क्या है? यदि बिचौलिया गलती से नियमों को हटा देता है, या उन्हें इस तरह से फिर से लिख देता है कि वे समझ में न आएं, तो AI नियमों को तोड़ सकता है—भले ही AI खुद बुद्धिमान हो और नियम पहले स्पष्ट रूप से बताए गए हों। पेपर इसे "पॉलिसी-कैरिएज फेलियर" (Policy-Carriage Failure) कहता है। नियम वहाँ मौजूद था, लेकिन वह निर्णय के क्षण तक "पहुंच" (carry) नहीं पाया।
तीन तरीके जिनसे नियम खो जाते हैं
लेखकों ने पाया कि "बिचौलिए" के चरण के दौरान नियम तीन विशिष्ट तरीकों से गायब या बिगड़ जाते हैं:
इविक्शन (Eviction - "भीड़ में खो जाना" वाली समस्या):
- उदाहरण: कल्पना कीजिए कि आप एक लंबी फोन कॉल की शुरुआत में अपने दोस्त से कहते हैं, "दरवाजा लॉक करना मत भूलना।" कॉल के अंत तक, आपका दोस्त उस निर्देश को भूल जाता है क्योंकि आपने बहुत सी अन्य बातें की थीं।
- क्या होता है: नियम याददाश्त के छोटे "बॉक्स" से बाहर धकेल दिया जाता है क्योंकि वहां पर्याप्त जगह नहीं थी। AI निर्णय लेने के समय उस नियम को देख ही नहीं पाता।
एलियासिंग (Aliasing - "गलत अनुवाद" वाली समस्या):
- उदाहरण: आप एक अनुवादक को बताते हैं, "लाल बेर मत खाना।" अनुवादक इसका सारांश बनाकर कहता है, "बेर के प्रति सावधान रहें।" "लाल" शब्द और "मत खाना" गायब हो गए। AI को एक चेतावनी तो मिलती है, लेकिन वह इतनी कमजोर है कि उसे बेर खाने से रोक नहीं पाती।
- क्या होता है: नियम जीवित रहता है, लेकिन इसे इतना ढीले ढंग से सारांशित या पुनर्गठित किया जाता है कि यह अब सख्ती से गलत काम करने से नहीं रोकता। नियम की "भावना" टूट जाती है।
बाइंडिंग इनस्टेबिलिटी (Binding Instability - "गलत लक्ष्य" वाली समस्या):
- उदाहरण: आप एक सुरक्षा गार्ड को बताते हैं, "व्यक्ति A को अंदर आने से रोकें।" बाद में, गार्ड एक सारांश देखता है जिसमें लिखा होता है, "व्यक्ति B को अंदर आने से रोकें।" नियम अभी भी वहीं है, लेकिन यह गलत व्यक्ति की ओर इशारा कर रहा है।
क्या होता है: नियम का टेक्स्ट तो बच जाता है, लेकिन यह गलत वस्तु, व्यक्ति या स्थिति से जुड़ जाता है।
प्रयोग: "बिचौलिए" का परीक्षण करना
शोधकर्ताओं ने इन समस्याओं का परीक्षण कई AI मॉडलों (जैसे Llama, Qwen, और Mistral) पर किया। उन्होंने ऐसे परिदृश्य बनाए जहाँ AI को सख्त नियमों का पालन करना था (जैसे "डेटा डिलीट न करें" या "बाहरी टूल्स का उपयोग न करें") जबकि उसे बहुत सारी अन्य जानकारी (टूल्स के आउटपुट, चैट लॉग, सारांश) से घेरा जा रहा था।
परिणाम:
- समस्या वास्तविक है: बिना किसी मदद के, AI अक्सर नियमों को तोड़ देता था क्योंकि "बिचौलिए" वाले सिस्टम ने निर्देशों को हटा दिया था या कमजोर कर दिया था।
- समाधान (SafeContext): शोधकर्ताओं ने SafeContext नामक एक सुरक्षा परत बनाई। इसे नियमों के लिए एक VIP पास की तरह समझें।
- यह नियमों को सूची के शीर्ष पर "पिन" करने के लिए मजबूर करता है ताकि उन्हें बाहर न निकाला जा सके।
- यह नियमों का कुशलतापूर्वक पुन: उपयोग करता है ताकि वे बहुत अधिक जगह न घेरें।
- यदि बातचीत बहुत भीड़भाड़ वाली हो जाती है, तो यह AI के जवाब देने से ठीक पहले नियमों का एक त्वरित रिमाइंडर (याद दिलाने वाला संदेश) डाल देता है।
क्या समाधान काम आया?
- हाँ, लेकिन सीमाओं के साथ। इस समाधान ने AI को नियमों का पालन करने में मदद की, खासकर जब बातचीत बहुत अधिक भरी हुई थी।
- यह कोई जादू नहीं है। इस समाधान के बावजूद, AI को पूर्ण स्कोर नहीं मिला। यदि "बिचौलिए" ने बहुत अधिक आक्रामक सारांश बनाने वाले सिस्टम का उपयोग किया, तो समाधान भी नियमों को पूरी तरह से बचाने में सक्षम नहीं था।
- बड़े मॉडल इसका समाधान नहीं हैं। बहुत अधिक स्मार्ट, बड़े AI का उपयोग करने से यह समस्या अपने आप ठीक नहीं हुई। समस्या यह थी कि कॉन्टेक्स्ट (संदर्भ) कैसे असेंबल किया जा रहा था, न कि यह कि AI कितना स्मार्ट था।
सुरक्षा की लागत
पेपर ने इस सुरक्षा की "कीमत" को भी देखा।
- टोकन लागत (Token Cost): नियमों को सुरक्षित रखने के लिए कभी-कभी AI को अधिक टेक्स्ट भेजना पड़ता था (जैसे एक रिमाइंडर नोट जोड़ना)।
- अच्छी खबर: उनका "स्मार्ट रियूज" (Smart Reuse) तरीका (कैशिंग) कुछ मामलों में पैसे बचाने में भी मददगार रहा। हर बार नियमों को फिर से लिखने के बजाय, उन्होंने बस पुराने संस्करण की ओर संकेत किया, जिससे जगह बची।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि सुरक्षा केवल AI मॉडल के बारे में नहीं है। यह उस "असेंबली लाइन" के बारे में भी है जो AI की याददाश्त तैयार करती है। यदि वह असेंबली लाइन नियमों को गिरा देती है, तो AI विफल हो जाएगा, चाहे वह कितना भी स्मार्ट क्यों न हो।
AI को सुरक्षित बनाने के लिए, हमें नियमों को विशेष, संरक्षित वस्तुओं के रूप में मानना होगा जिन्हें AI के मस्तिष्क तक की यात्रा में जीवित रहना चाहिए, न कि केवल साधारण टेक्स्ट के रूप में जिसे जगह बचाने के लिए सारांशित या हटाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।