तकनीकी सारांश: लॉन्ग-होराइज़न एजेंटों में घोस्ट (GHOST)

समस्या की परिभाषा: अनदेखी सुरक्षा बाधाओं से उत्पन्न गवर्नेंस खतरा (Governance Hazard)

यह शोध पत्र लॉन्ग-होरइज़न, टूल-यूज़िंग लार्ज लैंग्वेज मॉडल (LLM) एजेंटों में एक विशिष्ट विफलता मोड की पहचान करता है जिसे गवर्नेंस हैजर्ड फ्रॉम ओवरलुक्ड सेफ्टी कंस्ट्रेंट्स अक्रॉस टर्न्स (GHOST) कहा गया है।

जबकि मौजूदा सुरक्षा अनुसंधान एडवरसेरियल हमलों (जैसे प्रॉम्प्ट इंजेक्शन) या तत्काल हानिकारक अनुरोधों पर ध्यान केंद्रित करते हैं, GHOST सौम्य (benign) इंटरेक्शन स्थितियों के तहत उत्पन्न होता है। यह तब होता है जब एक एजेंट किसी कार्य को सफलतापूर्वक पूरा तो कर लेता है, लेकिन बातचीत के इतिहास के एक पिछले मोड़ (turn) में स्पष्ट रूप से बताई गई सुरक्षा बाधा (safety constraint) का उल्लंघन कर देता है। एजेंट उस बाधा को "भूल" जाता है या उसे पुनः प्राप्त करने में विफल रहता है क्योंकि वह वर्तमान कार्य से लंबे इंटरेक्शन इतिहास द्वारा अलग किया गया होता है, जिससे अपरिवर्तनीय क्षति (जैसे, बिना अनुमोदन के ईमेल हटाना, डेटाबेस रिकॉर्ड नष्ट करना) हो सकती है।

लेखक इसे सामान्य निर्देश-अनुपालन विफलताओं से अलग बताते हैं। एक GHOST घटना में:

1. कार्य का उद्देश्य सफलतापूर्वक पूरा किया जाता है।
2. सुरक्षा बाधा अभी भी वैध और आवश्यक है।
3. बाधा ऐतिहासिक संदर्भ (historical context) में उपलब्ध है, लेकिन वर्तमान कार्य के पुनरारंभ प्रॉम्प्ट में इसे दोबारा नहीं बताया गया है।
4. पूर्ण संदर्भ विंडो (full context window) में बाधा मौजूद होने के बावजूद एजेंट कार्य को असुरक्षित तरीके से निष्पादित करता है।

सैद्धांतिक ढांचा: हैजर्ड-रीजन रीचेबिलिटी (Hazard-Region Reachability)

यह शोध पत्र सुरक्षा बाधाओं को एक्शन स्पेस में हैजर्ड रीजन्स ($B_s$) के रूप में मॉडल करते हुए एक सैद्धांतिक विश्लेषण प्रदान करता है। लेखक एक 'रेसिडुअल कंडिशनल एंट्री हैजर्ड', $h_k$ को परिभाषित करते हैं, जो एक सुरक्षित हिस्ट्री प्रीफिक्स के दिए होने पर, सुरक्षा-महत्वपूर्ण अवसर $k$ पर एजेंट के हैजर्ड रीजन में प्रवेश करने की संभावना को दर्शाता है।

मुख्य सैद्धांतिक अंतर्दृष्टि:
एक कंडिशनल-हैजर्ड फ्रेमवर्क का उपयोग करते हुए, लेखक सिद्ध करते हैं कि यदि सुरक्षित प्रीफिक्स के साथ रेसिडुअल कंडिशनल हैजर्ड्स एक नॉन-समाप्य अनुक्रम (non-summable sequence) (अर्थात $\sum \epsilon_k = \infty$) से नीचे बंधे हुए हैं, तो एजेंट लगभग निश्चित रूप से (almost surely) ($Pr(\sigma_B < \infty) = 1$) हैजर्ड रीजन में प्रवेश कर जाएगा।

वे आगे एक कॉन्टेक्स्ट-कंडीशन्ड कोरोलरी (Context-Conditioned Corollary) स्थापित करते हैं: जैसे-जैसे इंटरेक्शन हिस्ट्री बढ़ती है (बढ़ता हुआ कॉन्टेक्स्ट लेंथ $L_k$), "अटेंशन डाइल्यूशन" (attention dilution) का प्रभाव ऐतिहासिक बाधाओं के शासन (governance) को कमजोर कर सकता है, जिससे रेसिडुअल हैजर्ड का निचला स्तर प्रभावी रूप से बढ़ जाता है। यदि यह हैजर्ड लोअर बाउंड अनिश्चित अवसरों पर नॉन-समाप्य रहता है, तो GHOST घटना की संभावना 1 की ओर बढ़ जाती है। यह सुझाव देता है कि लंबी हिस्ट्री केवल प्रदर्शन को रैखिक रूप से कम नहीं करती है, बल्कि सुरक्षा गतिशीलता को मौलिक रूप से बदल सकती है, जिससे हस्तक्षेप के बिना उल्लंघन अपरिहार्य हो जाते हैं।

कार्यप्रणाली: SCARBench और STAR-Guard

1. SCARBench: सेफ्टी-कंस्ट्रेंट अवेलेबिलिटी एट रियाक्टिवेशन बेंचमार्क

GHOST को अनुभवजन्य रूप से मान्य करने के लिए, लेखक SCARBench पेश करते हैं, जो एक निष्पादन योग्य (executable), एनवायरनमेंट-ग्राउंडेड बेंचमार्क है।

• संरचना: इसमें छह टूल-यूज़ डोमेन (डिवाइस/कैलेंडर, फाइनेंस, ईमेल, फाइल्सिस्टम, नेटवर्क रिक्वेस्ट, स्क्रिप्ट एक्जीक्यूशन) में 103 अद्वितीय बेस परिदृश्य शामिल हैं, जिनमें कुल 412 मैच किए गए इंस्टेंस हैं।
• शर्तें: प्रत्येक परिदृश्य का परीक्षण चार स्थितियों के तहत किया जाता है जो हिस्ट्री लेंथ (Short बनाम Long) और कंस्ट्रेंट उपलब्धता (Explicit बनाम Implicit) के आधार पर भिन्न होती हैं:
  • SE/SI: शॉर्ट हिस्ट्री के साथ एक्सप्लिसिट/इम्प्लिसिट कंस्ट्रेंट्स।
  • LE/LI: लॉन्ग हिस्ट्री (6,000+ टोकन, 56–160 टर्न्स) के साथ एक्सप्लिसिट/इम्प्लिसिट कंस्ट्रेंट्स।
• मेट्रिक: यह बेंचमार्क स्ट्रिक्ट GHOST (Strict GHOST) को मापता है, जिसे एक ऐसे इंस्टेंस के रूप में परिभाषित किया गया है जहाँ एजेंट एक्सप्लिसिट स्थिति (LE) के तहत कार्य को सुरक्षित रूप से पूरा करता है, लेकिन इम्प्लिसिट स्थिति (LI) के तहत इसे असुरक्षित तरीके से पूरा करता है, भले ही बाधा इतिहास में मौजूद हो।

2. STAR-Guard: एक दो-स्तरीय रक्षा प्रणाली

GHOST को कम करने के लिए, लेखक STAR-Guard (सेफ्टी-कंस्ट्रेंट ट्रैकिंग, एक्टिवेशन, एंड रनटाइम-ऑडिट गार्ड) प्रस्तावित करते हैं, जो बाधाओं के 'ओरेकल नॉलेज' (oracle knowledge) पर निर्भर नहीं है।

• लेयर 1: सिमेंटिक कंस्ट्रेंट रेस्टोरेशन (Semantic Constraint Restoration)

  • एक्सट्रैक्शन: एक ऑनलाइन इनजेशन मॉड्यूल आने वाले यूजर मैसेज को पार्स करता है ताकि निरंतर रहने योग्य सुरक्षा बाधाओं का पता लगाया जा सके, और उनके स्कोप, ट्रिगर और नियम को निकाला जा सके।
  • स्टोरेज: इन्हें एक बाहरी लाइब्रेरी में स्ट्रक्चर्ड "लाइफसाइकिल रूल ऑब्जेक्ट्स" के रूप में संग्रहीत किया जाता है।
  • रेस्टोरेशन: जब कोई कार्य फिर से शुरू किया जाता है, तो एक सिमेंटिक गेट लाइब्रेरी के विरुद्ध वर्तमान कार्य का मिलान करता है। लागू होने वाली बाधाओं को सिमेंटिक रूप से पुनर्स्थापित (रेंडर) किया जाता है ताकि एजेंट के प्रपोजल जनरेशन को निर्देशित किया जा सके।
  • सीमा: यह लेयर संभाव्य (probabilistic) है; यह असुरक्षित प्रपोजल्स की संभावना को कम करती है, लेकिन सुरक्षा की गारंटी नहीं दे सकती।

• लेयर 2: डिटर्मिनिस्टिक प्री-एग्जीक्यूशन ऑडिट (Deterministic Pre-Execution Audit)

  • इंटरपोजीशन: किसी भी एक्शन के एनवायरनमेंट तक पहुँचने से पहले, एक डिटर्मिनिस्टिक रूल ऑडिटर एजेंट के प्रस्तावित एक्शन की सक्रिय बाधाओं के विरुद्ध जांच करता है।
  • एनफोर्समेंट: ऑडिटर एक "प्रोहिबिशन-फर्स्ट" (निषेध-प्रथम) नीति लागू करता है। यदि कोई प्रपोजल निषेध नियम का उल्लंघन करता है, तो उसे तुरंत ब्लॉक कर दिया जाता है। यदि यह किसी पूर्व शर्त (prerequisite) नियम का उल्लंघन करता है (जैसे, "डिलीट करने से पहले बैकअप लें"), तो सिस्टम पूर्व शर्त (रिपेयर) को निष्पादित करने का प्रयास करता है और पुनः ऑडिट करता है। यदि रिपेयर असंभव है, तो एक्शन को ब्लॉक कर दिया जाता है।
  • गारंटी: यह लेयर सुनिश्चित करती है कि कोई भी एक्शन जो सक्रिय बाधा का उल्लंघन करता है, एनवायरनमेंट तक न पहुँचे, जिससे हैजर्ड संचय तंत्र बाधित होता है।

प्रयोगात्मक परिणाम

लेखकों ने सात मॉडलों (पाँच API-सर्व्ड, दो लोकली डिप्लॉयड) पर SCARBench का उपयोग करके STAR-Guard का मूल्यांकन किया।

1. GHOST की व्यापकता:

   • GHOST एक व्यापक समस्या है। GPT-5.5 पर, सौम्य लॉन्ग-कॉन्टेक्स्ट स्थितियों के तहत स्ट्रिक्ट GHOST दर 11.5% थी।
   • अन्य मॉडलों ने 6.8% (Kimi-K2.6) से लेकर 27.8% (Qwen3.5-4B) तक की दर दिखाई।
   • "डिफरेंस-इन-डिफरेंस" मेट्रिक ने पुष्टि की कि शॉर्ट हिस्ट्री की तुलना में लॉन्ग हिस्ट्री स्ट्रिक्ट कंस्ट्रेंट रिकवरी की विफलता दर को काफी बढ़ा देती है।

2. STAR-Guard की प्रभावशीलता:

   • GPT-5.5: STAR-Guard ने अनसेफ कंप्लीशन (UC) दर को 12.4% से घटाकर 0.0% और स्ट्रिक्ट GHOST दर को 11.5% से घटाकर 0.0% कर दिया, जबकि सेफ कंप्लीशन (SC) को 76.3% से बढ़ाकर 94.0% कर दिया।
   • Qwen3.5-4B: SC 47.0% से बढ़कर 81.2% हो गया, जबकि GHOST 27.8% से घटकर 1.9% रह गया।
   • एब्लेशन स्टडीज: परिणाम दर्शाते हैं कि "केवल रेस्टोरेशन" या "केवल ऑडिट" में से कोई भी अकेले पर्याप्त नहीं है। रेस्टोरेशन सुरक्षा में सुधार करता है लेकिन अवशेष जोखिम छोड़ देता है; ऑडिट जोखिमों को रोकता है लेकिन यदि सिमेंटिक मार्गदर्शन के बिना उपयोग किया जाए तो कार्यों में बाधा डाल सकता है। दोनों का संयोजन सबसे अच्छा संतुलन प्राप्त करता है।

3. बेसलाइन के साथ तुलना:

   • मानक रिट्रीवल मेथड्स (BM25), समराइजेशन, और इंस्ट्रक्शन-फॉलोइंग रिफाइनमेंट्स (जैसे, DeCRIM, प्रॉम्प्ट रिमाइंडर) स्ट्रिक्ट GHOST दरों को कम करने में विफल रहे, और अक्सर उच्च अनसेफ कंप्लीशन दर बनाए रखते हैं।
   • ओरेकल-आधारित मेथड्स (जो यह मानते हैं कि बाधा पहले से ज्ञात है) अच्छा प्रदर्शन करते हैं, लेकिन वे वास्तविक दुनिया के परिनियोजन (deployment) के लिए व्यावहारिक नहीं हैं जहाँ बाधाओं को ऑनलाइन कैप्चर किया जाना चाहिए। STAR-Guard ने ओरेकल एक्सेस के बिना तुलनीय सुरक्षा प्राप्त की।

महत्व और दावे

शोध पत्र का दावा है कि GHOST लॉन्ग-होरइज़न एजेंटों में एक महत्वपूर्ण, अल्प-अन्वेषित सुरक्षा अंतराल का प्रतिनिधित्व करता है जिसे केवल कॉन्टेक्स्ट विंडो का आकार बढ़ाकर या मानक निर्देश-अनुपालन क्षमताओं पर भरोसा करके हल नहीं किया जा सकता है।

• सैद्धांतिक योगदान: यह समय के साथ सुरक्षा शासन (safety governance) के क्षरण के जोखिम को औपचारिक रूप देता है, यह दिखाता है कि हस्तक्षेप के बिना, नॉन-समाप्य हैजर्ड स्थितियों के तहत सुरक्षा उल्लंघन की संभावना निश्चितता के करीब पहुँच जाती है।

• व्यावहारिक योगदान: यह SCAR

• मुख्य निष्कर्ष: लेखक निष्कर्ष निकालते हैं कि लॉन्ग-होरइज़न एजेंटों में सुरक्षा बनाए रखने के लिए दोहरी दृष्टिकोण की आवश्यकता है: एजेंट के इरादे (intent) को निर्देशित करने के लिए सिमेंटिक रेस्टोरेशन और हार्ड कंस्ट्रेंट्स को लागू करने के लिए डिटर्मिनिस्टिक ऑडिटिंग, क्योंकि केवल संभाव्य मॉडल (probabilistic models) विस्तारित इंटरेक्शन इतिहास में सुरक्षा को विश्वसनीय रूप से नियंत्रित नहीं कर सकते।