A Framework for Formalizing LLM Agent Security

यहाँ विन्सेंट सिउ और अन्य लेखकों द्वारा लिखित शोध पत्र "A Framework for Formalizing LLM Agent Security" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट गतिशील, वास्तविक दुनिया के वातावरण में कार्य करते हैं जहाँ सुरक्षा अंतर्निहित रूप से प्रासंगिक (inherently contextual) होती है। एक ही क्रिया (जैसे, फ़ाइल हटाना, डेटाबेस तक पहुँचना) एक वैध ऑपरेशन या सुरक्षा उल्लंघन हो सकती है, जो निम्नलिखित पर निर्भर करती है:

• किसने निर्देश जारी किया (स्रोत/source)।
• क्या उद्देश्य पूरा किया जा रहा है (कार्य/task)।
• क्या वह क्रिया उस उद्देश्य की पूर्ति करती है।
• क्या सूचना प्रवाह (information flows) अनुमत हैं (डेटा अलगाव/data isolation)।

वर्तमान सीमाएँ:
सुरक्षा हमलों (जैसे, प्रॉम्प्ट इंजेक्शन, जेलब्रेक) की मौजूदा परिभाषाएँ अक्सर निष्पादन संदर्भ (execution context) पर विचार किए बिना सतही पैटर्न या सामग्री विश्लेषण पर निर्भर करती हैं। यह एक मौलिक उपयोगिता-सुरक्षा व्यापार-संतुलन (utility-security trade-off) की ओर ले जाता है:

• अति-रोकथाम (Over-blocking): वे रक्षा प्रणालियाँ जो सभी बाहरी प्रॉम्प्ट या विशिष्ट कीवर्ड (जैसे, "delete") को ब्लॉक करती हैं, वैध कार्यों को रोक देती हैं, जिससे उपयोगिता कम हो जाती है।
• अल्प-रोकथाम (Under-blocking): वे रक्षा प्रणालियाँ जो निर्देशों का अंधाधुंध पालन करती हैं, एजेंटों को अनधिकृत स्रोतों द्वारा दुर्भावनापूर्ण लक्ष्यों की ओर मोड़ने के प्रति असुरक्षित बनाती हैं।

यह शोध पत्र तर्क देता है कि वर्तमान रक्षा प्रणालियाँ विफल रहती हैं क्योंकि उनमें एक दुर्भावनापूर्ण कमांड और एक वैध निर्देश के बीच अंतर करने के लिए औपचारिक तंत्र की कमी है जो दिखने में समान हो सकता है, क्योंकि वे प्राधिकरण संदर्भ (authorization context) की अनदेखी करती हैं।

2. कार्यप्रणाली: एक प्रासंगिक सुरक्षा ढांचा (Methodology: A Contextual Security Framework)

लेखक हमलों और सुरक्षा प्रणालियों को व्यवस्थित करने के लिए निष्पादन संदर्भ ($C_t$) और ओरेकल फंक्शन्स (Oracle Functions) पर केंद्रित एक औपचारिक ढांचे का प्रस्ताव करते हैं।

A. निष्पादन संदर्भ ($C_t$)

समय चरण $t$ पर संदर्भ को एक टुपल (tuple) के रूप में परिभाषित किया गया है जो प्राधिकरण निर्णय के लिए प्रासंगिक सभी कारकों को कैप्चर करता है:
$$C_t = (p, Tr_{t-1}, M_t, E_t, S_{auth,t}, G)$$

• $p$: उपयोगकर्ता प्रॉम्प्ट।
• $Tr_{t-1}$: पिछले कार्यों और अवलोकनों का प्रक्षेपवक्र (trajectory)।
• $M_t$: एजेंट मेमोरी।
• $E_t$: पर्यावरण की स्थिति (environment state)।
• $S_{auth,t}$: प्रमाणित स्रोतों का सेट।
• $G$: स्रोत अनुमति ग्राफ (कौन क्या एक्सेस कर सकता है, इसे परिभाषित करता है)।

B. ओरेकल फंक्शन्स (Oracle Functions)

सत्यापन के लिए, ढांचा आदर्श "ओरेकल फंक्शन्स" पेश करता है जो सत्यापन के लिए आवश्यक सैद्धांतिक जानकारी को परिभाषित करते हैं (भले ही वर्तमान में पूर्ण कार्यान्वयन कठिन हो):

1. निर्देश एट्रिब्यूशन ($I$): यह पहचानता है कि किस विशिष्ट इनपुट के कारण एक विशिष्ट क्रिया हुई।
2. स्रोत एट्रिब्यूशन ($L$): प्रत्येक इनपुट (जैसे, उपयोगकर्ता, वेब पेज, टूल) की उत्पत्ति (provenance) को ट्रैक करता है।
3. उद्देश्य मूल्यांकन ($H_p, H_{Tr}, H_a$):
   • $H_p$: प्रॉम्प्ट से कार्य के उद्देश्य को निकालता है।
   • $H_{Tr}$: निर्णय लेता है कि क्या प्रक्षेपवक्र (trajectory) उद्देश्य के अनुरूप है।
   • $H_a$: निर्णय लेता है कि क्या एक विशिष्ट क्रिया उद्देश्य के अनुरूप है।

C. चार सुरक्षा गुण (Four Security Properties)

ढांचा संदर्भ से प्राप्त चार गुणों के एक साथ संतुष्ट होने के रूप में सुरक्षा को परिभाषित करता है:

1. कार्य संरेखण (Task Alignment): एजेंट उपयोगकर्ता (और सिस्टम बाधाओं) द्वारा अधिकृत उद्देश्यों का पालन करता है। प्रक्षेपवक्र (trajectory) इच्छित लक्ष्य से भटकना नहीं चाहिए।
2. क्रिया संरेखण (Action Alignment): प्रत्येक व्यक्तिगत क्रिया को अधिकृत कार्य उद्देश्य की सेवा करनी चाहिए। यह क्षमता के दुरुपयोग (जैसे, मेडिकल डेटाबेस का उपयोग रेसिपी सुझाने के लिए करना) को रोकता है।
3. स्रोत प्राधिकरण (Source Authorization): निर्देश प्रमाणित स्रोतों से उत्पन्न होने चाहिए। यदि कोई क्रिया एक अनधिकृत स्रोत (जैसे, एक समझौता किया गया वेब पेज) द्वारा ट्रिगर की जाती है और वह उपयोगकर्ता के लक्ष्य की सेवा नहीं करती है, तो यह एक उल्लंघन है।
4. डेटा अलगाव (Data Isolation): सूचना प्रवाह को अनुमति ग्राफ $G$ में परिभाषित विशेषाधिकार सीमाओं का सम्मान करना चाहिए। एक उपयोगकर्ता/सेशन का डेटा बिना अनुमति के दूसरे तक नहीं पहुँचना चाहिए।

औपचारिक परिभाषा: एक क्रिया $a_t$ सुरक्षित है यदि और केवल यदि संदर्भ $C_t$ के भीतर चारों गुण एक साथ सत्य हों।

3. मुख्य योगदान (Key Contributions)

1. प्रासंगिक औपचारिकीकरण (Contextual Formalization): यह पेपर स्टेटिक कंटेंट फ़िल्टरिंग से आगे बढ़कर निष्पादन संदर्भ के आधार पर LLM एजेंट सुरक्षा की पहली औपचारिक परिभाषा प्रदान करता है।
2. हमलों का एकीकृत वर्गीकरण (Unified Taxonomy of Attacks): लेखक मौजूदा हमलों को चार सुरक्षा गुणों के विशिष्ट उल्लंघनों के रूप में पुनर्गठित करते हैं। यह प्रकट करता है कि सतही तौर पर भिन्न हमले एक ही संरचनात्मक मूल कारण साझा करते हैं।
   • इनडायरेक्ट प्रॉम्प्ट इंजेक्शन (Indirect Prompt Injection): स्रोत प्राधिकरण (अनधिकृत स्रोत) और क्रिया संरेखण (क्रिया उपयोगकर्ता के लक्ष्य की सेवा नहीं करती) दोनों का उल्लंघन करता है।
   • डायरेक्ट प्रॉम्प्ट इंजेक्शन (Direct Prompt Injection): कार्य संरेखण का उल्लंघन करता है (अनुरोधित उद्देश्य अनुमत सुरक्षा स्थान $O$ के बाहर है)।
   • जेलब्रेकिंग (Jailbreaking): कार्य संरेखण का उल्लंघन करता है (अनुरोधित उद्देश्य अनुमत सुरक्षा स्थान $O$ के बाहर है)।
   • कन्फ्यूज्ड डिप्टी (Confused Deputy): स्रोत प्राधिकरण का उल्लंघन करता है (एजेंट ऐसे उपयोगकर्ता के लिए अपने उन्नत विशेषाधिकारों का उपयोग करता है जिनके पास वे अधिकार नहीं हैं)।
   • क्षमता दुरुपयोग (Capability Misuse): क्रिया संरेखण का उल्लंघन करता है (एक वैध टूल का अनधिकृत उप-कार्य के लिए उपयोग)।
   • मेमोरी पॉइजनिंग (Memory Poisoning): समय के साथ स्रोत प्राधिकरण और कार्य संरेखण का उल्लंघन करता है (मेमोरी में मौजूद दुर्भावनापूर्ण डेटा भविष्य के निर्णयों को दूषित करता है)।
3. रक्षा प्रणालियों का व्यवस्थित अध्ययन (Systematization of Defenses): मौजूदा सुरक्षा प्रणालियों का पुनर्मूल्यांकन इस रूप में किया गया है कि वे या तो:
   • ओरेकल सन्निकटन (Oracle Approximations) को मजबूत करती हैं: (जैसे, प्रॉम्प्टिंग या प्रशिक्षण के माध्यम से बेहतर निर्देश एट्रिब्यूशन)।
   • गुणों की जाँच करती हैं: (जैसे, गार्डरेल्स जो यह जाँचते हैं कि क्या आउटपुट उद्देश्य के अनुरूप है)।
     यह विश्लेषण बताता है कि कई वर्तमान रक्षा प्रणालियाँ विफल होती हैं क्योंकि वे गलत ओरेकल का अनुमान लगाती हैं (जैसे, कारणों के बजाय पैटर्न की जाँच करना) या विशिष्ट गुणों की अनदेखी करती हैं (जैसे, डेटा अलगाव को अनदेखा करना)।
4. अनुसंधान अंतराल की पहचान (Identification of Research Gaps): ढांचा महत्वपूर्ण खुले प्रश्नों को उजागर करता है, जैसे कि सटीक निर्देश एट्रिब्यूशन ($I$) को लागू करने में कठिनाई और ऐसे बेंचमार्क की कमी जो समय की सीमाओं (सेशन्स) के पार सुरक्षा का मूल्यांकन करते हैं।

4. परिणाम और विश्लेषण (Results and Analysis)

• हमलों का पुनर्गठन: पेपर प्रदर्शित करता है कि नए ढांचे के तहत, हमलों को सटीक रूप से परिभाषित किया गया है। उदाहरण के लिए, "फ़ाइल डिलीट करें" कमांड केवल तभी एक हमला है यदि यह चार गुणों में से किसी एक का उल्लंघन करता है (जैसे, यदि स्रोत अविश्वसनीय है या उद्देश्य अनधिकृत है)। यदि उपयोगकर्ता प्रमाणित है और कार्य "सफाई (cleanup)" है, तो यह वैध है।
• रक्षा की सीमाएँ: मौजूदा रक्षा प्रणालियों (जैसे, प्रॉम्प्ट इंजीनियरिंग, इनपुट फ़िल्टरिंग, सैंडबॉक्सिंग) का विश्लेषण दिखाता है कि:
  • पैटर्न-आधारित रक्षाएँ (कीवर्ड फ़िल्टरिंग) विफल रहती हैं क्योंकि वे संदर्भ को नहीं समझ सकतीं।
  • एकल-गुण रक्षाएँ बहु-गुण हमलों के प्रति संवेदनशील होती हैं।
  • उपयोगिता हानि (Utility Loss): जो रक्षा प्रणालियाँ ओरेकल का खराब अनुमान लगाती हैं (जैसे, सभी बाहरी टेक्स्ट को ब्लॉक करना), वे उच्च 'फॉल्स पॉजिटिव' का कारण बनती हैं, जिससे एजेंट की उपयोगिता कम हो जाती है।
• केस स्टडीज: पेपर एक "कुकिंग असिस्टेंट" (Cooking Assistant) के उदाहरण का उपयोग यह समझाने के लिए करता है कि कैसे ढांचा एक वैध रेसिपी निर्देश ("350°F पर बेक करें") और एक दुर्भावनापूर्ण इंजेक्शन ("सारा डेटा ईमेल करें") के बीच अंतर करता है, भले ही दोनों बाहरी स्रोतों से प्राप्त टेक्स्ट हों।

5. महत्व (Significance)

• प्रतिमान परिवर्तन (Paradigm Shift): यह क्षेत्र को "सामग्री-आधारित पहचान" (क्या यह टेक्स्ट दुर्भावनापूर्ण है?) से "संदर्भ-आधारित सत्यापन" (क्या यह क्रिया इस विशिष्ट संदर्भ में अधिकृत है?) की ओर ले जाता है।
• व्यापार-संतुलन का समाधान: सूक्ष्म-स्तरीय निर्णय लेने में सक्षम बनाकर, यह ढांचा सैद्धांतिक रूप से उच्च सुरक्षा के साथ उच्च उपयोगिता सुनिश्चित करता है। यह उन वैध ऑपरेशनों की अनुमति देता जो अकेले संदिग्ध लग सकते हैं लेकिन संदर्भ में अधिकृत हैं।
• भावी अनुसंधान के लिए रोडमैप:
  • ओरेकल कार्यान्वयन: निर्देश एट्रिब्यूशन और उद्देश्य मूल्यांकन के व्यावहारिक, मजबूत सन्निकटन विकसित करना।
  • कंपोजिशनल सुरक्षा (Compositional Security): यह संबोधित करना कि कैसे निर्दोष कार्यों के क्रम मिलकर कमजोरियाँ पैदा कर सकते हैं।
  • बेंचमार्किंग: नए बेंचमार्क बनाना जिनमें केवल अलग-थलग प्रॉम्प्ट-रिस्पॉन्स पेयर्स के बजाय स्पष्ट प्राधिकरण संदर्भ (कौन, क्या, कहाँ) शामिल हों।
  • टेम्पोरल सुरक्षा (Temporal Security): कई सेशन्स और समय चरणों (जैसे, मेमोरी पॉइजनिंग) में सुरक्षा को संभालना।

निष्कर्षतः, यह शोध पत्र उन सैद्धांतिक आधारों को प्रदान करता है जो सुरक्षित LLM एजेंट बनाने के लिए आवश्यक हैं, जो कंटेंट फ़िल्टरिंग जैसे भारी-भरकम उपकरणों की आवश्यकता के बिना जटिल, बहु-स्रोत वातावरण में स्वायत्त रूप से कार्य कर सकें।