💬 NLP

Safeguarding LLM Agents from Misalignment through Provenance Analysis

यह शोधपत्र ProvenanceGuard को प्रस्तुत करता है, जो एक प्रोवेनेंस-आधारित (provenance-based) ढांचा है जो एजेंट के संदर्भ में ट्रेस करने योग्य साक्ष्यों के विरुद्ध टूल कॉल्स (tool calls) को सत्यापित करके, पारंपरिक LLM-as-a-judge बेसलाइन की तुलना में LLM एजेंट मिसअलाइनमेंट (misalignment) का पता लगाने में महत्वपूर्ण सुधार करता है और गलत हस्तक्षेपों को कम करता है।

मूल लेखक: Yining She, Yiliang Liang, Eunsuk Kang

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yining She, Yiliang Liang, Eunsuk Kang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने अपने दैनिक कार्यों में मदद के लिए एक बहुत ही बुद्धिमान, उत्साही व्यक्तिगत सहायक (एक LLM एजेंट) को काम पर रखा है। आप उन्हें कहते हैं, "कृपया डैनियल से $30 मांगें।" क्योंकि यह सहायक वास्तविक दुनिया से जुड़ा हुआ है, वे वास्तव में ईमेल भेज सकते हैं, पैसे ट्रांसफर कर सकते हैं, या फाइलें बदल सकते हैं।

समस्या यह है कि यह सहायक कभी-कभी बहुत अधिक उत्साही हो जाता है या गलत समझ लेता है। पैसे मांगने के बजाय, वे गलती से डैनियल को पैसे भेज सकते हैं। या वे वह बिल चुका सकते हैं जिसका आपने उल्लेख भी नहीं किया था। इसे मिसअलाइनमेंट (misalignment) कहा जाता है: सहायक कुछ ऐसा करता है जो तकनीकी रूप से नियमों का पालन करता है लेकिन वह नहीं करता जो आप वास्तव में चाहते थे।

यह शोध पत्र ProvenanceGuard नामक एक नया सुरक्षा सिस्टम पेश करता है ताकि होने से पहले ही इन गलतियों को रोका जा सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

मूल विचार: "पेपर ट्रेल" वाला जासूस

लेखकों ने महसूस किया कि मौजूदा सुरक्षा प्रणालियाँ एक ऐसे बॉस की तरह हैं जो बस दूसरे, समान रूप से भ्रमित सहायक से पूछती है, "क्या यह एक अच्छा विचार है?" इससे अक्सर असंगत उत्तर मिलते हैं।

इसके बजाय, ProvenanceGuard एक फॉरेंसिक जासूस की तरह कार्य करता है। यह केवल अनुमान नहीं लगाता; यह एक पेपर ट्रेल (प्रमाण का मार्ग/स्रोत) की मांग करता है। यह पूछता है: "क्या आप मुझे ठीक से दिखा सकते हैं कि इस विशिष्ट कार्य को करने के लिए आपको हमारे संवाद या निर्देशों में से सबूत कहाँ मिला?"

यदि सहायक हमारे संवाद के किसी विशिष्ट वाक्य या पिछले तथ्य की ओर इशारा नहीं कर सकता जो उस कार्य को उचित ठहराता हो, तो सिस्टम उसे रोक देता है।

गलतियों के तीन प्रकार

लेखक एक जासूस की चेकलिस्ट का उपयोग करते हुए "बुरे विचारों" को तीन श्रेणियों में विभाजित करते हैं:

गलत टूल (टूल-लेवल):
- परिदृश्य: आप कहते हैं, "पैसे का अनुरोध करें।" सहायक "पैसे भेजें" (Send Money) टूल का उपयोग करने की कोशिश करता है।
- जासूसी जांच: "क्या यह टूल काम के लिए सही है?" सिस्टम टूल की नियमावली और आपके अनुरोध की जांच करता है। यदि टूल का विवरण काम से मेल नहीं खाता, तो इसे रोक दिया जाता है।
गलत विवरण (पैरामीटर-लेवल):
- परिदृश्य: आप कहते हैं, "डैनियल को $30 भेजें।" सहायक सही टूल का उपयोग करता है लेकिन नाम का अनुमान लगाकर सारा को$ 30 भेज देता है।
- जासूसी जांच: "आपको 'सारा' नाम कहाँ से मिला?" यदि सहायक संवाद में किसी ऐसे तथ्य की ओर इशारा नहीं कर सकता जो कहता हो कि "सारा", तो सिस्टम कहता है, "कोई सबूत नहीं मिला। रुकिए।"
अंधाधुंध अनुमान (इंटरप्रिटेशन-लेवल):
- परिदृश्य: आप कहते हैं, "इस अनुरोध को संभालें," बिना यह बताए कि कैसे। सहायक स्वचालित रूप से एक बिल चुकाने का निर्णय लेता है।
- जासूसी जांच: "क्या 'संभालने' का केवल एक ही तरीका है?" सिस्टम को एहसास होता है कि आपका अनुरोध अस्पष्ट था। चूंकि "संभालने" (handle) के कई अर्थ हो सकते हैं (इसे चुकाना, अस्वीकार करना, या आपसे पूछना), सहायक एक अंधाधुंध अनुमान लगा रहा है। सिस्टम कार्य को रोकता है और सहायक को स्पष्टीकरण के लिए आपसे पूछने के लिए मजबूर करता है।

यह सिस्टम कैसे काम करता है (तीन-चरणीय पाइपलाइन)

ProvenanceGuard केवल एक प्रश्न नहीं है; यह एक तीन-चरणीय सुरक्षा चेकपॉइंट है जिसे किसी भी कार्य को होने से पहले पास करना होता है:

चेकपॉइंट 1 (टूल): "क्या यह काम के लिए सही टूल है?" यदि नहीं, तो रुकें।
चेकपॉइंट 2 (विवरण): "क्या आपके पास उन विशिष्ट संख्याओं या नामों के लिए कोई प्रमाण है जिनका आप उपयोग कर रहे हैं?" यदि नहीं, तो रुकें।
चेकपॉइंट 3 (व्याख्या): "क्या यह एकमात्र तार्किक चीज़ है जो की जा सकती है, या अन्य संभावनाएं भी हैं?" यदि अन्य संभावनाएं हैं, तो सिस्टम मान लेता है कि सहायक अनुमान लगा रहा है और मदद के लिए पूछने के लिए रुक जाता है।

परिणाम: स्मार्ट और कम परेशान करने वाला

लेखकों ने इस सिस्टम का परीक्षण 10 अलग-अलग "मस्तिष्क" मॉडलों (LLMs) के विरुद्ध दो अलग-अलग परीक्षण परिदृश्यों का उपयोग करके किया।

कम गलतियां: पुराने तरीके (सिर्फ दूसरे AI से पूछना कि "क्या यह ठीक है?") की तुलना में, ProvenanceGuard ने लगभग सभी गलत कार्यों को पकड़ लिया। एक परीक्षण में, इसने त्रुटि दर को 43% से घटाकर 2% कर दिया।
कम परेशानी: एक सुरक्षा प्रणाली जो सब कुछ ब्लॉक कर देती है, वह बेकार है क्योंकि वह सहायक को कुछ भी उपयोगी करने से रोक देती है। लेखकों ने पाया कि ProvenanceGuard सही कार्यों को जाने देने में बहुत कुशल था। यह सफल कार्यों में बाधा नहीं डालता था, जबकि अन्य विधियां अक्सर अच्छे कार्यों को भी ब्लॉक कर देती थीं।

निष्कर्ष

यह शोध पत्र प्रस्तावित करता है कि AI एजेंट के सही काम करने का केवल अनुमान लगाने के बजाय, हमें उसे सिद्ध करने के लिए मजबूर करना चाहिए। अपने कार्य को आपके वास्तविक अनुरोध से जोड़ने वाले "पेपर ट्रेल" को दिखाने की आवश्यकता देकर, हम इसे खतरनाक और अपरिवर्तनीय गलतियां (जैसे पैसे भेजना या फाइलें हटाना) करने से रोक सकते हैं, बिना उस सहायक कार्य की गति को धीमा किए जिसे वह करने के लिए बनाया गया है।

नोट: यह शोध पत्र विशेष रूप से सॉफ्टवेयर एजेंटों में इस प्रकार की गलतफहमियों को रोकने पर केंद्रित है। यह सभी AI सुरक्षा मुद्दों को हल करने का दावा नहीं करता है, और न ही यह चिकित्सा या नैदानिक अनुप्रयोगों के बारे में चर्चा करता है।

तकनीकी सारांश: प्रोवेनेंस विश्लेषण (Provenance Analysis) के माध्यम से LLM एजेंटों को मिसअलाइनमेंट (Misalignment) से सुरक्षित करना

समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल (LLM) एजेंट संवादात्मक सहायकों (conversational assistants) से स्वायत्त प्रणालियों (autonomous systems) के रूप में विकसित हो रहे हैं जो अपरिवर्तनीय कार्यों (irreversible actions) को निष्पादित करने में सक्षम हैं (जैसे, पैसे ट्रांसफर करना, फ़ाइलों को संशोधित करना), यह सुनिश्चित करना महत्वपूर्ण है कि उनके कार्य उपयोगकर्ता के इरादे (user intent) के अनुरूप हों। यह शोध पत्र मिसअलाइनमेंट (misalignment) को एक ऐसी घटना के रूप में पहचानता है जहाँ एक एजेंट द्वारा प्रस्तावित टूल इनवोकेशन (tool invocation) उपयोगकर्ता के इरादे से विचलित हो जाता है, जो आवश्यक रूप से दुर्भावनापूर्ण इरादे के कारण नहीं, बल्कि उपयोगकर्ता के अनुरोध के बारे में गलतफहमी या अनुचित धारणाओं के कारण होता है।

मौजूदा रनटाइम गार्डरेल्स अक्सर "LLM-as-a-judge" प्रतिमान (paradigm) पर निर्भर करते हैं, जहाँ एक एकल LLM प्रॉम्प्ट यह मूल्यांकन करता है कि क्या किसी क्रिया को अनुमति दी जानी चाहिए। लेखक तर्क देते हैं कि यह दृष्टिकोण संरेखण (alignment) के बारे में तर्क देने के लिए एक व्यवस्थित ढांचे की कमी रखता है, जिससे असंगत निर्णय, व्यक्तिपरक तर्क (subjective rationales) और ऑडिटिंग में कठिनाइयाँ होती हैं। इसके अलावा, सैंडबॉक्सिंग (sandboxing) जैसे पारंपरिक सुरक्षा उपाय परिणामों को सीमित करते हैं, न कि प्रारंभिक मिसअलाइन्ड क्रिया को रोकते हैं, और पोस्ट-हॉक सत्यापन (post-hoc verification) अपरिवर्तनीय टूल इनवोकेशन को वापस नहीं ले सकता है।

कार्यप्रणाली (Methodology)

1. वैचारिक ढांचा: प्रोवेनेंस-आधारित गार्डरेल्स (Conceptual Framework: Provenance-Based Guardrails)

प्रोवेनेंस विश्लेषण (एक आर्टिफैक्ट के मूल और व्युत्पत्ति इतिहास का अध्ययन) से प्रेरित होकर, लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जहाँ एक क्रिया तभी संरेखित मानी जाती है जब वह एजेंट के संदर्भ (context) के भीतर ट्रेसेबल साक्ष्य (traceable evidence) द्वारा समर्थित हो। संदर्भ में उपयोगकर्ता क्वेरी ( $q$ ), टूल डॉक्यूमेंटेशन ( $d$ ), और इंटरेक्शन हिस्ट्री ( $h$ ) शामिल हैं।

यह ढांचा मिसअलाइनमेंट डिटेक्शन को तीन विशिष्ट प्रकारों में वर्गीकृत करके औपचारिक रूप देता है, जिनमें से प्रत्येक विशिष्ट प्रोवेनेंस संबंधों को स्थापित करने में विफलता के अनुरूप है:

टूल-लेवल मिसअलाइनमेंट (Tool-Level Misalignment): एजेंट कार्य के लिए अप्रासंगिक टूल चुनता है।
- प्रोवेनेंस चेक: क्या चयनित टूल ( $t$ ) के पास ऐसा डॉक्यूमेंटेशन ( $d_t$ ) है जो एक सबटास्क ( $s$ ) के लिए RelevantTo (प्रासंगिक) है जो उपयोगकर्ता क्वेरी ( $q$ ) में ContributesTo (योगदान देता) है?
पैरामीटर-लेवल मिसअलाइनमेंट (Parameter-Level Misalignment): एजेंट सही टूल चुनता है लेकिन ऐसे पैरामीटर्स असाइन करता है जो संदर्भ में आधारित (grounded) नहीं हैं।
- प्रोवेनेंस चेक: क्या पैरामीटर असाइनमेंट ( $a$ ) को क्वेरी या हिस्ट्री में दिखने वाले तथ्यात्मक साक्ष्य ( $e$ ) से DerivedFrom (व्युत्पन्न) किया जा सकता है? इसके अतिरिक्त, क्या इंस्टेंटिएटेड टूल ( $t$ के साथ $a$ ) सबटास्क ( $s$ ) को CanAddress (संबोधित कर सकता है) है?
- नोट: ढांचा व्युत्पन्न (derivable) पैरामीटर्स (जिन्हें प्रोवेनेंस की आवश्यकता होती है) और जेनेरेटिव (generative) पैरामीटर्स (जैसे ईमेल बॉडी ड्राफ्ट करना, जिन्हें प्रत्यक्ष प्रोवेनेंस ट्रेसिंग की आवश्यकता नहीं होती) के बीच अंतर करता है।
इंटरप्रिटेशन-लेवल मिसअलाइनमेंट (Interpretation-Level Misalignment): एजेंट एक अंडरस्पेसिफाइड (underspecified) क्वेरी को हल करने के लिए कई संभावित व्याख्याओं में से एक को मनमाने ढंग से चुन लेता है।
- प्रोवेनेंस चेक: क्या प्रस्तावित क्रिया संदर्भ को देखते हुए एकमात्र प्रोवेनेंस-एडमिसेबल (provenance-admissible) उम्मीदवार है? यदि संदर्भ द्वारा समर्थित कई अलग-अलग क्रियाएं मौजूद हैं, तो क्वेरी अंडरस्पेसिफाइड है, और स्पष्टीकरण के बिना एक को चुनना मिसअलाइन्ड है।

2. कार्यान्वयन: प्रोवेनेंसगार्ड (Implementation: ProvenanceGuard)

लेखक इस ढांचे को ProvenanceGuard के रूप में लागू करते हैं, जो एक मल्टी-स्टेज रनटाइम पाइपलाइन है जो निष्पादन से पहले टूल कॉल्स को इंटरसेप्ट करती है। एकल-चरण "LLM-as-a-judge" के विपरीत, ProvenanceGuard निर्णय को तीन क्रमिक चरणों में विभाजित करता है:

स्टेज I (टूल-लेवल): पर्यावरण-परिवर्तित करने वाले टूल्स को फ़िल्टर करता है और सत्यापित करता है कि क्या चयनित टूल एजेंट के वर्तमान सबटास्क प्लान के लिए प्रासंगिक है।
स्टेज II (पैरामीटर-लेवल): पहचानता है कि कौन से पैरामीटर्स व्युत्पन्न योग्य हैं और सत्यापित करता है कि क्या उनके मानों को संदर्भ से ट्रैक किया जा सकता है और क्या वे सबटास्क के लिए टूल को सही ढंग से इंस्टेंटिएट करते हैं।
स्टेज III (इंटरप्रिटेशन-लेवल): LLM से पूछता है (बायस से बचने के लिए एजेंट द्वारा चुनी गई क्रिया को प्रकट किए बिना) कि क्या अन्य प्रोवेनेंस-एडमिसेबल क्रियाएं मौजूद हैं। यदि कई मौजूद हैं, तो इसे अनियंत्रित धारणा पर आधारित होने के कारण ब्लॉक कर दिया जाता है।

सिस्टम विशिष्ट प्रोवेनेंस संबंधों (जैसे, RelevantTo, DerivedFrom) का मूल्यांकन करने के लिए एक LLM का उपयोग करता है, लेकिन यह समग्र प्रॉम्प्ट की तुलना में अपनी तर्क प्रक्रिया को अधिक स्पष्ट और ऑडिटेबल बनाने के लिए संरचित है।

मुख्य योगदान (Key Contributions)

मिसअलाइनमेंट का वर्गीकरण (Taxonomy of Misalignment): टूल-लेवल, पैरामीटर-लेवल और इंटरप्रिटेशन-लेवल मिसअलाइनमेंट के बीच एक औपचारिक अंतर।
प्रोवेनेंस-आधारित ढांचा (Provenance-Based Framework): एक वैचारिक मॉडल जो टूल कॉल्स की जांच को यह निर्धारित करने के रूप में फ्रेम करता है कि क्या वे ट्रेसेबल साक्ष्य में ग्राउंडेड हैं, जिसे विशिष्ट बाइनरी संबंधों के माध्यम से औपचारिक रूप दिया गया है।
ProvenanceGuard: ढांचे का एक मल्टी-स्टेज पाइपलाइन कार्यान्वयन जो रनटाइम गार्डरेल के रूप में कार्य करता है।
बेंचमार्किंग (Benchmarking): 10 बैकबोन LLMs सहित दो बेंचमार्क (Agent-SafetyBench और WorkBench) पर मूल्यांकन, जिसमें Agent-SafetyBench ट्रेसेस का मैन्युअल रूप से एनोटेटेड उपसमूह भी शामिल है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DirectPrompt Baseline (मानक LLM-as-a-judge) और एक Single-step Provenance Prompt (ProvePrompt, जो सिंगल पास में ढांचे की अवधारणाओं का उपयोग करता है) के विरुद्ध ProvenanceGuard का मूल्यांकन किया।

मिसअलाइनमेंट डिटेक्शन (त्रुटि दर) (Misalignment Detection - Error Rate):
- Agent-SafetyBench (अंडरस्पेसिफिकेशन पर केंद्रित) पर, ProvenanceGuard ने मिसअलाइन्ड ट्रेसेस पर त्रुटि दर को 42.9% (Baseline) से घटाकर 1.8% कर दिया।
- WorkBench पर, त्रुटि दर 32.1% से घटकर 17.3% हो गई।
- मल्टी-स्टेज डिज़ाइन (ProvenanceGuard) ने सिंगल-स्टेप वेरिएंट (ProvePrompt) की तुलना में लगातार बेहतर प्रदर्शन किया, विशेष रूप से Agent-SafetyBench पर, जो तर्क प्रक्रिया को विघटित करने के मूल्य का सुझाव देता है।
इंटरवेंशन कॉस्ट (फॉल्स पॉजिटिव/अनावश्यक हस्तक्षेप) (Intervention Cost - False Positives/Unnecessary Interventions):
- Agent-SafetyBench (एलाइन्ड ट्रेसेस) पर, ProveniveGuard ने बेसलाइन की तुलना में अनावश्यक हस्तक्षेपों में कोई सांख्यिकीय रूप से महत्वपूर्ण वृद्धि नहीं की।
- WorkBench (टास्क-सफल ट्रेसेस) पर, ProvenanceGuard ने हस्तक्षेप दर को बेसलाइन के 30.5% से काफी कम करके 12.8% कर दिया, जो दर्शाता है कि यह सही कार्यों को आगे बढ़ने देने में बेसलाइन की तुलना में अधिक सटीक है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि संरचित, प्रोवेनेंस-आधारित तर्क LLM एजेंटों को सुरक्षित करने के लिए एक प्रभावी और व्यावहारिक आधार प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

व्यवस्थित तर्क (Systematic Reasoning): व्यक्तिपरक, समग्र निर्णयों से हटकर कार्यों और संदर्भ के बीच स्पष्ट, ऑडिटेबल डिपेंडेंसी लिंक्स पर आधारित एक ढांचे की ओर बढ़ना।
अंडरस्पेसिफिकेशन को संभालना (Handling Underspecification): ढांचा विशेष रूप से एजेंटों द्वारा अंडरस्पेसिफाइड क्वेरीज़ पर अनुचित धारणाएं बनाने के जोखिम को संबोधित करता है, जो मिसअलाइनमेंट का एक सामान्य कारण है जिसे मानक सुरक्षा फिल्टर अक्सर मिस कर देते हैं।
संतुलित प्रदर्शन (Balanced Performance): मल्टी-स्टेज दृष्टिकोण वैध, सफल एजेंट कार्यों को रोकने के संदर्भ में अत्यधिक लागत उठाए बिना मिसअलाइन्ड क्रियाओं के लिए उच्च डिटेक्शन सटीकता प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह ढांचा शुद्ध रूप से जेनेरेटिव पैरामीटर्स (जैसे फ्री-फॉर्म टेक्स्ट जनरेशन) में मिसअलाइनमेंट का पता नहीं लगा सकता है और यह एजेंट के अपने प्लान पर निर्भर करता है (जो सैद्धांतिक रूप से मिसअलाइन्ड हो सकता है), यह एजेंटिक सिस्टम में अपरिवर्तनीय, संदर्भ-अग्राउंडेड कार्यों को रोकने के लिए एक मजबूत तंत्र प्रदान करता है।