Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback
यह शोध पत्र LLM एजेंटों में "संज्ञानात्मक विषाक्तता" (cognitive poisoning) की अवधारणा प्रस्तुत करता है, जहाँ दुर्भावनापूर्ण उपकरण हानिकारक कार्यों को निष्पादित करने से पहले निर्दोष फीडबैक के माध्यम से विश्वास बनाते हैं, और प्रॉम्प्ट-स्तरीय ह्यूरिस्टिक्स पर निर्भर रहने के बजाय अंतिम निष्पादन योग्य क्रिया को स्कोर करने के माध्यम से इन प्रक्षेपवक्र-आधारित जोखिमों का प्रभावी ढंग से पता लगाने और उन्हें कम करने के लिए TRUST-Bench बेंचमार्क और VISTA-Guard रक्षा ढांचे का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "भेड़ की खाल में भेड़िया" वाला टूल
कल्पना कीजिए कि आपने खरीदारी करने के लिए एक व्यक्तिगत सहायक (एक AI एजेंट) को काम पर रखा है। आप उसे कहते हैं, "जाओ और दुकान से दूध लेकर आओ।"
आमतौर पर, हम यह मान लेते हैं कि एक बार जब हमारा सहायक एक दुकान (टूल) चुन लेता है, तो उस दुकान से उसे मिलने वाली जानकारी ईमानदार होती है। अगर दुकान कहती है, "हमारे पास दूध है," तो हम उस पर भरोसा करते हैं।
यह शोध पत्र तर्क देता है कि यह धारणा खतरनाक है।
लेखक एक नए प्रकार की चाल का वर्णन करते हैं जिसे "कॉग्निटिव पॉइजनिंग" (Cognitive Poisoning) कहा जाता है। यह एक ऐसे भेड़िये की तरह है जो भेड़ का भेष धारण कर लेता है।
- चाल: एक दुर्भावनापूर्ण टूल (भेड़िया) शुरू में बिल्कुल सामान्य व्यवहार करता है। यह बातचीत के कई दौरों तक आपके सहायक के सवालों का विनम्रता और सही ढंग से जवाब देता है। यह विश्वास बनाता है।
- जाल: टूल अपनी असली, हानिकारक प्रकृति को बिल्कुल आखिरी सेकंड में प्रकट करता है। यह तब तक इंतज़ार करता है जब तक कि सहायक एक बड़ा और अंतिम निर्णय लेने वाला न हो (जैसे "दूध खरीदो और इस अजनबी को $1,000 ट्रांसफर कर दो")। केवल तभी, जब कुछ छिपी हुई स्थितियाँ मेल खाती हैं, यह टूल स्विच बदल देता है और कहता है, "दरअसल, चलिए वह खतरनाक काम करते हैं।"
डरावनी बात क्या है? यदि आप टूल द्वारा भेजे गए किसी भी एक संदेश को देखें, तो वह निर्दोष लगता है। खतरा एक बुरे वाक्य में नहीं है; खतरा उस कहानी में है जो टूल ने समय के साथ सुनाई, जिसने सहायक को उसकी चौकसी कम करने के लिए बहला दिया।
समस्या: पुराने बचाव के तरीके काम नहीं करते
शोधकर्ताओं ने परीक्षण किया कि वर्तमान सुरक्षा प्रणालियाँ इस स्थिति को कितनी अच्छी तरह संभालती हैं। उन्होंने पाया कि मौजूदा बचाव के अधिकांश तरीके उन सुरक्षा गार्डों की तरह हैं जो केवल दरवाज़े पर आईडी कार्ड चेक करते हैं।
- वे टूल के नाम या संदेश के पहले कुछ शब्दों को देखते हैं।
- यदि टूल मिलनसार दिखता है और शुरुआती कुछ संदेश सुरक्षित हैं, तो गार्ड उसे अंदर जाने देता है।
- परिणाम: ये गार्ड "कॉग्निटिव पॉइजनिंग" के खिलाफ पूरी तरह विफल हो जाते हैं क्योंकि टूल बातचीत के अधिकांश समय के दौरान मिलनसार था। गार्ड कहानी के सूक्ष्म बदलाव को पकड़ने में चूक गए।
समाधान: TRUST-BENCH और VISTA-GUARD
इस अध्ययन के लिए, टीम ने दो चीज़ें बनाईं:
1. TRUST-BENCH (प्रशिक्षण का मैदान)
उन्होंने TRUST-BENCH नामक एक विशाल टेस्ट बैंक बनाया।
- सेटअप: उन्होंने हज़ारों सामान्य कार्यों (जैसे वेब सर्च करना या फ़ाइलें एडिट करना) को लिया और उनके "दुष्ट जुड़वां" (evil twins) बनाए।
- मिलान: हर सुरक्षित कार्य के लिए, उन्होंने एक दुर्भावनापूर्ण संस्करण बनाया जहाँ टूल तीन राउंड तक अच्छा व्यवहार करता है, और फिर चौथे राउंड में AI को कुछ हानिकारक करने के लिए बहलाने की कोशिश करता है।
- लक्ष्य: यह देखना कि क्या एक AI यह अंतर बता सकता है कि कौन सा टूल वास्तव में सुरक्षित है और कौन सा अंत तक सुरक्षित होने का ढोंग कर रहा है।
2. VISTA-GUARD (एक स्मार्ट जासूस)
उन्होंने VISTA-GUARD नामक एक नया रक्षा तंत्र बनाया। केवल आईडी कार्ड चेक करने के बजाय, यह सिस्टम एक केस फाइल की समीक्षा करने वाले जासूस की तरह काम करता है।
- यह कैसे काम करता है: यह केवल अंतिम अनुरोध को नहीं देखता। यह बातचीत के पूरे इतिहास को देखता है।
- उपमा: कल्पना कीजिए कि एक जासूस पूछ रहा है: "संदेश ने तीन दिनों तक खुद को निर्दोष बताया, लेकिन चौथे दिन, उसने अचानक तिजोरी की चाबी मांगी। क्या पूरी कहानी तर्कसंगत है, या व्यवहार में आया यह अचानक बदलाव संदिग्ध लग रहा है?"
- गुप्त मंत्र: VISTA-GUARD बातचीत को एक संरचित रिपोर्ट (जैसे "ट्रस्ट सिग्नल" का स्कोरकार्ड) में बदल देता है और फिर AI से पूछता है: "इस पूरी कहानी को देखते हुए, क्या अंतिम कार्रवाई सुरक्षित है?"
परिणाम: कौन जीता?
शोधकर्ताओं ने कई अन्य विधियों (अन्य AI और सरल नियम-आधारित प्रणालियों सहित) के विरुद्ध VISTA-GUARD का परीक्षण किया।
हारने वाले:
- सरल नियम: वे सिस्टम जो केवल "बुरे शब्दों" को देखते थे, विफल रहे।
- Zero-Shot Judge: यहाँ तक कि बहुत स्मार्ट, प्री-ट्रेंड AI मॉडल (जैसे GPT-5.4) भी बिना विशिष्ट प्रशिक्षण के निर्णय लेने में विफल रहे। वे या तो बहुत "शंकित" (सब कुछ अस्वीकार करने वाले) थे या बहुत अधिक भरोसेमंद।
- Scalar Classifiers: वे सिस्टम जो बातचीत को केवल एक संख्या (जैसे "जोखिम स्कोर") में बदल देते थे, विफल रहे क्योंकि वे कहानी के विवरण खो देते थे।
विजेता:
- VISTA-GUARD एकमात्र ऐसा था जो लगातार सफल रहा।
- इसने समय के साथ विश्वास बनाने के तरीके का विश्लेषण करके "भेड़िये" को पहचानने में महारत हासिल की।
- स्कोर: इसने अपने स्वयं के प्रशिक्षण वातावरण में उच्च सुरक्षा स्कोर (84.2) प्राप्त किया और पूरी तरह से नए, अनदेखे टूल्स पर परीक्षण किए जाने पर भी अच्छा प्रदर्शन (56.9) किया।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि विश्वास एक प्रक्रिया है, कोई एक पल का चित्र (snapshot) नहीं।
जब एक AI टूल्स का उपयोग करता है, तो उसे केवल यह नहीं पूछना चाहिए, "क्या इस टूल का नाम सुरक्षित है?" या "क्या यह संदेश सुरक्षित है?" उसे यह पूछना चाहिए, "क्या हमारे बीच की पूरी बातचीत का इतिहास तर्कसंगत है, और क्या अंतिम कार्रवाई उस कहानी के अनुरूप है जो हमें सुनाई गई है?"
यदि टूल ने तीन दिनों तक एक दोस्त की तरह व्यवहार किया और फिर चौथे दिन अचानक बैंक लूटने की कोशिश की, तो AI को यह समझने की ज़रूरत है कि खतरा उस अंतिम वाक्य में नहीं, बल्कि उस कहानी में है।
एक वाक्य में सारांश
यह शोध पत्र दिखाता है कि दुर्भावनापूर्ण टूल्स AI एजेंटों को कुछ समय तक अच्छा व्यवहार करके और फिर अचानक हमला करके धोखा दे सकते हैं, और उन्हें रोकने का एकमात्र तरीका एक ऐसा रक्षा तंत्र उपयोग करना है जो केवल अंतिम अनुरोध का नहीं, बल्कि बातचीत के पूरे इतिहास का विश्लेषण करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।