AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows
यह शोध पत्र AgentSCOPE को प्रस्तुत करता है, जो एक बेंचमार्क और प्राइवेसी फ्लो ग्राफ फ्रेमवर्क है जो यह प्रकट करता है कि कैसे एजेंटिक सिस्टम अक्सर मध्यवर्ती पाइपलाइन चरणों के दौरान—विशेष रूप से टूल रिस्पॉन्स के दौरान—प्रासंगिक गोपनीयता (contextual privacy) का उल्लंघन करते हैं, जो यह दर्शाता है कि वर्तमान आउटपुट-केंद्रित मूल्यांकन मल्टी-स्टेप एआई वर्कफ़्लो के वास्तविक गोपनीयता जोखिमों को काफी कम करके आंकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट, हाइपर-एफिशिएंट पर्सनल असिस्टेंट के रूप में "एजेंट" (Agent) को काम पर रखा है। आप एजेंट से कहते हैं, "कृपया मेरा शेड्यूल व्यवस्थित करने में मेरी मदद करें और मेरे बॉस को मेरी बीमारी की छुट्टी के बारे में ईमेल करें।"
अतीत में, हम केवल एजेंट द्वारा लिखे गए अंतिम पत्र की चिंता करते थे। हम पूछते थे: क्या अंतिम ईमेल में गलती से मेरा बैंक पासवर्ड या मेरी मेडिकल स्थिति का खुलासा हो गया? यदि अंतिम पत्र साफ-सुथरा दिखता था, तो हम सोचते थे, "बहुत बढ़िया, प्राइवेसी सुरक्षित है!"
यह पेपर तर्क देता है कि हम गलत चीज़ पर ध्यान दे रहे हैं।
लेखकों का कहना है कि प्राइवेसी केवल अंतिम पत्र के बारे में नहीं है; यह उस पूरी यात्रा के बारे में है जिससे जानकारी गुजरती है। वे इस नए दृष्टिकोण को AgentSCOPE कहते हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "छिपा हुआ मध्य" (The Hidden Middle)
अपने एजेंट को एक कूरियर सेवा के रूप में सोचें।
- पुराना तरीका: हम केवल तब पैकेज की जाँच करते थे जब वह प्राप्तकर्ता के घर पहुँचता था। यदि पैकेज सीलबंद और सामान्य दिखता था, तो हम मान लेते थे कि सब कुछ ठीक है।
- नई वास्तविकता: एजेंट केवल एक पत्र नहीं लिखता है। यह आपके डिजिटल घर में जाता है, आपका कैलेंडर खोलता है, आपके ईमेल पढ़ता है, अपने संपर्कों से नंबर मांगता है, और फिर पत्र लिखता है।
- खतरा: भले ही अंतिम पत्र एकदम सही हो, लेकिन एजेंट ने शायद:
- आपका कैलेंडर ढूँढते समय आपकी डायरी पढ़ ली हो (ओवर-रीडिंग/Over-reading)।
- आपकी कैलेंडर ऐप से केवल एक मीटिंग खोजने के लिए आपकी हर अपॉइंटमेंट, जिसमें आपकी संवेदनशील फर्टिलिटी ट्रीटमेंट (fertility treatment) भी शामिल है, के बारे में पूछ लिया हो (ओवर-अस्किंग/Over-asking)।
- पत्र लिखना शुरू करने से पहले ही कैलेंडर ऐप को अपने दिमाग में बहुत सारा निजी डेटा डंप करने दिया हो (ओवर-रिसीविंग/Over-receiving)।
पेपर कहता है: सिर्फ इसलिए कि अंतिम परिणाम साफ है, इसका मतलब यह नहीं है कि एजेंट ने इस बीच आपके घर में ताक-झांक नहीं की।
2. समाधान: "प्राइवेसी फ्लो ग्राफ" (जासूस का नक्शा)
इसे ठीक करने के लिए, लेखकों ने प्राइवेसी फ्लो ग्राफ (Privacy Flow Graph) नामक एक टूल बनाया।
एक जासूस के कॉर्कबोर्ड की कल्पना करें जिसमें विभिन्न घटनाओं को जोड़ने के लिए लाल धागे लगे हों।
- नोड्स (Nodes): उपयोगकर्ता (आप), एजेंट, टूल्स (कैलेंडर, ईमेल), और प्राप्तकर्ता।
- धागे (Strings): हर बार जब सूचना एक से दूसरे तक जाती है, तो उसे एक टैग मिलता है।
- नियम: वे "कॉन्टेक्स्टुअल इंटीग्रिटी" (Contextual Integrity) नामक एक अवधारणा का उपयोग करते हैं। यह एक क्लब के बाउंसर की तरह है।
- परिदृश्य: आप एजेंट को कहते हैं, "बॉस को बताओ कि मैं बीमार हूँ।"
- बाउंसर का काम: जब एजेंट कैलेंडर से पूछता है, "मेरी कितनी मीटिंग्स हैं?", तो बाउंसर जाँच करता है: "क्या कैलेंडर के लिए यह ठीक है कि वह एजेंट को आपकी फर्टिलिटी कंसल्टेशन के बारे में बताए?"
- जवाब: नहीं! वह डेटा अप्रासंगिक है। भले ही एजेंट उसे अंतिम ईमेल में न डाले, लेकिन तथ्य यह है कि कैलेंडर ने वह डेटा एजेंट को दिया—यह एक प्राइवेसी उल्लंघन है।
प्राइवेसी फ्लो ग्राफ हर एक कदम को ट्रैक करता है ताकि यह देखा जा सके कि क्या "बाउंसर" ने गलत डेटा को अंदर आने दिया, भले ही वह डेटा अंतिम आउटपुट तक कभी पहुँचा ही न हो।
3. प्रयोग: AgentSCOPE
लेखकों ने AgentSCOPE नामक एक टेस्ट बनाया।
- उन्होंने एम्मा (Emma) नामक एक काल्पनिक पात्र बनाया।
- उन्होंने उसके एजेंट को उसके ईमेल, कैलेंडर और फाइलों तक पहुँच दी, जिनमें साधारण चीजों (मीटिंग के समय) और संवेदनशील चीजों (मेडिकल रिकॉर्ड, कानूनी मुद्दे) का मिश्रण भरा गया था।
- उन्होंने एजेंट को 62 अलग-अलग कार्य दिए (जैसे "मेरे मैनेजर को ईमेल करें कि मैं बीमार हूँ" या "मेरी फ्लाइट डिटेल्स खोजें")।
- उन्होंने उपलब्ध 7 सबसे स्मार्ट AI मॉडल्स (जैसे GPT-4o और Claude) का परीक्षण किया।
4. चौंकाने वाले परिणाम
परिणाम एक वेक-अप कॉल की तरह थे:
- "साफ" भ्रम (The "Clean" Illusion): जब उन्होंने केवल अंतिम ईमेल को देखा, तो AI मॉडल काफी अच्छे लग रहे थे। लगभग 76% से 80% बार, अंतिम ईमेल ने कोई राज उजागर नहीं किया।
- "बिखरी हुई" वास्तविकता (The "Messy" Reality): जब उन्होंने पूरी यात्रा को देखा (प्राइवेसी फ्लो ग्राफ का उपयोग करके), तो उन्होंने पाया कि 80% से 94% कार्यों में कहीं न कहीं प्राइवेसी उल्लंघन हुआ था।
- लीक कहाँ हुए?
- टूल्स (The Tools): अक्सर, टूल्स (जैसे कैलेंडर ऐप) बहुत अधिक मददगार थे। उन्होंने एजेंट को बहुत अधिक जानकारी दे दी, जिसमें ऐसी संवेदनशील जानकारी भी शामिल थी जिसकी एजेंट को आवश्यकता नहीं थी।
- एजेंट (The Agent): कभी-कभी एजेंट ने बहुत अधिक डेटा माँगा, या उपयोगकर्ता ने शुरुआती प्रॉम्प्ट में बहुत अधिक जानकारी दे दी।
मुख्य निष्कर्ष (The Big Takeaway)
"आउटपुट-ओनली" मूल्यांकन एक कार को केवल उसके बंपर पर खरोंच के लिए जाँचने जैसा है। आप यह मिस कर सकते हैं कि इंजन से धुआं निकल रहा है, ब्रेक फेल हो रहे हैं, या ड्राइवर तेज़ गाड़ी चला रहा है।
पेपर निष्कर्ष निकालता है कि हम केवल अंतिम उत्तर पर भरोसा नहीं कर सकते। हमें पूरी पाइपलाइन की निगरानी करने की आवश्यकता है। यदि कोई AI सिस्टम हमारे व्यक्तिगत जीवन को संभालने जा रहा है, तो हमें यह सुनिश्चित करना होगा कि:
- वह उस डेटा के लिए न पूछे जिसकी उसे आवश्यकता नहीं है।
- जो टूल्स वह उपयोग करता है, वे उसकी गोद में बहुत अधिक निजी डेटा न गिरा दें।
- वह केवल इसलिए संवेदनशील जानकारी को अपने पास न रखे क्योंकि वह रख सकता है।
संक्षेप में: सिर्फ इसलिए कि एजेंट ने पैकेज सुरक्षित रूप से पहुँचा दिया, इसका मतलब यह नहीं है कि उसने सामान छाँटते समय आपकी डाक चोरी नहीं की। हमें केवल अंत के परिणाम को नहीं, बल्कि पूरी प्रक्रिया को देखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।