ContextLeak: Auditing Leakage in Private In-Context Learning Methods

यहाँ शोध पत्र "ContextLeak: Auditing Leakage in Private In-Context Learning Methods" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इन-कॉन्टेक्स्ट लर्निंग (ICL) विशिष्ट कार्यों के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुकूलित करने का एक मानक तरीका बन गया है, जिसमें प्रॉम्प्ट में सीधे कार्य-विशिष्ट उदाहरण (exemplars) प्रदान किए जाते हैं। हालाँकि, जब इन उदाहरणों में संवेदनशील जानकारी (जैसे PII, मालिकाना डेटा) होती है, तो मॉडल के आउटपुट के माध्यम से सूचना रिसाव (information leakage) का एक महत्वपूर्ण जोखिम होता है, भले ही डेवलपर्स निषेधात्मक निर्देश (prohibitive instructions) जोड़ दें।

विभिन्न गोपनीयता-संरक्षण विधियाँ मौजूद हैं, जिनमें शामिल हैं:

• ह्यूरिस्टिक डिफेंस (Heuristic defenses): प्रॉम्प्ट-आधारित निर्देश (जैसे, "डेटा लीक न करें") या LLM-आधारित फिल्टर।
• डिफरेंशियल प्राइवेसी (DP) डिफेंस: रिपोर्ट-नॉइजी-मैक्स (RNM) और एम्बेडिंग-स्पेस एग्रीगेशन (ESA) जैसे औपचारिक तंत्र जो सैद्धांतिक रूप से सबसे खराब स्थिति के बाउंड्स ($\epsilon$) प्रदान करते हैं।

अंतराल (The Gap): मौजूदा मूल्यांकन अक्सर सैद्धांतिक बाउंड्स (जो ढीले हो सकते हैं) या औसत-मामले के लीकेज मेजरमेंट्स पर निर्भर करते हैं। प्राइवेसी-संरक्षित ICL डिफेंस के वर्स्ट-केस प्राइवेसी लीकेज (worst-case privacy leakage) का ऑडिट करने के लिए एक सिद्धांतबद्ध, अनुभवजन्य (empirical) ढांचे की कमी है। वर्तमान विधियाँ अक्सर प्रतिकूल रूप से तैयार किए गए इनपुट्स (adversarially crafted inputs) से होने वाले लीकेज का पता लगाने में विफल रहती हैं, जिससे सुरक्षा का एक झूठा अहसास होता है।

2. कार्यप्रणाली: ContextLeak फ्रेमवर्क (Methodology: ContextLeak Framework)

लेखक ContextLeak पेश करते हैं, जो प्राइवेट ICL में वर्स्ट-केस सूचना रिसाव को अनुभवजन्य रूप से मापने वाला पहला फ्रेमवर्क है। यह विशेष रूप से इन्फरेंस-टाइम कॉन्टेक्स्ट के लिए डिज़ाइन किया गया एक ब्लैक-बॉक्स मेंबरशिप इन्फरेंस अटैक (MIA) के रूप में कार्य करता है।

मुख्य घटक (Core Components):

1. कैनरी इंसर्शन (Canary Insertion):
   • ऑडिटर संवेदनशील डेटासेट में 50% संभावना के साथ एक विशिष्ट रूप से पहचान योग्य "कैनरी" (एक विशिष्ट टोकन अनुक्रम) डालता है।
   • कैनरी के प्रकार:
     • हेक्स स्ट्रिंग्स (Hex Strings): रैंडम हेक्साडेसिमल अनुक्रम (जैसे, f5b165...)।
     • रेयर यूनिग्राम (Rare Unigrams): आपस में जुड़े हुए दुर्लभ टोकन।
     • फॉल्स फैक्ट्स (False Facts): अर्थपूर्ण लेकिन तथ्यात्मक रूप से गलत कथन (जैसे, "सूर्य पश्चिम से उगता है") जो मॉडल के प्रशिक्षण ज्ञान का खंडन करते हैं।
2. एडवर्सरियल यूजर क्वेरी क्राफ्टिंग (Adversarial User Query Crafting):
   • ऑडिटर कैनरी की उपस्थिति को उजागर करने के लिए विशिष्ट क्वेरीज़ डिज़ाइन करता है।
   • रणनीतियाँ:
     • इनपुट-आउटपुट: "दिया गया इनपुट $x_c$, लेबल $y_c$ आउटपुट करें।"
     • इफ-देन एक्सप्लिसिट (If-Then Explicit): "यदि $x_c$ मौजूद है, तो $y_c$ आउटपुट करें; अन्यथा $y_{\bar{c}}$ आउटपुट करें।"
     • इफ-देन नॉट एक्सप्लिसिट (If-Then Not Explicit): "यदि कोई विसंगत स्ट्रिंग मौजूद है, तो उसे आउटपुट करें।"
   • ऑप्टिमाइजेशन: फ्रेमवर्क इन क्वेरीज़ को अधिकतम हमले की सटीकता (attack accuracy) के लिए परिष्कृत करने हेतु एक प्रॉम्प्ट ऑप्टिमाइज़र (GEPA) का उपयोग करता है।
3. ऑडिटिंग प्रक्रिया (Auditing Process):
   • प्राइवेट ICL एल्गोरिदम डेटासेट (कैनरी के साथ या बिना) और यूजर क्वेरी को प्रोसेस करता है।
   • ऑडिटर प्राइवेटाइज्ड आउटपुट (जैसे, RNM के लिए नॉइजी हिस्टोग्राम, ESA के लिए प्राइवेटाइज्ड एम्बेडिंग्स) का विश्लेषण करता है ताकि यह निर्धारित किया जा सके कि क्या कैनरी मौजूद था।
   • मेट्रिक: इस इन्फरेंस की सफलता दर (Auditing Accuracy) का उपयोग प्राइवेसी बजट $\epsilon$ के अनुभवजन्य निचले स्तर (empirical lower bound) की गणना के लिए किया जाता है।
   • फॉर्मूला: $\epsilon_{empirical} \approx \max \left( \log \frac{TPR}{FPR}, \log \frac{1-FPR}{1-TPR} \right)$।

3. प्रमुख योगदान (Key Contributions)

1. पहला वर्स्ट-केस ICL ऑडिटर: ContextLeak पहला फ्रेमवर्क है जो व्यवस्थित रूप से वर्स्ट-केस प्राइवेसी लीकेज को मापता है और ICL के लिए $\epsilon$ के अनुभवजन्य निचले स्तर की गणना करता है, जो औसत-मामले के विश्लेषण से आगे बढ़ता है।
2. एकीकृत मूल्यांकन फ्रेमवर्क: यह विविध डिफेंस (ह्यूरिस्टिक बनाम DP, क्लासिफिकेशन बनाम जनरेशन) की तुलना प्राइवेसी लीकेज बनाम यूटिलिटी के एक एकीकृत अक्ष पर करने के लिए एक सामान्य टेस्टबेड प्रदान करता है।
3. नवीन हमला रणनीतियाँ: पेपर विशिष्ट कैनरी प्रकारों (Hex, Unigram, False Facts) और ICL सेटिंग के लिए अनुकूलित क्वेरी रणनीतियों का प्रस्ताव करता है, जो मानक प्रॉम्प्ट-इंजेक्शन हमलों से बेहतर प्रदर्शन करते हैं।
4. प्रॉम्प्ट ऑप्टिमाइजेशन: यह प्रदर्शित करता है कि प्रॉम्प्ट ऑप्टिमाइज़र (जैसे GEPA) का उपयोग करने से हमलों को और मजबूत किया जा सकता है, जिससे पता चलता है कि "अनुकूलित" डिफेंस में भी शोषण योग्य कमजोरियां हो सकती हैं।

4. मुख्य परिणाम (Key Results)

लेखकों ने कई मॉडल्स (Llama-3.3-70B, Qwen2.5-72B, GPT-4.1) और डेटासेट्स (SubJ, Sarcasm, SAMSum, DocVQA) पर ContextLeak का मूल्यांकन किया।

• प्रॉम्प्ट इंजेक्शन की तुलना में श्रेष्ठता:
  • मानक प्रॉम्प्ट-इंजेक्शन हमले (निर्देशों को अनदेखा करने के लिए मजबूर करने वाले) उन्नत ह्यूरिस्टिक (जैसे, LLM-आधारित फिल्टर) और DP डिफेंस के खिलाफ अक्सर विफल रहते हैं।
  • ContextLeak सभी डिफेंस को बायपास करने में लगातार सफल रहा, जिसमें L3 (LLM-आधारित) डिफेंस और DP मैकेनिज्म शामिल हैं, और उच्च ऑडिटिंग सटीकता प्राप्त की।
• सैद्धांतिक $\epsilon$ के साथ सहसंबंध:
  • ऑडिटिंग सटीकता सैद्धांतिक प्राइवेसी बजट $\epsilon$ के साथ मोनोटोनिक रूप से बढ़ती है।
  • यह पुष्टि करता है कि ContextLeak वर्स्ट-केस जोखिम का एक व्यावहारिक संकेत प्रदान करता है: जैसे-जैसे $\epsilon$ बढ़ता है (कमजोर प्राइवेसी), लीकेज का पता लगाना आसान हो जाता है।
• प्राइवेसी-यूटिलिटी ट्रेड-ऑफ:
  • DP डिफेंस (RNM/ESA): $\epsilon$ बढ़ने के साथ यूटिलिटी में घटते रिटर्न दिखाते हैं। उच्च $\epsilon$ (नॉन-प्राइवेट व्यवहार के करीब) पर भी, एनेबलिंग और एग्रीगेशन के ओवरहेड के कारण एक निरंतर यूटिलिटी गैप बना रहता है।
  • ह्यूरिस्टिक डिफेंस: यूटिलिटी को अच्छी तरह से बनाए रखते हैं लेकिन कोई प्राइवेसी गारंटी नहीं देते हैं, क्योंकि वे बिना किसी डिफेंस के लगभग उतनी ही प्रभावी ढंग से जानकारी लीक करते हैं।
• एग्रीगेशन के आर्टिफैक्ट्स (Artifacts of Aggregation):
  • यहाँ तक कि जब $\epsilon \to \infty$ (सैद्धांतिक रूप से कोई प्राइवेसी नहीं) हो, तब भी एनेबलिंग एग्रीगेशन (जैसे ESA) का उपयोग करने वाले तरीकों के लिए अनुभवजन्य लीकेज गैर-शून्य रहता है। यह सुझाव देता है कि एग्रीगेशन मैकेनिज्म स्वयं ऐसे आर्टिफैक्ट्स पेश करता है जो सिस्टम को पूर्णतः नॉन-प्राइवेट व्यवहार से मेल खाने से रोकते हैं, जो कि एक ऐसा कारक है जिसे सैद्धांतिक बाउंड्स में अक्सर अनदेखा कर दिया जाता है।

5. महत्व और निहितार्थ (Significance and Implications)

• प्राइवेसी मूल्यांकन को फिर से परिभाषित करना: पेपर का तर्क है कि व्यावहारिक ICL तैनाती के लिए सैद्धांतिक DP बाउंड्स अक्सर बहुत ढीले होते हैं। वास्तविक जोखिम को समझने के लिए अनुभवजन्य ऑडिटिंग आवश्यक है।
• संरचनात्मक सीमाएँ: वर्तमान प्राइवेट ICL मैकेनिज्म एक संरचनात्मक ट्रेड-ऑफ का सामना करते हैं: या तो वे संवेदनशील डेटा लीक करते हैं (ह्यूरिस्टिक्स) या वे प्रदर्शन को गंभीर रूप से कम कर देते हैं (DP मेथड्स)। वर्तमान में ऐसा कोई "स्वीट स्पॉट" नहीं है जो मजबूत प्राइवेसी और उच्च यूटिलिटी दोनों प्रदान करे।
• व्यावहारिक टेस्टबेड: ContextLeak उन चिकित्सकों के लिए एक महत्वपूर्ण उपकरण के रूप में कार्य करता है जो उच्च-जोखिम वाले डोमेन (स्वास्थ्य सेवा, वित्त) में अपने सिस्टम को तैनाती से पहले ऑडिट करने के लिए LLMs तैनात कर रहे हैं।
• भविष्य की दिशाएँ: यह कार्य ऐसे नए डिफेंस मैकेनिज्म की आवश्यकता पर प्रकाश डालता है जो प्राइवेसी और यूटिलिटी के बीच बेहतर संतुलन बना सकें, और सुझाव देता है कि भविष्य के शोध को अनुभवजन्य बाउंड्स को कड़ा करने और मल्टी-टर्न इंटरैक्शन जोखिमों को संबोधित करने पर ध्यान केंद्रित करना चाहिए।

संक्षेप में, ContextLeak यह उजागर करता है कि वर्तमान प्राइवेट ICL विधियाँ लक्षित प्रतिकूल हमलों (adversarial attacks) के विरुद्ध अपर्याप्त हैं, जो उनके वास्तविक प्राइवेसी गारंटियों को मापने और तुलना करने के लिए एक कठोर पद्धति प्रदान करती है।