💬 NLP

Beyond Direct Identifiers: Probabilistic Privacy Risk Estimation for Privacy-Conscious LLM Query Delegation

यह शोध पत्र प्राइवेसी-कॉन्शियस डेलिगेशन (Privacy-Conscious Delegation) के एक संभाव्य संस्करण का प्रस्ताव करता है जो PII-मुक्त स्व-प्रकटीकरणों (self-disclosures) से उत्पन्न होने वाले गोपनीयता जोखिमों से उपयोगकर्ताओं की बेहतर सुरक्षा के लिए एक LLM-संचालित k-एनोनिमिटी एस्टीमेशन मीट्रिक और नव-निर्मित PUPA-SD डेटासेट का उपयोग करता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण Llama-3.2-3B जैसे मॉडलों के लिए एक इष्टतम गोपनीयता-उपयोगिता संतुलन प्राप्त करता है।

मूल लेखक: Li Siyan, Zhou Yu, Julia Hirschberg

प्रकाशित 2026-08-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Li Siyan, Zhou Yu, Julia Hirschberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट दोस्त के साथ चैट कर रहे हैं जो दुनिया की हर चीज़ जानता है। आप अपना एक रहस्य साझा करने में सुरक्षित महसूस कर सकते हैं, यह सोचकर, "मैं अपना नाम या पता नहीं बताऊंगा, इसलिए मैं ठीक हूँ!" लेकिन यहाँ एक ट्विस्ट है: आपका नाम बताए बिना भी, रोबोट छोटे-छोटे सुरागों को जोड़कर यह अंदाज़ा लगा सकता है कि आप कौन हैं। यह एक भीड़ भरे कमरे में मास्क पहनकर छिपने की कोशिश करने जैसा है, लेकिन अपनी अनूठी टोपी, जूते और एक विशिष्ट निशान को दिखाई देने वाले छोड़ देने जैसा। यदि कमरे में बहुत से लोगों के पास वही टोपी है, तो आप सुरक्षित हैं। लेकिन यदि पूरे शहर में केवल एक ही व्यक्ति के पास वह टोपी और वे जूते और वह निशान है, तो मास्क ज्यादा मदद नहीं करता। यह "प्राइवेसी" (निजता) की दुनिया है, जहाँ वैज्ञानिक चिंतित हैं कि भले ही हम स्पष्ट रहस्यों (जैसे नाम) को हटा दें, फिर भी हमारे द्वारा साझा किए गए छोटे विवरणों का मिश्रण यह पता लगाने में सक्षम हो सकता है कि हम वास्तव में कौन हैं।

यह शोध पत्र इस बात पर गहराई से विचार करता है कि जब हम इन रोबोट दोस्तों से मदद मांगते हैं तो हमें बचाने का एक नया तरीका क्या है। शोधकर्ता एक ऐसी प्रणाली पर काम कर रहे हैं जहाँ आपके फोन पर एक छोटा, सुरक्षित रोबोट (स्थानीय मॉडल) क्लाउड में मौजूद बड़े, शक्तिशाली रोबोट (रिमोट मॉडल) को भेजने से पहले आपके प्रश्न को फिर से लिखता है। लक्ष्य यह है कि प्रश्न बड़े रोबोट के लिए अभी भी समझ में आने योग्य रहे, लेकिन उसमें से वह सब कुछ हटा दिया जाए जिससे आपकी पहचान हो सके। शोध पत्र सुझाव देता है कि केवल स्पष्ट रहस्यों को हटाना ही पर्याप्त नहीं है। इसके बजाय, वे एक नया "प्राइवेसी स्कोर" प्रस्तावित करते हैं जिसे k-anonymity कहा जाता है। इस स्कोर को इस तरह समझें जो इस बात का पैमाना है कि दुनिया में कितने अन्य लोग संकेतों के उसी सेट द्वारा वर्णित किए जा सकते हैं। यदि आपका पुनर्गठित प्रश्न "ऑस्टिन में एक 34 वर्षीय नर्स" के रूप में वर्णन करता है, तो यह एक बहुत छोटा समूह है (कम स्कोर)। यदि यह "एक स्वास्थ्य समस्या का प्रबंधन करने वाले व्यक्ति" के रूप में वर्णन करता है, तो यह लाखों लोगों का समूह हो सकता है (उच्च स्कोर)। स्कोर जितना अधिक होगा, किसी के लिए भी आपको सटीक रूप से पहचानना उतना ही कठिन होगा।

लेखकों ने अपने विचार का परीक्षण करने के लिए वास्तविक उपयोगकर्ता प्रश्नों का एक विशेष खेल का मैदान बनाया, जिसमें लोगों की व्यक्तिगत कहानियों के 166 उदाहरणों वाला एक डेटासेट PUPA-SD बनाया गया। फिर उन्होंने अपने स्थानीय रोबोट को न केवल नाम छिपाने के लिए, बल्कि उस "प्राइवेसी स्कोर" को अधिकतम करने के लिए प्रश्नों को फिर से लिखने के लिए प्रशिक्षित करने की कोशिश की। उन्होंने पाया कि कुछ रोबोटों के लिए, यह नया प्रशिक्षण अद्भुत काम करता है। विशेष रूप से, Llama-3.2-3B नामक एक मॉडल बहुत बेहतर हो गया: प्रशिक्षण के बाद, इसने उत्तरों की गुणवत्ता को उच्च बनाए रखा (100 में से 67.4 का स्कोर) जबकि उन रहस्यों की संख्या को नाटकीय रूप से कम कर दिया जिन्हें इसने गलती से लीक कर दिया था (घटकर 11.0 रह गया)। हालाँकि, शोध पत्र नोट करता है कि यह हर किसी के लिए जादुई समाधान नहीं है। छोटे रोबोट, जैसे कि Qwen-2.5-0.5B मॉडल, मददगार होने और निजी रहने के बीच संतुलन बनाने में संघर्ष करते हैं; जब वे प्राइवेसी में बेहतर होने की कोशिश करते हैं, तो वे कभी-कभी अधिक रहस्य लीक करने लगते हैं या खराब उत्तर देने लगते हैं। शोधकर्ता सुझाव देते हैं कि इस "प्राइवेसी स्कोर" को एक मार्गदर्शक के रूप में उपयोग करना एक आशाजनक कदम है, लेकिन वे यह भी स्वीकार करते कि विवरणों से मेल खाने वाले लोगों की गिनती करने के लिए उनके वर्तमान उपकरण रोबोट की दुनिया की याददाश्त पर निर्भर करते हैं, जो पूरी तरह से अपडेटेड नहीं हो सकती है। अंततः, अध्ययन दिखाता है कि हालांकि हम अभी तक भीड़ में पूरी तरह से छिप नहीं सकते, लेकिन हम अपने AI सहायकों को थोड़ा बेहतर तरीके से घुलने-मिलने के लिए सिखाना शुरू कर सकते हैं।

तकनीकी सारांश: प्रत्यक्ष पहचानकर्ताओं से परे: गोपनीयता-सचेत LLM क्वेरी डेलीगेशन के लिए संभाव्य गोपनीयता जोखिम अनुमान

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) इंटरैक्शन में उपयोगकर्ता की गोपनीयता की रक्षा करने के मौजूदा दृष्टिकोण, विशेष रूप से प्राइवेसी-कॉन्शियस डेलीगेशन (PCD), मुख्य रूप से अनट्रस्टेड रिमोट मॉडल्स को क्वेरी भेजने से पहले स्पष्ट व्यक्तिगत पहचान योग्य जानकारी (PII) (जैसे नाम, ईमेल, विशिष्ट स्थान) को हटाने पर ध्यान केंद्रित करते हैं। हालांकि, लेखक तर्क देते हैं कि स्पष्ट पहचानकर्ताओं को हटाना गुमनामी बनाए रखने के लिए अपर्याप्त है। उपयोगकर्ता क्वासी-आइडेंटिफायर्स (quasi-identifiers) के माध्यम से पहचाने जा सकते हैं—जो गैर-स्पष्ट गुणों (जैसे "ऑस्टिन में रहने वाली 34 वर्षीय नर्स जिसे टाइप 2 मधुमेह है") का संयोजन है, जो एकत्रित होने पर एक व्यक्ति को विशिष्ट रूप से सीमित कर देते हैं।

यह शोध पत्र प्रस्तावित करता है कि मौजूदा PCD फ्रेमवर्क इन स्व-प्रकटीकरणों (self-disclosures) से उत्पन्न होने वाले संभाव्य गोपनीयता जोखिमों (probabilistic privacy risks) का हिसाब रखने में विफल रहते हैं। इसे संबोधित करने के लिए, लेखक PCD उद्देश्यों को k-anonymity के एक संभाव्य अनुमान के साथ जोड़ने का प्रस्ताव करते हैं, जो एक ज्ञात जनसंख्या के भीतर गुणों के सेट के आधार पर किसी व्यक्ति को खोजने की आसानी को औपचारिक रूप देता है।

2. कार्यप्रणाली

2.1. PCD-k फ्रेमवर्क
लेखक PAPILLON पर आधारित एक मजबूत बेसलाइन PCD फ्रेमवर्क का उपयोग करते हैं, जहाँ एक विश्वसनीय स्थानीय मॉडल ( $M_{LOCAL}$ ) एक उपयोगकर्ता की क्वेरी ( $q$ ) को एक सैनिटाइज्ड (sanitized) क्वेरी ( $q'$ ) में फिर से लिखता है, जिसे बाद में एक शक्तिशाली, अनट्रस्टेड रिमोट मॉडल ( $M_{REMOTE}$ ) को भेजा जाता है। लेखक PCD-k पेश करते हैं, जो रिस्पॉन्स क्वालिटी और PII लीकेज रिडक्शन के साथ-साथ एक अतिरिक्त अनुकूलन उद्देश्य के रूप में k-anonymity को जोड़ता है।

2.2. संभाव्य जोखिम अनुमान (BRANCH एकीकरण)
फ्री-फॉर्म टेक्स्ट के लिए k-anonymity को क्रियान्वित करने के लिए, लेखक BRANCH (Zheng et al., 2025) को एकीकृत करते हैं, जो एक संभाव्य फ्रेमवर्क है जो जनगणना डेटा और तार्किक निर्भरताओं के बारे में LLM के ज्ञान का लाभ उठाता है। इस प्रक्रिया में शामिल हैं:

डिस्क्लोजर एक्सट्रैक्शन: व्यक्तिगत विशेषताओं (जैसे आयु, व्यवसाय, स्थान) की पहचान करना।
बेयसियन मॉडलिंग (Bayesian Modeling): डिस्क्लोजर्स को रैंडम वेरिएबल्स के रूप में क्रमबद्ध करना और उनकी कंडीशनल डिपेंडेंसी निर्धारित करना (जैसे, व्यवसाय स्थान और आयु पर निर्भर करता है)।
अनुमान (Estimation): LLM प्री-ट्रेनिंग डेमोग्राफिक नॉलेज के आधार पर पिछले गुणों के आधार पर प्रत्येक विशेषता की संभावना का अनुमान लगाता है।
गणना: जॉइंट प्रोबेबिलिटी को जनसंख्या आकार (जैसे, 400M अंग्रेजी भाषी) से गुणा करके अपेक्षित मिलान करने वाले व्यक्तियों की संख्या ( $k$ ) प्राप्त की जाती है।

दक्षता में सुधार के लिए, लेखक बेयसियन स्ट्रक्चर को क्युमुलेटिव कंडिशनिंग ग्रुप्स (cumulative conditioning groups) में सरल बनाते हैं और समान क्वेरी के लिए रेडंडेंट LLM कॉल्स से बचने के लिए एक कैशिंग मैकेनिज्म लागू करते हैं।

2.3. PUPA-SD डेटासेट
इस संभाव्य फ्रेमवर्क को प्रशिक्षित और मूल्यांकन करने के लिए, लेखकों ने PUPA-SD (Privacy-Conscious Delegation - Self-Disclosure) का निर्माण किया।

स्रोत: WildChat और LMSYS-Chat-1M से निकाला गया।
सामग्री: स्व-प्रकटीकरण (self-disclosures) वाले 166 वास्तविक उपयोगकर्ता प्रश्न।
प्रोसेसिंग: एक वैलिडेटेड एक्सट्रैक्शन मॉड्यूल (GPT-5-mini का उपयोग करके) स्व-प्रकटीकरणों को फ़िल्टर करता है, गैर-अंग्रेजी और यौन सामग्री को हटाता है।
विशेषताएं: इस डेटासेट में ऐसे उदाहरण शामिल हैं जहाँ स्पष्ट PII अनुपस्थित है, फिर भी क्वासी-आइडेंटिफायर मौजूद हैं, जो यह दर्शाता है कि मानक PII डिटेक्टर अपर्याप्त हैं।

2.4. अनुकूलन रणनीति (Optimization Strategy)
लेखक स्थानीय मॉडल के रीराइटिंग प्रॉम्प्ट को अनुकूलित करने के लिए DSPby's SIMBA प्रॉम्प्ट ऑप्टिमाइज़र का उपयोग करते हैं। अनुकूलन मीट्रिक निम्नलिखित का भारित योग (weighted sum) है:

उपयोगिता (Utility): रिस्पॉन्स क्वालिटी और प्रॉम्प्ट की सुसंगतता।
गोपनीयता (Privacy): अनुमानित k-anonymity स्कोर (लॉगारिदमिक स्केल का उपयोग करके [0,1] तक सामान्यीकृत: $\log_2(k) / \log_2(400M)$ )।
नोट: PII लीकेज को अनुकूलन मीट्रिक में शामिल नहीं किया गया है ताकि मॉडल केवल k-anonymity को अधिकतम करने के लिए टेक्स्ट को हटाने से बच सके; इसे केवल मूल्यांकन के दौरान मापा जाता है।

3. मुख्य योगदान

वैचारिक बदलाव: PCD के मूल उद्देश्य के रूप में स्पष्ट PII हटाने से आगे बढ़कर संभाव्य k-anonymity अनुमान की ओर बढ़ने का प्रस्ताव।
डेटासेट निर्माण: स्व-प्रकटीकरण और क्वासी-आइडेंटिफायर से उत्पन्न होने वाले गोपनीयता जोखिमों का मूल्यांकन करने के लिए विशेष रूप से क्यूरेट किया गया PUPA-SD डेटासेट पेश करना।
कुशल अनुमानक (Efficient Estimator): क्युमुलेटिव कंडिशनिंग और कैशिंग का उपयोग करते हुए, प्रॉम्प्ट ऑप्टिमाइजेशन लूप्स के लिए अधिक डेटा-कुशल पाइपलाइन के रूप में BRANCH फ्रेमवर्क को अनुकूलित करना।
अनुभवजन्य विश्लेषण (Empirical Analysis): यह मूल्यांकन करना कि विभिन्न स्थानीय मॉडल (0.5B से 8B पैरामीटर्स तक) उपयोगिता और संभाव्य गोपनीयता के बीच के ट्रेड-ऑफ को कैसे संभालते हैं।

4. परिणाम

प्रयोग PUPA-SD पर अनुकूलित किए गए और विभिन्न स्थानीय मॉडल्स ( $M_{LOCAL}$ ) और GPT-4o-mini को रिमोट मॉडल ( $M_{REMOTE}$ ) के रूप में उपयोग करते हुए होल्ड-आउट PUPA-TNB डेटासेट पर किए गए।

क्वालिटी बनाम प्राइवेसी ट्रेड-ऑफ:
- Llama-3.2-3B ने सबसे अच्छा संतुलन हासिल किया, जिसने रिस्पॉन्स क्वालिटी (54.22 से 67.37) में सुधार किया, जबकि PII लीकेज (29.13 से 11.03) को काफी कम कर दिया और उच्च k-anonymity बनाए रखी।
- छोटे मॉडल्स (जैसे, Qwen-2.5-0.5B/1.5B): क्वालिटी और प्राइवेसी को संयुक्त रूप से अनुकूलित करने में संघर्ष करते हैं। जबकि क्वालिटी में सुधार हुआ, अनुकूलन के बाद PII लीकेज अक्सर बढ़ गया (जैसे, Qwen-1.5B लीकेज 54.40 से बढ़कर 62.95 हो गया)।
- बड़े मॉडल्स (जैसे, Llama-3.1-8B): महत्वपूर्ण क्वालिटी गेन्स दिखाए, लेकिन PII लीकेज में भी वृद्धि देखी गई, जो यह सुझाव देता है कि सभी बाधाओं को एक साथ पूरा करने में कठिनाई होती है।
k-Anonymity स्थिरता: k-anonymity स्कोर मॉडल्स और स्थितियों में अपेक्षाकृत स्थिर रहा। लेखक नोट करते हैं कि ऐसा इसलिए हो सकता है क्योंकि पुन: लिखे गए (rewritten) प्रश्नों ने या तो डिस्क्लोजर्स को पूरी तरह से हटा दिया या वे सार्वजनिक डेटा के साथ अनुमान लगाने में असंभव हो गए, जिससे एस्टीमेटर को पूर्ण जनसंख्या आकार पर वापस जाना पड़ा।
सहसंबंध (Correlation): मूल प्रश्नों में PII की संख्या और अनुमानित k-anonymity के बीच एक नकारात्मक सहसंबंध ( $\rho = -0.4045$ ) देखा गया, जो पाइपलाइन के मोनोटोनिक व्यवहार की पुष्टि करता है।

5. महत्व और दावे

यह शोध पत्र संभाव्य गोपनीयता-सचेत डेलीगेशन की ओर एक "पहला कदम" लेने का दावा करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि:

स्पष्ट पहचानकर्ताओं को हटाना पर्याप्त नहीं है; क्वासी-आइडेंटिफायर एक वास्तविक, मापने योग्य जोखिम पैदा करते हैं।
k-anonymity PCD के लिए एक उपयोगी सहायक मीट्रिक के रूप में काम कर सकता है, बशर्ते कि इसका अनुमान अनुकूलन लूप्स के लिए पर्याप्त कुशल हो।
मॉडल क्षमता (Model Capacity) प्राइवेसी-यूटिलिटी ट्रेड-ऑफ को नेविगेट करने में एक महत्वपूर्ण कारक है; छोटे मॉडल उच्च-गुणवत्ता वाले रीराइटिंग और सख्त गोपनीयता बाधाओं के लिए संयुक्त रूप से अनुकूलित करने में संघर्ष कर सकते हैं।

स्वीकृत सीमाएँ:

कैलिब्रेशन (Calibration): k-anonymity अनुमान वास्तविक समय के जनगणना डेटा के बजाय LLM-एन्कोडेड प्रायर नॉलेज पर निर्भर करते हैं, जिससे अनुमानों में अशुद्धि या पुराने आंकड़े होने की संभावना रहती है।
डेटासेट का आकार: PUPA-SD छोटा है (166 इंस्टेंस), जो सांख्यिकीय शक्ति को सीमित करता है और छोटे मॉडल्स के लिए पोस्ट-ट्रेनिंग दृष्टिकोणों को रोकता है।
भाषा: वर्तमान पाइपलाइन और डेटासेट अंग्रेजी तक ही सीमित हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका दृष्टिकोण आशाजनक है, भविष्य के कार्यों में अनुमानों को वर्तमान डेटा (जैसे, एजेंटिक वेब सर्च के माध्यम से) के साथ ग्राउंड करने और अधिक मजबूत प्रशिक्षण और मूल्यांकन का समर्थन करने के लिए डेटासेट का विस्तार करने की आवश्यकता है।

1. समस्या विवरण

2. कार्यप्रणाली

3. मुख्य योगदान

4. परिणाम

5. महत्व और दावे

इसी तरह के और पेपर