💬 NLP

Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

यह शोध पत्र $P^3$ को प्रस्तुत करता है, जो एक गोपनीयता-संरक्षण फ्रेमवर्क है जो उच्च-गुणवत्ता वाले व्यक्तिगत LLM आउटपुट प्राप्त करने के लिए सर्वर-साइड मॉडल के ड्राफ्ट जनरेशन को क्लाइंट-साइड मॉडल के रिट्रीवल-ऑगमेंटेड रिफाइनमेंट के साथ जोड़ता है, ताकि सर्वर को निजी उपयोगकर्ता प्रोफाइल को उजागर किए बिना यह संभव हो सके।

मूल लेखक: Alireza Salemi, Hamed Zamani

प्रकाशित 2026-01-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alireza Salemi, Hamed Zamani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ (सर्वर-साइड मॉडल) है जो लगभग हर व्यंजन को पूरी तरह से बना सकता है। हालाँकि, वह एक दूर स्थित, उच्च-सुरक्षा वाली रसोई में काम करता है और उसे आपकी विशिष्ट आहार संबंधी आवश्यकताओं, एलर्जी या पसंदीदा स्वादों के बारे में नहीं पता है। यदि आप उसे "मेरे लिए एक सैंडविच बनाओ" जैसा एक साधारण आदेश भेजते हैं, तो वह एक सामान्य, सुरक्षित सैंडविच बनाएगा।

दूसरी ओर, आपके पास एक छोटा, स्थानीय सहायक शेफ (क्लाइंट-साइड मॉडल) है जो आपकी रसोई में रहता है। यह सहायक शेफ आपकी पारिवारिक हिस्ट्री, आपकी एलर्जी और ठीक वही जानता है जो आपको पसंद है। लेकिन, यह सहायक शेफ कोई मास्टर शेफ नहीं है; वह बिना रसोई जलाए अपने आप एक जटिल भव्य भोजन नहीं बना सकता।

समस्या:
यदि आप एक आदर्श, व्यक्तिगत भोजन चाहते हैं, तो आमतौर पर आपके पास दो बुरे विकल्प होते हैं:

अपना पूरा रेसिपी बुक दूर बैठे शेफ को भेज दें: वे एक बेहतरीन भोजन बनाएंगे, लेकिन अब वे आपके बारे में सब कुछ जान जाएंगे (आपके रहस्य, आपका इतिहास, आपका निजी डेटा)।
स्थानीय सहायक शेफ को अकेले खाना बनाने दें: वे आपके रहस्यों को सुरक्षित रखते हैं, लेकिन भोजन औसत दर्जे का हो सकता है क्योंकि उनके पास बड़े शेफ के कौशल की कमी है।

समाधान: $P^3$ फ्रेमवर्क
यह पेपर खाना पकाने का एक नया तरीका पेश करता है जिसे $P^3$ कहा जाता है। यह एक उच्च-तकनीकी "स्वाद लेने और सुधारने" (tasting and tweaking) की प्रक्रिया की तरह है जो आपको अपना रेसिपी बुक सौंपे बिना दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने में मदद करती है।

यह यहाँ कैसे काम करता है, चरण-दर-चरण:

ड्राफ्ट (The Draft): दूर बैठा मास्टर शेफ खाना बनाना शुरू करता है। वह आपके रहस्य नहीं जानता, इसलिए वह केवल यह अनुमान लगाता है कि एक अच्छा सैंडविच कैसा दिख सकता है। वह जल्दी से एक नोटपैड पर सामग्रियों का एक क्रम (जिन्हें "टोकन" कहा जाता है) लिख देता है।
टेस्ट टेस्ट (The Taste Test): स्थानीय सहायक शेफ (जिसके पास आपकी रेसिपी बुक है) मास्टर शेफ के ड्राफ्ट को पढ़ता है। वह इसकी तुलना उससे करता है कि वास्तव में आपको क्या चाहिए होगा।
- यदि ड्राफ्ट अच्छा दिखता है: सहायक शेफ कहता है, "हाँ, इसे रखें!"
- यदि ड्राफ्ट गलत है: सहायक शेफ कहता है, "नहीं, यह आपके लिए सही नहीं है," और इसे उस बेहतर सामग्री से बदल देता है जिसे वह जानता है कि आपको पसंद है।
फ़िल्टर (The Filter): नोट्स वापस मास्टर शेफ को भेजने से पहले, सहायक शेफ यह जाँचता है कि कहीं नोट्स में कोई "गुप्त सामग्री" (जैसे आपका घर का पता या क्रेडिट कार्ड नंबर) गलती से न आ जाए। यदि वह उन्हें देखता है, तो वह उन्हें एक सामान्य प्लेसहोल्डर जैसे [PII] से ढक देता है ताकि दूर बैठे शेफ को वे कभी दिखाई न दें।
लूप (The Loop): मास्टर शेफ सुधारा गया नोट लेता है, अगली कुछ सामग्रियाँ जोड़ता है, और उन्हें वापस भेजता है। सहायक शेफ फिर से स्वाद लेता है और सुधार करता है। वे इस नृत्य को तब तक दोहराते हैं जब तक कि भोजन तैयार नहीं हो जाता।

यह एक बड़ी बात क्यों है?

गोपनीयता (Privacy): दूर बैठे शेफ को आपकी वास्तविक रेसिपी बुक कभी नहीं दिखती। उन्हें केवल स्वीकृत सामग्रियाँ ही दिखाई देती हैं। यह पेपर दिखाता है कि यह आपके बारे में लगभग उतना ही जानकारी प्रकट करता है जितना कि केवल एक साधारण प्रश्न पूछने से होता है। यह एक अजनबी को "मैं भूखा हूँ" बताने और उन्हें अपना पूरा मेडिकल इतिहास सौंप देने के बीच के अंतर जैसा है।
गुणवत्ता (Quality): क्योंकि मास्टर शेफ अधिकांश भारी काम (90% भोजन लिखना) कर रहा है, इसलिए अंतिम परिणाम बहुत बेहतर होता है बजाय इसके कि स्थानीय सहायक शेफ अकेले सब कुछ बनाने की कोशिश करे।
दक्षता (Efficiency): स्थानीय सहायक शेफ को बहुत कम काम करना पड़ता है (कुल खाना पकाने का लगभग 9%), इसलिए यह आपके फोन की बैटरी को खत्म नहीं करता या उसे धीमा नहीं करता।

परिणाम
लेखकों ने इसका परीक्षण एक "पर्सनलाइज्ड क्वेश्चन अनswering" (जैसे अपने पिछले प्रश्नों के आधार पर स्मार्ट असिस्टेंट से सलाह मांगना) चुनौती पर किया।

अनुमान लगाने से बेहतर: यह बिना किसी व्यक्तिगत जानकारी के केवल मास्टर शेफ से पूछने की तुलना में बहुत बेहतर था।
लोकल-ओनली से बेहतर: यह स्थानीय सहायक शेफ को अकेले सब कुछ करने देने की तुलना में बहुत बेहतर था।
"लीकी" (Leaky) के लगभग बराबर: इसने उस गुणवत्ता का लगभग 90-95% प्राप्त किया जो आपको तब मिलता जब आप वास्तव में अपना पूरा निजी प्रोफाइल मास्टर शेफ को सौंप देते, लेकिन बिना वह प्रोफाइल दिए।

संक्षेप में
$P^3$ एक शक्तिशाली क्लाउड मस्तिष्क और एक छोटे, निजी स्थानीय मस्तिष्क के बीच एक स्मार्ट सहयोग है। क्लाउड मस्तिष्क कहानी लिखता है, और स्थानीय मस्तिष्क इसे संपादित करता है ताकि यह सुनिश्चित हो सके कि यह आपके जैसा लगे, जबकि आपकी निजी डायरी को सुरक्षित रूप से आपकी जेब में बंद रखता है।

तकनीकी सारांश: व्यक्तिगत पीढ़ी (Personalized Generation) में उपयोगकर्ता गोपनीयता में सुधार

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) में वैयक्तिकरण (Personalization) आमतौर पर रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पर निर्भर करता है, जहाँ उपयोगकर्ता के निजी प्रोफाइल से प्रासंगिक संदर्भ (context) निकाला जाता है और प्रतिक्रिया को अनुकूलित करने के लिए मॉडल को दिया जाता है। हालाँकि, यह एक मौलिक ट्रेड-ऑफ (trade-off) पैदा करता है:

सर्वर-साइड RAG: शक्तिशाली क्लाउड मॉडल्स का उपयोग करके उच्च-गुणवत्ता वाला वैयक्तिकरण प्रदान करता है, लेकिन इसके लिए प्रदाता को निजी उपयोगकर्ता प्रोफाइल का खुलासा करना आवश्यक है, जिससे गोपनीयता के महत्वपूर्ण जोखिम उत्पन्न होते हैं।
क्लाइंट-साइड RAG: प्रोफाइल को उपयोगकर्ता के डिवाइस पर रखकर गोपनीयता बनाए रखता है, लेकिन यह एज हार्डवेयर की कम्प्यूटेशनल सीमाओं द्वारा सीमित है, जो छोटे और कम सक्षम मॉडल्स का उपयोग करने के लिए मजबूर करता है जो अक्सर खराब प्रदर्शन करते हैं।

मौजूदा गोपनीयता-संरक्षण विकल्प, जैसे कि टेक्स्टुअल/वेक्टर अस्पष्टीकरण (obfuscation), इन्वर्जन हमलों (inversion attacks) के प्रति संवेदनशील हैं और प्रदाता अस्पष्ट डेटा की जांच कर सकते हैं। होमोमॉर्फिक एन्क्रिप्शन (Homomorphic encryption) वर्तमान में अत्यधिक कम्प्यूटेशनल ओवरहेड के कारण अव्यवहारिक है। यह शोध पत्र एक ऐसे तरीके की आवश्यकता को संबोधित करता है जो उपयोगकर्ता के कच्चे निजी संदर्भ (raw private context) को सीधे उजागर किए बिना, व्यक्तिगतता के लिए उच्च-क्षमता वाले सर्वर-साइड मॉडल्स का लाभ उठा सके।

कार्यप्रणाली: $P^3$ फ्रेमवर्क
लेखक $P^3$ (क्लाइंट-साइड रिट्रीवल-ऑगमेंटेड मॉडिफिकेशन ऑफ सर्वर-साइड जनरेटेड स्पेकुलेशन्स) प्रस्तावित करते हैं, जो एक इंटरैक्टिव फ्रेमवर्क है जो पीढ़ी (generation) को एक बड़े सर्वर-साइड मॉडल ( $M_{server}$ ) और एक छोटे क्लाइंट-साइड मॉडल ( $M_{client}$ ) के बीच एक सहयोगात्मक प्रक्रिया में विभाजित करता है।

आर्किटेक्चर:
- सर्वर-साइड: एक बड़ा, उच्च-क्षमता वाला मॉडल केवल उपयोगकर्ता के प्रश्न (query) के आधार पर $k$ "ड्राफ्ट" टोकन की एक श्रृंखला उत्पन्न करता है, जिसके पास उपयोगकर्ता प्रोफाइल तक पहुंच नहीं होती है।
- क्लाइंट-साइड: उपयोगकर्ता के डिवाइस पर तैनात एक छोटा मॉडल, जिसके पास उपयोगकर्ता का निजी प्रोफाइल होता है। यह प्रश्न के आधार पर प्रोफाइल से प्रासंगिक संदर्भ ( $C_q$ ) निकालता है।
- सत्यापन और सुधार लूप (Verification & Correction Loop):
  1. सर्वर $k$ टोकन प्रस्तावित करता है।
  2. क्लाइंट इन टोकन का मूल्यांकन क्लाइंट मॉडल के अनुसार प्राप्त व्यक्तिगत संदर्भ की स्थिति में करता है।
  3. प्रत्येक ड्राफ्ट टोकन $T_i$ के लिए, क्लाइंट इसकी प्रायिकता ( $P_{T_i}$ ) की गणना करता है और क्लाइंट मॉडल के अनुसार सबसे संभावित वैकल्पिक टोकन ( $T^*_i$ ) की प्रायिकता से तुलना करता है।
  4. स्वीकृति (Acceptance): यदि अनुपात $P_{T_i} / P_{T^*_i} \geq \tau$ ( $\tau$ एक रिजेक्शन थ्रेशोल्ड है) है, तो टोकन को स्वीकार कर लिया जाता है।
  5. सुधार (Correction): यदि अनुपात $\tau$ से कम है, तो टोकन को अस्वीकार कर दिया जाता है और $T^*_i$ के साथ बदल दिया जाता है। इस बैच के शेष ड्राफ्ट टोकन हटा दिए जाते हैं, और सर्वर सुधारा गया प्रीफिक्स (corrected prefix) के आधार पर एक नया बैच उत्पन्न करता है।
- गोपनीयता फ़िल्टर (Privacy Filter): सुधारा गया प्रीफिक्स वापस सर्वर को भेजने से पहले, क्लाइंट प्राप्त संदर्भ में पाए गए किसी भी व्यक्तिगत पहचान योग्य जानकारी (PII) को फ़िल्टर करता है, और उसे एक प्लेसहोल्डर (जैसे, [PII]) से बदल देता है। यह सुनिश्चित करता है कि सर्वर कभी भी कच्चा प्रोफाइल या PII-युक्त सुधार न देख सके।
स्पेक्युलेटिव डिकोडिंग से भिन्नता: मानक स्पेक्युलेटिव डिकोडिंग के विपरीत, जहाँ एक छोटा मॉडल ड्राफ्ट करता है और एक बड़ा मॉडल सत्यापन करता है ताकि विलंबता (latency) कम की जा सके, $P^3$ भूमिकाओं को उलट देता है (बड़ा ड्राफ्ट करता है, छोटा सत्यापित करता है) ताकि गोपनीयता और वैयक्तिकरण को प्राथमिकता दी जा सके। क्लाइंट मॉडल जानबूझकर सर्वर के वितरण से विचलित होता है ताकि आउटपुट को उपयोगकर्ता की प्राथमिकताओं की ओर निर्देशित किया जा सके।

प्रमुख योगदान

फ्रेमवर्क डिज़ाइन: $P^3$ का परिचय, जो LLM वैयक्तिकरण के लिए पहला रिट्रीवल-ऑगमेंटेड तरीका है जो सर्वर को उपयोगकर्ता प्रोफाइल के प्रत्यक्ष प्रकटीकरण से बचाता है।
उपयोगिता-गोपनीयता संतुलन (Privacy-Utility Balance): यह विधि सर्वर-साइड क्षमताओं का लाभ उठाकर उच्च वैयक्तिकरण गुणवत्ता प्राप्त करती है जबकि केवल स्वीकृत या सुधारा गया टोकन में निहित न्यूनतम जानकारी तक ही सूचना रिसाव (information leakage) को सीमित करती है।
ओपन सोर्स: लेखक अनुसंधान को बढ़ावा देने के लिए अपने कार्यान्वयन को ओपन-सोर्स करते हैं।

प्रायोगिक परिणाम
प्रयोग LaMP-QA बेंचमार्क पर किए गए, जिसमें तीन डेटासेट शामिल हैं: आर्ट एंड एंटरटेनमेंट, लाइफस्टाइल एंड पर्सनल डेवलपमेंट, और सोसाइटी एंड कल्चर। सिस्टम ने Qwen 2.5 (14B/3B) और Gemma 3 (12B/4B) परिवारों का उपयोग किया।

प्रदर्शन:
- $P^3$ ने सभी डेटासेट्स पर गैर-वैयक्तिकृत सर्वर-साइड बेसलाइन और पूर्णतः क्लाइंट-साइड वैयक्तिकृत बेसलाइन दोनों को लगातार पछाड़ दिया।
- इसने सर्वश्रेष्ठ गैर-लीकी (non-leaky) बेसलाइन पर औसतन 7.4% से 9% की सांख्यिकीय रूप से महत्वपूर्ण सुधार प्राप्त की।
- $P^3$ ने एक "अपर-बाउंड" परिदृश्य (जहाँ पूर्ण प्रोफाइल सर्वर को उजागर किया गया था - एक "लीकी" सेटिंग) की उपयोगिता का 90.3% से 95.7% तक पुनः प्राप्त किया।
गोपनीयता विश्लेषण:
- लिंकेबिलिटी अटैक (Linkability Attack): उम्मीदवारों के एक सेट से उपयोगकर्ता प्रोफाइल की पहचान करने का प्रयास करने वाले हमलावर ने $P^3$ के साथ केवल 24% सटीकता प्राप्त की, जबकि क्वेरी-ओनली बेसलाइन के लिए यह 22.5% और रैंडम बेसलाइन के लिए 20% थी। यह गैर-वैयक्तिकृत बेसलाइन की तुलना में केवल 1.5% लीकेज की मामूली वृद्धि को दर्शाता है।
- एट्रीब्यूट इन्फरेंस अटैक (Attribute Inference Attack): उपयोगकर्ता गुणों (जैसे, व्यवसाय, स्थान) का अनुमान लगाने में हमलावर की सटीकता $P^3$ के साथ 58.5% थी, जो क्वेरी-ओनली बेसलाइन (55%) से केवल 3.5% अधिक है। यह 100% सटीकता से काफी कम है जो पूर्ण प्रोफाइल साझा करने पर प्राप्त होती है।
दक्षता (Efficiency):
- क्लाइंट-साइड मॉडल अंतिम प्रतिक्रिया में कुल टोकन का केवल 9.2% उत्पन्न करता है।
- क्लाइंट-साइड रनटाइम कुल विलंबता का केवल एक अंश है (उदाहरण के लिए, 23.6s कुल में से ~4.9s), अधिकांश गणना सर्वर पर होती है।
- $P^3$ (3B क्लाइंट मॉडल के साथ) ने कम उपयोगकर्ता-साइड रनटाइम और VRAM का उपयोग करते हुए, 3B मॉडल वाले पूर्ण क्लाइंट-साइड RAG बेसलाइन से काफी बेहतर प्रदर्शन किया।

महत्व और दावे
यह शोध पत्र दावा करता है कि $P^3$ वैयक्तिकृत पीढ़ी के लिए एक व्यावहारिक और प्रभावी समाधान प्रदान करता है जो प्रदर्शन से समझौता किए बिना गोपनीयता में सुधार करता है। यह प्रदर्शित करता है कि व्यक्तिगत डेटा पर नियंत्रण रखते हुए शक्तिशाली क्लाउड-होस्टेड LLMs का लाभ उठाना संभव है। लेखक इस कार्य को गोपनीयता-संवेदनशील अनुप्रयोगों के लिए सिद्धांतिक जोखिम न्यूनीकरण की दिशा में एक कदम के रूप में देखते हैं, जो स्थानीय मॉडल्स के पूर्ण अलगाव और पारंपरिक सर्वर-साइड RAG के अनियंत्रित प्रकटीकरण के बीच एक मध्य मार्ग प्रदान करता है। परिणाम बताते हैं कि $P^3$ बिना किसी व्यक्तिगत संदर्भ के केवल क्वेरी सबमिट करने की तुलना में केवल मामूली अतिरिक्त लीकेज पेश करता है, जो इसे उन परिदृश्यों के लिए एक व्यवहार्य विकल्प बनाता है जहाँ सख्त गोपनीयता गारंटी की आवश्यकता होती है लेकिन उच्च मॉडल उपयोगिता भी वांछित है।

इसी तरह के और पेपर