💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

यह शोध पत्र DP-Fusion का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) के लिए एक टोकन-स्तरीय डिफरेंशियल प्राइवेट इन्फरेंस तंत्र है, जो आउटपुट पर संवेदनशील संदर्भ टोकनों के प्रभाव को प्रमाणित रूप से सीमित करता है ताकि मौजूदा विधियों की तुलना में काफी बेहतर गोपनीयता और उपयोगिता ट्रेड-ऑफ के साथ उच्च-गुणवत्ता वाली दस्तावेज़ गोपनीयता सक्षम की जा सके।

मूल लेखक: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, बातूनी रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो दस्तावेज़ों का सारांश बनाने में आपकी मदद करता है। कभी-कभी, उन दस्तावेज़ों में गुप्त जानकारी हो सकती है, जैसे किसी मरीज़ का नाम, कोई विशिष्ट तिथि, या बैंक खाता संख्या। आप चाहते हैं कि रोबोट कहानी का सारांश तो बनाए, लेकिन गलती से उन रहस्यों को उजागर न कर दे।

समस्या यह है कि वर्तमान रोबोट इस मामले में खराब हैं। यदि आप उन्हें सिर्फ यह कहते हैं कि "नाम मत बताओ," तो वे भ्रमित हो सकते हैं और अर्थहीन शब्द लिख सकते हैं। यदि आप उन्हें "इसे अच्छे से फिर से लिखने" के लिए कहते हैं, तो वे अनजाने में रहस्य को प्रकट करने में चूक सकते हैं।

DP-FUSION से मिलिए: "सीक्रेट-सेफ" ब्लेंडर

लेखकों ने DP-FUSION नामक एक नई विधि बनाई है। इसे एक विशेष टेक्स्ट ब्लेंडर (मिश्रण करने वाला यंत्र) की तरह समझें जो यह गारंटी देता है कि रहस्य छिपे रहें जबकि कहानी पढ़ने योग्य बनी रहे। यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

परिदृश्य: कहानी के दो संस्करण

कल्पना कीजिए कि आपके पास "मिसेज स्मिथ" के बारे में एक मेडिकल रिपोर्ट है जिनका बिल $345.25 था।

मूल कहानी (Original Story): इसमें "मिसेज स्मिथ" नाम और सटीक बिल राशि शामिल है।
संशोधित कहानी (Redacted Story): आप एक मार्कर लेते हैं और "मिसेज स्मिथ" और "$345.25" को मिटा देते हैं, उन्हें खाली स्थानों जैसे [NAME] और [AMOUNT] से बदल देते हैं।

DP-FUSION कैसे काम करता है (ब्लेंडर प्रक्रिया)

केवल एक संस्करण या दूसरे को चुनने के बजाय, DP-FUSION एक चतुर नृत्य करता है:

रोबोट को दो बार चलाएं:
- पहले, यह रोबोट को संशोधित कहानी (सुरक्षित संस्करण) का उपयोग करके अगले शब्द की भविष्यवाणी करने के लिए कहता है। यह एक "सुरक्षित" अनुमान देता है।
- दूसरा, यह रोबोट को मूल कहानी (गुप्त संस्करण) का उपयोग करके अगले शब्द की भविष्यवाणी करने के लिए कहता है। यह एक "जोखिम भरा" अनुमान देता है जो रहस्य लीक कर सकता है।
"प्राइवेसी डायल" (ब्लेंडर का नॉब):
- सिस्टम में एक डायल है जिसे $\epsilon$ (एप्सिलॉन) कहा जाता है।
- डायल को पूरा नीचे घुमाने पर (Low $\epsilon$ ): ब्लेंडर दोनों अनुमानों को इतनी गहराई से मिलाता है कि "जोखिम भरा" रहस्य "सुरक्षित" अनुमान द्वारा लगभग पूरी तरह से दबा दिया जाता है। रोबोट "एक मरीज" कह सकता है बजाय "मिसेज स्मिथ" के। यह बहुत निजी है, लेकिन कहानी थोड़ी सामान्य लग सकती है।
- डायल को ऊपर घुमाने पर (High $\epsilon$ ): ब्लेंडर "जोखिम भरे" अनुमान को अधिक मात्रा में बाहर आने देता है। रोबोट "मिसेज स्मिथ" कह सकता है यदि यह संदर्भ में फिट बैठता है। कहानी बेहतर लगती है, लेकिन इस बात की थोड़ी संभावना रहती है कि कोई रहस्य निकल जाए।
गारंटी:
- DP-FUSION का जादू यह है कि यह गणितीय रूप से सिद्ध करता है कि कोई भी हैकर चाहे कितनी भी कोशिश क्यों न करे, उनकी सफलता की संभावना इस डायल पर सेट की गई सेटिंग द्वारा सख्ती से सीमित है। भले ही हैकर को पता हो कि ब्लेंडर कैसे काम करता है, वे रहस्य का पता नहीं लगा सकते।

यह मौजूदा तरीकों से बेहतर क्यों है?

पेपर अन्य विधियों के साथ DP-FUSION की तुलना करता है:

"स्क्रबर" (NER): यह ब्लैक मार्कर से रहस्यों को काटने जैसा है। यह सुरक्षित है, लेकिन यह टेक्स्ट में बदसूरत छेद छोड़ देता है, जिससे इसे पढ़ना कठिन हो जाता है (कम उपयोगिता)।
"पैराफ्रेसर" (प्रॉम्प्ट इंजीनियरिंग): यह रोबोट को "इसे अच्छे से फिर से लिखने" के लिए कहने जैसा है। यह सुनने में अच्छा लगता है, लेकिन रोबोट अक्सर अनजाने में रहस्य प्रकट कर देता है क्योंकि उसे सावधानी बरतने के लिए मजबूर नहीं किया गया था।
DP-FUSION: यह सबसे सटीक संतुलन है। यह टेक्स्ट के प्रवाह को सुचारू रखता है (उच्च गुणवत्ता) और गणितीय रूप से गारंटी देता है कि रहस्य छिपे रहेंगे।

परिणाम

शोधकर्ताओं ने वास्तविक कानूनी और चिकित्सा दस्तावेज़ों पर इसका परीक्षण किया। उन्होंने पाया कि:

गुणवत्ता: DP-FUSION द्वारा उत्पन्न टेक्स्ट अन्य गोपनीयता विधियों की तुलना में बहुत अधिक स्वाभाविक और पठनीय था। वास्तव में, यह अगली सर्वश्रेष्ठ गोपनीयता विधि से 6 गुना बेहतर था (परप्लेक्सिटी के संदर्भ में, जो टेक्स्ट के भ्रमित होने का एक माप है)।
सुरक्षा: यहाँ तक कि जब हैकर्स ने छिपे हुए नामों या तिथियों का अनुमान लगाने की कोशिश की, तो वे लगभग उतना ही असफल रहे जितना कि वे रैंडम अनुमान लगाते समय होते।
बोनस सुरक्षा: यह विधि "जेलब्रेक" हमलों को रोकने में भी मदद करती है, जहाँ हैकर्स रोबोट को उसके नियमों को अनदेखा करने के लिए बहलाने की कोशिश करते हैं। संदिग्ध इनपुट को "संवेदनशील टोकन" के रूप में मानकर, ब्लेंडर उनके प्रभाव को कम कर देता है, जिससे रोबोट सुरक्षित रहता है।

संक्षेप में

DP-FUSION संवेदनशील दस्तावेज़ों का सारांश बनाने के लिए AI का उपयोग करने का एक नया तरीका है। यह एक स्मार्ट ब्लेंडर की तरह कार्य करता है जो टेक्स्ट के "सुरक्षित" संस्करण को "वास्तविक" संस्करण के साथ मिलाता है, जिसे एक प्राइवेसी डायल द्वारा नियंत्रित किया जाता है। यह सुनिश्चित करता है कि नाम या तारीख जैसे रहस्य गणितीय रूप से छिपे रहें, जबकि परिणामी कहानी उच्च-गुणवत्ता वाली और पढ़ने में आसान बनी रहे।

तकनीकी सारांश: DP-FUSION

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में इन्फरेंस (inference) के दौरान अंतर्निहित गोपनीयता गारंटी का अभाव होता है। जब LLMs को उन टूल्स या बाहरी डेटाबेस के साथ जोड़ा जाता है जिनमें संवेदनशील जानकारी (जैसे कि व्यक्तिगत पहचान योग्य जानकारी या PII) होती है, तो मॉडल के आउटपुट अनजाने में इस संदर्भ को प्रकट कर सकते हैं। मौजूदा गोपनीयता-संरक्षण इन्फरेंस विधियाँ महत्वपूर्ण सीमाओं से ग्रस्त हैं:

प्रमाणित गारंटी का अभाव: प्रॉम्प्ट इंजीनियरिंग या सरल स्क्रबिंग (redaction) जैसी विधियाँ कोई औपचारिक गोपनीयता आश्वासन नहीं देती हैं और वे रिकंस्ट्रक्शन (reconstruction) या मेंबरशिप इन्फरेंस हमलों के प्रति संवेदनशील हैं।
खराब उपयोगिता/गोपनीयता ट्रेड-ऑफ: डिफ़रेंशियल प्राइवेट (DP) इन्फरेंस विधियाँ जैसे कि DP-Decoding (यूनिफॉर्म नॉइज़ के साथ इंटरपोलेट करना) या DP-Prompt (लॉगिट्स को क्लिप करना) अक्सर गोपनीयता प्राप्त करने के लिए टेक्स्ट की गुणवत्ता (उच्च परप्लेक्सिटी) में भारी गिरावट का कारण बनती हैं।

संबोधित किया गया विशिष्ट चुनौती दस्तावेज़ गोपनीयता (document privatization) है: एक दस्तावेज़ को ऐसे पैराफ्रेस (paraphrase) करना जिसमें संवेदनशील टोकन शामिल हों, ताकि एक हमलावर पैराफ्रेस्ड आउटपुट से मूल संवेदनशील टोकनों का विश्वसनीय रूप से अनुमान न लगा सके, जबकि उच्च टेक्स्ट गुणवत्ता बनाए रखी जा सके।

कार्यप्रणाली: DP-FUSION

लेखक DP-FUSION प्रस्तावित करते हैं, जो एक टोकन-स्तरीय डिफ़रेंशियल प्राइवेट इन्फरेंस (DPI) तंत्र है जो जनरेट किए गए आउटपुट पर संवेदनशील संदर्भ टोकनों के प्रभाव को प्रमाणित रूप से सीमित करता है। यह विधि एक 'एडाप्टिव ग्रे-बॉक्स अटैकर' (adaptive gray-box attacker) वाले थ्रेट मॉडल के तहत काम करती है, जो इन्फरेंस विधि, मॉडल आर्किटेक्चर और वेट्स (weights) को जानता है, और रेडैक्टेड इनपुट तथा प्राइवेटाइज्ड आउटपुट को देख सकता है।

मुख्य तंत्र

DP-FUSION एनसेंबल-आधारित प्राइवेट प्रेडिक्शन (PMixED के समान) की अवधारणा को इन्फरेंस सेटिंग में अनुकूलित करता है। इस प्रक्रिया में चार मुख्य चरण शामिल हैं:

टोकन लेबलिंग (Token Labeling): इनपुट दस्तावेज़ में संवेदनशील टोकन के एक उपसमूह की पहचान की जाती है और उन्हें एक टैगर (जैसे NER) का उपयोग करके गोपनीयता समूहों ( $G_1, \dots, G_m$ ) में वर्गीकृत किया जाता है।
बेसलाइन इन्फरेंस (सार्वजनिक): LLM को दस्तावेज़ पर सभी संवेदनशील टोकनों को रेडैक्ट (बराबर लंबाई के प्लेसहोल्डर्स से बदलना) करके चलाया जाता है ताकि एक "सार्वजनिक" नेक्स्ट-टोकन डिस्ट्रीब्यूशन ( $p_{pub}$ ) प्राप्त हो सके।
प्राइवेट इन्फरेंस: LLM को $m$ बार चलाया जाता है (प्रत्येक गोपनीयता समूह के लिए एक बार), जहाँ केवल एक विशिष्ट समूह $G_i$ के टोकन ही रेडैक्टेड संदर्भ के साथ प्रकट किए जाते हैं। इससे $m$ "प्राइवेट" नेक्स्ट-टोकन डिस्ट्रीब्यूशन ( $p_{priv, i}$ ) प्राप्त होते हैं।
डिस्ट्रीब्यूशन ब्लेंडिंग (Mollification): प्रत्येक समूह $i$ $i$ के लिए, बाइसेक्शन सर्च (bisection search) के माध्यम से एक गुणांक $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ की गणना की जाती है। $\lambda_i$ $λ_{i}$ वह अधिकतम मान है जिससे मिश्रित डिस्ट्रीब्यूशन ( $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ) और बेसलाइन $p_{pub}$ $p_{p u b}$ के बीच की रेनी डायवर्जेंस (Rényi divergence) एक पूर्व-निर्धारित गोपनीयता बजट $\beta_i$ $β_{i}$ को संतुष्ट करती है।
- अंतिम नेक्स्ट-टोकन डिस्ट्रीब्यूशन इन ब्लेंडेड डिस्ट्रीब्यूशन का औसत है।
- इस मिश्रित डिस्ट्रीब्यूशन से एक टोकन को सैंपल किया जाता है।

गोपनीयता गारंटी

यह विधि प्रति-समूह $(\alpha, \beta_i)$ -रेनी डिफ़रेंशियल प्राइवेसी (RDP) प्रदान करती है।

पड़ोस परिभाषा (Neighborhood Definition): दो दस्तावेज़ों को तब पड़ोसी माना जाता है यदि वे केवल एक एकल गोपनीयता समूह के उपस्थिति/अनुपस्थिति द्वारा भिन्न होते हैं।
सैद्धांतिक सीमा: एल्गोरिदम यह सुनिश्चित करता है कि आसन्न दस्तावेज़ों के आउटपुट डिस्ट्रीबशन के बीच सिमेट्रिक रेनी डायवर्जेंस सीमित है। यह पूरे जनरेटेड ट्रांसक्रिप्ट के लिए $(\epsilon, \delta)$ -DP गारंटी में अनुवादित होता है, जहाँ $\epsilon$ को जनरेट किए गए टोकन की संख्या, रेनी ऑर्डर $\alpha$ , और समूह बजट $\beta_i$ द्वारा नियंत्रित किया जाता है।
मजबूती (Robustness): यह तंत्र हमलावर के लाभ को सीमित करता है भले ही क्वेरी को एडवर्सियली (जैसे जेलब्रेक प्रयास) चुना गया हो।

मुख्य योगदान

टोकन-स्तरीय DP इन्फरेंस: एक ऐसी विधि का परिचय जो LLM इन्फरेंस के दौरान, विशेष रूप से पैराफ्रेसिंग कार्यों के लिए, टोकन स्तर पर प्रमाणित DP गारंटी प्रदान करती है।
बेहतर उपयोगिता/गोपनीयता ट्रेड-ऑफ: पूर्ववर्ती विधियों के विपरीत जो आउटपुट डिस्ट्रीब्यूशन में शोर जोड़ती हैं या लॉगिट्स को क्लिप करती हैं, DP-FUSION "संवेदनशील" और "गैर-संवेदनशील" संदर्भों के बीच के अंतर के आधार पर डिस्ट्रीब्यूशन को ब्लेंड करता है। यह अधिक से अधिक सिमेंटिक जानकारी को बनाए रखते हुए विशिष्ट टोकन के रिसाव को सख्ती से सीमित करने की अनुमति देता है।
प्रॉम्प्ट इंजेक्शन का शमन (Mitigation of Prompt Injection): लेखक प्रदर्शित करते हैं कि इस तंत्र को सुरक्षा के लिए भी लागू किया जा सकता है, जहाँ "संवेदनशील टोकन" को अविश्वसनीय स्रोतों (जैसे RAG पाइपलाइन्स) से प्राप्त किए गए चंक्स (chunks) के रूप में परिभाषित किया जाता है। इन चंक्स के प्रभाव को सीमित करके, DP-FUSION प्रॉम्प्ट इंजेक्शन हमलों को कम करता है।
ओपन सोर्स कार्यान्वयन: लेखक एक Pyồi पैकेज और GitHub रिपॉजिटरी जारी करते हैं जो किसी भी LLM और डेटासेट पर DP-FUSION को लागू करने में सक्षम बनाता है।

प्रयोगात्मक परिणाम

प्रयोग Qwen 2.5 7B-Instruct मॉडल का उपयोग करके TAB-ECHR डेटासेट (हस्त-एनोटेटेड PII के साथ यूरोपीय मानवाधिकार न्यायालय के मामले) पर किए गए।

उपयोगिता (Perplexity): DP-FUSION ने एक रिलैक्स्ड प्राइवेसी सेटिंग ( $\alpha\beta = 0.10$ $α β = 0.10$ ) पर 1.426 की परप्लेक्सिटी (PPL) और एक स्ट्रिक्ट सेटिंग ( $\alpha\beta = 0.01$ $α β = 0.01$ ) पर 1.459 की परप्लेक्सिटी प्राप्त की।
- यह DP-Decoding (PPL > 3.9) और DP-Prompt (चौड़ाई 50 के लिए PPL > 4.26, और चौड़ाई 5 के लिए >100) की तुलना में काफी बेहतर है।
- DP-FUSION तुलनीय गोपनीयता स्तरों पर सर्वश्रेष्ठ प्रदर्शन करने वाले बेसलाइन (DP-Prompt) की तुलना में 6 $\times$ कम परप्लेक्सिटी प्राप्त करता है।
उपयोगिता (LLM-as-a-Judge): अन्य विधियों के विरुद्ध युग्म तुलना (pairwise comparison) में, DP-FUSION के पैराफ्रेस (paraphrases) ने DP-Decoding और DP-Prompt के विरुद्ध >95% बार जीत हासिल की। इसने स्ट्रिक्ट प्राइवेसी सेटिंग्स में "No DPI - NER" (शुद्ध रेडैक्शन) बेसलाइन को भी 45% बार पछाड़ दिया।
गोपनीयता (Attack Success Rate): लेखकों ने टोकन रिकवरी हमलों (Min-K% और LOSS हमले) का मूल्यांकन किया।
- DP-FUSION ने उच्च उपयोगिता के बावजूद रैंडम गेसिंग (लगभग 26-29% $|C|=5$ के लिए) के करीब एक अटैक सक्सेस रेट (ASR) बनाए रखा।
- इसके विपरीत, DP-Prompt (चौड़ाई 50) ने ~50% का ASR दिखाया, जो कम परप्लेक्सिटी के बावजूद गोपनीयता प्रदान करने में विफलता का संकेत देता है।
- DP-FUSION ने डिस्ट्रीब्यूशन मिक्सिंग के दौरान पेश की गई रैंडमनेस के कारण स्ट्रिक्ट सेटिंग्स में No-DPI NER बेसलाइन की तुलना में थोड़ा बेहतर गोपनीयता प्रदान किया।

महत्व और दावे

लेख का दावा है कि DP-FUSION संवेदनशील डेटा के साथ LLMs को तैनात करने के लिए एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो मौजूदा DP इन्फरेंस विधियों में देखी जाने वाली गंभीर उपयोगिता गिरावट के बिना प्रमाणित गोपनीयता गारंटी प्रदान करता है।

पैराडाइम शिफ्ट: लेखक तर्क देते हैं कि गोपनीयता को पोस्ट-प्रोसेसिंग स्टेप या ग्लोबल नॉइज़ इंजेक्शन के रूप में मानने के बजाय, विशिष्ट टोकन समूहों के प्रभाव को स्पष्ट रूप से मॉडल करके और डिस्ट्रीब्यूशन ब्लेंडिंग के माध्यम से उस प्रभाव को सीमित करके गोपनीयता को प्रबंधित किया जा सकता है।
व्यावहारिकता: यह विधि कम्प्यूटेशनल रूप से व्यवहार्य (पैरेललाइज़ेबल) है और इसे बिना रिट्रेनिंग के मौजूदा LLMs के साथ उपयोग किया जा सकता है।
दोहरा उपयोग: गोपनीयता के अलावा, इस तंत्र का दावा है कि यह RAG सिस्टम में प्रॉम्प्ट इंजेक्शन जैसे सुरक्षा खतरों के खिलाफ प्रभावी है, जो अनट्रस्टेड कॉन्टेक्स्ट को संभालने के लिए एक एकीकृत दृष्टिकोण प्रदान करता है।

लेखक प्रारंभिक टोकन टैगर (NER) की गुणवत्ता पर निर्भरता के संबंध में विनम्र बने हुए हैं, यह स्वीकार करते हुए कि टैगिंग में फॉल्स नेगेटिव (false negatives) सैद्धांतिक गारंटियों के दायरे से बाहर हैं, हालांकि प्रयोगात्मक परिणाम बताते हैं कि ऑफ-द-शेल्फ टैगर्स प्रदर्शित किए गए उपयोग के मामलों के लिए पर्याप्त हैं।