💬 NLP

Privacy-R1: Privacy-Aware Multi-LLM Agent Collaboration via Reinforcement Learning

यह शोध पत्र Privacy-R1 को प्रस्तुत करता है, जो एक सुदृढीकरण लर्निंग (reinforcement learning) फ्रेमवर्क है जो गोपनीयता सुरक्षा और कार्य प्रदर्शन के बीच इष्टतम संतुलन बनाने के लिए प्रतिस्थापनीय (replaceable) और कार्य-महत्वपूर्ण (task-critical) संवेदनशील जानकारी के बीच अंतर करके टेक्स्ट चंक्स (text chunks) को स्थानीय और रिमोट LLMs के बीच गतिशील रूप से रूट करता है, जिससे एक नए उच्च-घनत्व वाले चिकित्सा डेटासेट पर अत्याधुनिक (state-of-the-art) परिणाम प्राप्त होते हैं।

मूल लेखक: Zheng Hui, Yijiang River Dong, Sanhanat Sivapiromrat, Ehsan Shareghi, Nigel Collier

प्रकाशित 2026-04-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zheng Hui, Yijiang River Dong, Sanhanat Sivapiromrat, Ehsan Shareghi, Nigel Collier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास पूछने के लिए एक बहुत ही महत्वपूर्ण, जटिल प्रश्न है। आप सबसे समझदार संभव उत्तर चाहते हैं, लेकिन आपके प्रश्न में संवेदनशील रहस्य शामिल हैं—जैसे आपका घर का पता, आपका मेडिकल इतिहास, या आपका बैंक खाता नंबर।

आप एक कठिन विकल्प का सामना करते हैं:

"सुपर-ब्रेन" (The Super-Brain): अपना प्रश्न एक विशाल, क्लाउड-आधारित AI (जैसे एक जीनियस कंसल्टेंट) को भेजें। यह आपको एक सटीक उत्तर देगा, लेकिन यह आपके रहस्यों को देख सकता है और याद रख सकता है।
"लोकल नोटबुक" (The Local Notebook): अपने स्वयं के कंप्यूटर पर चलने वाले एक छोटे AI से पूछें। यह आपके रहस्यों को सुरक्षित रखता है, लेकिन यह बहुत समझदार नहीं है, इसलिए उत्तर अस्पष्ट या गलत हो सकता है।

लंबे समय तक, लोगों ने इसे एक "रेडैक्शन पेन" (काटने वाला पेन) का उपयोग करके हल करने की कोशिश की। वे आपके प्रश्न में से हर एक रहस्य को काटने की कोशिश करते थे जिसे सुपर-ब्रेन को भेजा जाना था। लेकिन यह अक्सर उल्टा पड़ जाता था। यदि आप पूछते हैं, "मेरा नाम जॉन है और मेरा पैर टूट गया है," और आप "जॉन" को काट देते हैं, तो सुपर-ब्रेन को पता नहीं चलेगा कि किसका पैर टूटा है। यदि आप "पैर टूट गया है" को काट देते हैं, तो उसे पता नहीं चलेगा कि क्या हुआ है। उत्तर बेकार हो जाता है।

पेश है Privacy-R1: द स्मार्ट डिप्लोमैट (चतुर राजनयिक)

यह पेपर Privacy-R1 नामक एक नई प्रणाली पेश करता है। रेडैक्शन पेन की तरह सीधे काटने के बजाय, यह एक स्मार्ट डिप्लोमैट (एक AI एजेंट) का उपयोग करता है जो आपके लिए सबसे अच्छा सौदा करने के लिए मोलभाव करना सीखता है।

यह कैसे काम करता है, इस सरल उदाहरण का उपयोग करते हुए:

1. "वाक्य-दर-वाक्य" रणनीति (The "Sentence-by-Sentence" Strategy)

कल्पना कीजिए कि आपका प्रश्न कई अनुच्छेदों (paragraphs) से बना एक लंबा पत्र है। पुराना तरीका पूरे पत्र को पढ़ना, सभी रहस्यों को काट देना और परिणामी बिखरे हुए हिस्से को भेजना था।

Privacy-R1 पत्र को व्यक्तिगत वाक्यों में तोड़ देता है। यह एक-एक करके प्रत्येक वाक्य को देखता है और पूछता है: "क्या मुझे यह विशिष्ट वाक्य सुपर-ब्रेन को भेजने की आवश्यकता है, या मैं इसे खुद संभाल सकता हूँ?"

2. नियम सीखना (Reinforcement Learning)

डिप्लोमैट को कैसे पता चलता है कि क्या करना है? यह गलतियों और अनुभवों के माध्यम से सीखता है, ठीक वैसे ही जैसे एक वीडियो गेम का पात्र।

लक्ष्य: एक सटीक उत्तर प्राप्त करना (हाई स्कोर) जबकि रहस्यों को छिपा कर रखना (लो रिस्क)।
दंड (Penalty): यदि डिप्लोमैट गलती से सुपर-ब्रेन को कोई रहस्य भेज देता है, तो वह अंक खो देता है। यदि वह किसी रहस्य को छिपा देता है लेकिन उत्तर खराब हो जाता है, तो भी वह अंक खो देता है।
पुरस्कार (Reward): यदि वह सुपर-ब्रेन को एक गैर-रहस्यमय वाक्य भेजता है और एक शानदार उत्तर प्राप्त करता है, तो उसे अंक मिलते हैं।

समय के साथ, डिप्लोमैट एक पॉलिसी (नीति) सीख जाता है:

"ओह, इस वाक्य में एक विशिष्ट तारीख और अस्पताल का नाम है। अगर मैं इसे छिपा दूँ, तो सुपर-ब्रेन को निदान (diagnosis) समझ में नहीं आएगा। मैं इसे भेजूँगा, लेकिन मैं सुनिश्चित करूँगा कि मरीज का नाम छिपा रहे।"
"यह वाक्य बस कहता है 'मुझे थकान महसूस हो रही है।' मैं इसका उत्तर खुद दे सकता हूँ। सुपर-ब्रेन को भेजने की कोई आवश्यकता नहीं है।"

3. "मेडिकल" परीक्षण (The "Medical" Test)

यह साबित करने के लिए कि यह वास्तविक जीवन में कैसे काम करता है, शोधकर्ताओं ने मेडिकल रिकॉर्ड्स का उपयोग करके एक विशेष परीक्षण बनाया। मेडिकल डेटा पेचीदा होता क्योंकि इसमें रहस्यों (नाम, तारीखें, स्थान) से भरा होता है जो डॉक्टर के लिए निदान देने हेतु महत्वपूर्ण भी होते हैं।

उन्होंने पाया कि पुराने "रेडैक्शन पेन" पद्धति ने अक्सर मेडिकल सलाह को बर्बाद कर दिया क्योंकि इसने बहुत अधिक संदर्भ (context) को हटा दिया था। लेकिन Privacy-R1 चतुर होना सीख गया। इसने महत्वपूर्ण मेडिकल विवरणों को रखा (ताकि निदान सटीक हो) जबकि व्यक्तिगत नामों और पतों को छिपा दिया (ताकि गोपनीयता सुरक्षित रहे)।

मुख्य निष्कर्ष (The Big Takeaway)

Privacy-R1 को आपके डेटा के लिए एक ट्रैफिक कंट्रोलर के रूप में सोचें।

पुराना तरीका: एक स्थिर दीवार जो सब कुछ रोक देती है, यहाँ तक कि उन कारों को भी जिन्हें गुजरने की आवश्यकता है।
Privacy-R1: एक स्मार्ट ट्रैफिक लाइट जो जानती है कि कौन सी कारें (वाक्य) बड़े शहर (क्लाउड) में जाने के लिए सुरक्षित हैं और किन्हें पड़ोस में ही रहना चाहिए (आपका स्थानीय डिवाइस)।

यह क्यों मायने रखता है?
इसका मतलब है कि हम आखिरकार स्वास्थ्य सेवा, कानून या वित्त जैसे संवेदनशील कार्यों के लिए शक्तिशाली, क्लाउड-आधारित AI का उपयोग कर सकते हैं, बिना इस चुनाव के कि हमें "एक अच्छा उत्तर मिले" या "अपने रहस्यों को सुरक्षित रखा जाए।" यह प्रणाली एक आदर्श संतुलन बनाना सीखती है, जो हमें दोनों दुनियाओं का सर्वश्रेष्ठ देती है।

यहाँ शोध पत्र "Privacy-R1: Privacy-Aware Multi-LLM Agent Collaboration via Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा: गोपनीयता-उपयोगिता (Privacy-Utility) का द्वंद्व

यह शोध पत्र उन महत्वपूर्ण दुविधाओं को संबोधित करता है जो संवेदनशील क्षेत्रों (जैसे स्वास्थ्य सेवा, वित्त) में लार्ज लैंग्वेज मॉडल्स (LLMs) को तैनात करते समय आती हैं:

द्वंद्व: उपयोगकर्ताओं को शक्तिशाली, प्रोप्रायटरी रिमोट LLMs (उच्च प्रदर्शन, उच्च गोपनीयता जोखिम) को भेजने या छोटे, स्थानीय मॉडल्स (उच्च गोपनीयता, निम्न प्रदर्शन) पर उन्हें प्रोसेस करने के बीच चयन करना पड़ता है।
पूर्व कार्य की सीमाएँ: मौजूदा दृष्टिकोण, जैसे कि Privacy-Conscious Delegation, स्थिर, मोनोलिथिक प्रॉम्प्ट रीराइटिंग (static, monolithic prompt rewriting) पर निर्भर करते हैं। ये सिस्टम रिमोट मॉडल को भेजने से पहले पूरे प्रश्न को पुनर्गठित (paraphrase) करने का प्रयास करते हैं ताकि सभी व्यक्तिगत पहचान योग्य जानकारी (PII) को हटाया जा सके।
- विफलता मोड 1 (सुसंगति/Coherence): संस्थाओं (entities) को हटाने से भाषाई संबंध टूट जाते हैं।
- विफलता मोड 2 (उपयोगिता पतन/Utility Collapse): महत्वपूर्ण PII (जैसे कि निदान के लिए आवश्यक विशिष्ट रोगी का नाम या ID) हटा दिया जाता है, जिससे प्रश्न का उत्तर देना असंभव या कार्य असंभव हो जाता है।
मुख्य चुनौती: इस कार्य के लिए एक ऐसे सिस्टम की आवश्यकता है जो प्रतिस्थापनीय PII (जिसे सुरक्षित किया जाना चाहिए) और कार्य-महत्वपूर्ण PII (जिसे उच्च उपयोगिता प्राप्त करने के लिए प्रकट किया जाना चाहिए) के बीच अंतर कर सके, और यह निर्णय प्रश्न के वैश्विक संदर्भ (global context) पर निर्भर करता है।

2. कार्यप्रणाली: Privacy-R1 फ्रेमवर्क

लेखक इस समस्या को एक अनुक्रमिक निर्णय लेने वाले कार्य (sequential decision-making task) के रूप में पुनर्गठित करते हैं और Privacy-R1 नामक एक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) फ्रेमवर्क पेश करते हैं।

A. आर्किटेक्चर अवलोकन

यह फ्रेमवर्क तीन चरणों में कार्य करता है:

सिमेंटिक चंकिंग (Semantic Chunking): उपयोगकर्ता के प्रश्न $q$ को SpaCy का उपयोग करके सुसंगत वाक्यों के एक अनुक्रम $C = (c_1, \dots, c_n)$ में विभाजित किया जाता है। यह सुनिश्चित करता है कि एजेंट भाषाई रूप से पूर्ण इकाइयों को प्रोसेस करे।
स्टेटफुल पॉलिसी एजेंट (Stateful Policy Agent): एक हल्का ट्रांसफार्मर-आधारित एजेंट पूरे अनुक्रम को प्रोसेस करता है। स्टेटिक रीराइटर्स के विपरीत, यह एजेंट एक स्टेटफुल कॉन्टेक्स्ट (stateful context) बनाए रखता है, जिससे यह निर्भरताओं (dependencies) को समझने में सक्षम होता है (उदाहरण के लिए, चंक $n$ में एक सर्वनाम जो चंक 1 में एक PII इकाई को संदर्भित करता है)।
डायनेमिक रूटिंग (Dynamic Routing): प्रत्येक चंक $c_t$ $c_{t}$ के लिए, एजेंट एक एक्शन $A_t \in \{ \text{Local}, \text{Remote} \}$ $A_{t} \in {Local, Remote}$ चुनता है।
- लोकल ( $M_{LOCAL}$ ): विश्वसनीय, सुरक्षित, लेकिन कमजोर मॉडल।
- रिमोट ( $M_{REMOTE}$ ): अविश्वसनीय, शक्तिशाली API।
  अंतिम प्रतिक्रिया बनाने के लिए आउटपुट को संयोजित किया जाता है और स्थानीय मॉडल को पास किया जाता है।

B. पॉलिसी एजेंट डिज़ाइन

इनपुट: वाक्य के चंक्स को एक फ्रोजन MiniLM मॉडल का उपयोग करके एम्बेड किया जाता है और सिनुसोइडल पोजीशनल एनकोडिंग के साथ संवर्धित किया जाता है।
कॉन्टेक्स्टुअलाइजेशन (Contextualization): एक मल्टी-लेयर ट्रांसफार्मर एनकोडर पूरे प्रश्न के इतिहास पर विचार करते हुए प्रत्येक चंक के लिए कॉन्टेक्स्टुअलाइज्ड रिप्रेजेंटेशन ( $h_t$ ) उत्पन्न करने के लिए सेल्फ-अटेंशन का उपयोग करता है।
एक्शन सिलेक्शन: एक लीनियर लेयर विद सॉफ्टमैक्स (Softmax) प्रत्येक चंक को स्थानीय रूप से या रिमोटली रूट करने के लिए संभाव्यता वितरण (probability distribution) आउटपुट करती है।

C. रिवॉर्ड फंक्शन डिज़ाइन

एजेंट को एक मिश्रित रिवॉर्ड फंक्शन $R$ को अनुकूलित करने के लिए प्रशिक्षित किया जाता है जो कार्य प्रदर्शन और गोपनीयता रिसाव (privacy leakage) के बीच संतुलन बनाता है:
$R = \text{TaskGain} - \lambda \cdot (\text{PrivacyLeak})^2$

TaskGain: एक बाइनरी सिग्नल (1 या 0) जो "LLM-as-a-judge" द्वारा निर्धारित किया जाता है। यह 1 होता है यदि अंतिम प्रतिक्रिया गोल्ड-स्टैंडर्ड रिस्पॉन्स (जो फुल PII एक्सेस के साथ रिमोट मॉडल द्वारा जेनरेट किया गया है) के समान या उससे बेहतर है।
PrivacyLeak: रिमोट मॉडल को उजागर की गई PII इकाइयों का अंश।
नॉन-लीनियर पेनल्टी (Non-Linear Penalty): लेखक एक रैखिक (linear) के बजाय क्वाड्रेटिक पेनल्टी (quadratic penalty) $(\text{PrivacyLeak})^2$ का उपयोग करते हैं। यह विनाशकारी रिसाव (उच्च एक्सपोजर) पर भारी दंड लगाता है जबकि मामूली, आकस्मिक एक्सपोजर को सहन करता है, जिससे सुरक्षित नीतियां अपनाने के लिए प्रोत्साहन मिलता है।
हाइपरपैरामीटर $\lambda$ : एजेंट के जोखिम उठाने की क्षमता (risk aversion) को नियंत्रित करता है।

D. प्रशिक्षण प्रक्रिया

सुपरवाइज्ड प्री-ट्रेनिंग (वॉर्म-अप): एजेंट को हीयुरिस्टिक लेबल (PII मौजूद होने पर लोकल रूट करें, अन्यथा रिमोट) का उपयोग करके एक बाइनरी क्लासिफायर के रूप में इनिशियलाइज़ किया जाता है ताकि एक रूढ़िवादी शुरुआती बिंदु प्रदान किया जा सके।
सुदृढीकरण शिक्षण (फाइन-ट्यूनिंग): एजेंट को प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके फाइन-ट्यून किया जाता है। एजेंट प्रश्नों के बैचों के साथ इंटरैक्ट करता है, एपिसोडिक रिवॉर्ड प्राप्त करता है, और एक्सप्लोरेशन बनाए रखने के लिए एंट्रॉपी बोनस के साथ अपनी पॉलिसी को अपडेट करता है।

3. मुख्य योगदान

नया RL फ्रेमवर्क (Privacy-R1): सब-प्रॉम्प्ट (चंक) स्तर पर स्टेटफुल, डायनेमिक डेलीगेशन पॉलिसी सीखने के लिए RL का उपयोग करने वाला पहला कार्य। यह स्पष्ट रूप से प्रतिस्थापनीय और कार्य-महत्वपूर्ण PII के बीच अंतर करना सीख लेता है।
Med-PCD डेटासेट: एक नया, चुनौतीपूर्ण मेडिकल डेटासेट जिसमें उच्च PII घनत्व है। इसे गुमनाम डॉक्टर-मरीज संवादों में यथार्थवादी PII (नाम, तारीखें, MRN) को सिंथेटिक रूप से इंजेक्ट करके बनाया गया है, जिसे विशेष रूप से गोपनीयता-संरक्षण प्रणालियों में कॉन्टेक्स्टुअल रीजनिंग का परीक्षण करने के लिए डिज़ाइन किया गया है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह प्रदर्शित करता है कि सीखे गए, अनुकूली (adaptive) नीतियां स्टेटिक रीराइटिंग बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करती हैं, जो गोपनीयता-उपयोगिता के लिए एक नया पारेटो फ्रंटियर (Pareto frontier) स्थापित करती हैं।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन विभिन्न स्थानीय मॉडल्स (1B से 8B पैरामीटर्स तक) के साथ PUPA (सामान्य डोमेन) और Med-PCD (मेडिकल डोमेन) डेटासेट्स पर किया गया।

प्रदर्शन लाभ:
- Med-PCD पर, Privacy-R1 ने स्टेटिक बेसलाइन (PAPILLON) को काफी पीछे छोड़ दिया। उदाहरण के लिए, Llama-3.1-8B स्थानीय मॉडल के साथ, इसने क्वालिटी प्रिजर्वेशन में +7.5% अधिक उपलब्धि हासिल की और गोपनीयता रिसाव को 4.1% कम किया।
- सुधार सबसे अधिक कमजोर स्थानीय मॉडल्स (जैसे 1B) के साथ देखा गया, जहाँ Privacy-R1 ने महत्वपूर्ण चंक्स को रिमोट मॉडल पर ऑफलोड करके बेसलाइन की तुलना में +30.2% का क्वालिटी बूस्ट प्रदान किया।
एब्लेशन स्टडीज (Ablation Studies):
- स्टेटफुलनेस (Statefulness): ट्रांसफार्मर के स्टेट को हटाने पर (MLP का उपयोग करके) क्वालिटी में >13% की गिरावट आई, जो सिद्ध करता है कि एनाफोरा (anaphora) और निर्भरताओं को संभालने के लिए क्रॉस-चंक कॉन्टेक्स्ट आवश्यक है।
- रिवॉर्ड डिज़ाइन: क्वाड्रेटिक पेनल्टी को लीनियर से बदलने पर 16.2% विनाशकारी रिसाव (>80% PII एक्सपोजर) की दर देखी गई, जबकि क्वाड्रेटिक संस्करण के लिए यह केवल 1.1% थी।
नियंत्रणीयता (Controllability): हाइपरपैरामीटर $\lambda$ डेवलपर्स को पॉलिसी को ट्यून करने की अनुमति देता है। $\lambda$ को बढ़ाने से लीकेज (15.5% से 1.2% तक) मोनोटोनिक रूप से कम हो जाता है, जो गुणवत्ता की कीमत पर होता है, जिससे जोखिम प्रबंधन के लिए एक सहज नियंत्रण नॉब मिलता है।

5. महत्व और निष्कर्ष

पैराडाइम शिफ्ट: यह शोध पत्र क्षेत्र को स्टेटिक, "वन-शॉट" टेक्स्ट मैनिपुलेशन से डायनेमिक, लर्नड पॉलिसीज की ओर ले जाता है। यह सिद्ध करता है कि प्रभावी गोपनीयता संरक्षण के लिए डेटा की उपस्थिति के बजाय उसके इरादे (intent) और संदर्भ (context) को समझना आवश्यक है।
व्यावहारिक तैनाती: Privacy-R1 संवेदनशील क्षेत्रों में शक्तिशाली AI को तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है। कार्य-महत्वपूर्ण डेटा के लिए "कैलकुलेटेड रिस्क" (नियोजित जोखिम) की अनुमति देकर, यह मुख्य गोपनीयता आवश्यकताओं से समझौता किए बिना अत्याधुनिक मॉडल्स का उपयोग करने में सक्षम बनाता है।
भविष्य की दिशाएं: हालांकि वर्तमान में सिंगल-टर्न डायलॉग और बाइनरी रूटिंग तक सीमित है, यह फ्रेमवर्क मल्टी-टर्न गोपनीयता संरक्षण और हेट्रोजेनियस मॉडल बेड़े (heterogeneous model fleets) के बीच डेलीगेशन के लिए आधार तैयार करता है।

संक्षेप में, Privacy-R1 यह प्रदर्शित करता है कि डेटा गोपनीयता और AI उपयोगिता के जटिल संतुलन को नेविगेट करने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning) एक इष्टतम दृष्टिकोण है, जो ऐसा संतुलन बनाने में सक्षम है जो स्टेटिक ह्यूरिस्टिक्स नहीं कर सकते।