🤖 machine learning

Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems

यह शोध पत्र अनुक्रमिक बहु-एजेंट एलएलएम (LLM) प्रणालियों में प्रवर्धित गोपनीयता रिसाव के जोखिम को संबोधित करता है, जो पारस्परिक सूचना (mutual information) के माध्यम से संरचनात्मक रिसाव को औपचारिक रूप देता है, इसके प्रसार पर एक सैद्धांतिक सीमा व्युत्पन्न करता है, और एक गोपनीयता-नियमित प्रशिक्षण ढांचे का प्रस्ताव करता है जो केवल स्थानीय एजेंट बाधाओं पर निर्भर रहने के बजाय प्रणाली-स्तरीय गोपनीयता गारंटी लागू करता है।

मूल लेखक: Sadia Asif, Mohammad Mohammadi Amiri

प्रकाशित 2026-03-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sadia Asif, Mohammad Mohammadi Amiri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा, रोज़मर्रा के उदाहरणों और रचनात्मक रूपकों (metaphors) के साथ हिंदी अनुवाद दिया गया है।

मुख्य विचार: "पास-द-पार्सल" की समस्या

कल्पना कीजिए कि आप एक बहुत ही संवेदनशील पत्र (जैसे आपके मेडिकल रिकॉर्ड या बैंक खाते का विवरण) देश के एक कोने से दूसरे कोने में भेज रहे हैं। पूरे पत्र को एक व्यक्ति द्वारा ले जाने के बजाय, आप इसे टुकड़ों में तोड़ देते हैं और इसे पाँच अलग-अलग कूरियरों की एक श्रृंखला (chain) के माध्यम से भेजते हैं।

कूरियर 1 पता पढ़ता है और एक स्टिकी नोट पर उसका सारांश लिखता है।
कूरियर 2 उस स्टिकी नोट को लेता है, उसमें अपने स्वयं के नोट्स जोड़ता है, और उसे कूरियर 3 को सौंप देता है।
यह प्रक्रिया तब तक चलती है जब तक कि कूरियर 5 अंतिम पैकेज डिलीवर नहीं कर देता।

समस्या:
भले ही हर एक कूरियर को गोपनीयता की शपथ दी गई हो और उन्हें यह बताने के सख्त नियम दिए गए हों कि वे क्या बोल सकते हैं, फिर भी एक चालाक जासूस आपके रहस्य का पता लगा सकता है। कैसे? स्टिकी नोट्स की श्रृंखला को देखकर।

यदि कूरियर 1 लिखता है "मरीज को हृदय रोग है," और कूरियर 2 लिखता है "एस्पिरिन निर्धारित की गई," और कूरियर 3 लिखता है "कार्डियोलॉजी विभाग को भेजा गया," तो जासूस को मूल पत्र देखने की ज़रूरत नहीं है। श्रृंखला में आगे बढ़ते छोटे-छोटे संकेतों को जोड़कर, वह आपके पूरे रहस्य को फिर से बना सकता है।

यह शोध पत्र इसे "कंपोजिशनल प्राइवेसी लीकेज" (Compositional Privacy Leakage) कहता है। यह उन AI सिस्टम में होता है जहाँ कई "एजेंट्स" (विशेषज्ञ AI मॉडल) किसी समस्या को हल करने के लिए एक लाइन में मिलकर काम करते हैं।

मुख्य खोज: "विस्परिंग गेम" (फुसफुसाने वाला खेल) का प्रभाव

लेखकों ने महसूस किया कि इन AI श्रृंखलाओं में, श्रृंखला जितनी लंबी होती जाती है, प्राइवेसी लीक (गोपनीयता का उल्लंघन) उतना ही बढ़ता जाता है।

उन्होंने "म्युचुअल इंफॉर्मेशन" (Mutual Information) नामक एक गणितीय अवधारणा का उपयोग किया (इसे एक "लीकेज मीटर" के रूप में सोचें) यह साबित करने के लिए कि एक डरावना तथ्य सामने आया है:

यदि एजेंट 1 थोड़ी सी जानकारी लीक करता है, तो एजेंट 2 थोड़ा और अधिक लीक कर सकता है।
लेकिन जब एजेंट 3 को वह जानकारी मिलती है, तो वह केवल अपना थोड़ा सा हिस्सा ही लीक नहीं करता; वह एजेंट 1 से मिली जानकारी और अपनी खुद की जानकारी को मिलाकर, उसे और बढ़ा देता है।
जब तक संदेश अंतिम छोर तक पहुँचता है, शुरुआत में हुआ एक छोटा और हानिरहित लीक एक बड़े डेटा ब्रीच (डेटा चोरी) में बदल चुका होता है।

उदाहरण: कल्पना कीजिए कि आप "टेलीफोन" गेम (जिसमें एक शब्द कान में फुसफुसाया जाता है) खेल रहे हैं। यदि पहला व्यक्ति एक रहस्य फुसफुसाता है, और दूसरा व्यक्ति उसमें थोड़ा विवरण जोड़ता है, और तीसरा व्यक्ति और अधिक जोड़ता है... तो अंत तक पहुँचते-पहुँचते कहानी पूरी तरह बदल जाती है। लेकिन इस AI परिदृश्य में, "कहानी" वास्तव में आपका निजी डेटा है, और "बदलाव" वास्तव में उस डेटा के एक्सपोज़र (प्रकटीकरण) को बढ़ाना है।

यह पेपर सिद्ध करता है कि आप केवल प्रत्येक एजेंट को यह कहकर इसे ठीक नहीं कर सकते कि, "अपने स्वयं के रहस्यों को उजागर न करें।" आपको पूरे सिस्टम को एक साथ ठीक करना होगा।

समाधान: "प्राइवेसी फ़िल्टर" ट्रेनिंग

लेखक इन AI टीमों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं। उन्हें केवल काम करने (जैसे गणित की समस्या हल करना या बीमारी का निदान करना) के लिए सिखाने के बजाय, वे उन्हें एक दूसरा, अदृश्य नियम सिखाते हैं: "अपने निजी विचारों को अपने नोट्स में न दिखने दें।"

यह कैसे काम करता है (रूपक):
कल्पना कीजिए कि AI एजेंट एक क्लासरूम में ग्रुप प्रोजेक्ट पर काम कर रहे छात्र हैं।

पुराना तरीका: शिक्षक प्रत्येक छात्र से कहता है, "अपने लंच के पैसों के बारे में बात न करें।" लेकिन छात्र अभी भी अपने साझा नोटबुक में लंच के पैसों के बारे में संकेत लिखते हैं।
नया तरीका (पेपर का तरीका): शिक्षक अभ्यास के दौरान एक विशेष "प्राइवेसी फ़िल्टर" का उपयोग करता है। जब भी कोई छात्र नोटबुक में कुछ ऐसा लिखता है जो उनके लंच के पैसों का संकेत देता है, तो शिक्षक उन्हें एक "पेनल्टी पॉइंट" (दंड अंक) देता है।
- छात्र उत्तर को स्पष्ट रूप से लिखना सीखते हैं, लेकिन वे अपने निजी जीवन के संकेतों को मिटा देते हैं।
- वे अगले छात्र को "साफ" नोट्स पास करना सीखते हैं ताकि अंतिम रिपोर्ट में लंच के पैसों का कोई निशान न रहे।

तकनीकी रूप से, वे MINE (Mutual Information Neural Estimation) नामक एक विधि का उपयोग करते हैं। इसे एक "लीकेज डिटेक्टर" के रूप में समझें जो प्रशिक्षण के दौरान लगातार AI के आंतरिक नोट्स की जाँच करता है। यदि यह नोट्स और निजी डेटा के बीच कोई संबंध देखता है, तो यह AI को उस संबंध को तोड़ने के लिए मजबूर करता है।

परिणाम: सुरक्षित श्रृंखला, खुश उपयोगकर्ता

शोधकर्ताओं ने तीन वास्तविक दुनिया के परिदृश्यों पर इसका परीक्षण किया:

मेडिकल: बीमारियों का निदान करना।
फाइनेंस: बैंक रिपोर्ट का विश्लेषण करना।
प्राइवेसी नॉर्म्स: यह जांचना कि क्या एक AI गोपनीयता के सामाजिक नियमों का पालन करता है।

उन्होंने क्या पाया:

सुधार के बिना: जैसे-जैसे उन्होंने श्रृंखला में एजेंटों की संख्या बढ़ाई (2 से 5 तक), प्राइवेसी लीक तेजी से बढ़ता गया। कार्य जितना जटिल होता गया, AI उतना ही कम सुरक्षित होता गया।
सुधार के साथ: लंबी एजेंट श्रृंखलाओं के बावजूद प्राइवेसी लीक कम ही रहा।
ट्रेड-ऑफ (संतुलन): आमतौर पर, जब आप किसी चीज़ को अधिक निजी बनाते हैं, तो वह कम बुद्धिमान हो जाती है। लेकिन यहाँ, AI अपने काम (गणित हल करने या मरीज का निदान करने) में बहुत स्मार्ट बना रहा और साथ ही अपने रहस्यों को रखने में भी बहुत बेहतर हो गया।

निष्कर्ष (Takeaway)

यह पेपर हमें भविष्य के AI के लिए एक महत्वपूर्ण सबक सिखाता है: प्राइवेसी एक टीम वर्क है।

अतीत में, हम सोचते थे कि यदि प्रत्येक व्यक्तिगत AI एजेंट "सुरक्षित" है, तो पूरा सिस्टम सुरक्षित है। यह पेपर दिखाता है कि यह गलत है। एजेंटों की एक टीम में, श्रृंखला उतनी ही मजबूत होती है जितना उसका सबसे कमजोर लिंक, और श्रृंखला जितनी लंबी होती है, लीकेज उतना ही तेज़ होता जाता है।

भविष्य में हमारे डेटा को सुरक्षित रखने के लिए, हमें इन AI टीमों को न केवल स्मार्ट बनाना होगा, बल्कि उन्हें अपने रहस्यों के बारे में व्यवस्थित रूप से शांत (systematically quiet) रहना भी सिखाना होगा, ताकि यह सुनिश्चित हो सके कि संदेश कितने भी हाथों से गुजरे, रहस्य छिपा रहे।

यहाँ शोध पत्र "Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र क्रमिक मल्टी-एजेंट लार्ज लैंग्वेज मॉडल (LLM) सिस्टम की गोपनीयता सुरक्षा में एक महत्वपूर्ण अंतराल को संबोधित करता है। जबकि एक पाइपलाइन में व्यक्तिगत एजेंट स्थानीय गोपनीयता बाधाओं को पूरा कर सकते हैं, इन एजेंटों का क्रमिक संयोजन (sequential composition) एक प्रणालीगत भेद्यता (vulnerability) पैदा करता है जहाँ मध्यवर्ती निरूपणों (intermediate representations) के माध्यम से संवेदनशील जानकारी का अनुमान लगाया जा सकता है।

मुख्य मुद्दा: क्रमिक पाइपलाइनों में (जैसे, एजेंट A $\to$ एजेंट B $\to$ एजेंट C), एजेंट A संवेदनशील स्थानीय डेटा ( $S_1$ ) को प्रोसेस करता है और एजेंट B को एक मध्यवर्ती निरूपण ( $O_1$ ) पास करता है। भले ही एजेंट A अकेले में "निजी" (private) हो, लेकिन $S_1$ और $O_1$ के बीच सांख्यिकीय निर्भरताएँ (statistical dependencies) डाउनस्ट्रीम एजेंटों द्वारा बढ़ाई और रूपांतरित की जा सकती हैं।
स्थानीय गारंटियों की विफलता: पारंपरिक गोपनीयता विधियाँ (जैसे, डिफरेंशियल प्राइवेसी या स्थानीय सैनिटाइजेशन) एजेंटों को अलग-थलग मानती हैं। लेखक तर्क देते हैं कि ये स्थानीय बाधाएं अपर्याप्त हैं क्योंकि वे उस संचयी रिसाव (cumulative leakage) को ध्यान में नहीं रखती हैं जो पाइपलाइन के माध्यम से सूचना के प्रसार के साथ होता है।
थ्रेट मॉडल (Threat Model): एक हमलावर अंतिम सिस्टम आउटपुट ( $O_N$ ) को देखता है और श्रृंखला के किसी भी एजेंट द्वारा रखे गए संवेदनशील चरों ( $S_1, \dots, S_N$ ) का अनुमान लगाने का प्रयास करता है, जिससे क्रमिक प्रसंस्करण द्वारा प्रेरित सांख्यिकीय सहसंबंधों (statistical correlations) का लाभ उठाया जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जो सूचना-सैद्धांतिक विश्लेषण (information-theoretic analysis) को गोपनीयता-नियमित प्रशिक्षण रणनीति (privacy-regularized training strategy) के साथ जोड़ता है।

A. सैद्धांतिक विश्लेषण: संयोजी रिसाव (Compositional Leakage)

लेखक म्युचुअल इंफॉर्मेशन (MI) का उपयोग करके गोपनीयता रिसाव को औपचारिक रूप देते हैं।

सिस्टम मॉडल: $N$ एजेंटों की एक पाइपलाइन जहाँ $O_i = A_i(O_{i-1}, D_i, S_i)$ ।
ग्लोबल लीकेज परिभाषा: $L_{global} = I(O_N; S_1, \dots, S_N)$ , जो अंतिम आउटपुट से अनुमान लगाने योग्य सभी संवेदनशील चरों ( $S_1, \dots, S_N$ ) के बारे में जानकारी को दर्शाता है।
सैद्धांतिक सीमा (Theorem 4.1): उन्होंने एक सीमा (bound) प्राप्त की है जो दिखाती है कि भले ही प्रत्येक एजेंट एक स्थानीय लीकेज बाधा $I(O_i; S_i) \le \epsilon_i$ को संतुष्ट करता हो, वैश्विक रिसाव पाइपलाइन की गहराई के साथ तेजी से (exponentially) बढ़ सकता है:
$I(O_N; S_1, \dots, S_N) \le \sum_{i=1}^{N} 2^{N-i} \epsilon_i$
मुख्य अंतर्दृष्टि: प्रारंभिक एजेंटों द्वारा उत्पन्न रिसाव वैश्विक जोखिम पर हावी होता है (जो $2^{N-i}$ के रूप में स्केल करता है), जिसका अर्थ है कि पाइपलाइन की शुरुआत में होने वाला एक छोटा सा रिसाव डाउनस्ट्रीम एजेंटों द्वारा तेजी से बढ़ाया जाता है।

B. प्रस्तावित समाधान: प्राइवेसी-रेगुलराइज्ड ट्रेनिंग (MINE-Reg)

इसे कम करने के लिए, वे एक प्रशिक्षण ढांचा पेश करते है जो हर चरण पर सूचना प्रवाह को स्पष्ट रूप से नियंत्रित करता है।

ऑब्जेक्टिव फंक्शन: कुल लॉस (loss) टास्क यूटिलिटी और प्राइवेसी रेगुलराइजेशन को जोड़ता है:
$L_{total} = L_{utility} + \sum_{i=1}^{N} \beta_i \hat{I}_{MINE}(O_i; S_i)$
जहाँ $\beta_i$ एजेंट $i$ के लिए प्राइवेसी-यूटिलिटी ट्रेड-ऑफ को नियंत्रित करता है।
म्युचुअल इंफॉर्मेशन एस्टीमेशन: चूंकि उच्च-आयामी (high-dimensional) LLM निरूपणों के लिए MI की गणना करना कठिन है, इसलिए वे डोंस्कर-वरियाडन प्रतिनिधित्व (Donsker-Varadhan representation) पर आधारित म्युचुअल इंफॉर्मेशन न्यूरल एस्टीमेशन (MINE) का उपयोग करते हैं।
- एक न्यूरल क्रिटिक नेटवर्क ( $T_{\psi}$ ) एजेंट के आउटपुट ( $O_i$ ) और उसके संवेदनशील चर ( $S_i$ ) के बीच MI का अनुमान लगाता है।
- प्रशिक्षण के दौरान, एजेंट के मापदंडों को इस अनुमानित MI को न्यूनतम (minimize) करने के लिए अपडेट किया जाता है, जबकि क्रिटिक को इसे अधिकतम (maximize) करने के लिए अपडेट किया जाता है (एडवर्सरियल एस्टीमेशन)।
तंत्र (Mechanism): यह प्रत्येक एजेंट बाउंड्री पर एक इन्फॉर्मेशन बॉटलनेक (information bottleneck) बनाता है, जिससे एजेंट ऐसे निरूपण सीखने के लिए मजबूर होते हैं जो कार्य के लिए पर्याप्त हैं लेकिन उनके स्थानीय संवेदनशील संदर्भ के बारे में न्यूनतम जानकारी रखते हैं।

3. मुख्य योगदान (Key Contributions)

संयोजी रिसाव का औपचारिकीकरण: सिद्ध किया कि स्थानीय गोपनीयता बाधाएं संयोजित (compose) नहीं होती हैं; क्रमिक निष्पादन से घातीय (exponential) लीकेज बढ़ता है, विशेष रूप से प्रारंभिक चरणों के एजेंटों से।
सैद्धांतिक सीमा: एक गणितीय सीमा प्राप्त की जो मार्कोव धारणाओं (Markov assumptions) के तहत पाइपलाइन की गहराई के साथ स्थानीय रिसाव कैसे स्केल होता है, इसका वर्णन करती है।
MINE-Reg ढांचा: एक नया प्रशिक्षण उद्देश्य प्रस्तावित किया जो न्यूरल एस्टिमेटर्स का उपयोग करके मध्यवर्ती निरूपणों और संवेदनशील चरों के बीच म्युचुअल इंफॉर्मेशन को सीधे दंडित (penalize) करता है।
सिस्टम-स्तरीय परिप्रेक्ष्य: यह प्रदर्शित किया कि एजेंटिक सिस्टम में गोपनीयता को एक वैश्विक गुण (global property) माना जाना चाहिए जिसके लिए सिस्टम-स्तरीय नियंत्रण की आवश्यकता होती, न कि केवल स्थानीय एजेंट बाधाओं की।

4. प्रयोगात्मक परिणाम (Experimental Results)

ढांचे का मूल्यांकन तीन बेंचमार्क पर किया गया: MedQA (मेडिकल रीजनिंग), FinQA (फाइनेंशियल रीजनिंग), और PrivacyLens (कॉन्टेक्स्टुअल प्राइवेसी नॉर्म्स), जिसमें LLaMA-3B/7B और Qwen-2B/4B जैसे मॉडलों के साथ 2 से 5 एजेंटों की पाइपलाइन का उपयोग किया गया।

लीकेज दमन (Leakage Suppression):
- MINE-Reg ने अन-रेगुलराइज्ड बेसलाइनों की तुलना में औसत म्युचुअल इंफॉर्मेशन ( $MI_{avg}$ ) को 75–90% तक कम कर दिया।
- महत्वपूर्ण रूप से, इसने लीकेज एम्प्लीफिकेशन कर्व को सपाट (flattened) कर दिया। जबकि बेसलाइन लीकेज एजेंट की गहराई के साथ निरंतर बढ़ता गया, MINE-Reg ने गहरे पाइपलाइनों (5 एजेंट) में भी लीकेज को सीमित रखा।
प्राइवेसी-यूटिलिटी ट्रेड-ऑफ:
- सेंसिटिव ब्लॉकड (SB): हमलावरों द्वारा संवेदनशील डेटा का अनुमान लगाने से रोकने की क्षमता में काफी सुधार हुआ (उदाहरण के लिए, MedQA पर ~0.38 से ~0.82 तक)।
- बेनाइन सकसेडेड (BS): टास्क यूटिलिटी (गैर-संवेदनशील कार्यों पर सटीकता) स्थिर रही, जिसमें केवल मामूली गिरावट (आमतौर पर 6–10 अंक) देखी गई, जो यह सिद्ध करता है कि यह विधि प्रदर्शन को गंभीर रूप से खराब नहीं करती है।
- PARI (प्राइवेसी-अवेयर रीजनिंग इंडेक्स): एक मिश्रित मीट्रिक ने पर्याप्त लाभ दिखाया, जो एक बेहतर ऑपरेटिंग पॉइंट का संकेत देता है जहाँ गोपनीयता और यूटिलिटी दोनों सुरक्षित रहते हैं।
सिद्धांत का सत्यापन: प्रयोगों ने इस सैद्धांतिक भविष्यवाणी की पुष्टि की कि प्रारंभिक एजेंट वैश्विक लीकेज में सबसे अधिक योगदान देते हैं। केवल प्रारंभिक एजेंटों को रेगुलराइज करने से लीकेज काफी कम हुआ, लेकिन इष्टतम नियंत्रण के लिए पूर्ण रेगुलराइजेशन की आवश्यकता थी।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस प्रचलित धारणा को चुनौती देता है कि व्यक्तिगत घटकों को सुरक्षित करने से पूरा सिस्टम सुरक्षित हो जाता है। यह स्थापित करता है कि क्रमिक संयोजन (sequential composition) एजेंटिक AI में गोपनीयता विफलता का प्राथमिक वेक्टर है।
व्यावहारिक तैनाती: जैसे-जैसे उद्योग (स्वास्थ्य सेवा, वित्त) मल्टी-एजेंट LLM आर्किटेक्चर की ओर बढ़ रहे हैं, यह कार्य यह सुनिश्चित करने के लिए एक आवश्यक टूलकिट प्रदान करता है कि मध्यवर्ती रीजनिंग स्टेप्स अनजाने में मालिकाना या संवेदनशील डेटा लीक न करें।
स्केलेबिलिटी: MINE का उपयोग इस गोपनीयता नियंत्रण को गहरे पाइपलाइनों तक स्केल करने की अनुमति देता है बिना डाउनस्ट्रीम एजेंटों के इन्फरेंस के दौरान कच्चे संवेदनशील डेटा तक स्पष्ट पहुंच की आवश्यकता के, जो इसे वितरित या मॉड्यूलर एजेंट सिस्टम के लिए उपयुक्त बनाता है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि क्रमिक मल्टी-एजेंट LLMs में गोपनीयता एक सिस्टम-स्तरीय गुण है जिसके लिए प्रशिक्षण के दौरान स्पष्ट, सूचना-सैद्धांतिक रेगुलराइजेशन की आवश्यकता होती है ताकि गोपनीयता जोखिमों के घातीय प्रवर्धन (exponential amplification) को रोका जा सके।