🤖 machine learning

Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach

यह शोध पत्र ProjRes को प्रस्तुत करता है, जो एक नवीन और अत्यधिक कुशल पैसिव मेंबरशिप इन्फरेंस अटैक है जो फेडरेटेड लार्ज लैंग्वेज मॉडल्स से प्रभावी ढंग से समझौता करने के लिए हिडन एम्बेडिंग्स के प्रोजेक्शन रेसिडुअल्स का लाभ उठाता है, और मजबूत डिफरेंशियल प्राइवेसी डिफेंस के विरुद्ध भी लगभग पूर्ण सटीकता प्राप्त करता है।

मूल लेखक: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "गुप्त रेसिपी" की समस्या

कल्पना कीजिए कि प्रसिद्ध शेफों (Clients) का एक समूह है जो मिलकर एक विश्व-स्तरीय सूप बनाना चाहता है। उनके पास अपने गुप्त पारिवारिक नुस्खे (उनकी निजी डेटा/private data) हैं जिन्हें वे गोपनीयता कानूनों या व्यापारिक रहस्यों के कारण साझा नहीं कर सकते।

इसे हल करने के लिए, वे एक Federated Learning प्रणाली का उपयोग करते हैं। अपने नुस्खों को केंद्रीय बर्तन में भेजने के बजाय, वे केवल स्वाद को कैसे समायोजित किया जाए, इसके नोट्स (ग्रेडिएंट्स/gradients) एक मुख्य शेफ (Server) को भेजते हैं। मुख्य शेफ इन नोट्स को मिलाकर मास्टर सूप रेसिपी को बेहतर बनाता है, और फिर अपडेट की गई रेसिपी वापस सभी को भेज देता है।

डर: हर कोई यह मान लेता है कि क्योंकि वास्तविक रेसिपी कभी रसोई से बाहर नहीं गई, इसलिए उनके गुप्त सामग्रियां सुरक्षित हैं।

वास्तविकता: यह पेपर खुलासा करता है कि शेफ द्वारा भेजे गए "स्वाद के नोट्स" वास्तव में इतनी जानकारी लीक कर देते हैं कि यह पता लगाया जा सके कि उनकी मूल रेसिपी में कौन सी विशिष्ट सामग्रियां थीं। लेखकों ने एक नया, सुपर-कुशल टूल बनाया है जिसे ProjRes कहा जाता है, ताकि इसे साबित किया जा सके।

समस्या: पुराने हैक्स क्यों काम नहीं आए

इस पेपर से पहले, सुरक्षा शोधकर्ता छोटे और सरल मॉडलों (जैसे बिल्लियों की पहचान करने वाले फोटो मॉडल) के लिए डिज़ाइन किए गए पुराने तरीकों का उपयोग करके इन "स्वाद के नोट्स" को चुराने की कोशिश करते थे। पुराने तरीके LLMs के खिलाफ तीन कारणों से विफल रहे:

बहुत बड़े: LLMs विशाल हैं। मॉडल की एक "शैडो" कॉपी (जैसे अभ्यास करने वाला पुतला) बनाने की कोशिश करना, जिसका उपयोग परीक्षण के लिए किया जा सके, इतनी अधिक कंप्यूटर शक्ति की मांग करता है कि यह असंभव है।
बहुत तेज़: LLMs इतनी तेज़ी से सीखते हैं कि वे उन धीमी, क्रमिक परिवर्तनों को नहीं दिखाते जिन्हें पुराने हैक्स ढूंढते हैं।
बहुत समान: इन मॉडलों में, अलग-अलग सामग्रियों से मिलने वाले "स्वाद के नोट्स" लगभग एक जैसे दिखते हैं, जिससे उन्हें अलग करना कठिन हो जाता है।

समाधान: "प्रोजेक्शन रेसिडुअल" (ProjRes)

लेखक, गुइलिन डेंग और उनकी टीम ने महसूस किया कि उन्हें शैडो मॉडल बनाने की आवश्यकता नहीं है। इसके बजाय, उन्होंने एक चतुर ज्यामितीय (geometric) ट्रिक का उपयोग किया।

उपमा: दीवार पर दिखने वाली "परछाई"

कल्पना कीजिए कि आप एक अंधेरे कमरे में टॉर्च (Gradient) लेकर खड़े हैं। आप एक विशिष्ट वस्तु (आपका गुप्त नुस्खा) ऊपर उठाते हैं। वह वस्तु दीवार पर एक परछाई डालती है।

सेटअप: मुख्य शेफ (Server) समूह की वस्तुओं द्वारा डाली गई सभी परछाइयों को इकट्ठा करता है। ये परछाइयां दीवार पर एक विशिष्ट "आकार" या "सबस्पेस" (subspace) बनाती हैं।
हमला: हमलावर एक नई वस्तु (एक रहस्यमय नमूना) लेता है और उस पर रोशनी डालता है।
- यदि वह वस्तु समूह का हिस्सा थी: उसकी परछाई समूह की परछाइयों द्वारा बनाए गए आकार में पूरी तरह फिट हो जाएगी। यह उसके साथ पूरी तरह संरेखित (align) होती है।
- यदि वह वस्तु समूह में नहीं थी: उसकी परछाई बाहर निकल आएगी। वह आकार में फिट नहीं होगी। जहाँ परछाई होनी चाहिए थी और जहाँ वह वास्तव में है, उसके बीच एक "अंतराल" या रेसिडुअल (residual) होगा।

ProjRes इसी अंतराल (residual) को मापता है।

छोटा अंतराल: "आहा! यह नमूना निश्चित रूप से प्रशिक्षण डेटा का हिस्सा था।"
बड़ा अंतराल: "नहीं, यह नमूना इस शेफ द्वारा कभी नहीं देखा गया।"

यह खतरनाक क्यों है (वह "आहा!" क्षण)

यह पेपर दिखाता है कि यह तरीका डरावना प्रभावी है:

लगभग पूर्ण सटीकता: कई परीक्षणों में, ProjRes ने 100% समय सही अनुमान लगाया। इसने केवल अनुमान नहीं लगाया; यह जानता था।
किसी अतिरिक्त उपकरण की आवश्यकता नहीं: पुराने तरीकों के विपरीत, इसे दूसरा मॉडल प्रशिक्षित करने या प्रशिक्षण के कई दौरों की प्रतीक्षा करने की आवश्यकता नहीं है। यह केवल एक ही राउंड के नोट्स (gradients) के साथ किया जा सकता है।
बड़े मॉडलों पर काम करता है: यह आज के सबसे बड़े मॉडलों, जैसे Llama3 और Qwen पर काम करता है।
रोकना कठिन है: लेखks ने इसे सामान्य बचावों के खिलाफ भी टेस्ट किया, जैसे नोट्स में "शोर" (noise/static) जोड़ना या छोटे विवरणों को हटाना। इन बचावों के साथ भी, हमला अभी भी काम करता रहा, अक्सर केवल तभी विफल हुआ जब शोर इतना तेज़ था कि उसने सूप (मॉडल) को ही खराब कर दिया।

जादू के पीछे का "क्यों"

यह क्यों काम करता है? पेपर बताता है कि इन बड़े मॉडलों में, गणित बहुत सख्त है। "स्वाद के नोट्स" (gradients) गणितीय रूप से "सामग्रियों" (embeddings) से जुड़े होते हैं।

इसे एक ताले और चाबी की तरह सोचें।

Gradients ताला हैं।
Training Data वह चाबी है जिसने ताला बनाया।
यदि आप एक यादृच्छिक चाबी (non-member) को ताले में फिट करने की कोशिश करते हैं, तो वह नहीं घूमेगी।
यदि आप मूल चाबी (member) का उपयोग करते हैं, तो वह पूरी तरह से घूमती है।

लेखकों ने पाया कि क्योंकि ये मॉडल इतने विशाल हैं, इसलिए "ताला" अविश्वसनीय रूप से विशिष्ट है। चाबी में एक छोटा सा अंतर भी एक बड़ा, मापने योग्य अंतराल (residual) पैदा करता है जिसे हमलावर तुरंत पहचान सकता है।

निष्कर्ष

यह पेपर एक चेतावनी है। यह बताता है कि Large Language Models के लिए Federated Learning उतना निजी नहीं है जितना कि हम सोचते थे।

सिर्फ इसलिए कि आप अपना कच्चा डेटा साझा नहीं कर रहे हैं, इसका मतलब यह नहीं है कि आपका डेटा सुरक्षित है। जब आप एक मॉडल को प्रशिक्षित करने में मदद करते हैं, तो पीछे छोड़े गए गणितीय "पदचिह्न" (footprints) इतने विशिष्ट होते हैं कि एक चतुर हमलावर ठीक से पुनर्निर्माण कर सकता है कि आपने सिस्टम में क्या डाला था।

लेखक निष्कर्ष निकालते हैं: हमें यह मानना बंद कर देना चाहिए कि LLMs के लिए "Federated = Private"। हमें नए, अधिक मजबूत बचावों की आवश्यकता है जो केवल शोर (noise) जोड़ने के बजाय, मौलिक रूप से यह बदल दें कि ये मॉडल हमारे रहस्यों की रक्षा के लिए कैसे सीखते हैं।

यहाँ पेपर "Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach" (ProjRes) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: फेडरेटेड लार्ज लैंग्वेज मॉडल्स (FedLLMs) कई पक्षों को कच्चे डेटा (raw data) को साझा किए बिना LLMs को सहयोगात्मक रूप से फाइन-ट्यून करने की अनुमति देते हैं, जो गोपनीयता और संसाधन संबंधी बाधाओं को संबोधित करता है। हालाँकि, मॉडल ग्रेडिएंट्स या पैरामीटर अपडेट का आदान-प्रदान एक भेद्यता (vulnerability) पैदा करता है जिसे मेंबरशिप इन्फरेंस अटैक (MIA) कहा जाता है, जहाँ एक हमलावर (जैसे, एक ईमानदार-लेकिन-जिज्ञासु सर्वर) यह निर्धारित करने का प्रयास करता है कि क्या कोई विशिष्ट डेटा सैंपल क्लाइंट के प्रशिक्षण सेट का हिस्सा था।

अंतराल (The Gap): मौजूदा MIA तकनीकें, जो छोटे मॉडल्स के लिए पारंपरिक फेडरेटेड लर्निंग (FL) के लिए विकसित की गई थीं, FedLLMs के विरुद्ध विफल हो जाती हैं क्योंकि इनमें तीन अनूठी विशेषताएं होती हैं:

विशाल पैरामीटर स्केल: शैडो मॉडल्स को प्रशिक्षित करना (जो कई मौजूदा हमलों के लिए आवश्यक है) LLMs के लिए कम्प्यूटेशनल रूप से अत्यधिक कठिन है।
तीव्र अभिसरण (Rapid Convergence): FedLLMs प्री-ट्रेंड मॉडल्स से शुरू होते हैं और तेजी से अभिसरित होते हैं (अक्सर <1 epoch में), जिससे "ट्रेनिंग डायनेमिक्स" आधारित हमलों के लिए आवश्यक टेम्पोरल डायनेमिक्स सीमित हो जाते हैं।
स्पार्स, नॉन-ऑर्थोगोनल ग्रेडिएंट्स: पारंपरिक FL के विपरीत जहाँ अभिसरण पर ग्रेडिएंट्स ऑर्थोगोनल हो जाते हैं, FedLLM ग्रेडिएंट्स (विशेष रूप से LoRA/Adapters जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग के तहत) इनपुट्स के साथ अत्यधिक सह-संबंधित और नॉन-ऑर्थोगोनल रहते हैं, जिससे "ग्रेडिएंट ऑर्थोगोनैलिटी" हमले अप्रभावी हो जाते हैं।

उद्देश्य: लेखक एक कुशल, सुदृढ़ और पैसिव MIA विकसित करने का लक्ष्य रखते हैं जो विशेष रूप से FedLLMs की आर्किटेक्चरल और ट्रेनिंग डायनेमिक्स के अनुकूल हो।

2. कार्यप्रणाली (Methodology): ProjRes

प्रस्तावित विधि, ProjRes, एक पैसिव MIA है जिसके लिए न तो शैडो मॉडल्स की आवश्यकता है, न ही सहायक क्लासिफायर या ऐतिहासिक अपडेट की। यह इनपुट एम्बेडिंग्स और ग्रेडिएंट अपडेट के बीच बीजगणितीय संबंध (algebraic relationship) पर निर्भर करती है।

मुख्य अवधारणा (Core Concept)

ProjRes मेंबरशिप इन्फरेंस को एक प्रोजेक्शन रेजिडुअल मैचिंग समस्या के रूप में पुनर्गठित करता है। यह परिकल्पना करता है कि यदि एक सैंपल $x$ का उपयोग प्रशिक्षण के लिए किया गया था, तो उसका हिडन एम्बेडिंग वेक्टर $f(x)$ क्लाइंट द्वारा अपलोड किए गए ट्रेन करने योग्य पैरामीटर्स (जैसे, एडॉप्टर लेयर्स) के ग्रेडिएंट्स द्वारा स्पैन किए गए लीनियर सबस्पेस के भीतर (या उसके बहुत करीब) होना चाहिए।

निष्पादन चरण (Execution Steps)

सैंपल रिप्रेजेंटेशन निर्माण:
- हमलावर (सर्वर) एक लक्षित सैंपल $x$ पर फॉरवर्ड पास करता है ताकि ट्रेन करने योग्य मॉड्यूल (जैसे, एडॉप्टर) से ठीक पहले वाले लेयर से उसका हिडन एम्बेडिंग वेक्टर $f(x)$ निकाला जा सके।
- लॉस वैल्यू या कॉन्फिडेंस स्कोर पर निर्भर पिछले तरीकों के विपरीत, ProjRes सैंपल रिप्रेजेंटेशन के रूप में रॉ एम्बेडिंग वेक्टर का उपयोग करता है।
सिमेंटिक स्पेस मैपिंग (सबस्पेस निर्माण):
- सर्वर क्लाइंट द्वारा अपलोड किए गए ट्रेन करने योग्य मॉड्यूल (जैसे, एडॉप्टर की डाउन-प्रोजेक्शन लेयर) के ग्रेडिएंट वेक्टर्स ( $\nabla W$ ) द्वारा स्पैन किए गए एक लीनियर सबस्पेस $S$ का निर्माण करता है।
- डिफरेंशिएशन के चेन रूल के आधार पर, एक फुली कनेक्टेड लेयर का ग्रेडिएंट ( $\nabla W = \alpha X$ ) इनपुट डेटा $X$ का एक लीनियर कॉम्बिनेशन होता है। इसलिए, ग्रेडिएंट सबस्पेस स्पष्ट रूप से प्रशिक्षण डेटा के सिमेंटिक डिस्ट्रीब्यूशन को एनकोड करता है।
प्रोजेक्शन और रेजिड्यूल गणना:
- सर्वर लक्षित एम्बेडिंग $f(x)$ को ग्रेडिएंट सबस्पेस $S$ पर प्रोजेक्ट करता है ताकि पुनर्गठित प्रतिनिधित्व $f(x)_{rec}$ प्राप्त किया जा सके।
- प्रोजेक्शन रेजिड्यूल $r$ को अंतर के $\ell_1$ -नॉर्म के रूप में गणना किया जाता है: $r = \|f(x) - f(x)_{rec}\|_1$ ।
मेंबरशिप निर्णय:
- मेंबर (Member): यदि $x$ प्रशिक्षण सेट में था, तो $f(x)$ ग्रेडिएंट सबस्पेस के साथ संरेखित (align) होता है, जिसके परिणामस्वरूप छोटा रेजिड्यूल ( $r < \tau$ ) प्राप्त होता है।
- नॉन-मेंबर (Non-Member): यदि $x$ प्रशिक्षण सेट में नहीं था, तो $f(x)$ सबस्पेस से ऑर्थोगोनल या दूर होता है, जिसके परिणामस्वरूप बड़ा रेजिड्यूल प्राप्त होता है।
- $\ell_1$ -नॉर्म का चयन इसलिए किया गया है क्योंकि यह हाई-डायमेंशनल स्पेस में सूक्ष्म प्रति-डायमेंशन विचलन को प्रभावी ढंग से संचित करता है, जिसे $\ell_2$ या कोसाइन सिमिलरिटी मिस कर सकती हैं।

3. प्रमुख योगदान (Key Contributions)

FedLLMs के लिए प्रथम प्रोजेक्शन-रेजिड्यूल MIA: ProjRes FedLLMs की अनूठी विशेषताओं के लिए अनुकूलित पहला पैसिव हमला है, जो महंगे शैडो मॉडल्स की आवश्यकता को समाप्त करता है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): लेखक प्रदर्शित करते हैं कि हाई-डायमेंशनल LLMs में, ट्रेन करने योग्य घटकों (जैसे, एडॉप्टर्स) के ग्रेडिएंट्स इनपुट्स के बारे में रिवर्सिबल सिमेंटिक जानकारी रखते हैं। वे सिद्ध करते हैं कि प्राइवेसी लीकेज का जोखिम ट्रेन करने योग्य मॉड्यूल की डाइमेंशनलिटी के साथ बढ़ता है।
िक
रक्षा तंत्रों के प्रति सुदृढ़ता (Robustness to Defenses): यह विधि डिफरेंशियल प्राइवेसी (DP) और ग्रेडिएंट प्रूनिंग (GP) जैसे मजबूत डिफेंस के तहत भी प्रभावी रहती है, बशर्ते शोर (noise) या प्रूनिंग इतनी अधिक न हो कि मॉडल की उपयोगिता को नष्ट कर दे।
सामान्यीकरण (Generalizability): यह दृष्टिकोण विभिन्न फाइन-ट्यूनिंग रणनीतियों (एडॉप्टर्स, LoRA, Q/K/V प्रोजेक्शंस) और विभिन्न LLM आर्किटेक्चर (BERT, GPT, Llama, Qwen) पर काम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 4 LLMs (BERT-Base, GPT2-Large, Llama3-8B, Qwen2.5-14B) और 4 डेटासेट्स (CoLA, Yelp, SST-5, IMDB) पर ProjRes का मूल्यांकन किया।

सटीकता (Accuracy): ProjRes ने अधिकांश परिदृश्यों में लगभग 100% सटीकता (AUC $\approx$ 1.0) प्राप्त की, जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जैसे, FedLoss, Cosine Similarity, FTA) को 75.75% तक पीछे छोड़ देती है।
दक्षता (Efficiency):
- मेमोरी: शैडो-मॉडल-आधारित हमलों (जिन्हें सैकड़ों MB की आवश्यकता होती है) की तुलना में ProjRes के लिए नगण्य अतिरिक्त मेमोरी (जैसे, BERT-Base के लिए ~0.014 MB) की आवश्यकता होती है।
- समय: प्रोजेक्शन गणनाओं के कारण साधारण लॉस-आधारित जाँचों की तुलना में थोड़ा धीमा होने के बावजूद, यह कम्प्यूटेशनल रूप से व्यवहार्य है और इसके लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
सुदृढ़ता (Robustness):
- ट्रेनिंग स्टेज: बेसलाइन्स के विपरीत जो मॉडल के अभिसरण के साथ खराब हो जाते हैं, ProjRes सभी ट्रेनिंग एपोच (शुरुआती से देर तक) में पूर्ण सटीकता बनाए रखता है।
- डिफेंस मैकेनिज्म: डिफरेंशियल प्राइवेसी के तहत, ProjRes तब तक प्रभावी रहा जब तक कि शोर स्केल ( $\sigma$ ) इतना अधिक न हो जाए कि वह मॉडल की सटीकता को 55% से नीचे गिरा दे। ग्रेडिएंट प्रूनिंग के तहत, यह छोटे बैच साइज के लिए 99.9% प्रूनिंग रेट पर भी प्रभावी रहा।
आर्किटेक्चर का प्रभाव: बड़े एम्बेडिंग डायमेंशन और बड़े ट्रेन करने योग्य मॉड्यूल (अधिक न्यूरॉन्स) का उच्च हमला सफलता दर के साथ सह-संबंध था, जो मॉडल क्षमता और प्राइवेसी लीकेज के बीच सैद्धांतिक संबंध की पुष्टि करता है।

5. महत्व और निहितार्थ (Significance and Implications)

सुरक्षा का पुनर्मूल्यांकन: यह पेपर FedLLMs में एक पहले से अनदेखी की गई भेद्यता को उजागर करता है: ट्रेन करने योग्य मॉड्यूल में इनपुट एम्बेडिंग्स और ग्रेडिएंट अपडेट के बीच का निश्चित बीजगणितीय लिंक (deterministic algebraic link)। यह सुझाव देता है कि केवल LLM के अधिकांश पैरामीटर्स को फ्रीज करना (PEFT के माध्यम से) गोपनीयता की गारंटी देने के लिए पर्याप्त नहीं है।
वर्तमान डिफेंस की सीमाएं: अध्ययन स्पष्ट करता है कि वर्तमान हल्के डिफेंस (DP, ग्रेडिएंट प्रूनिंग) एक गंभीर ट्रेड-ऑफ का सामना करते हैं: ProjRes को रोकने के लिए, उन्हें मॉडल की उपयोगिता को अस्वीकार्य स्तर तक कम करना होगा।
कार्रवाई का आह्वान (Call to Action): ये निष्कर्ष LLMs के लिए फेडरेटेड लर्निंग में सुरक्षा धारणाओं के पुनर्मूल्यांकन की आवश्यकता बताते हैं। भविष्य के कार्यों को ऐसे रक्षा तंत्र विकसित करने पर ध्यान केंद्रित करना चाहिए जो फाइन-ट्यून किए गए मॉडल की उपयोगिता से समझौता किए बिना ग्रेडिएंट्स और इनपुट्स के बीच के बीजगणितीय लिंक को तोड़ सकें।

निष्कर्षतः, ProjRes यह प्रदर्शित करता है कि FedLLMs अपने ग्रेडिएंट अपडेट के अंतर्निहित गुणों के कारण मेंबरशिप इन्फरेंस हमलों के प्रति अत्यधिक संवेदनशील हैं, जो इस धारणा को चुनौती देता है कि FL में डेटा लोकलाइजेशन बड़े पैमाने के भाषा मॉडल्स के लिए गोपनीयता सुनिश्चित करता है।