No More Guessing: a Verifiable Gradient Inversion Attack in Federated Learning

यहाँ शोध पत्र "No More Guessing: a Verifiable Gradient Inversion Attack in Federated Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) कच्चे डेटा को साझा किए बिना वितरित मॉडल प्रशिक्षण की अनुमति देता है, जो इस धारणा पर आधारित है कि साझा किए गए ग्रेडिएंट्स निजी इनपुट को प्रकट नहीं करते हैं। हालाँकि, ग्रेडिएंट इनवर्जन अटैक्स (GIAs) ने प्रदर्शित किया है कि हमलावर (विशेष रूप से एक दुर्भावनापूर्ण सर्वर) साझा ग्रेडिएंट्स से क्लाइंट के प्रशिक्षण डेटा को पुनर्गठित (reconstruct) कर सकते हैं।

यह शोध पत्र मौजूदा GIAs में, विशेष रूप से टेबुलर डेटा (tabular data) के लिए, एक महत्वपूर्ण कमी की पहचान करता है:

• सत्यापन क्षमता का अभाव (Lack of Verifiability): मौजूदा हमले (ऑप्टिमाइज़ेशन-आधारित, जनरेटिव, या विश्लेषणात्मक) अक्सर ऐसे पुनर्निर्माण उत्पन्न करते हैं जो शोर युक्त (noisy) होते हैं या कई नमूनों के रैखिक संयोजन होते हैं। विज़न और लैंग्वेज कार्यों में, हमलावर मानवीय निरीक्षण का उपयोग करके यह तय कर सकते हैं कि पुनर्निर्माण तर्कसंगत है या नहीं। हालाँकि, संख्यात्मक टेबुलर डेटा के लिए, यह सत्यापित करने का कोई अर्थपूर्ण तरीका नहीं है कि पुनर्निर्मित रिकॉर्ड सही है या वह एक स्प्यूरियस आर्टिफैक्ट (spurious artifact) है।
• वर्तमान विश्लेषणात्मक हमलों की सीमाएँ (Limitations of Current Analytical Attacks): अत्याधुनिक विश्लेषणात्मक हमला (CTP, डायना एट अल., 2025) नमूनों को अलग करने के लिए ज्यामितीय दृष्टिकोण का उपयोग करता है, लेकिन यह दो मुख्य दोषों से ग्रस्त है:
  1. असत्यापनीयता (Unverifiability): यह प्रमाणित नहीं कर सकता कि एक पुनर्निर्मित स्लाइस (slice) में ठीक एक नमूना है या कई ओवरलैपिंग नमूने हैं। यह खोजने के लिए एक उपयोगकर्ता-निर्धारित थ्रेशोल्ड ($\epsilon$) पर निर्भर करता है, जिसे डेटा वितरण के पूर्व ज्ञान के बिना सही ढंग से ट्यून करना असंभव है।
  2. अनुकूलन क्षमता का अभाव (Inadaptability): यह $\epsilon$ के रेजोल्यूशन तक सभी गैर-खाली स्लाइस को अंधाधुंध विभाजित करता है, जिससे उन नमूनों पर संचार राउंड बर्बाद होते हैं जिन्हें पहले ही अलग किया जा चुका था।

2. कार्यप्रणाली: विज़ेबल ग्रेडिएंट इनवर्जन अटैक (VGIA)

लेखक VGIA का प्रस्ताव करते हैं, जो एक दुर्भावनापूर्ण सर्वर थ्रेट मॉडल के तहत संचालित एक नवीन विश्लेषणात्मक हमला है। सर्वर डेटा लीक करने के लिए मॉडल मापदंडों (parameters) को सक्रिय रूप से हेरफेर करता है। यह विधि तीन मुख्य घटकों से बनी है:

A. बीजगणितीय सत्यापन के साथ ज्यामितीय अलगाव (Geometric Isolation with Algebraic Verification)

VGIA इस अवलोकन पर आधारित है कि एक ReLU लेयर का एक्टिवेशन बाउंड्री इनपुट स्पेस में एक हाइपरप्लेन (hyperplane) को परिभाषित करती है।

1. हाइपरप्लेन प्रोबिंग (Hyperplane Probing): सर्वर पहली परत के कई न्यूरॉन्स के वेट्स को समान ($W_a^i = w$) सेट करता है, लेकिन उन्हें अलग-अलग बायस ($b_a^i$) असाइन करता है। यह इनपुट स्पेस में घूमते हुए समानांतर हाइपरप्लेन की एक श्रृंखला बनाता है।
2. स्लाइस वेक्टर्स (Slice Vectors): क्रमिक हाइपरप्लेन के माध्यम से ग्रेडिएंट्स को क्वेरी करके, सर्वर "स्लाइस वेक्टर्स" ($s_k$) की गणना करता है, जो दो हाइपरप्लेन के बीच गिरने वाले नमूनों के रैखिक संयोजन का प्रतिनिधित्व करते हैं।
3. सत्यापन परीक्षण (The Verification Test - Proposition 4.1): यह मुख्य नवाचार है। यदि एक स्लाइस में एक एकल नमूना है, तो अगले राउंड (जहाँ स्लाइस को और अधिक विभाजित किया जाता है) के स्लाइस वेक्टर्स द्वारा स्पैन (span) किए गए सबस्पेस के भीतर वर्तमान राउंड का स्लाइस वेक्टर होना चाहिए।
   • गणितीय रूप से, यदि $s_k \in \text{span}(s_{k}^{next}, s_{k+1}^{next}, \dots)$, तो यह प्रमाणित किया जाता है कि स्लाइस में अधिकतम $q-2$ नमूने हैं (जहाँ $q$ नए हाइपरप्लेन की संख्या है)।
   • यदि यह स्थिति बनी रहती है और स्लाइस खाली नहीं है, तो हमलावर गणितीय रूप से सिद्ध कर सकता है कि स्लाइस में ठीक एक नमूना है। यह सत्यता का एक स्पष्ट प्रमाण (explicit certificate of correctness) प्रदान करता है, जिससे ह्यूरिस्टिक्स या मानवीय निरीक्षण की आवश्यकता समाप्त हो जाती है।

B. अनुकूली खोज रणनीति (Adaptive Search Strategy)

CTP के विपरीत, जो एक निश्चित रेजोल्यूशन $\epsilon$ प्राप्त करने तक प्रत्येक स्लाइस को विभाजित करता है, VGIA अनुकूली (adaptive) है:

• एक बार जब कोई स्लाइस प्रमाणित हो जाता है कि उसमें एक एकल नमूना है, तो उसे आगे की खोज से हटा दिया जाता है।
• भविष्य के हाइपरप्लेन क्वेरी केवल अनछुए क्षेत्रों या उन स्लाइसों के लिए आवंटित किए जाते हैं जो सत्यापन परीक्षण में विफल रहे (जो कई नमूनों का संकेत देते हैं)।
• यह पूर्ण-बैच पुनर्निर्माण के लिए आवश्यक संचार राउंडों की संख्या को काफी कम कर देता है।

C. विश्लेषणात्मक पुनर्निर्माण (Analytical Reconstruction)

एक बार नमूना अलग होने के बाद:

1. इनपुट रिकवरी (Input Recovery): हमलावर बायस के सापेक्ष लॉस ग्रेडिएंट से प्राप्त स्केलिंग फैक्टर द्वारा स्लाइस वेक्टर को विभाजित करके इनपुट फीचर वेक्टर $x_k$ को विश्लेषणात्मक रूप से पुनर्प्राप्त करता है।
2. टारगेट रिकवरी (Target Recovery): हमलावर निरंतर प्रतिगमन लक्ष्यों (continuous regression targets) के लिए भी लक्ष्य $y_k$ को पुनर्प्राप्त करता है, जो देखे गए ग्रेडिएंट और पुनर्प्राप्त इनपुट के साथ गणना किए गए ग्रेडिएंट के बीच अंतर को कम करने वाले एक हल्के यूनिवेरिएट ऑप्टिमाइज़ेशन समस्या को हल करके किया जाता है।

3. प्रमुख योगदान (Key Contributions)

1. टेबुलर डेटा के लिए प्रथम विज़ेबल GIA: VGIA पहला हमला है जो एक पुनर्निर्मित रिकॉर्ड के सही होने का आंतरिक, गणितीय प्रमाण प्रदान करता है, जो टेबुलर FL गोपनीयता में "अनुमान लगाने" (guessing) की समस्या को संबोधित करता है।
2. निरंतर लक्ष्यों की सटीक रिकवरी: यह विधि निरंतर प्रतिगमन लक्ष्यों (continuous regression targets) की रिकवरी की क्षमता को सिद्ध करती है, जो विश्लेषणात्मक हमलों में पहले अप्राप्य थी।
3. अनुकूली दक्षता (Adaptive Efficiency): अलगाव को जल्दी प्रमाणित करके, VGIA अनावश्यक खोज राउंडों से बचता है, जिससे यह गति और संसाधन दक्षता में पिछले ज्यामितीय हमलों से बेहतर प्रदर्शन करता है।
4. व्यापक प्रयोज्यता (Broad Applicability): यह हमला टेबुलर डेटासेट्स (प्रतिगमन और वर्गीकरण दोनों) और इमेज डेटासेट्स (CIFAR10) दोनों पर काम करता है, जो क्रॉस-डोमेन प्रयोज्यता को प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क: ACS Income (प्रतिगमन), King County Housing (प्रतिगमन), HARUS (वर्गीकरण), और CIFAR10 (इमेज) पर अत्याधुनिक CTP हमले के विरुद्ध VGIA का मूल्यांकन किया।

• सटीकता और सत्यापन क्षमता (Accuracy & Verifiability):
  • VGIA ने 11 राउंड के भीतर ACS Income डेटासेट (आकार 2048) के सभी नमूनों का सटीक पुनर्निर्माण हासिल किया।
  • महत्वपूर्ण रूप से, VGIA ने 0% स्प्यूरियस पुनर्निर्माण (गलत सकारात्मक) उत्पन्न किए। इसके विपरीत, CTP ने शुरुआती राउंड में 30% तक स्प्यूरियस पुनर्निर्माण उत्पन्न किए और बिना ग्राउंड ट्रुथ के वास्तविक नमूनों से उन्हें अलग नहीं कर सका।
• दक्षता (Efficiency):
  • VGIA ने पूर्ण सत्यापन प्राप्त करने के लिए CTP की तुलना में काफी कम संचार राउंडों की आवश्यकता पड़ी।
  • उन परिदृश्यों में जहाँ CTP $\epsilon$ ट्यूनिंग (जैसे, $\epsilon > \epsilon_w$) के कारण नमूनों को अलग करने में विफल रहा, VGIA ने सभी नमूनों को अलग करने तक खोज जारी रखी, और अंततः 100% डेटा को पुनर्प्राप्त किया।
• मजबूती (Robustness):
  • FedAvg (एकाधिक स्थानीय अपडेट) के तहत, VGIA ने उच्च सटीकता बनाए रखी (अधिकांश सेटिंग्स में >50% नमूनों को पुनर्प्राप्त किया), जबकि CTP स्थानीय अपडेट के साथ विचलित होने वाले विशिष्ट वेट हेरफेर पर निर्भरता के कारण प्रतिगमन परिदृश्यों में काफी हद तक विफल रहा।

5. महत्व और प्रभाव (Significance and Impact)

• गोपनीयता जोखिम मूल्यांकन (Privacy Risk Assessment): यह कार्य मौलिक रूप से फेडरेटेड लर्निंग में गोपनीयता जोखिमों के मूल्यांकन के तरीके को बदल देता है। यह सिद्ध करता है कि टेबुलर डेटा दुर्भावनापूर्ण सर्वरों के खिलाफ इमेज डेटा की तरह ही असुरक्षित है। पुनर्निर्माण को सत्यापित करने में असमर्थता एक झूठी सुरक्षा की भावना थी; VGIA इस अनिश्चितता को समाप्त करता है।
• रक्षा के निहितार्थ (Defense Implications): एक विज़ेबल हमले का अस्तित्व यह संकेत देता है कि वर्तमान FL रक्षा (जैसे, ग्रेडिएंट कम्प्रेशन या नॉइज़ एडिशन) को उन हमलों के विरुद्ध कड़ाई से परीक्षण किया जाना चाहिए जो सफलता को गणितीय रूप से प्रमाणित कर सकते हैं।
• सैद्धांतिक प्रगति (Theoretical Advancement): यह शोध पत्र उच्च-आयामी स्थानों (high-dimensional spaces) में नमूना अलगाव को सत्यापित करने के लिए एक नया बीजगणितीय ढांचा पेश करता है, जो क्षेत्र को ह्यूरिस्टिक पुनर्निर्माण से प्रमाणित डेटा रिकवरी की ओर ले जाता है।

निष्कर्षतः, VGIA यह प्रदर्शित करता है कि विशिष्ट गोपनीयता-संरक्षण तंत्रों के बिना, एक दुर्भावनापूर्ण सर्वर न केवल निजी टेबुलर रिकॉर्ड को पुनर्गठित कर सकता है, बल्कि वह निश्चितता के साथ जान भी सकता है कि पुनर्निर्माण सही है, जिससे मानक फेडरेटेड लर्निंग की गोपनीयता गारंटी अप्रभावी हो जाती है।