🤖 machine learning

FIBER: A Differentially Private Optimizer with Filter-Aware Innovation Bias Correction

FiBeR एक नवीन डिफरेंशियल प्राइवेट ऑप्टिमाइज़र है जो फ़िल्टर-अवेयर सेकंड-मोमेंट कैलिब्रेशन और इनोवेशन-स्पेस डिनोइज़िंग को पेश करके फ़िल्टर्ड ग्रेडिएंट विधियों में बायस करेक्शन के मिसकैलिब्रेशन को संबोधित करता है, जिससे सख्त गोपनीयता बाधाओं के तहत विज़न और लैंग्वेज बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Duc Dm, Thao Do, Minh Son Hoang, Anh Le Duc Tran, Daeyoung Kim, Huy Nguyen

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Duc Dm, Thao Do, Minh Son Hoang, Anh Le Duc Tran, Daeyoung Kim, Huy Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक गुप्त एजेंट को प्रशिक्षित करना

कल्पना कीजिए कि आप एक जासूस (AI मॉडल) को चेहरे पहचानने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि जासूस फोटो के एक डेटाबेस से सीखे, लेकिन आपके पास एक सख्त नियम है: जासूस डेटाबेस में किसी भी एक व्यक्ति की पहचान करने में सक्षम नहीं होना चाहिए।

इस रहस्य को बनाए रखने के लिए, आप जासूस को दिए जाने वाले निर्देशों में "स्टैटिक" या "शोर" (noise) जोड़ते हैं। इसे डिफरेंशियल प्राइवेसी (DP) कहा जाता है। यह दीवार के माध्यम से निर्देश फुसफुसाने जैसा है; जासूस को सामान्य विचार मिल जाता है कि क्या करना है, लेकिन किसी एक व्यक्ति का विशिष्ट विवरण धुंधला हो जाता है।

हालाँकि, एक समस्या है। जासूस एक बहुत ही स्मार्ट, अनुकूलन योग्य सीखने वाले टूल (जिसे AdamW कहा जाता है) का उपयोग करता है जो अपने सीखने की गति को इस आधार पर समायोजित करता है कि वह कितना आश्वस्त महसूस करता है। जब आप वह "स्टैटिक" (शोर) जोड़ते हैं, तो जासूस का आत्मविश्वास मीटर टूट जाता है। वह सोचने लगता है कि शोर ही वास्तविक डेटा है, भ्रमित हो जाता है, और बहुत धीरे सीखता है या गलतियाँ करता है।

समस्या: "फ़िल्टर" का जाल

हाल ही में, शोधकर्ताओं ने एक फ़िल्टर का उपयोग करके इसे ठीक करने की कोशिश की। कल्पना करें कि निर्देश एक रेडियो सिग्नल हैं जो स्टैटिक से भरा हुआ है। एक फ़िल्टर नॉइज़-कैंसलिंग हेडफ़ोन की तरह है जो स्टैटिक को सुचारू बनाने की कोशिश करता है ताकि जासूस को एक स्पष्ट सिग्नल सुनाई दे सके।

लेकिन यहाँ एक पेंच है: जासूस का आत्मविश्वास मीटर कच्चे, अनफिल्टर्ड स्टैटिक के लिए कैलिब्रेट किया गया था।
जब आप फ़िल्थर के साथ स्टैटिक को सुचारू करते हैं, तो स्टैटिक की "मात्रा" बदल जाती है। जासूस का आत्मविश्वास मीटर अभी भी सोचता है, "ओह, मैं बहुत सारा स्टैटिक देख रहा हूँ, इसलिए मुझे धीमा हो जाना चाहिए," भले ही फ़िल्टर ने वास्तव में अधिकांश को हटा दिया हो। इसके कारण जासूस अपने कदमों की गलत गणना करता है, बहुत अधिक सतर्क हो जाता है या गलत दिशा में चला जाता है।

समाधान: FIBER

लेखकों ने एक नया ऑप्टिमाइज़र बनाया जिसे FIBER (Filter-aware Innovation Bias-corrected optimizER) कहा जाता है। FIBER को एक स्मार्ट, आत्म-जागरूक कोच के रूप में समझें जो बिल्कुल जानता है कि नॉइज़-कैंसलिंग हेडफ़ोन कैसे काम करते हैं।

समस्या को ठीक करने के लिए FIBER तीन मुख्य चीजें करता है:

1. "रेसिडुअल" रणनीति (इनोवेशन फ़िल्टरिंग)

पूरे सिग्नल को केवल सुचारू करने के बजाय (एक मानक फ़िल्टर की तरह), FIBER इस बात पर ध्यान देता है कि उसने जो उम्मीद की थी और जो उसे वास्तव में मिला, उसके बीच का अंतर क्या है।

उपमा: कल्पना कीजिए कि आप एक रास्ते पर चल रहे हैं। एक मानक फ़िल्टर केवल आपकी दृष्टि को धुंधला कर देता है ताकि ऊबड़-खाबड़ रास्तों को छिपाया जा सके। हालाँकि, FIBER केवल पथ के बदलाव पर ध्यान केंद्रित करता है। यदि पथ स्थिर है, तो यह शोर को अनदेखा करता है। यदि पथ अचानक बदलता है (एक "ड्रिफ्ट"), तो FIBER उस बदलाव को सटीक रूप से ट्रैक करता है। यह जासूस को तब तेजी से और अधिक सटीक रूप से आगे बढ़ने की अनुमति देता है जब ज़मीन बदलती है, बजाय इसके कि वह बस लड़खड़ाता रहे।

2. "दो-हाथों वाला" दृष्टिकोण (डिकपलिंग)

पिछले तरीकों में एक ही नॉब (knob) का उपयोग किया जाता था जो यह नियंत्रित करता था कि जासूस कितनी दूर तक देखता है और वह शोर को कितना सुचारू करता है। यह कार चलाने और रेडियो की आवाज़ को एक ही हाथ से नियंत्रित करने जैसा था।

FIBER का सुधार: यह इन नियंत्रणों को अलग करता है। नॉब्स का एक सेट तय करता है कि जासूस कितनी दूर तक देखता है (ज्यामिति), और दूसरा नॉब यह तय करता है कि शोर को कितना सुचारू किया जाए। यह जासूस को ट्यून करना बहुत आसान और सटीक बनाता है।

3. "कैलिब्रेटेड कॉन्फिडेंस मीटर" (फ़िल्टर-अवेयर करेक्शन)

यह सबसे महत्वपूर्ण हिस्सा है। क्योंकि फ़िल्टर स्टैटिक की प्रकृति को बदल देता है, FIBER जासूस के आत्मविश्वास मीटर को फिर से कैलकुलेट करता है।

गणितीय रूपक: यदि फ़िल्टर शोर को 50% कम कर देता है, तो FIBER को आत्मविश्वास मीटर को यह बताने की आवश्यकता होती है, "हे, उस पूरी मात्रा को घटाने की कोशिश न करें जिसे हम आमतौर पर घटाते हैं; केवल आधा ही घटाएं।"
परिणाम: जासूस उस शोर पर घबराना बंद कर देता है जो अब वहां नहीं है। यह अपनी सीखने की गति को अनुकूलित रखता है, भले ही शोर को फ़िल्टर किया जा रहा हो।

परिणाम: तेज़ और स्मार्ट

पत्रकारों ने विभिन्न कार्यों पर FIBER का परीक्षण किया, जैसे हस्तलिखित संख्याओं (MNIST) को पहचानना, तस्वीरों में वस्तुओं (CIFAR/ImageNet) की पहचान करना और भाषा (GLUE) को समझना।

परिणाम: लगभग हर परीक्षण में, FIBER ने पिछले सर्वोत्तम तरीकों की तुलना में तेजी से सीखा और उच्च सटीकता प्राप्त की, विशेष रूप से जब गोपनीयता के नियम बहुत सख्त थे (जिसका अर्थ है कि बहुत अधिक शोर था)।
समझौता (Trade-off): FIBER को सामान्य से थोड़ा अधिक कंप्यूटिंग पावर (लगभग 1.8 गुना) की आवश्यकता होती है क्योंकि इसे अपने "दो-हाथों वाले" कैलकुलेशन के लिए डेटा को दो बार देखना पड़ता है। हालाँकि, पेपर दिखाता है कि सटीकता में भारी लाभ इस छोटे से अतिरिक्त खर्च के लायक है।

सारांश

FIBER AI मॉडल को प्रशिक्षित करने का एक नया तरीका है जो गोपनीयता की रक्षा करता है। यह उस बग को ठीक करता है जहाँ पिछले तरीके भ्रमित हो जाते थे जब वे शोर वाले डेटा को "साफ" करने की कोशिश करते थे। बदलावों को ट्रैक करने के एक स्मार्ट तरीके का उपयोग करके और साफ किए गए डेटा के अनुरूप मॉडल के आत्मविश्वास को पुनर्गठित करके, FIBER AI मॉडलों को बेहतर, तेज़ और अधिक सुरक्षित रूप से सीखने में मदद करता है।

तकनीकी सारांश: FIBER – एक डिफरेंशियल प्राइवेट ऑप्टिमाइज़र जिसमें फ़िल्टर-अवेयर इनोवेशन बायस करेक्शन है

1. समस्या विवरण (Problem Statement)

डिफरेंशियल प्राइवेट (DP) ट्रेनिंग व्यक्तिगत डेटा की सुरक्षा के लिए ग्रेडिएंट्स में शोर (noise) जोड़कर करती है। हालाँकि, यह इंजेक्ट किया गया शोर AdamW जैसे एडेप्टिव ऑप्टिमाइज़र्स के साथ गैर-तुच्छ (nontrivial) तरीके से इंटरैक्ट करता है। मानक DP-Adam में, स्क्वेर्ड-ग्रेडिएंट एक्युमुलेटर ( $v_t$ ) प्राइवेटाइज्ड ग्रेडिएंट्स को एकत्रित करता है। क्योंकि DP शोर का माध्य शून्य होता है लेकिन विचरण (variance) धनात्मक होता है, नॉन-लीनियर स्क्वेरिंग ऑपरेशन इस शोर को सेकंड-मोमेंट एस्टीमेट में एक निरंतर धनात्मक बायस (positive bias) में बदल देता है। यह "प्रीकंडीशनर इन्फ्लेशन" प्रभावी स्टेप साइज़ को छोटा कर देता है और समय के साथ एडेप्टिविटी को कम कर देता है।

हालिया दृष्टिकोण इस प्रभाव को कम करने के लिए प्राइवेटाइज्ड ग्रेडिएंट्स पर टेम्पोरल फ़िल्टरिंग (जैसे, लो-पास फ़िल्टर) लागू करने का प्रयास करते हैं। हालाँकि, लेखक एक महत्वपूर्ण विफलता मोड की पहचान करते हैं: फ़िल्टरिंग, ऑप्टिमाइज़र के आंतरिक स्टेट द्वारा देखे जाने वाले DP शोर के सांख्यिकी (statistics) को बदल देती है। विशेष रूप से, टेम्पोरल फ़िल्टरिंग ऑप्टिमाइज़र के सेकंड-मोमेंट एक्युमुलेटर तक पहुँचने से पहले DP शोर के विचरण को कम (attenuate) कर देती है। इसके परिणामस्वरूप, मानक बायस करेक्शन (जो पूर्ण शोर विचरण $\sigma_w^2$ को घटाता है) मिसकैलिब्रेटेड हो जाते हैं, जिससे अंडर-करेक्शन या ओवर-करेक्शन होता है। मौजूदा विधियाँ जो फ़िल्टरिंग लागू करती हैं, एडेप्टिव ऑप्टिमाइज़र के स्टेट के भीतर इस एटेनुएशन (attenuation) को मॉडल या ठीक नहीं करती हैं।

2. कार्यप्रणाली: FIBER

लेखक FIBER (Filter-aware Innovation Bias-corrected optimizEr) प्रस्तावित करते हैं, जो विशेष रूप से टेम्पोरली फ़िल्टर्ड प्राइवेटाइज्ड ग्रेडिएंट्स के लिए डिज़ाइन किया गया एक DP ऑप्टिमाइज़र है। FIBER तीन प्राथमिक घटकों को एकीकृत करता है:

A. इनोवेशन-स्पेस फ़िल्टरिंग (Innovation-Space Filtering)

DiSK जैसी पिछली विधियों के विपरीत, जो सीधे ग्रेडिएंट स्टेट पर एक्सपोनेंशियल मूविंग एवरेज (EMA) स्मूथिंग लागू करती हैं, FIBER रेसिड्यूअल (इनोवेशन) स्ट्रीम को फ़िल्टर करता है।

रेसिड्यूअल परिभाषा: इनोवेशन को वर्तमान प्राइवेटाइज्ड ग्रेडिएंट और पिछले फ़िल्टर्ड एस्टीमेट के बीच के अंतर के रूप में परिभाषित किया गया है: $\nu_t = g_t - \tilde{g}_{t-1}$ ।
रिकर्सन: रेसिड्यूअल स्ट्रीम को गेन पैरामीटर $\omega$ का उपयोग करके स्मूथ किया जाता है: $r_t = (1-\omega)r_{t-1} + \omega \nu_t$ ।
एकीकरण: डिनोइज़्ड ग्रेडिएंट एस्टीमेट को स्मूथ किए गए रेसिड्यूअल को इंटीग्रेट करके बनाया जाता है: $\tilde{g}_t = \tilde{g}_{t-1} + r_t$ ।
यह दृष्टिकोण प्रथम-क्रम के EMA के बजाय दूसरे-क्रम के रिकर्सन (एक कांस्टेंट-वेलोसिटी कलमन फ़िल्टर के समान) के अनुरूप है। यह ऑप्टिमाइज़र को हाई-नॉइज़ रिजीम के तहत लेटेंट ग्रेडिएंट में नॉन-स्टेशनरी डायनेमिक्स (ड्रिफ्ट) को अधिक प्रभावी ढंग से ट्रैक करने की अनुमति देता है।

B. डीकप्ल्ड हाइपरपैरामीटर कंट्रोल (Decoupled Hyperparameter Control)

FIBER स्पष्ट रूप से टू-पॉइंट ऑब्जर्वेशन ज्योमेट्री को टेम्पोरल डिनोइज़िंग स्ट्रेंथ से अलग करता है:

ऑब्जर्वेशन ज्योमेट्री: टू-पॉइंट ग्रेडिएंट कंस्ट्रक्शन ( $u_t(\xi)$ ) में उपयोग किए जाने वाले पैरामीटर्स $(\kappa, \gamma)$ द्वारा निर्धारित होती है, जो वर्तमान और लुकअहेड ग्रेडिएंट्स के मिश्रण को परिभाषित करती है।
डिनोइज़िंग गेन: $\omega$ द्वारा निर्धारित होता है, जो रेसिड्यूअल स्ट्रीम की स्मूथिंग को नियंत्रित करता है।
पिछले सिंगल-गेन फॉर्मुलेशन में, स्मूथिंग पैरामीटर को बदलने से स्वाभाविक रूप से एस्टीमेटर की ज्योमेट्री बदल जाती थी। FIBER का डीकपलिंग एस्टीमेटर के एक्सट्रपलेशन व्यवहार और उसके टेम्पोरल स्मूथिंग स्ट्रेंथ के लिए स्वतंत्र ट्यूनिंग की अनुमति देता है।

C. फ़िल्टर-अवेयर सेकंड-मोमेंट कैलिब्रेशन (Filter-Aware Second-Moment Calibration)

मुख्य सैद्धांतिक योगदान इनोवेशन फ़िल्टर के तहत DP शोर विचरण के सटीक एटेनुएशन फैक्टर (attenuation factor) का व्युत्पत्ति (derivation) है।

एटेनुएशन फैक्टर: एक स्थिर लीनियर फ़िल्टर के लिए गेन $\omega$ के साथ, फ़िल्टर्ड DP शोर का विचरण $A(\omega)$ के कारक से कम हो जाता है। लेखक इसे इनोवेशन फ़िल्टर के लिए क्लोज्ड फॉर्म में व्युत्पन्न करते हैं:
$A(\omega) = \frac{2 - \omega}{4 - 3\omega}$
जहाँ $A(\omega) \in [0.5, 1]$ है।
करेक्शन: पूर्ण शोर विचरण $\sigma_w^2$ (जैसा कि मानक DP-Adam में होता है) या अनमॉडल विचरण को घटाने के बजाय, FIBER एटेन्यूएटेड (attenuated) योगदान को घटाता है:
$\bar{v}_t = \max(\hat{v}_t - A(\omega)\sigma_w^2, \epsilon_v)$
यह सुनिश्चित करता है कि प्रीकंडीशनर पोस्ट-फ़िल्टर नॉइज़ स्टैटिस्टिक्स के लिए सही ढंग से कैलिब्रेटेड है, जिससे स्टेप साइज़ का इन्फ्लेशन या डिफ्लेशन रुक जाता है।

3. मुख्य योगदान (Key Contributions)

प्रिंसिप्ल्ड इनोवेशन-स्पेस फ़िल्टरिंग: रेसिड्यूल स्पेस में एक डिनोइज़िंग दृष्टिकोण जो हाई-नॉइज़ रिजीम के तहत नॉन-स्टेशनरी डायनेमिक्स को ट्रैक करने के लिए एक लाइटवेट, सैद्धांतिक रूप से स्थापित दूसरे-क्रम के रिकर्सन का उपयोग करता है।
डीकप्ल्ड हाइपरपैरामीटर कंट्रोल: एस्टीमेटर के एक्सट्रपलेशन व्यवहार और टेम्पोरल स्मूथिंग स्ट्रेंथ के बीच पहला स्पष्ट अलगाव, जो व्यावहारिक अनुकूलन के लिए स्वतंत्र ट्यूनिंग सक्षम करता है।
प्रथम फ़िल्टर-अवेयर DP-AdamW कैलिब्रेशन: स्थिर लीनियर फ़िल्टर्स के लिए सटीक एटेनुएशन फैक्टर $A(\omega)$ का कठोर विश्लेषण और व्युत्पत्ति, जो फ़िल्टर-प्रेरित विचरण कमी के लिए बायस करेक्शन को ध्यान में रखता है।
व्यापक अनुभवजन्य सत्यापन (Extensive Empirical Validation): विजन और लैंग्वेज बेंचमार्क पर टाइट प्राइवेसी बजट के तहत निरंतर सुधार का प्रदर्शन।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने MNIST, CIFAR-10/100, ImageNet-1k, और GLUE/E2E NLP कार्यों सहित विविध कार्यों पर FIBER का मूल्यांकन किया।

प्रदर्शन: FIBER लगातार अत्याधुनिक बेसलाइन्स, जिनमें DP-AdamW, DiSK (एक टेम्पोरल फ़िल्टरिंग बेसलाइन), और MF-DP-FTRL (एक कोरिलेटेड-नॉइज़ बेसलाइन) शामिल हैं, को पछाड़ता है।
प्राइवेसी रिजीम्स: सुधार सबसे अधिक टाइट प्राइवेसी बजट (लो $\epsilon$ ) के तहत होते हैं, जहाँ DP शोर हावी होता है। उदाहरण के लिए, ViT-small के साथ CIFAR-100 फाइन-ट्यूनिंग पर, जब $\epsilon$ का मान 1 से 8 के बीच था, तो FIBER ने $\epsilon$ के आधार पर DiSK की तुलना में +2.0 से +5.1 प्रतिशत अंक की सटीकता में सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- इनोवेशन बनाम EMA: हाई-नॉइज़ रिजीम (जैसे, $\epsilon=0.5$ ) में इनोवेशन फ़िल्टरिंग, ग्रेडिएंट-स्टेट EMA स्मूथिंग की तुलना में काफी बेहतर प्रदर्शन करता है, लेकिन जैसे-जैसे शोर कम होता है, यह अंतर कम हो जाता है।
- डीकपलिंग: $(\kappa, \gamma)$ और $\omega$ का स्वतंत्र ट्यूनिंग इष्टतम प्रदर्शन देता है, जो ज्योमेट्री को डिनोइज़िंग से अलग करने के महत्व की पुष्टि करता है।
- करेक्शन की आवश्यकता: फ़िल्टर-अवेयर करेक्शन को हटाने पर (मानक बायस करेक्शन का उपयोग करने पर) प्रदर्शन में गिरावट आती है, जो $A(\omega)\sigma_w^2$ को घटाने की आवश्यकता को प्रमाणित करता है।
कंप्यूट दक्षता: हालांकि FIBER को प्रति स्टेप दो ग्रेडिएंट इवैल्यूएशन की आवश्यकता होती है (DiSK की तरह), जिसके परिणामस्वरूप सिंगल-स्टेप DP-AdamW की तुलना में लगभग 1.79x वॉल-क्लॉक ओवरहेड होता है, यह कंप्यूटेशनल ओवरहेड के प्रति यूनिट पर काफी अधिक सटीकता प्राप्त करता है, विशेष रूप से सख्त प्राइवेसी सेटिंग्स में।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि FIBER डिफरेंशियल प्राइवेट ऑप्टिमाइजेशन में एक महत्वपूर्ण अंतर को संबोधित करता है: एडेप्टिव ऑप्टिमाइज़र्स में उपयोग किए जाने वाले बायस करेक्शन और फ़िल्टर्ड ग्रेडिएंट स्टैटिस्टिक्स के बीच का मिसमैच। यह मॉडल करके कि टेम्पोरल फ़िल्टरिंग कैसे DP शोर विचरण को कम करती है, FIBER एक "फ़िल्टर-अवेयर" कैलिब्रेशन प्रदान करता है जो प्राइवेसी बाधाओं के तहत AdamW की स्थिरता और एडेप्टिविटी को बहाल करता है।

लेखक FIBER को बड़े मॉडल्स के लॉन्ग-हॉजन ट्रेनिंग और फाइन-ट्यूनिंग के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत करते हैं, जहाँ DP शोर आमतौर पर यूटिलिटी को कम कर देता है। यह कार्य प्रदर्शित करता है कि इनोवेशन-स्पेस डिनोइज़िंग को सटीक सांख्यिकीय कैलिब्रेशन के साथ जोड़ने से विजन और लैंग्वेज दोनों कार्यों में स्टेट-ऑफ-द-आर्ट प्रदर्शन मिलता है, विशेष रूप से जब प्राइवेसी बजट कम होता है। पेपर निष्कर्ष निकालता है कि हालांकि दो-पॉइंट ग्रेडिएंट्स की कंप्यूटेशनल लागत कम नहीं है, लेकिन यूटिलिटी और स्थिरता में पर्याप्त लाभ, विशेष रूप से उन परिदृश्यों में जहाँ मानक DP-Adam विफल हो जाता है या खराब तरीके से कन्वर्ज होता है, इस ओवरहेड को उचित ठहराते हैं।