🤖 machine learning

Towards Differentially Private Reinforcement Learning with General Function Approximation

यह शोधपत्र सामान्य फलन सन्निकटन (general function approximation) के साथ विभेदक रूप से निजी ऑनलाइन सुदृढीकरण शिक्षण (differentially private online reinforcement learning) के लिए प्रथम सैद्धांतिक गारंटी प्रस्तुत करता है, जो बैच किए गए नीति अपडेट और एक्सपोनेंशियल मैकेनिज्म के एक नवीन संयोजन के माध्यम से $\widetilde{O}(K^{3/5})$ रिग्रेट बाउंड प्राप्त करता है और साथ ही पूर्व रैखिक सेटिंग्स में अंतराल को स्पष्ट करता है।

मूल लेखक: Yi He, Xingyu Zhou

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi He, Xingyu Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखा रहे हैं। रोबोट अलग-अलग चालें चलकर, यह देखकर कि क्या होता है, और अंक (इनाम) प्राप्त करके सीखता है। समय के साथ, वह बेहतर होता जाता है। यह रीइन्फोर्समेंट लर्निंग (RL) है।

हालाँकि, वास्तविक दुनिया में, यह रोबोट केवल एक गेम नहीं खेल रहा है; यह आपके साथ बातचीत कर रहा है। शायद यह एक चैटबॉट है जो आपकी पसंद सीख रहा है, या एक मेडिकल एआई (AI) जो मरीजों का इलाज करने का तरीका सीख रहा है। हर बार जब रोबोट आपके साथ बातचीत करता है, तो वह आपके रहस्यों के बारे में कुछ सीखता है: आपका स्वास्थ्य इतिहास, आपकी व्यक्तिगत पसंद, या आपके निजी विचार।

समस्या क्या है? मानक सीखने के तरीके एक ऐसे शिक्षक की तरह हैं जो व्हाइटबोर्ड पर हर छात्र के नाम के साथ उनकी गलतियाँ लिख देता है। अंततः, कोई भी बोर्ड को देख सकता है और ठीक से पता लगा सकता है कि किसने कौन सी गलती की थी। यह एक प्राइवेसी लीक (गोपनीयता का उल्लंघन) है।

बड़ी चुनौती: प्राइवेसी बनाम सीखने की गति

वैज्ञानिक इस समस्या को डिफरेंशियल प्राइवेसी (DP) की एक अवधारणा का उपयोग करके ठीक करने की कोशिश कर रहे हैं। DP को शिक्षक के नोट्स में थोड़ा सा "स्टैटिक" या "शोर" (noise) जोड़ने के रूप में सोचें ताकि कोई यह न बता सके कि विशेष रूप से किस छात्र ने क्या किया, लेकिन पूरी कक्षा सामूहिक रूप से सही उत्तर सीख सके।

लेकिन यहाँ एक पेंच है: यदि आप गोपनीयता की रक्षा के लिए बहुत अधिक शोर जोड़ते हैं, तो रोबोट बहुत धीरे सीखता है। यदि आप बहुत कम शोर जोड़ते हैं, तो वह तेजी से सीखता है लेकिन रहस्य लीक कर देता है।

लंबे समय तक, वैज्ञानिक केवल बहुत सरल खेलों (जैसे कुछ वर्गों वाला एक ग्रिड) या बहुत सरल नियमों (लीनियर) वाले खेलों के लिए यह सिद्ध कर सके कि यह प्राइवेसी ट्रिक काम करती है। लेकिन आधुनिक एआई (जैसे कि आज के चैटबॉट्स) जटिल, नॉन-लीनियर (गैर-रैखिक) खेल खेलते हैं। पुराने गणित जटिल परिदृश्यों के लिए काम नहीं करते थे।

यह पेपर क्या करता है

यह पेपर सबसे पहले यह सिद्ध करता है कि आप उपयोगकर्ता के रहस्यों को सुरक्षित रखते हुए, सीखने की गति से बहुत अधिक समझौता किए बिना, रोबोट को जटिल खेल सिखा सकते हैं।

उन्होंने इसे तीन तरकीबों का उपयोग करके किया है:

1. "बैचिंग" रणनीति (ग्रुप फोटो)

कल्पना कीजिए कि रोबोट हर एक छात्र के बोलने के बाद कक्षा की एक फोटो लेकर सीखता है। यदि आप प्राइवेसी की रक्षा करना चाहते हैं, तो आपको हर बार फोटो को धुंधला (blur) करना होगा। 1,000 फोटो को धुंधला करना बहुत मेहनत का काम है और यह फोटो की गुणवत्ता को खराब कर देता है।

इसके बजाय, यह पेपर सुझाव देता है: एक पूरा समूह (एक "बैच") होने तक प्रतीक्षा करें और फिर एक फोटो लें।

यह कैसे काम करता है: रोबोट उपयोगकर्ताओं के साथ कुछ समय तक बातचीत करता है, सारा डेटा एकत्र करता है, और फिर पूरे समूह के लिए एक बार अपनी रणनीति अपडेट करता है।
लाभ: आपको "प्राइवेसी नॉइज़" (गोपनीयता का शोर) केवल कुछ ही बार जोड़ना पड़ता है (प्रति बैच एक बार), जिससे सीखने की गति बहुत तेज रहती है जबकि गोपनीयता भी बनी रहती है।

2. "एक्सपोनेंशियल मैकेनिज्म" (भारित लॉटरी)

आमतौर पर, जब एक रोबोट सीखता है, तो वह अब तक मिली सबसे अच्छी चाल चुनता है। लेकिन सबसे अच्छी चाल चुनना प्राइवेसी के लिए खतरनाक है क्योंकि यह प्रकट करता है कि डेटा वास्तव में कैसा दिखता था।

इसके बजाय, यह पेपर एक भारित लॉटरी (Weighted Lottery) का उपयोग करता है:

कल्पना कीजिए कि रोबमान के पास संभावित रणनीतियों की एक सूची है।
यह कुछ अतिरिक्त टिकट "सर्वश्रेष्ठ" रणनीतियों को देता है, लेकिन यह कुछ "ठीक-ठाक" रणनीतियों को भी टिकट देता है।
फिर यह इन टिकटों के आधार पर यादृच्छिक रूप से (randomly) एक रणनीति चुनता है।
परिणाम: रोबोट अभी भी अधिकांश समय एक बहुत अच्छी रणनीति चुनता है, लेकिन क्योंकि यह एक लॉटरी है, इसलिए कोई बाहरी व्यक्ति 100% निश्चित नहीं हो सकता कि किस विशिष्ट डेटा पॉइंट के कारण रोबोट ने वह रणनीति चुनी। यह यह अनुमान लगाने जैसा है कि कौन सा टिकट जीता है बिना यह जाने कि किसने टिकट खरीदा है।

3. "स्कोरकार्ड" (भ्रमित करने वाले नियमों का अंत)

अतीत में, जटिल खेलों को निजी तौर पर सिखाने के लिए, वैज्ञानिकों ने एक "कॉन्फिडेंस मैप" (एक जटिल नियम पुस्तिका जिसमें लिखा हो "मैं इस बारे में 90% आश्वस्त हूँ") बनाने की कोशिश की थी। इन मानचित्रों को प्राइवेसी शोर के साथ सुरक्षित रखना कठिन होता है।

यह पेपर मानचित्र को छोड़ देता है। इसके बजाय, यह एक सरल स्कोरकार्ड का उपयोग करता है:

यह प्रत्येक संभावित रणनीति को एक स्कोर देता है कि उसने कितना अच्छा प्रदर्शन किया और उसने कितनी खोज (exploration) की।
फिर यह इन स्कोरों पर भारित लॉटरी (चरण 2 से) चलाता है।
यह बहुत सरल है और इसे सुरक्षित रखना आसान है।

परिणाम: यह कितना तेज़ है?

यह पेपर गणितीय रूप से सिद्ध करता है कि यह तरीका काम करता है।

गति: रोबोट लगभग उतनी ही तेजी से सीखता है जितनी तेजी से सर्वश्रेष्ठ गैर-निजी रोबोट सीखते हैं। यदि रोबोट $K$ राउंड खेलता है, तो उसकी "गलतियाँ" लगभग $K^{3/5}$ की दर से बढ़ती हैं (जो कुल राउंड की संख्या से बहुत कम है)।
तुलना: यह वही गति रिकॉर्ड है जो पहले केवल सरल, लीनियर खेलों के लिए संभव था। अब, यह जटिल, सामान्य खेलों के लिए भी काम करता है।

"लीनियर" दावों पर एक नोट

यह पेपर कुछ हालिया अध्ययनों की गलती की ओर भी इशारा करता है। कुछ अन्य शोधकर्ताओं ने दावा किया कि वे सरल खेलों के लिए (रणनीति को बहुत कम बार अपडेट करके) प्राइवेसी के साथ सीखने को और भी तेज़ ( $\sqrt{K}$ की गति से) बना सकते हैं। इस पेपर के लेखक इस अध्ययन में एक खामी पाते हैं: उनके द्वारा जोड़ा गया प्राइवेसी शोर वास्तव में उनके "दुर्लभ अपडेट" वाले तर्क को तोड़ देता है। इसलिए, इस प्रकार की प्राइवेट लर्निंग के लिए $K^{3/5}$ की गति वर्तमान में सबसे अच्छी सिद्ध गति है।

सारांश

साधारण शब्दों में: इस पेपर ने AI एजेंटों को जटिल कार्य (जैसे चैटबॉट्स या मेडिकल एडवाइजर्स) सिखाने का एक नया तरीका बनाया है जो उपयोगकर्ता की गोपनीयता का सम्मान करता है। यह ऐसा इसलिए करता है क्योंकि यह AI को अपडेट करने से पहले बातचीत को समूहों में इकट्ठा करता है, एक कठोर नियम के बजाय नई रणनीतियों को चुनने के लिए यादृच्छिक लॉटरी का उपयोग करता है, और यह सिद्ध करता है कि यह तरीका गणितीय रूप से सुरक्षित और कुशल है। यह हमें जासूसी किए बिना हमसे सीखने वाले AI बनाने की दिशा में एक बड़ा कदम है।

तकनीकी सारांश: सामान्य फलन सन्निकटन (General Function Approximation) के साथ विभेदक रूप से निजी सुदृढीकरण शिक्षण (Differentially Private Reinforcement Learning) की ओर

समस्या विवरण
यह शोध पत्र एक औपचारिक गोपनीयता गारंटी के तहत, सामान्य फलन सन्निकटन (general function approximation) के साथ मॉडल किए गए वातावरण में, सैंपल-कुशल ऑनलाइन सुदृढीकरण शिक्षण (RL) की चुनौती को संबोधित करता है। पूर्ववर्ती सैद्धांतिक कार्यों ने टेबुलर (tabular) वातावरण या रैखिक (linear) फलन सन्निकटन सेटिंग्स में सबलीनियर रिग्रेट (sublinear regret) बाउंड्स स्थापित करके विभेदक रूप से निजी (DP) RL के लिए परिणाम दिए हैं। लेखक एक महत्वपूर्ण अंतराल की पहचान करते हैं: सामान्य, गैर-रैखिक फलन वर्गों (जैसे न्यूरल नेटवर्क या जटिल परिकल्पना वर्ग) तक इन गारन्टीज़ का विस्तार करना एक खुला प्रश्न बना हुआ है। मुख्य प्रश्न यह है कि क्या संयुक्त विभेदक गोपनीयता (Joint Differential Privacy - JDP) के तहत, जो व्यक्तिगत उपयोगकर्ता कार्यों को निजी रखते हुए वैश्विक नीति (global policy) सीखने के लिए उपयुक्त एक निजीकरण है, सामान्य फलन सन्निकटन के लिए निजी RL के लिए सबलीनियर रिग्रेट प्राप्त किया जा सकता है।

कार्यप्रणाली (Methodology)
लेखक एक मॉडल-मुक्त RL ढांचा प्रस्तावित करते हैं जो अन्वेषण (exploration), सामान्य फलन सन्निकटन और गोपनीयता के बीच तनाव को संभालने के लिए तीन प्रमुख एल्गोरिदम घटकों को एकीकृत करता है:

अप्रतिबंधित अनुकूलन उद्देश्य (Unconstrained Optimization Objective): मानक गैर-निजी RL के विपरीत, जो अक्सर आत्मविश्वास-सेट-आधारित (confidence-set-based) कतिपय अनुकूलन (जैसे Upper Confidence Bound विधियाँ) पर निर्भर करता है, प्रस्तावित दृष्टिकोण एक अप्रतिबंधित अनुकूलन उद्देश्य अपनाता है। यह उद्देश्य अनुमानित मान (आशावाद/optimism) और सांख्यिकीय त्रुटि (बेलमैन लॉस) के बीच स्पष्ट रूप से संतुलन बनाता है। यह सूत्रीकरण जटिल, डेटा-निर्भर आत्मविश्वास सेटों को निजी बनाने की कठिनाई से बचता है।
नीति चयन के लिए एक्सपोनेंशियल मैकेनिज्म (Exponential Mechanism for Policy Selection): एक फलन वर्ग $\mathcal{F}$ से वैल्यू फंक्शन (और फलस्वरूप नीति) के चयन को निजी बनाने के लिए, एल्गोरिदम एक्सपोनेंशियल मैकेनिज्म का उपयोग करता है। उस फलन को नियत रूप से चुनने के बजाय जो स्कोर को अधिकतम करता है (जो संवेदनशील डेटा को लीक कर सकता है), एल्गोरिदम एक फलन $f^{(k)}$ को $\exp(\beta \cdot S(f))$ के आनुपातिक प्रायिकता के साथ चुनता है, जहाँ $S(f)$ एक स्कोर फंक्शन है जो आशावादी मान और बेलमैन लॉस को जोड़ता है।
बैच नीति अपडेट (Batched Policy Updates): $K$ एपिसोड के संचयी गोपनीयता हानि (composition) को नियंत्रित करने के लिए, एल्गोरिदम केवल निश्चित आकार के बैच आकार $B$ के प्रारंभ में नीति को अपडेट करता है। एक बैच के भीतर, नीति स्थिर रहती है। यह रणनीति इस बात को सीमित करती है कि कोई भी एकल डेटा बिंदु कितनी बार निजी अपडेट में भाग लेता है, जिससे रैखिक के बजाय सबलीनियर संचय के रूप में गोपनीयता हानि संभव हो पाती है।

शोध पत्र दो विशिष्ट एल्गोरिदम प्रस्तुत करता है:

एल्गोरिदम 1: सामान्य स्टोकेस्टिक MDPs के लिए डिज़ाइन किया गया है। इसके लिए बेलमैन पूर्णता (Bellman completeness) (फलन वर्ग बेलमैन ऑपरेटर के तहत बंद होना चाहिए) की आवश्यकता होती है और यह डबल-सैंपलिंग समस्याओं को संभालने के लिए इन्फिमम सुधार (infimum correction) के साथ बेलमान-एरर लॉस का उपयोग करता है।
एल्गोरिदम 2: आउटकम रिवार्ड्स (outcome rewards) वाले नियत (deterministic) MDPs के लिए डिज़ाइन किया गया है (एक सेटिंग जो लार्ज लैंग्वेज मॉडल अनुप्रयोगों से प्रेरित है)। यह संस्करण वास्तविकता (realizability) (इष्टतम Q-फंक्शन वर्ग में मौजूद है) की कमजोर धारणा पर निर्भर करता है और बेलमैन-एरर लॉस को आउटकम-आधारित बेलमैन-रेसिड्यूल लॉस से बदल देता है, जिससे मैक्स-मिन अनुकूलन की आवश्यकता समाप्त हो जाती है।

मुख्य योगदान

सामान्य फलन सन्निकटन के लिए प्रथम सैद्धांतिक गारन्टी: यह शोध पत्र JDP के तहत ऑनलाइन RL के लिए सामान्य फलन सन्निकटन के लिए पहले सबलीनियर रिग्रेट बाउंड्स स्थापित करता है।
रिग्रेट बाउंड्स:
- सामान्य स्टोकेस्टिक MDPs के लिए (एल्गोरिदम 1), रिग्रेट $\tilde{O}(K^{3/5})$ के रूप में स्केल होता है, जो कवरेबिलिटी (coverability) पैरामीटर $C_{cov}$ पर निर्भर करता है, जो अन्वेषण की कठिनाई को दर्शाता है।
- आउटकम रिवार्ड्स वाले नियत MDPs के लिए (एल्गोरिदम 2), कमजोर वास्तविकता धारणा के तहत समान $\tilde{O}(K^{3/5})$ बाउंड प्राप्त किया गया है।
- ये बाउंड मॉडल-मुक्त सेटिंग में रैखिक फलन सन्निकटन मामले के लिए अत्याधुनिक (state-of-the-art) परिणामों से मेल खाते हैं, बावजूद इसके कि सामान्य फलन वर्गों की जटिलता अधिक है।
गैर-निजी उप-उत्पाद (Non-Private By-Products): विश्लेषण अनुकूलनता बाधाओं (adaptivity constraints) (निश्चित आकार के बैचिंग) के तहत गैर-निजी RL के लिए नए रिग्रेट बाउंड्स प्रदान करता है। विशेष रूप से, यह दिखाता है कि कवरेबिलिटी स्थिति के तहत $\sqrt{K}$ अपडेट के साथ $\tilde{O}(\sqrt{K})$ रिग्रेट प्राप्त किया जा सकता है, जो Eluder-Condition वर्ग पर आधारित मौजूदा परिणामों का पूरक है।
लीनियर MDP साहित्य का स्पष्टीकरण: लेखक लीनियर MDPs के लिए बेहतर $\tilde{O}(\sqrt{K})$ रिग्रेट दावों वाले हालिया साहित्य में मौलिक अंतरालों की पहचान करते हैं। वे तर्क देते हैं कि "दुर्लभ नीति स्विचिंग" और डिटरमिनेंट ट्रिक्स पर निर्भर मौजूदा प्रमाण गोपनीयता बाधाओं के तहत विफल हो जाते हैं क्योंकि गोपनीयता शोर (noise) के इंजेक्शन से आवश्यक मोनोटोनिसिटी टूट जाती है।

परिणाम और विश्लेषण
सैद्धांतिक विश्लेषण कवरेबिलिटी (coverability) स्थिरांक पर निर्भर करता है, जो ज़ी एट अल. [XFBJK22] द्वारा पेश किया गया एक जटिलता माप है, जो रैखिक सेटिंग्स से परे अन्वेषण की कठिनाई की अवधारणा का सामान्यीकरण करता है। प्रमाण का खाका (proof sketch) शामिल है:

रिग्रेट को "ट्रेनिंग एरर" (बेलमैन लॉस) और एक "ऑन-पॉलिसी" (टेस्ट) एरर से संबंधित शब्द में विभाजित करना।
चयनित फलन और इष्टतम फलन के बीच विचलन (प्राइवेसी कॉस्ट) को बाउंड करने के लिए एक्सपोनेंशियल मैकेनिज्म का उपयोग करना।
बैचिंग की उपस्थिति में ऑन-पॉलिसी एरर को ट्रेनिंग एरर से जोड़ने के लिए एक नया असमिका (inequality) व्युत्पन्न करना, जो डेटा संग्रह नीति और वर्तमान नीति के बीच वितरण बदलाव (distribution shift) को बाउंड करने के लिए कवरेबिलिटी स्थिरांक का उपयोग करता है।
सूचना की नवीनता (रिग्रेट) और गोपनीयता लागत के बीच ट्रेड-ऑफ को संतुलित करने के लिए बैच आकार $B$ और तापमान पैरामीटर $\eta$ को अनुकूलित करना।

शोध पत्र में एक नियत आउटकम-रिवॉर्ड सेटिंग में प्रूफ-ऑफ-कॉन्सेप्ट सिमुलेशन शामिल है। परिणाम अपेक्षित प्राइवेसी-यूटिलिटी ट्रेड-ऑफ को प्रदर्शित करते हैं: मजबूत गोपनीयता (कम $\epsilon$ ) धीमी अभिसरण (उच्च प्लेटो एपिसोड) की ओर ले जाती है, जबकि बैचिंग गैर-निजी, गैर-बैच लर्निंग की तुलना में मध्यम देरी लाती है।

महत्व
यह शोध पत्र दावा करता है कि यह आधुनिक अनुप्रयोगों, जैसे कि लार्ज लैंग्वेज मॉडल्स (LLMs) और जटिल, गैर-रैखिक फलन सन्नककों (approximators) से जुड़े परिवेशों को दर्शाने वाले सेटिंग्स के लिए निजी RL के लिए पहला सिद्धांतगत आधार प्रदान करता है। यह प्रदर्शित करके कि रैखिक सेटिंग्स में प्राप्त होने वाला $\tilde{O}(K^{3/5})$ रिग्रेट स्केलिंग JDP के तहत सामान्य फलन वर्गों तक विस्तृत होता है, यह कार्य प्राइवेसी-प्रिजर्विंग थ्योरी और व्यावहारिक RL सिस्टम के बीच के अंतर को पाटता है। इसके अलावा, लीनियर MDPs के संबंध में हालिया साहित्य की खामियों को उजागर करके, यह शोध पत्र निजी RL के परिदृश्य को स्पष्ट करने का लक्ष्य रखता है, जिससे यह सुनिश्चित होता है कि भविष्य के सैद्धांतिक विकास ठोस विश्लेषणात्मक नींव पर निर्मित हों। इस ढांचे को एक मॉड्यूलर दृष्टिकोण के रूप में प्रस्तुत किया गया है जिसे विभिन्न गोपनीयता तंत्रों और फलन वर्गों के लिए अनुकूलित किया जा सकता है।