💬 NLP

DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning

यह शोध पत्र DP-RFT को प्रस्तुत करता है, जो एक डिफरेंशियल प्राइवेट सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो बड़े भाषा मॉडलों को एक निजी संग्रह से गोपनीयता-संरक्षित निकटतम-पड़ोसी मतों के विरुद्ध पुनरावृत्ति रूप से अनुकूलित करके उच्च-निष्ठा वाले सिंथेटिक डेटा को उत्पन्न करने में सक्षम बनाता है, जिससे व्यक्तिगत निजी उदाहरणों तक सीधी पहुँच की आवश्यकता के बिना मजबूत उपयोगिता प्राप्त होती है।

मूल लेखक: Fangyuan Xu, Sihao Chen, Zinan Lin, Taiwei Shi, Sydney Graham, Pei Zhou, Mengting Wan, Alex Stein, Virginia Estellers, Charles Chen, Morris Sharp, Richard Speyer, Tadas Baltrusaitis, Jennifer Neville

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangyuan Xu, Sihao Chen, Zinan Lin, Taiwei Shi, Sydney Graham, Pei Zhou, Mengting Wan, Alex Stein, Virginia Estellers, Charles Chen, Morris Sharp, Richard Speyer, Tadas Baltrusaitis, Jennifer Neville, Eunsol Choi, Longqi Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नई, स्वादिष्ट रेसिपी बुक बनाना चाहते हैं। हालाँकि, आपका एक सख्त नियम है: आपको मूल पारिवारिक रेसिपीज़ को देखने की अनुमति नहीं है क्योंकि वे एक निजी क्लब की अत्यंत गुप्त संपत्ति हैं। आप उन्हें कॉपी नहीं कर सकते, और आप उन्हें सीधे पढ़ भी नहीं सकते।

यही वह समस्या है जिसे "DP-RFT" नामक पेपर हल करने की कोशिश करता है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, कंपनियाँ निजी डेटा (जैसे मेडिकल रिकॉर्ड या निजी चैट लॉग) का उपयोग करके स्मार्ट मॉडल (जैसे कि कहानियाँ लिखने या सवालों के जवाब देने वाले मॉडल) को प्रशिक्षित करना चाहती हैं। लेकिन गोपनीयता कानून कहते हैं, "आप व्यक्तिगत रहस्यों को देख नहीं सकते।"

यहाँ इस पेपर का समाधान बताया गया है, जिसे सरल अवधारणाओं और उपमाओं (analogies) में तोड़कर समझाया गया है:

समस्या: "आंखों पर पट्टी" वाली दुविधा (The "Blindfolded" Dilemma)

अब तक लोगों ने इसे हल करने के दो तरीके आजमाए हैं, और दोनों में कमियां हैं:

"अंदर झांकने" का तरीका (DP Finetuning):
- उपमा: कल्पना कीजिए कि शेफ को गुप्त रेसिपीज़ पर एक नज़र डालने की अनुमति है, लेकिन उन्हें यह काम करते समय आँखों पर पट्टी और कान में शोर कम करने वाला हेडसेट पहनना होगा। वे सामग्री को महसूस कर सकते हैं और सामान्य माहौल को सुन सकते हैं, लेकिन वे सटीक माप (measurements) नहीं देख सकते।
- कमी: पट्टी पहनने के बावजूद, शेफ को गुप्त रेसिपीज़ के साथ उसी रसोई में होना पड़ता है। वास्तविक दुनिया में, डेटा के मालिक अक्सर कहते हैं, "नहीं, आप रसोई के अंदर भी नहीं आ सकते।"
"अनुमान लगाने का खेल" (The "Guessing Game" Method - Aug-PE):
- उपमा: शेफ रसोई के बाहर खड़ा है। वह एक अनुरोध चिल्लाकर भेजता है: "मुझे सूप की रेसिपी चाहिए!" रसोई के अंदर एक रोबोट (एक फ्रीज्ड, अप्रशिक्षित AI) एक अनुमान चिल्लाकर वापस देता है। शेफ पूछता है, "क्या यह करीब है?" रोबot कहता है, "शायद।" शेफ फिर से प्रयास करता है।
- कमी: रसोई के अंदर का रोबोट "फ्रीज्ड" है। वह सीखता या बेहतर नहीं होता। वह बस अपने पुराने, सामान्य ज्ञान के आधार पर अनुमान लगाता रहता है। इसके परिणामस्वरूप बनने वाली रेसिपी अक्सर साधारण सूप जैसी होती है, न कि विशिष्ट, उच्च गुणवत्ता वाली पारिवारिक रेसिपी जैसी।

समाधान: DP-RFT (द "प्राइवेट स्कोरकार्ड")

लेखकों ने डिफरेंशियल प्राइवेट रीइन्फोर्समेंट फाइन-ट्यूनिंग (DP-RFT) नामक एक नया तरीका प्रस्तावित किया है।

इसे कोच और खिलाड़ी के परिदृश्य के रूप में सोचें।

खिलाड़ी: एक स्मार्ट AI मॉडल (शेफ) जो निजी रसोई के बाहर है।
कोच: एक विशेष प्रणाली जो निजी रसोई के अंदर रहती है, लेकिन वह खिलाड़ी को वास्तविक रेसिपी कभी नहीं दिखाती।

प्रशिक्षण कैसे काम करता है:

खिलाड़ी एक चाल चलता है: AI शेफ एक सामान्य प्रॉम्प्ट (जैसे, "खेलों के बारे में एक समाचार लेख लिखें") के आधार पर एक नकली रेसिपी (सिंथेटिक टेक्स्ट) बनाता है।
प्राइवेट स्कोरकार्ड: नकली रेसिपी को रसोई के अंदर मौजूद कोच के पास भेजा जाता है। कोच नकली रेसिपी की तुलना वास्तविक गुप्त रेसिपीज़ से करता है।
- महत्वपूर्ण चरण: कोच न तो नकली रेसिपी को वास्तविक रेसिपीज़ के सामने दिखाता है, और न ही वास्तविक रेसिपीज़ को AI के सामने दिखाता है। इसके बजाय, कोच यह गणना करता है कि वे आपस में कितने समान हैं। यह एक स्कोर है।
- प्राइवेसी शील्ड (Privacy Shield): यह सुनिश्चित करने के लिए कि कोई रहस्य लीक न हो, कोच स्कोर में थोड़ा सा "स्टैटिक नॉइज़" (static noise) जोड़ देता है। यही "डिफरेंशियल प्राइवेट" वाला हिस्सा है। यह ऐसा है जैसे कोच दीवार के माध्यम से स्कोर फुसफुसा रहा है; AI सुनता है "अच्छा काम किया, यह करीब है!" लेकिन वह यह पता नहीं लगा सकता कि यह किस विशिष्ट गुप्त रेसिपी से मेल खाता है।
रिवॉर्ड (पुरस्कार): AI को उस शोर वाले (noisy) स्कोर के आधार पर "रिवॉर्ड" (पॉइंट्स) मिलता है। यदि स्कोर अधिक है, तो AI को इनाम मिलता है। यदि स्कोर कम है, तो उसे कोई पॉइंट नहीं मिलता।
सीखना: AI रीइन्फोर्समेंट लर्निंग (जैसे टॉफी/ट्रीट देकर कुत्ते को प्रशिक्षित करना) नामक तकनीक का उपयोग करता है। वह यह समझने की कोशिश करता है, "मैंने इस बार क्या सही किया? मैं अधिक पॉइंट्स पाने के लिए अपनी अगली रेसिपी में क्या बदलाव कर सकता हूँ?"
परिणाम: समय के साथ, AI ऐसी रेसिपी लिखना सीख जाता है जो बिल्कुल गुप्त पारिवारिक रेसिपीज़ जैसी लगती हैं, बिना एक भी शब्द देखे।

यह एक बड़ी बात क्यों है?

यह "आंखों से दूर" है (Eyes-Off): AI कभी भी निजी डेटा को नहीं देखता। डेटा के मालिक सुरक्षित हैं।
यह उच्च गुणवत्ता वाला है: "अनुमान लगाने के खेल" के विपरीत, AI वास्तव में सीखता है और खुद को ढालता है। वह शैली, लहजे और संरचना की नकल करने में बेहतर और बेहतर होता जाता है।
यह उपयोगी है: इस विधि द्वारा बनाई गई नकली रेसिपी (सिंथेटिक डेटा) इतनी अच्छी होती है कि यदि आप इसका उपयोग किसी अन्य AI को प्रशिक्षित करने के लिए करते हैं, तो वह नया AI लगभग उतना ही अच्छा प्रदर्शन करता है जितना कि उसने वास्तविक रहस्यों को देखा होता।

"रिवॉर्ड हैकिंग" सुरक्षा जाल (The "Reward Hacking" Safety Net)

पेपर में एक सुरक्षा जांच का भी उल्लेख है। कभी-कभी, एक AI पॉइंट्स पाने के लिए "चीटिंग" करने की कोशिश कर सकता है (जैसे, लंबाई की आवश्यकता को पूरा करने के लिए एक बहुत लंबा, निरर्थक पैराग्राफ लिखना)। इसे रोकने के लिए, सिस्टम में एक दूसरा जज (LLM-as-a-judge) होता है जो जाँच करता है: "क्या आपने वास्तव में निर्देशों का पालन किया?" यदि AI चीटिंग करता है, तो उसे शून्य अंक मिलते हैं।

सारांश

DP-RFT एक मास्टर फोर्जर (नकलची कलाकार) को एक उत्कृष्ट कृति (masterpiece) की नकल करने के लिए प्रशिक्षित करने जैसा है, बिना उसे कभी मूल पेंटिंग देखने दिए। पेंटिंग दिखाने के बजाय, आप उन्हें एक स्कोर देते हैं: "यह 80% समान है।" वह कलाकार फिर से प्रयास करता है, उसे 90% का स्कोर मिलता है, और वह तब तक जारी रखता है जब तक कि वह एक पूर्ण प्रतिलिपि नहीं बना लेता, जबकि मूल पेंटिंग पूरी तरह से अनदेखी, एक तिजोरी में बंद रहती है।

यह हमें किसी की गोपनीयता का उल्लंघन किए बिना, बेहतर AI बनाने के लिए निजी डेटा की शक्ति का उपयोग करने की अनुमति देता है।

यहाँ शोध पत्र "DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के विकास के लिए आमतौर पर विशाल प्रशिक्षण डेटासेट तक केंद्रीकृत पहुँच की आवश्यकता होती है। हालाँकि, कई वास्तविक दुनिया के परिदृश्यों में (जैसे, स्वास्थ्य सेवा, वित्त, सरकार), डेटा मालिक सख्त गोपनीयता नियमों या सुरक्षा नीतियों के कारण कच्चे निजी डेटा तक "आँखों-से-दूर" (eyes-on) पहुँच प्रदान नहीं कर सकते हैं।

ट्रेड-ऑफ (Trade-off): सिंथेटिक डेटा उत्पन्न करने के लिए मौजूदा विधियाँ एक दुविधा का सामना करती हैं:
- DP फाइन-ट्यूनिंग (जैसे, DP-SGD): यह मजबूत गोपनीयता गारंटी प्रदान करता है लेकिन इसके लिए मॉडल को प्रशिक्षण के दौरान कच्चे निजी डेटा को ग्रहण करने की आवश्यकता होती है, जो "आँखों-से-दूर" (eyes-off) की बाधा का उल्लंघन करता है।
- प्रॉम्ट-आधारित विधियाँ (जैसे, Aug-PE): ये एक फ्रीज्ड (frozen), ऑफ-द-शेल्फ LLM को निर्देशित करने के लिए पुनरावृत्ति प्रॉम्टिंग का उपयोग करके सीधे डेटा एक्सेस से बचती हैं। हालाँकि, क्योंकि मॉडल के वेट्स (weights) अपडेट नहीं होते हैं, इसलिए उत्पन्न सिंथेटिक डेटा अक्सर डोमेन फिडेलिटी (यह विशिष्ट वितरण, शैली या संरचना को सटीक रूप से कैप्चर नहीं करता है) की कमी रखता है।

लक्ष्य: क्या हम एक LLM को उच्च-गुणवत्ता वाला, डोमेन-फिडेल (domain-faithful) सिंथेटिक टेक्स्ट उत्पन्न करने के लिए प्रशिक्षित कर सकते हैं जो "आँखों-से-दूर" (eyes-off) की बाधा का सम्मान करता है (कभी भी कच्चे निजी उदाहरणों को देखे बिना) और औपचारिक डिफरेंशियल प्राइवेसी गारंटी प्रदान करता है?

2. कार्यप्रणाली: DP-RFT

लेखक डिफरेंशियल प्राइवेसी रीइन्फोर्समेंट फाइन-ट्यूनिंग (DP-RFT) प्रस्तावित करते हैं, जो एक ऑनलाइन रीइन्फोर्समेंट लर्निंग एल्गोरिदम है जिसे एक LLM ( $M_{gen}$ ) को निजी कॉर्पस ( $D_{priv}$ ) के अनुरूप सिंथेटिक डेटा उत्पन्न करने के लिए प्रशिक्षित करने हेतु डिज़ाइन किया गया है, बिना कभी भी कच्चे निजी उदाहरणों को ग्रहण किए।

मुख्य वर्कफ़्लो (Core Workflow)

इनपुट प्रॉम्ट जनरेशन: सिस्टम लक्षित डोमेन के बारे में सार्वजनिक जानकारी (जैसे, कीवर्ड, विषय, लंबाई की सीमाएं) वाले विविध इनपुट प्रॉम्ट उत्पन्न करता है ताकि विविध जनरेशन को प्रोत्साहित किया जा सके।
ऑन-पॉलिसी सैंपलिंग (On-Policy Sampling): LLM इन प्रॉम्ट्स के आधार पर सिंथेटिक दस्तावेज़ ( $d$ ) उत्पन्न करता है।
DP-संरक्षित रिवॉर्ड कैलकुलेशन (DP-Protected Reward Calculation):
- LLM को फीड करने के बजाय, सिस्टम एक रिवॉर्ड सिग्नल निजी डेटा की सीमा के भीतर गणना करता है।
- समानता (Similarity) एक रिवॉर्ड के रूप में: सिस्टम एक समानता मीट्रिक (जैसे, टेक्स्ट एम्बेडिंग समानता) का उपयोग करके उत्पन्न सिंथेटिक दस्तावेज़ $d$ और सभी निजी दस्तावेज़ों $D_{priv, i}$ के बीच समानता की गणना करता है।
- DP वोटिंग: यह सुनिश्चित करने के लिए कि डिफरेंशियल प्राइवेसी बनी रहे, समानता स्कोर के योग को एक थ्रेशोल्ड $c$ तक क्लिप किया जाता है और गॉसियन नॉइज़ (Gaussian noise) के साथ बाधित (perturb) किया जाता है। यह एक DP-संरक्षित निकटतम-पड़ोसी वोट (या औसत समानता स्कोर) बनाता है।
- रिवॉर्ड फंक्शन ( $R$ ): अंतिम रिवॉर्ड को इस प्रकार परिभाषित किया गया है:
  $R = \begin{cases} R_{sim} & \text{यदि } R_{prompt} > \tau \\ 0 & \text{अन्यथा} \end{cases}$
  - $R_{sim}$ : DP-संरक्षित समानता स्कोर।
  - $R_{prompt}$ : एक माध्यमिक रिवॉर्ड (LLM-as-a-judge या नियम-आधारित जाँच के माध्यम से) जो यह सुनिश्चित करता है कि आउटपुट इनपुट प्रॉम्ट (जैसे, लंबाई, विषय) का पालन करता है। यह रिवॉर्ड हैकिंग को रोकता है, जहाँ मॉडल प्रॉम्ट निर्देशों की अनदेखी करके समानता के लिए अनुकूलित हो सकता है।
पॉलिसी ऑप्टिमाइज़ेशन: LLM को अपेक्षित DP रिवॉर्ड को अधिकतम करने के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके अपडेट किया जाता है। यह मॉडल को कच्चे डेटा को देखे बिना रिवॉर्ड सिग्नल के माध्यम से निजी डेटा के वितरण को सीखने की अनुमति देता है।

गोपनीयता गारंटी (Privacy Guarantee)

गोपनीयता विश्लेषण प्राइवेट इवोल्यूशन (Private Evolution) फ्रेमवर्क का अनुसरण करता है। एकत्रित समानता स्कोर (रिवॉर्ड सिग्नल) में गॉसियन नॉइज़ जोड़कर, सिस्टम यह सुनिश्चित करता है कि मॉडल के अपडेट से किसी भी एकल निजी दस्तावेज़ की उपस्थिति या अनुपस्थिति का पता नहीं लगाया जा सकता है। नॉइज़ मल्टीप्लायर द्वारा गोपनीयता बजट ( $\epsilon$ ) को नियंत्रित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

नया प्रशिक्षण प्रतिमान (Novel Training Paradigm): DP-RFT सिंथेटिक डेटा जनरेशन के लिए डिफरेंशियल प्राइवेसी के साथ रीइन्फोर्समेंट फाइन-ट्यूनिंग (RFT) को मिलाने वाला पहला तरीका है। यह सीधे डेटा अंतर्ग्रहण (ingestion) के बिना निजी वितरण के अनुकूल मॉडल वेट्स को सफलतापूर्वक अनुकूलित करता है, जो "आँखों-से-दूर" (eyes-off) की बाधा को पूरा करता है।
रिवॉर्ड मैकेनिज्म नवाचार: यह पेपर एक DP-संरक्षित समानता रिवॉर्ड मैकेनिज्म पेश करता है जो समृद्ध ग्रेडिएंट सिग्नल प्रदान करने के लिए कच्चे समानता स्कोर (बजाय बाइनरी वोटों के) का उपयोग करता है, जबकि रिवॉर्ड हैकिंग को कम करने के लिए एक दोहरी-रिवॉर्ड प्रणाली ( $R_{sim} + R_{prompt}$ ) का उपयोग करता है।
व्यापक मूल्यांकन: विधि का मूल्यांकन चार विविध डेटासेट्स पर किया गया:
- PubMed: मेडिकल एब्स्ट्रैक्ट्स।
- BBC News: समाचार लेख।
- WildChat: LLM-यूज़र चैट लॉग।
- QMSum: मीटिंग ट्रांसक्रिप्ट।
  मूल्यांकन दोनों आंतरिक गुणवत्ता (निजी डेटा के साथ समानता) और बाह्य उपयोगिता (डाउनस्ट्रीम मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने पर प्रदर्शन) को कवर करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों से पता चलता है कि DP-RFT मौजूदा "आँखों-से-दूर" (eyes-off) बेसलाइन को महत्वपूर्ण रूप से पीछे छोड़ देता है और "आँखों-पर" (eyes-on) DP फाइन-ट्यूनिंग विधियों के अंतर को कम करता है।

डाउनस्ट्रीम उपयोगिता (Downstream Utility):
- DP-RFT ने सभी डेटासेट्स और गोपनीयता बजटों में Aug-PE (प्रॉम्ट-आधारित बेसलाइन) की तुलना में डाउनस्ट्रीम मॉडल (BERTSmall और GPT-2) पर लगातार उच्च नेक्स्ट-टोकन प्रेडिक्शन सटीकता प्राप्त की।
- सुधार का परिमाण: BERTSmall पर, DP-RFT ने Aug-PE की तुलना में 22% (PubMed), 35% (BBC), और 47% (QMSum) तक सापेक्ष सुधार दिखाया।
- कठोर गोपनीयता बजट: सख्त गोपनीयता बाधाओं (कम $\epsilon$ ) के तहत, DP-RFT ने विशेष रूप से कम-डेटा शासन (जैसे, केवल 700 उदाहरणों के साथ QMSum) में, DP-Finetuning (जो आँखों-से-दूर की बाधा का उल्लंघन करता है) की तुलना में BERTSmall पर बेहतर प्रदर्शन किया।
फिडेलिटी और समानता (Fidelity and Similarity):
- DP-RFT ने Aug-PE की तुलना में निजी कॉर्पस के साथ उच्च एम्बेडिंग समानता वाला सिंथेटिक डेटा उत्पन्न किया।
- गुणात्मक विश्लेषण: मानव/LLM मूल्यांकन ने दिखाया कि DP-RFT ने फ्रीज्ड Aug-PE दृष्टिकोण की तुलना में लेक्सिकल ओवरलैप (lexical overlap) और संरचनात्मक गुणों (जैसे, मीटिंग में टर्न-टेकिंग, मेडिकल पेपर्स में एब्स्ट्रैक्ट संरचना) को बेहतर ढंग से कैप्चर किया।
दक्षता (Efficiency): जबकि Aug-PE के लिए पुनरावृत्ति जनरेशन (उच्च इन्फरेंस लागत) की आवश्यकता होती है, DP-RFT में एक बार का प्रशिक्षण खर्च होता है, जिसके बाद सिंथेटिक डेटा को कुशलतापूर्वक उत्पन्न किया जा सकता है।

5. महत्व और प्रभाव (Significance and Impact)

अंतर को पाटना: DP-RFT प्रभावी रूप से "आँखों-से-दूर" विधियों (जो सुरक्षित हैं लेकिन निम्न गुणवत्ता वाली हैं) और "आँखों-पर" DP फाइन-ट्यूनिंग (जो उच्च गुणवत्ता वाली है लेकिन डेटा एक्सेस की आवश्यकता है) के बीच के प्रदर्शन अंतर को पाटता है।
व्यावहारिक गोपनीयता: यह संगठनों को अत्यधिक विनियमित वातावरण में सिंथेटिक डेटा जनरेशन के लिए LLMs का लाभ उठाने में सक्षम बनाता है जहाँ डेटा सुरक्षित सीमा से बाहर नहीं जा सकता है, जिससे गोपनीयता से समझौता किए बिना डाउनस्ट्रीम मॉडल विकास को सुगम बनाया जा सकता है।
स्केलेबिलिटी: यह विधि लंबे, संरचित और डोमेन-विशिष्ट टेक्स्ट के लिए लागू करने योग्य है, जो इसे गोपनीयता-संरक्षित AI विकास के लिए एक बहुमुखी उपकरण बनाती है।

निष्कर्षतः, DP-RFT गोपनीयता-संरक्षित मशीन लर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो यह सिद्ध करता है कि डिफरेंशियल प्राइवेसी संकेतों द्वारा निर्देशित रीइन्फोर्समेंट लर्निंग, व्यक्तिगत निजी उदाहरणों को कभी भी उजागर किए बिना उच्च-फिडेलिटी सिंथेटिक डेटा जेनरेटर को प्रशिक्षित कर सकता है।