🤖 machine learning

On the Sample Complexity of Differentially Private Policy Optimization

यह शोध पत्र ऑन-पॉलिसी लर्निंग के लिए एक विशेष गोपनीयता परिभाषा को औपचारिक रूप देकर और पॉलिसी ग्रेडिएंट तथा नेचुरल पॉलिसी ग्रेडिएंट जैसे एल्गोरिदम की सैंपल कॉम्प्लेक्सिटी का विश्लेषण करके डिफरेंशियल प्राइवेट पॉलिसी ऑप्टिमाइज़ेशन के एक सैद्धांतिक अध्ययन की शुरुआत करता है, जिससे यह पता चलता है कि गोपनीयता लागत अक्सर लोअर-ऑर्डर टर्म्स के रूप में दिखाई देती है और गोपनीयता-संरक्षित सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) के लिए व्यावहारिक अंतर्दृष्टि प्रदान करती है।

मूल लेखक: Yi He, Xingyu Zhou

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi He, Xingyu Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: बिना राज खोले एक रोबोट को सिखाना

कल्पना कीजिए कि आप एक रोबोट को एक नाजुक कार्य करने के लिए प्रशिक्षित कर रहे हैं, जैसे कि एक सर्जन जो ऑपरेशन करना सीख रहा है या एक चैटबॉट जो उपयोगी सलाह देना सीख रहा है। आप यह इसलिए करते हैं क्योंकि आप रोबोट को चीजें करने देते हैं, देखते हैं कि वह कितनी अच्छी तरह करता है (इसे "रिवॉर्ड" या पुरस्कार कहते हैं), और फिर अगली बार बेहतर करने के लिए उसके दिमाग (इसे "पॉलिसी" या नीति कहते हैं) को थोड़ा बदलते हैं। इसे पॉलिसी ऑप्टिमाइजेशन (Policy Optimization) कहा जाता है।

हालाँकि, एक समस्या है: जिस डेटा से रोबोट सीख रहा है, वह अक्सर निजी होता है।

स्वास्थ्य सेवा में: रोबोट किसी मरीज के मेडिकल इतिहास से सीख सकता है।
AI चैटबॉट्स में: रोबोट किसी उपयोगकर्ता के निजी संदेशों से सीख सकता है।

यदि आप रोबोट को सामान्य रूप से प्रशिक्षित करते हैं, तो वह अनजाने में इन रहस्यों को "याद" कर सकता है और उन्हें लीक कर सकता है। आपको रोबोट को स्मार्ट बनाने के लिए एक ऐसा तरीका चाहिए जिससे वह यह न बता सके कि मरीज कौन थे या उपयोगकर्ताओं ने क्या कहा। यहीं पर डिफरेंशियल प्राइवेसी (Differential Privacy - DP) काम आती है। यह डेटा में "सांख्यिकीय धुंध" (statistical fog) की एक परत जोड़ने जैसा है ताकि रोबोट सामान्य पैटर्न तो सीख सके, लेकिन विशिष्ट व्यक्तियों की पहचान न कर सके।

पेपर का प्रश्न:
लेखक पूछते हैं: "यह 'प्राइवेसी फॉग' (गोपनीयता की धुंध) रोबोट की गति को कितना धीमा कर देती है?"
तकनीकी शब्दों में, वे सैंपल कॉम्प्लेक्सिटी (Sample Complexity) की गणना कर रहे हैं। यह सरल शब्दों में है: यदि हमें गोपनीयता की रक्षा करने के लिए मजबूर किया जाता है, तो रोबोट को एक अच्छा कौशल सीखने के लिए कितने अभ्यास प्रयासों (सैंपल्स) की आवश्यकता होती है, तुलना में जब हम गोपनीयता की रक्षा नहीं कर रहे होते?

मुख्य विचार: एक एकीकृत "रेसिपी"

लेखकों ने केवल एक तरीके से रोबोट को प्रशिक्षित करने को नहीं देखा। उन्होंने तीन लोकप्रिय तरीकों को देखा:

पॉलिसी ग्रेडिएंट (PG): मानक "कोशिश करो और सुधारो" वाला तरीका।
नेचुरल पॉलिसी ग्रेडिएंट (NPG): एक स्मार्ट तरीका जो सीखने के परिदृश्य के "आकार" को समझता है (जैसे कि एक पहाड़ी पर चढ़ने का सबसे कुशल रास्ता समझना)।
REBEL: एक नया तरीका जो सीखने को एक रिग्रेशन समस्या (डेटा में एक वक्र/कर्व फिट करना) की तरह मानता है।

प्रत्येक का अलग-अलग विश्लेषण करने के बजाय, लेखकों ने एक मेटा-एल्गोरिदम (Meta-Algorithm) बनाया। इसे एक सार्वभौमिक "प्रशिक्षण रेसिपी" या एक मास्टर किचन की तरह समझें। आप इस किचन में तीनों में से किसी भी विधि को डाल सकते हैं, और यह रेसिपी स्वचालित रूप से गोपनीयता सुरक्षा को संभाल लेती है।

प्राइवेसी यूनिट (गोपनीयता की इकाई):
इस पेपर में एक प्रमुख अंतर्दृष्टि यह है कि हम किस चीज़ की रक्षा कर रहे हैं।

मानक डेटा प्राइवेसी में, हम स्प्रेडशीट की एक एकल पंक्ति (जैसे एक व्यक्ति का नाम और आयु) की रक्षा करते हैं।
इस रोबोट प्रशिक्षण में, "डेटा" चलते समय (on the fly) उत्पन्न होता है। लेखक तर्क देते हैं कि प्राइवेसी यूनिट उपयोगकर्ता (User) (या चैटबॉट में "प्रॉम्प्ट") होनी चाहिए।
उपमा: कल्पना कीजिए कि एक शिक्षक (रोबोट) छात्रों (उपयोगकर्ताओं) की एक कक्षा के साथ बातचीत कर रहा है। यदि एक छात्र की जगह दूसरा छात्र ले लेता है, तो शिक्षक की अंतिम पाठ योजना में बहुत अधिक बदलाव नहीं होना चाहिए। यही वह परिभाषा है जिसका उपयोग वे गोपनीयता के लिए करते हैं।

मुख्य निष्कर्ष: "प्राइवेसी टैक्स"

लेखकों ने यह देखने के लिए गणित चलाया कि इन एल्गोरिदम को कितना "प्राइवेसी टैक्स" (अतिरिक्त अभ्यास की आवश्यकता) चुकाना पड़ता है।

1. अच्छी खबर: प्राइवेसी सस्ती है (ज्यादातर)
सबसे बड़ा आश्चर्य यह है कि गोपनीयता की लागत अक्सर एक लोअर-ऑर्डर टर्म (lower-order term) होती है।

उपमा: कल्पना कीजिए कि आप एक मैराथन दौड़ रहे हैं। मुख्य दूरी 26.2 मील (मानक सीखने की लागत) है। प्राइवेसी जोड़ना एक छोटा बैकपैक ले जाने जैसा है। यह थोड़ा वजन बढ़ाता है, लेकिन यह दूरी को दोगुना नहीं करता है। आप अभी भी लगभग उसी समय में दौड़ पूरी करते हैं; आपको बस थोड़ी अधिक ऊर्जा की आवश्यकता होती है।
गणित: उन्होंने पाया कि कई सेटिंग्स के लिए, आवश्यक सैंपल्स की संख्या लगभग गैर-प्राइवेट वर्जन के समान ही होती है, साथ में एक छोटा अतिरिक्त शब्द (term) होता है जो इस बात पर निर्भर करता है कि गोपनीयता कितनी सख्त है।

2. बारीकी: यह एल्गोरिदम पर निर्भर करता है

पॉलिसी ग्रेडिएंट (PG): प्राइवेसी की लागत कम है, लेकिन यह एक "शोर" (noise) का कारक जोड़ता है। रोबोट को इस धुंध से उबरने के लिए थोड़े अधिक अभ्यास की आवश्यकता होती है।
नेचुरल पॉलिसी ग्रेडिएंट (NPG) और REBEL: ये तरीके और भी अधिक कुशल हैं। लेखकों ने दिखाया कि आप इन जटिल सीखने की समस्याओं को सरल रिग्रेशन समस्याओं (जैसे स्कैटर प्लॉट में एक रेखा फिट करना) में तोड़ सकते हैं। चूंकि हम पहले से ही रिग्रेशन को निजी तौर पर कैसे किया जाता है यह जानते हैं, इसलिए हम रोबोट को कुशलतापूर्वक प्रशिक्षित करने के लिए उन मौजूदा उपकरणों का उपयोग कर सकते हैं।

3. "धुंध" बनाम "नक्शा"
पेपर एक सूक्ष्म ट्रेड-ऑफ (समझौते) को उजागर करता है।

गैर-निजी सीखना (Non-private learning): यह एक स्पष्ट नक्शे की तरह है। आप जानते हैं कि कहाँ जाना है।
निजी सीखना (Private learning): यह कुछ बादलों वाले नक्शे की तरह है। आप अभी भी रास्ते को देख सकते हैं, लेकिन आपको यह सुनिश्चित करने के लिए कुछ अतिरिक्त कदम उठाने होंगे कि आप सही रास्ते पर हैं।
लेखकों ने पाया कि कुछ उन्नत एल्गोरिदम (जैसे NPG) के लिए, "बादल" रास्ते को उतना धुंधला नहीं करते जितना कि हम सोचते हैं। समस्या के संरचनात्मक गुण रोबोट को धुंध में कुशलतापूर्वक नेविगेट करने में मदद करते हैं।

"लैब टेस्ट" (प्रयोग)

अपने सिद्धांत को सिद्ध करने के लिए, लेखकों ने कार्टपोल (CartPole) नामक एक क्लासिक AI गेम का उपयोग करके एक छोटा प्रयोग चलाया (जो एक चलती हुई गाड़ी पर पोल को संतुलित करने के बारे में है)।

उन्होंने रोबोट को प्राइवेसी के साथ और प्राइवेसी के बिना प्रशिक्षित किया।
परिणाम: प्राइवेट रोबोट (DP-NPG) ने नॉन-प्राइवेट रोबोट के लगभग बराबर प्रदर्शन किया, विशेष रूप से जब प्राइवेसी सेटिंग्स मध्यम थीं। जैसे-जैसे उन्होंने "प्राइवेसी फॉग" को घना किया (कम प्राइवेसी बजट), रोबोट का प्रदर्शन थोड़ा गिर गया, ठीक वैसा ही जैसा उनके गणित ने भविष्यवाणी की थी।

एक वाक्य में सारांश

यह पेपर सिद्ध करता है कि हम AI सिस्टम को संवेदनशील डेटा (जैसे मेडिकल रिकॉर्ड या निजी चैट) से सीखने के लिए प्रशिक्षित कर सकते हैं बिना रहस्य उजागर किए, और इस गोपनीयता की "लागत" आमतौर पर अभ्यास डेटा की मात्रा में केवल एक छोटी, प्रबंधनीय वृद्धि है, न कि एक पूर्ण बाधा।

तकनीकी सारांश: डिफरेंशियल प्राइवेट पॉलिसी ऑप्टिमाइज़ेशन की सैंपल कॉम्प्लेक्सिटी पर

समस्या विवरण

पॉलिसी ऑप्टिमाइज़ेशन (PO) आधुनिक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का एक मौलिक घटक है, जिसके अनुप्रयोग रोबोटिक्स से लेकर लार्ज लैंग्वेज मॉडल (LLM) प्रशिक्षण तक विस्तृत हैं। हालाँकि, संवेदनशील डोमेन (जैसे, व्यक्तिगत स्वास्थ्य सेवा, LLM अलाइनमेंट) में PO की तैनाती महत्वपूर्ण गोपनीयता संबंधी चिंताएँ पैदा करती है, क्योंकि हालिया अनुभवजन्य कार्यों ने प्रदर्शित किया है कि GRPO जैसे मानक एल्गोरिदम निजी जानकारी लीक कर सकते हैं।

जबकि डिफरेंशियल प्राइवेसी (DP) सुपरवाइज्ड लर्निंग में अच्छी तरह से स्थापित है, PO में इसका अनुप्रयोग अनूठी चुनौतियाँ पेश करता है। मानक DP परिभाषाएँ एक निश्चित डेटासेट को मानती हैं जहाँ प्राइवेसी यूनिट एक एकल डेटा रिकॉर्ड होती है। PO में, विशेष रूप से ऑन-पॉलिसी लर्निंग के साथ, डेटासेट गतिशील होता है; क्रियाएँ वर्तमान नीति के आधार पर चुनी जाती हैं, जिसका अर्थ है कि एक एकल डेटा बिंदु को बदलने से भविष्य के नमूनों (samples) का पूरा प्रक्षेपवक्र (trajectory) बदल सकता है। फलस्वरूप, मौजूदा DP परिभाषाएँ सीधे लागू नहीं होती हैं, और PO में गोपनीयता बाधाओं द्वारा प्रेरित सैंपल कॉम्प्लेक्सिटी लागत अभी भी सैद्धांतिक रूप से अनछुए क्षेत्र में है।

कार्यप्रणाली

1. PO के लिए डिफरेंशियल प्राइवेसी को पुनर्व्याख्यायित करना

लेखक पहले PO के लिए अनुकूलित DP की एक परिभाषा को औपचारिक रूप देते हैं। प्राइवेट ऑनलाइन बैंडिट साहित्य से प्रेरणा लेते हुए, वे डेटासेट को i.i.d. नमूनों के एक स्थिर सेट के रूप में नहीं, बल्कि $N$ अद्वितीय "उपयोगकर्ताओं" (जैसे, रोगी या प्रॉम्प्ट्स) के एक सेट के रूप में परिभाषित करते हैं। प्रत्येक उपयोगकर्ता एजेंट के साथ बातचीत करके एक प्रक्षेपवक्र $(x, y, r)$ उत्पन्न करता है।

प्राइवेसी यूनिट: एक एकल "उपयोगकर्ता"।
परिभाषा: एक एल्गोरिदम $(\epsilon, \delta)$ -DP है यदि डेटासेट में एक उपयोगकर्ता को बदलने से अंतिम आउटपुट पॉलिसी के वितरण में महत्वपूर्ण परिवर्तन नहीं होता है।
विभेद: यह मानक सुपरवाइज्ड लर्निंग DP से भिन्न है क्योंकि "पड़ोसी" संबंध उपयोगकर्ता की प्रारंभिक स्थिति और उनके इंटरैक्शन इतिहास द्वारा परिभाषित होता है, न कि एक स्थिर रिकॉर्ड द्वारा।

2. एक एकीकृत मेटा-एल्गोरिदम

विभिन्न PO एल्गोरिदम का एक एकीकृत ढांचे के तहत विश्लेषण करने के लिए, लेखक एक मेटा एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं। यह एक बैच-आधारित, वन-पास एल्गोरिदम है जहाँ:

प्रत्येक इटरेशन $t$ पर, लर्नर $m$ विशिष्ट उपयोगकर्ताओं से $m$ नमूनों का एक नया बैच एकत्र करता है।
वर्तमान बैच और गोपनीयता बाधाओं के आधार पर अगली पॉलिसी $\theta_{t+1}$ की गणना करने के लिए एक PrivUpdate ऑरेकल को कॉल किया जाता है।
गोपनीयता गारंटी: DP के पैरेलल कंपोजिशन गुण का उपयोग करके, यदि PrivUpdate ऑरेकल मानक DP (परिभाषा 1) को संतुष्ट करता है, तो संपूर्ण मेटा-एल्गोरिदम प्रस्तावित PO-DP परिभाषा (परि definisi 2) को संतुष्ट करता है।

3. इंस्टेंशिएशन्स (Instantiations)

इस ढांचे को तीन व्यापक रूप से उपयोग किए जाने वाले PO एल्गोरिदम के लिए स्थापित किया गया है:

DP-PG (पॉलिसी ग्रेडिएंट): इसमें गॉसियन शोर (Gaussian noise) को ग्रेडिएंट अपडेट में जोड़ा गया एक REINFORCE-शैली के ग्रेडिएंट एस्टिमेटर का उपयोग किया जाता है (एल्गोरिदम 2)।
DP-NPG (नेचुरल पॉलिसी ग्रेडिएंट): यह PO अपडेट को एक प्राइवेट रिग्रेशन समस्या (एडवांटेज फंक्शन और लीनियर एप्रोक्सिमेशन के बीच स्क्वेर्ड लॉस को कम करना) में बदल देता है। यह एक प्राइवेट लीस्ट-स्क्वेयर्स ऑरेकल का उपयोग करता है (एल्गोरिदम 3)।
DP-REBEL: DP-NPG के समान, यह PO को सापेक्ष रिवॉर्ड अंतरों पर प्राइवेट रिग्रेशन समस्याओं के एक अनुक्रम में बदल देता है, जो REBEL फॉर्मूलेशन का लाभ उठाता है।

मुख्य योगदान और परिणाम

1. सैंपल कॉम्प्लेक्सिटी बाउंड्स

पेपर प्राइवेट PO एल्गोरिदम के लिए सैंपल कॉम्प्लेक्सिटी बाउंड्स का पहला सेट व्युत्पन्न करता है। चुनी गई प्रक्षेपवक्रों की कुल संख्या $N = m \times T$ (बैच आकार $\times$ इटरेशन) है।

DP-PG (फर्स्ट-ऑर्डर स्टेशनरी पॉइंट):
लिप्शिट्ज स्मूथनेस धारणाओं के तहत, एल्गोरिदम एक अपेक्षित स्क्वेर्ड ग्रेडिएंट नॉर्म प्राप्त करता है:
$\mathbb{E}[\|\nabla J(\theta_U)\|^2] \leq O_\delta\left( \frac{1}{\sqrt{N}} + \left(\frac{\sqrt{d}}{N\epsilon}\right)^{2/3} \right)$
यहाँ, पहला पद गैर-प्राइवेट कन्वर्जेंस रेट को दर्शाता है, जबकि दूसरा पद प्राइवेसी कॉस्ट को दर्शाता है।
DP-PG (ग्लोबल ऑप्टिमम):
अतिरिक्त धारणाओं (Fisher गैर-अपभ्रंशता और संगत फंक्शन एप्रोक्सिमेशन) के तहत, औसत रिग्रेट (regret) को सीमित किया गया है। एक सब-ऑप्टिमलिटी गैप $\alpha$ प्राप्त करने के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी है:
$N \geq O_\delta\left( \frac{1}{\alpha^4 \gamma^4} + \frac{\sqrt{d}}{\alpha^3 \gamma^3 \epsilon} \right)$
जहाँ $\gamma$ फिशर इंफॉर्मेशन लोअर बाउंड है। प्राइवेसी कॉस्ट एक लोअर-ऑर्डर एडिटिव टर्म के रूप में दिखाई देती है।
DP-NPG और DP-REBEL:
PO को प्राइवेट रिग्रेशन में बदलकर, लेखक प्राइवेट स्टोकेस्टिक ऑप्टिमाइज़ेशन और प्राइवेट लीनियर रिग्रेशन से मौजूदा परिणामों का लाभ उठाते हैं।
लो-डायमेंशन में लॉग-लीनियर पॉलिसियों के लिए, सैंपल कॉम्प्लेक्सिटी लगभग $O_\delta(d/\alpha^4 + d/(\alpha^3 \epsilon))$ है।
हाई डायमेंशन में, बाउंड्स उपयोग किए गए विशिष्ट प्राइवेट रिग्रेशन ऑरेकल (जैसे, एक्सपोनेंशियल मैकेनिज्म या ISSP) पर निर्भर करते हैं, जो आम तौर पर दिखाते हैं कि प्राइवेसी कॉस्ट डाइमेंशनलिटी और $1/\epsilon$ के साथ स्केल होती है।

2. संरचनात्मक अंतर्दृष्टि

लोअर-ऑर्डर टर्म के रूप में प्राइवेसी कॉस्ट: एक केंद्रीय निष्कर्ष यह है कि गोपनीयता की लागत अक्सर समग्र सैंपल कॉम्प्लेक्सिटी में एक लोअर-ऑर्डर टर्म के रूप में प्रकट होती है। स्थिर $\epsilon$ और डायमेंशन $d$ के लिए, प्राइवेसी ओवरहेड कन्वर्जेंस रेट पर हावी नहीं होता है।
समस्या की संरचना की भूमिका: पेपर इस बात पर प्रकाश डालता है कि अंतर्निहित समस्या के संरचनात्मक गुण (जैसे, फिशर गैर-अपभ्रंशता, टैबुलर सॉफ्टमैक्स स्ट्रक्चर) सांख्यिकीय और कम्प्यूटेशनल दक्षता दोनों में सुधार कर सकते हैं, कभी-कभी $\gamma$ जैसे समस्याग्रस्त मापदंडों पर निर्भरता को हटा सकते हैं।

3. अनुभवजन्य सत्यापन (Empirical Validation)

लेखकों ने CartPole-v1 एनवायरनमेंट पर प्रूफ-ऑफ-कॉन्सेप्ट प्रयोग किए।

सेटअप: प्राइवेसी बजट $\epsilon=5$ और $\epsilon=3$ के तहत मानक PG/NPG की तुलना DP-PG और DP-NPG से की गई।
निष्कर्ष:
- DP-NPG ने DP-PG की तुलना में लगातार बेहतर प्रदर्शन किया, जो प्राइवेसी बाधाओं के तहत भी कर्वेचर-अवेयर अपडेट के लाभ को प्रदर्शित करता है।
- $\epsilon=5$ के साथ DP-NPG ने लगभग-इष्टतम प्रदर्शन ( $\sim 478$ रिवॉर्ड बनाम $492$ नॉन-प्राइवेट) प्राप्त किया, जो सैद्धांतिक भविष्यवाणियों के अनुरूप है।
- जैसा कि अपेक्षित था, प्राइवेसी बजट $\epsilon$ कम होने पर प्रदर्शन में गिरावट आई।

महत्व और दावे

यह पेपर डिफरेंशियल प्राइवेट पॉलिसी ऑप्टिमाइज़ेशन के सैद्धांतिक अध्ययन को शुरू करने का दावा करता है, जो विशेष रूप से सैंपल कॉम्प्लेक्सिटी पर केंद्रित है। इसके प्राथमिक योगदान हैं:

औपचारिक परिभाषा: PO के लिए DP की एक कठोर परिभाषा स्थापित करना जो ऑन-पॉलिसी डायनेमिक्स और प्राइवेसी यूनिट के रूप में "उपयोगकर्ता" को ध्यान में रखती है।
एकीकृत ढांचा: एक मेटा-एल्गोरिदम प्रदान करना जो प्राइवेसी बाधाओं के तहत PG, NPG और REBEL के व्यवस्थित विश्लेषण की अनुमति देता है।
प्राइवेसी कॉस्ट का परिमाणीकरण: यह प्रदर्शित करना कि PO में प्राइवेसी लागत अक्सर लोअर-ऑर्डर टर्म होती है, जो यह सुझाव देती है कि अत्यधिक सैंपल कॉम्प्लेक्सिटी पेनल्टी के बिना प्राइवेसी-प्रिजर्विंग PO सैद्धांतिक रूप से व्यवहार्य है।
व्यावहारिक मार्गदर्शन: ऐसे अंतर्दृष्टि प्रदान करना कि कैसे समस्या के संरचनात्मक गुण (जैसे, फिशर गैर-अपभ्रंशता) प्राइवेसी कॉस्ट को कम कर सकते हैं, जो भविष्य के प्राइवेसी-प्रिजर्विंग RL एल्गोरिदम के डिजाइन का मार्गदर्शन करते हैं।

लेखक नोट करते हैं कि हालांकि उनका प्राथमिक ध्यान सैद्धांतिक है, उनके परिणाम शास्त्रीय नॉन-प्राइवेट बाउंड्स को रिकवर करते हैं और प्राइवेट PO के लिए पहले कठोर सैंपल कॉम्प्लेक्सिटी विश्लेषण प्रदान करते हैं। वे सीमाओं को स्वीकार करते हैं, जैसे कि वन-पास सैंपलिंगिंग पर ध्यान केंद्रित करना और बड़े पैमाने पर वास्तविक दुनिया के डेटासेट मूल्यांकन की कमी, लेकिन भविष्य के प्राइवेसी-सेंसिटिव डोमेन जैसे RLHF और मेडिकल डिसीजन-मेकिंग में अपने तरीकों की व्यापक प्रयोज्यता पर जोर देते हैं।