🤖 machine learning

Corruption Robust Offline Reinforcement Learning with Human Feedback

यह शोध पत्र पहले प्रमाणित रूप से सुदृढ़ ऑफलाइन सुदृढीकरण शिक्षण (RLHF) एल्गोरिदम प्रस्तुत करता है जो कॉन्फिडेंस सेट्स के साथ रिवॉर्ड मॉडल सीखकर और करप्शन-रोबस्ट आरएल ओरेकल्स के माध्यम से पेसिमिस्टिक ऑप्टिमाइज़ेशन का लाभ उठाकर, $\varepsilon$ -हिस्से वाले दूषित ट्राजेक्टरी-फीडबैक पेयर्स वाले डेटासेट से निकट-इष्टतम नीतियों की पहचान कर सकते हैं।

मूल लेखक: Debmalya Mandal, Andi Nika, Parameswaran Kamalaruban, Adish Singla, Goran Radanović

प्रकाशित 2026-07-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Debmalya Mandal, Andi Nika, Parameswaran Kamalaruban, Adish Singla, Goran Radanović

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप रोबोट को खेलने देंगे, उसके कार्यों को देखेंगे, और उसके प्रदर्शन के आधार पर उसे कहेंगे, "अच्छा काम किया!" या "बुरा काम किया!" यह रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) है।

हालाँकि, वास्तविक दुनिया में, जो डेटा आप एकत्र करते हैं वह आदर्श नहीं होता है। कभी-कभी, फीडबैक देने वाला व्यक्ति थका हुआ होता है और गलतियाँ करता है (शोर/noise)। कभी-कभी, कोई दुर्भावनापूर्ण हैकर रोबोट को धोखा देने के लिए जानबूझकर "अच्छा" और "बुरा" लेबल बदल देता है (भ्रष्टाचार/corruption)।

यह शोध पत्र एक विशिष्ट, कठिन समस्या पर काम करता है: आप एक ऐसे डेटासेट का उपयोग करके रोबोट को अच्छी तरह से खेलना कैसे सिखा सकते हैं जो आंशिक रूप से दूषित या भ्रष्ट है, बिना रोबोट को दोबारा गेम खेलने दिए (ऑफलाइन)?

यहाँ उनके समाधान का एक सरल विवरण दिया गया, जिसमें कुछ रचनात्मक उपमाओं का उपयोग किया गया है।

मुख्य समस्या: "जहरीली रेसिपी बुक"

कल्पना कीजिए कि आप एक आदर्श केक बनाना सीखना चाहते हैं। आपके पास एक रेसिपी बुक (डेटासेट) है जिसमें 1,000 रेसिपी हैं। लेकिन, एक विरोधी ने चुपके से 10% रेसिपी बदल दी हैं। कुछ में लिखा है "नमक डालें" जबकि वहाँ "चीनी डालें" होना चाहिए था, और कुछ सामग्री गलत तरीके से सूचीबद्ध की गई है।

यदि आप केवल किताब का आँख बंद करके पालन करेंगे, तो आप एक बहुत ही खराब केक बनाएंगे। यदि आप बनाने और चखने (ऑनलाइन RL) द्वारा सीखने की कोशिश करते हैं, तो आप बीमार पड़ सकते हैं या बहुत सारी सामग्री बर्बाद कर सकते हैं। लेखक एक ऐसा तरीका चाहते हैं जो इस जहरीली किताब को देख सके, यह पता लगा सके कि कौन सी रेसिपी वास्तविक होने की संभावना है, और रोबोट को बिना कभी भी रसोई में कदम रखे सबसे अच्छा केक बनाना सिखा सके।

तीन-चरणीय रणनीति

लेखक इस समस्या को हल करने के लिए एक तीन-चरणीय "जासूसी" प्रक्रिया प्रस्तावित करते हैं:

1. "सत्य डिटेक्टर" (रोबस्ट रिवॉर्ड लर्निंग)

सबसे पहले, रोबोट को समझने की आवश्यकता है कि "अच्छा" क्या दिखता है। शोध पत्र में, इसे रिवॉर्ड मॉडल सीखना कहा गया है।

उपमा: कल्पना कीजिए कि आप घर की बिक्री की एक सूची के आधार पर घर की वास्तविक कीमत का अनुमान लगाने की कोशिश कर रहे हैं। कुछ प्रविष्टियाँ फर्जी हैं (जैसे, एक हवेली जिसे $50 में सूचीबद्ध किया गया है)।
विधि: सभी कीमतों का औसत निकालने के बजाय (जो फर्जी प्रविष्टियों से प्रभावित होगा), लेखक ट्रिम्ड मैक्सिमम लाइकलीहुड (Trimmed Maximum Likelihood) नामक तकनीक का उपयोग करते हैं। इसे एक स्मार्ट फिल्टर के रूप में सोचें जो कहता है, "मैं सबसे अजीब, सबसे संदिग्ध शीर्ष 10% नंबरों को अनदेखा कर दूँगा और केवल बीच के 90% पर भरोसा करूँगा।" यह उन्हें एक "साफ" अनुमान देता है कि मनुष्य वास्तव में क्या पसंद करते हैं, भले ही कुछ डेटा झूठ बोल रहा हो।

2. "सुरक्षा जाल" (कॉन्फिडेंस सेट्स)

एक बार जब उनके पास वास्तविक रिवॉर्ड का एक "सर्वश्रेष्ठ अनुमान" आ जाता है, तो वे उस पर आँख बंद करके भरोसा नहीं करते हैं। वे एक कॉन्फिडेंस सेट (Confidence Set) बनाते हैं।

उपमा: कल्पना कीजिए कि जासूस कहता है, "मुझे 95% यकीन है कि हत्यारा इसी विशिष्ट पड़ोस में है।" वे उस पड़ोस के चारों ओर एक घेरा खींचते हैं। वे जानते हैं कि हत्यारा उस घेरे के भीतर कहीं भी हो सकता है, लेकिन वे ठीक-ठीक नहीं जानते कि वह कहाँ है।
विधि: वे अपने रिवॉर्ड अनुमान के चारों ओर एक गणितीय "बबल" (बुलबुला) बनाते हैं। वे जानते हैं कि वास्तविक रिवॉर्ड इस बुलबुले के भीतर है, भले ही उन्हें सटीक केंद्र का पता न हो।

3. "सतर्क योजनाकार" (पेसिमिस्टिक पॉलिसी)

अब, रोबोट को यह तय करने की आवश्यकता है कि कौन से कदम उठाने हैं। चूंकि डेटा दूषित है, इसलिए रोबोट को पैसेमिस्टिक (पessimistic - निराशावादी/सतर्क) होना चाहिए।

उपमा: कल्पना कीजिए कि आप एक धुंधले जंगल में चल रहे हैं जहाँ कुछ रास्ते "सुरक्षित" चिह्नित हैं लेकिन वास्तव में वे जाल हो सकते हैं। एक सतर्क यात्री केवल उस रास्ते को नहीं चुनेगा जो सबसे अच्छा दिखता है; बल्कि वह उस रास्ते को चुनेगा जो उस धुंधले क्षेत्र के भीतर सबसे खराब स्थिति में भी सबसे सुरक्षित हो।
विधि: रोबोट "सुरक्षा जाल" (कॉन्फिडेंस सेट) के भीतर प्रत्येक संभावित रास्ते को देखता है और पूछता है, "यदि मैं यह रास्ता लेता हूँ तो मुझे कितना खराब रिवॉर्ड मिल सकता है?" फिर यह उस पथ को चुनता है जो इस सबसे खराब स्थिति वाले रिवॉर्ड को अधिकतम करता है। यह सुनिश्चित करता है कि भले ही डेटा थोड़ा दूषित हो, रोबोट कोई विनाशकारी गलती नहीं करेगा।

तीन अलग-अलग "टेरेन" (भूभाग) रणनीतियाँ

शोध पत्र को एहसास होता है कि सभी डेटासेट एक जैसे नहीं होते। कुछ बहुत समृद्ध होते हैं (आपके पास हर संभव चाल के लिए डेटा है), जबकि कुछ विरल (sparse) होते हैं (आपके पास केवल कुछ चालों के लिए डेटा है)। उन्होंने डेटा के "टेरेन" के आधार पर तीन अलग-अलग एल्गोरिदम डिजाइन किए हैं:

यूनिफॉर्म कवरेज (एक "समृद्ध मानचित्र"):
- परिदृश्य: आपके पास गेम की दुनिया के हर कोने को कवर करने वाला डेटा है।
- परिणाम: रोबोट लगभग पूरी तरह से सीख सकता है, भ्रष्टाचार के साथ भी बहुत कम त्रुटि के साथ। यह एक पूर्ण, उच्च-रिज़ॉल्यूशन वाले मानचित्र की तरह है जहाँ आप आसानी से नकली सड़कों को पहचान सकते हैं।
लो रिलेटिव कंडीशन नंबर (एक "खुरदरा मानचित्र"):
- परिदृश्य: आपके पास हर कोने के लिए डेटा नहीं है, लेकिन जो डेटा आपके पास है वह पूरी दुनिया का कुछ हद तक प्रतिनिधित्व करता है।
- परिणाम: रोबक एक "जीरो-ऑर्डर ऑरेकल" का उपयोग करता है। इसे एक अंधे हाइकर के रूप में सोचें जो ढलान का अनुमान लगाने के लिए केवल अपने पैरों के नीचे की जमीन को महसूस कर सकता है। यह धीमा और कम सटीक है, लेकिन फिर भी यह काम करता है। त्रुटि दर थोड़ी अधिक है (यह भ्रष्टाचार के वर्गमूल पर निर्भर करती है), लेकिन यह प्रमाणित रूप से सुरक्षित है।
बाउंडेड जनरलाइज्ड कवरेज (एक "स्मार्ट मानचित्र"):
- परिदृश्य: डेटा विरल है लेकिन एक विशिष्ट, अनुमानित पैटर्न का पालन करता है।
- परिणाम: रोबोट एक "फर्स्ट-ऑर्डर ऑरेकल" का उपयोग करता है। यह एक ऐसे हाइकर की तरह है जो न केवल जमीन को महसूस कर सकता है बल्कि आगे के ढलान (ग्रेडिएंट) को देख भी सकता है। यह रोबोट को बहुत अधिक कुशल बनाता है, जिससे कम डेटा बिंदुओं के साथ बेहतर त्रुटि दर (भ्रष्टाचार के वर्गमूल के समानुपाती) प्राप्त होती है।

मुख्य निष्कर्ष

शोध पत्र की मुख्य उपलब्धि यह साबित करना है कि आप गणितीय रूप से गारंटी दे सकते हैं कि एक रोबोट दूषित डेटा से एक अच्छी रणनीति सीख जाएगा, बशर्ते आप इन विशिष्ट "सतर्क" और "फ़िल्टरिंग" तकनीकों का उपयोग करें।

उन्होंने केवल यह नहीं कहा कि "यह शायद काम करेगा।" उन्होंने एक गणितीय ढाल बनाई है जो साबित करती है: "भले ही आपका 10% डेटा आपसे झूठ बोल रहा हो, हमारी विधि एक ऐसी रणनीति खोज लेगी जो लगभग उतनी ही अच्छी है जितना कि आपके पास पूर्ण डेटा होता।"

यह विशेष रूप से ऑफलाइन लर्निंग के लिए मानव फीडबैक के साथ एडवर्सरियल हमलों (adversarial attacks) की उपस्थिति में ऐसी कठोर गारंटी देने का पहला अवसर है। यह एक रोबोट को "सत्य के चश्मे" देने जैसा है जो उसे अपने प्रशिक्षण मैनुअल के झूठ के पार देख सकते हैं।

तकनीकी सारांश: मानव फीडबैक के साथ भ्रष्टाचार-रोधी ऑफलाइन सुदृढीकरण शिक्षण (Corruption Robust Offline Reinforcement Learning with Human Feedback)

समस्या की परिभाषा

यह शोध पत्र ऑफलाइन सुदृढीकरण शिक्षण से मानव फीडबैक (RLHF) में भ्रष्टाचार-रोधी (corruption robustness) चुनौती को संबोधित करता है। लेखक एक ऐसी स्थिति पर विचार करते हैं जहाँ एक ऑफलाइन डेटासेट में $(\tau^0, \tau^1)$ प्रक्षेपवक्र (trajectories) के जोड़े और उनके साथ मानव प्राथमिकता फीडबैक $o \in \{+1, -1\}$ शामिल हैं। मुख्य समस्या यह है कि इस डेटा का $\epsilon$ -अंश एक विरोधी (adversary) द्वारा दूषित किया गया है। यह भ्रष्टाचार निम्नलिखित रूप में प्रकट हो सकता है:

फीडबैक हेरफेर: प्राथमिकता लेबल $o$ को बदलना।
प्रक्षेपवक्र विशेषता हेरफेर: प्रक्षेपवक्रों $\tau$ की विशेषताओं (features) को बदलना।

लक्ष्य ऐसे एल्गोरिदम डिजाइन करना है जो ऐसे दूषित डेटा से एक निकट-इष्टतम नीति (near-optimal policy) की पहचान कर सकें, जिसके लिए प्रमाणित सैद्धांतिक गारंटी (provable theoretical guarantees) हो। लेखक लीनियर मार्कोव निर्णय प्रक्रिया (Linear MDPs) के तहत कार्य करते हैं, जहाँ पुरस्कार (rewards) और संक्रमण (transitions), एक $d$ -आयामी फीचर मैप $\phi$ के लीनियर फंक्शन हैं, और क्षितिज लंबाई (horizon length) $H$ है।

मौजूदा साहित्य ने अलग-अलग भ्रष्टाचार-रोधी RL (भ्रष्टाचार के तहत स्केलर पुरस्कारों से सीखना) और ऑफलाइन RLHF (स्वच्छ डेटा के तहत प्राथमिकताओं से सीखना) का अध्ययन किया है। हालाँकि, ये दृष्टिकोण प्राथमिकता डेटा से सीखने के विशिष्ट प्रतिच्छेदन (intersection) पर लागू नहीं होते हैं जो एक ऑफलाइन सेटिंग में दूषित है।

कार्यप्रणाली (Methodology)

प्रस्तावित कार्यप्रणाली तीन चरणों वाले ढांचे का अनुसरण करती है ताकि समस्या को 'भ्रष्ट ऑफलाइन RLHF' से 'भ्रष्ट ऑफलाइन RL' की समस्या में बदला जा सके:

मजबूत पुरस्कार मॉडल अनुमान (Robust Reward Model Estimation): लेखक एक ट्रिम्ड मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) समस्या को हल करके पुरस्कार पैरामीटर $\theta$ को मजबूती से सीखते हैं। सभी डेटा का उपयोग करने के बजाय, एल्गोरिदम $(1-\epsilon)N$ नमूनों के एक उपसमूह का चयन करता है जो लाइकलीहुड को अधिकतम करता है। दूषित विशेषताओं को संभालने के लिए, विधि को कोवेरिएट्स को व्हाइटन (whiten) करने के लिए रोबस्ट कोवेरिएंस एस्टीमेशन का उपयोग करना पड़ता है, जिसके बाद एक अनुमानित स्टेशनरी पॉइंट खोजने के लिए एक अल्टरनेटिंग ऑप्टिमाइजेशन प्रक्रिया चलाई जाती है।
कॉन्फिडेंस सेट निर्माण (Confidence Set Construction): अनुमानित पुरस्कार पैरामीटर $\hat{\theta}$ के आसपास एक कॉन्फिडेंस सेट $\Theta(\mathcal{D})$ बनाया जाता है। यह सेट अनुमानित पैरामीटर और वास्तविक पैरामीटर के बीच लाइकलीहुड रेशियो के आधार पर परिभाषित किया जाता है, जो यह सुनिश्चित करता है कि भ्रष्टाचार के बावजूद वास्तविक पैरामीटर उच्च संभावना के साथ सेट के भीतर रहे।
निराशावादी नीति अनुकूलन (Pessimistic Policy Optimization): अंतिम चरण में निर्मित कॉन्फिडेंस सेट पर एक निराशावादी इष्टतम नीति सीखना शामिल है। इसे भ्रष्टाचार-रोधी ऑफलाइन RL की समस्या में बदलकर प्राप्त किया जाता है। ऑफलाइन डेटा वितरण के कवरेज अनुमानों (coverage assumptions) के आधार पर इस रिडक्शन के लिए उपयोग किया जाने वाला विशिष्ट एल्गोरिदम भिन्न होता है:

1. समान कवरेज (Uniform Coverage)

इस धारणा के तहत कि ऑफलाइन डेटा फीचर स्पेस को समान रूप से कवर करता है (विशेष रूप से, अंतर फीचर कोवेरिएंस मैट्रिक्स $\Sigma^{diff}$ अच्छी तरह से कंडिशन किया गया है), लेखक एक मौजूदा भ्रष्टाचार-रोधी ऑफलाइन RL एल्गोरिदम, R-LSVI [Zha+22], का उपयोग एक जीरो-ऑर्डर ऑरेकल (zero-order oracle) के रूप में करते हैं।

तंत्र: एल्गोरिदम भ्रष्टाचार-रोधी ऑफलाइन RL पद्धति को एक ब्लैक बॉक्स के रूप में मानता है जो एक नीति और एक वैल्यू अनुमान लौटाता है लेकिन ग्रेडिएंट जानकारी प्रदान नहीं करता है।
परिणाम: यह $O(\epsilon^{1-o(1)})$ का सबऑप्टिमैलिटी गैप देता है, जो भ्रष्टाचार अंश $\epsilon$ के संबंध में लगभग इष्टतम है।

2. निम्न सापेक्ष कंडिशन नंबर (Low Relative Condition Number)

समान कवरेज की मजबूत धारणा को स्वीकार करते हुए, लेखक इसे लो रिलेटिव कंडिशन नंबर धारणा में शिथिल करते हैं। यह स्थिति कमजोर है, जिसमें केवल यह आवश्यक है कि लक्षित नीति का फीचर कोवेरिएंस, व्यवहार नीति (behavior policy) के कोवेरिएंस के अनुपात में सीमित हो।

तंत्र: चूंकि जीरो-ऑर्डर ऑरेकल (R-LSVI) ग्रेडिएंट नहीं दे सकता, इसलिए लेखक एक अनुमानित सब-ग्रेडिएंट बनाने के लिए गौसियन एप्रोक्सिमेशन तकनीक [NS17] का उपयोग करते हैं। वे भ्रष्टाचार-रोधी ऑफलाइन RL ऑरेकल को एक बायस्ड, जीरो-ऑर्डर ऑरेकल के रूप में मानते हैं और कॉन्फिडेंस सेट पर प्रोजेक्टेड सब-ग्रेडिएंट डिसेंट करते हैं।
परिणाम: यह दृष्टिकोण $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$ का सबऑप्टिमैलिटी गैप प्राप्त करता है, जहाँ $\alpha$ सापेक्ष कंडिशन नंबर है। $\epsilon$ के साथ निर्भरता $O(\epsilon^{1/4})$ है।

3. बंधित सामान्यीकृत कवरेज अनुपात (Bounded Generalized Coverage Ratio)

$\epsilon$ के साथ निर्भरता को और सुधारने के लिए, लेखक एक बंधित सामान्यीकृत कवरेज अनुपात धारणा पर विचार करते हैं, जिसे हाल ही में Gabbianelli et al. [Gab+24] द्वारा पेश किया गया था।

तंत्र: इस धारणा के तहत, लेखक एक नया भ्रष्टाचार-रोधी ऑफलाइन RL मेथड (एल्गोरिदम 7) डिजाइन करते हैं जो एक फर्स्ट-ऑर्डर ऑरेकल के रूप में कार्य करता है। लीनियर MDPs के लिए प्रिमल-डुअल फ्रेमवर्क पर आधारित यह विधि न केवल एक लगभग इष्टतम नीति लौटाती है, बल्कि इष्टतम वैल्यू फंक्शन $V^*(\theta)$ का एक अनुमानित सब-ग्रेडिएंट भी लौटाती है। यह RLHF एल्गोरिदम को जीरो-ऑर्डर स्मूथिंग की आवश्यकता के बिना सीधा प्रोजेक्टेड सब-ग्रेडिएंट डिसेंट करने की अनुमति देता है।
परिणाम: यह $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$ का काफी बेहतर सबऑप्टिमैलिटी गैप प्रदान करता है, जहाँ $\nu$ सामान्यीकृत कवरेज अनुपात है। $\epsilon$ के साथ निर्भरता $O(\sqrt{\epsilon})$ में सुधर जाती है।

मुख्य योगदान और परिणाम

यह शोध पत्र पहले प्रमाण योग्य भ्रष्टाचार-रोधी ऑफलाइन RLHF विधियों को प्रदान करता है। मुख्य योगदान और सैद्धांतिक परिणाम पेपर की तालिका 1 में संक्षेपित हैं:

नवीन ढांचा: मजबूत पुरस्कार अनुमान और कॉन्फिडेंस सेट निर्माण के माध्यम से रोबस्ट RLHF को रोबस्ट ऑफलाइन RL में बदलना।
एल्गोरिदम इंस्टेंशिएशन:
- एल्गोरिदम 1: समान कवरेज के लिए, R-LSVI को जीरो-ऑर्डर ऑरेकल के रूप में उपयोग करके $O(\epsilon^{1-o(1)})$ सबऑप्टिमैलिटी प्राप्त करना।
- एल्गोरिदम 3: लो रिलेटिव कंडिशन नंबर के लिए, जीरो-ऑर्डर ऑरेकल के साथ गौसियन एप्रोक्सिमेशन का उपयोग करके $\tilde{O}(\epsilon^{1/4})$ सबऑप्टिमैलिटी प्राप्त करना।
- एल्गोरिदम 4 और 7: बंधित सामान्यीकृत कवरेज अनुपात के लिए, एक नए डिज़ाइन किए गए फर्स्ट-ऑडर रोबस्ट ऑफलाइन RL ऑरेकल का उपयोग करके $\tilde{O}(\sqrt{\epsilon})$ सबऑप्टिमैलिटी प्राप्त करना।
ऑरेकल दक्षता: पेपर इस बात पर जोर देता है कि जीरो-ऑर्डर से फर्स्ट-ऑर्डर एक्सेस (एल्गोरिदम 7) पर जाने से ऑरेकल कॉल्स की संख्या में काफी कमी आती है और भ्रष्टाचार पैरामीटर $\epsilon$ के साथ निर्भरता में सुधार होता है।

महत्व और दावे

लेखक दावा करते हैं कि यह कार्य पहला है जो ऑफलाइन RLHF के साथ भ्रष्टाचार-रोधी (corruption robustness) को जोड़ता है, जो कठोर सैद्धांतिक गारंटी प्रदान करता है जहाँ पिछले कार्य नहीं कर सके।

विरोधी हमलों के प्रति मजबूती (Robustness to Adversarial Attacks): विधियों को प्राथमिकता लेबल और प्रक्षेपवक्र विशेषताओं दोनों के प्रतिकूल हेरफेर का सामना करने के लिए डिज़ाइन किया गया है, जो वास्तविक दुनिया के परिनियोजन के लिए एक महत्वपूर्ण आवश्यकता है जहाँ डेटा विश्वसनीयता से समझौता किया जा सकता है।
सैद्धांतिक गारंटी: पेपर भ्रष्टाचार अंश $\epsilon$ , क्षितिज $H$ , फीचर डायमेंशन $d$ , और कवरेज स्थिरांक ( $\xi, \alpha, \nu$ ) के संदर्भ में सबऑप्टिमैलिटी गैप पर स्पष्ट सीमाएं प्रदान करता है।
सीमित दायरा और भविष्य का कार्य: लेखक अपने वर्तमान दायरे के बारे में विनम्र हैं, यह नोट करते हुए कि परिणाम लीनियर MDPs के लिए विशिष्ट हैं। वे स्वीकार करते हैं कि इन परिणामों को नॉन-कॉन्वेक्स रिवॉर्ड फंक्शन्स या सामान्य फंक्शन एप्रोक्सिमेशन (जैसे डीप न्यूरल नेटवर्क) तक विस्तारित करना एक बड़ी चुनौती है, क्योंकि $\theta$ में इष्टतम वैल्यू फंक्शन $V^*(\theta)$ की कॉन्वेक्सिटी—जो उनके ग्रेडिएंट-आधारित प्रमाणों के लिए महत्वपूर्ण है—गैर-रैखिक सेटिंग्स में नहीं रह सकती है। वे यह भी नोट करते हैं कि हालांकि उन्होंने प्रारंभिक सिमुलेशन परिणाम प्रदान किए हैं, लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे व्यावहारिक सेटिंग्स में इन विधियों को लागू करना भविष्य के अनुसंधान के लिए एक खुला और चुनौतीपूर्ण विषय बना हुआ है।