📊 statistics

How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis

यह शोध पत्र एक गॉसियन सिंगल-इंडेक्स फ्रेमवर्क के भीतर एक टू-स्टेज न्यूरल रिवॉर्ड मॉडल का विश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि एक्सपोनेंशियल रिवॉर्ड वेटिंग किस प्रकार प्रथम परत में फीचर रिकवरी को प्रभावित करती है और पॉलिसी वैल्यू गैप्स पर स्पष्ट तापमान-निर्भर सीमाएं स्थापित करती है, जिससे अनुकूलन लाभों और सीखने की लागतों के बीच संतुलन बनाने वाले परिनियोजन तापमानों की एक स्वीकार्य सीमा की पहचान की जा सके।

मूल लेखक: Rei Higuchi, Ryotaro Kawata, Akifumi Wachi, Shokichi Takakura, Kohei Miyaguchi, Taiji Suzuki

प्रकाशित 2026-05-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rei Higuchi, Ryotaro Kawata, Akifumi Wachi, Shokichi Takakura, Kohei Miyaguchi, Taiji Suzuki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "मानचित्रकार" (Mapmaker) और "अन्वेषक" (Explorer)

कल्पना कीजिए कि आप एक AI को एक महान अन्वेषक (explorer) बनने के लिए प्रशिक्षित कर रहे हैं। इसके लिए आपको दो चीजों की आवश्यकता है:

एक मानचित्र (रिवॉर्ड मॉडल): एक ऐसी प्रणाली जो AI को बताती है कि कौन से रास्ते अच्छे (उच्च रिवॉर्ड) हैं और कौन से बुरे।
अन्वेषक (पॉलिसी): वह AI स्वयं, जो यह तय करने के लिए मानचित्र का उपयोग करता है कि कहाँ जाना है।

यह शोध पत्र एक जटिल फीडबैक लूप का अध्ययन करता है। आमतौर पर, हम एक मानचित्रकार को डेटा के एक स्थिर सेट (जैसे एक पाठ्यपुस्तक) पर प्रशिक्षित करते हैं। लेकिन AI अलाइनमेंट (जैसे चैटबॉट्स को सहायक बनाना) में, मानचित्रकार को केवल पढ़ा नहीं जाता; इसका उपयोग अन्वेषक के व्यवहार को बदलने के लिए किया जाता है। अन्वेषक मानचित्र पर पाए गए "सर्वश्रेष्ठ" रास्तों पर चलना शुरू कर देता है। इसका मतलब है कि मानचित्रकार को अचानक रास्तों के एक नए, अलग सेट पर परखा जा रहा है—वही रास्ते जो अन्वेषक वास्तव में चुनता है।

यह शोध पत्र पूछता है: यदि मानचित्रकार एक जटिल न्यूरल नेटवर्क (कई परतों वाला एक "ब्लैक बॉक्स") है, तो वह सही "फीचर्स" (महत्वपूर्ण विवरण) को कैसे सीखता है, जब वह डेटा जिस पर उसका परीक्षण किया जा रहा है, वह लगातार बदलता रहता है क्योंकि अन्वेषक अपना मन बदल रहा है?

सेटअप: एक सरल दुनिया (गौसियन सिंगल-इंडेक्स मॉडल)

इस जटिल समस्या को समझने के लिए, लेखकों ने एक सरलीकृत, नियंत्रित दुनिया बनाई है।

भूभाग (Terrain): एक विशाल, चिकनी पहाड़ी की कल्पना करें जहाँ ऊंचाई "रिवॉर्ड" का प्रतिनिधित्व करती है।
रहस्य (The Secret): एक विशिष्ट दिशा (एक छिपा हुआ वेक्टर $\theta^*$ ) है जो पहाड़ी के सबसे तीव्र ढलान वाले हिस्से की ओर इशारा करती है। यदि आप इस दिशा को जान लेते हैं, तो आप जान सकते हैं कि उच्चतम रिवॉर्ड कैसे प्राप्त किया जाए।
शिक्षार्थी (The Learner): एक न्यूरल नेटवर्क इस गुप्त दिशा का पता लगाने की कोशिश कर रहा है।

लेखक सीखने की प्रक्रिया को दो अलग-अलग चरणों में विभाजित करते हैं, जैसे कि दो-चरणीय प्रशिक्षण शिविर।

चरण 1: दिशा-सूचक यंत्र खोजना (फीचर रिकवरी)

चुनौती:
शुरुआत में, न्यूरल नेटवर्क के न्यूरॉन्स यादृच्छिक दिशाओं में इशारा करते हैं, जैसे कि एक दिशा-सूचक यंत्र (compass) पागलों की तरह घूम रहा हो। नेटवर्क को उपयोगी होने के लिए उस गुप्त दिशा ( $\theta^*$ ) पर "लॉक" होने की आवश्यकता है।

ट्विस्ट (एक्सपोनेंशियल वेटिंग):
मानक प्रशिक्षण में, नेटवर्क सभी डेटा बिंदुओं को समान रूप से देखता है। लेकिन इस "रिवॉर्ड मॉडलिंग" परिदृश्य में, प्रशिक्षण प्रक्रिया पक्षपाती होती है। यह उन डेटा बिंदुओं पर बहुत अधिक ध्यान देती है जिनमें उच्च रिवॉर्ड होते हैं। यह एक ऐसे छात्र की तरह है जो केवल उन्हीं प्रश्नों का अध्ययन करता है जिन्हें वह परीक्षा में आने की उम्मीद करता है, बाकी को अनदेखा कर देता है।

खोज:
शोध पत्र दिखाता है कि यह "उच्च रिवॉर्ड के प्रति झुकाव" नेटवर्क को गुप्त दिशा खोजने में तेज़ी से मदद करता है, लेकिन केवल तभी जब आप एक "तापमान" नॉब ( $\beta_1$ ) को सही ढंग से ट्यून करते हैं।

बहुत ठंडा (कम तापमान): नेटवर्क केवल कुछ "परफेक्ट" उदाहरणों के प्रति जुनूनी हो जाता है। यह ओवरफिट हो जाता है और शोर (noise) से भ्रमित हो जाता है, जिससे सामान्य दिशा सीखने में विफल रहता है।
बहुत गर्म (उच्च तापमान): नेटवर्क उच्च-रिवॉर्ड वाले उदाहरणों को अनदेखा करता है और सब कुछ एक जैसा मानता है, जिससे रिवॉर्ड सिग्नल का लाभ खो जाता है।
बिल्कुल सही: लेखक एक "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) सिद्ध करते हैं। यदि तापमान एक निश्चित स्तर से ऊपर है (डेटा के विशाल होने से स्वतंत्र), तो नेटवर्क के न्यूरॉन्स सफलतापूर्वक गुप्त दिशा के साथ संरेखित हो जाएंगे।

उपमा:
सोचिए कि न्यूरॉन्स हाइकर्स (पदयात्रियों) का एक समूह है जो शिखर खोजने की कोशिश कर रहे हैं। "रिवॉर्ड वेटिंग" एक लाउडस्पीकर की तरह है जो चिल्ला रहा है, "पहाड़ के शिखर की ओर देखो!"

यदि स्पीकर बहुत शांत है, तो हाइकर्स बिना किसी दिशा के भटकते रहेंगे।
यदि स्पीकर बहुत तेज़ और तीखा है, तो हाइकर्स घबरा जाते हैं और केवल शिखर को देखते हैं, जिससे वे ऊपर जाने वाला रास्ता चूक जाते हैं।
शोध पत्र सिद्ध करता है कि यदि स्पीकर पर्याप्त तेज़ है लेकिन चीख नहीं रहा है, तो हाइकर्स सफलतापूर्वक समझ जाएंगे कि "ऊपर" की दिशा क्या है।

चरण 2: मानचित्र बनाना (पॉलिसी ऑप्टिमाइज़ेशन)

चुनौती:
एक बार जब नेटवर्क ने गुप्त दिशा (दिशा-सूचक यंत्र लॉक हो गया है) को खोज लिया, तो उसे वास्तविक मानचित्र बनाना होता है। यह वह डेटा पर एक वक्र (curve) फिट करके करता है। हालाँकि, अंतिम लक्ष्य केवल एक आदर्श मानचित्र बनाना नहीं है; बल्कि एक ऐसा मानचित्र बनाना है जो, अन्वेषक द्वारा उपयोग किए जाने पर, सर्वोत्तम परिणाम की ओर ले जाए।

ट्विस्ट (डिप्लॉयमेंट टेम्परेचर):
अन्वेषक मानचित्र का कितनी आक्रामकता से पालन करना है, यह तय करने के लिए एक "तापमान" नॉब ( $\beta_2$ ) का उपयोग करता है।

उच्च $\beta_2$ : अन्वेषक सतर्क रहता है और कई रास्तों की खोज करता है।
निम्न $\beta_2$ : अन्वेषक लालची होता है और केवल एक ही "सर्वश्रेष्ठ" पथ का अनुसरण करता है।

खोज:
शोध पत्र "वैल्यू गैप" (Value Gap) का विश्लेषण करता है—एक आदर्श मानचित्र के साथ अन्वेषक जो रिवॉर्ड प्राप्त कर सकता था और उस रिवॉर्ड के बीच का अंतर जो वह सीखे हुए मानचित्र के साथ वास्तव में प्राप्त करता है।

उन्होंने मानचित्र फिट करने के दो तरीके पाए:

लेबल-वेटेड (आदर्श): डेटा को वास्तविक रिवॉर्ड मूल्यों का उपयोग करके भारित (weight) करना। यह सैद्धांतिक रूप से सबसे अच्छा मामला है।
सरोगेट-वेटेड (व्यावहारिक): एक अनुमानित रिवॉर्ड (एक अंदाज़ा) का उपयोग करके डेटा को भारित करना। वास्तविक जीवन में यही होता है।

परिणाम:
शोध पत्र "वैल्यू गैप" के लिए एक सूत्र प्रदान करता है। यह दिखाता है कि गैप तीन भागों से बना है:

टेम्परेचर मिसमैच: अन्वेषक की लालसा (greediness) और मानचित्रकार के प्रशिक्षण के बीच का अंतर।
ट्रंकेशन (Truncation): चरम या असंभव रास्तों को अनदेखा करने से होने वाली त्रुटियाँ (एक सुरक्षा उपाय)।
लर्निंग एरर: मानचित्र कितना खराब है।

सरोगेट्स के साथ समस्या:
जब "सरोगेट" विधि (व्यावहारिक तरीका) का उपयोग किया जाता है, तो यदि प्रारंभिक अनुमान गलत है, तो त्रुटियाँ बढ़ जाती हैं। यह एक ऐसे व्यक्ति द्वारा बनाए गए मानचित्र का उपयोग करके नेविगेट करने जैसा है जो खुद भी खोया हुआ है। शोध पत्र दिखाता है कि यह प्रवर्धन (amplification) तापमान पर बहुत अधिक निर्भर करता है। यदि आप बहुत लालची हो जाते हैं (बहुत कम तापमान रखते हैं) और आपके पास एक खराब मानचित्र है, तो अन्वेषक एक स्थानीय जाल (local trap) में फंस जाता है, और प्रदर्शन काफी गिर जाता है।

मुख्य निष्कर्ष

रिवॉर्ड मॉडलिंग अलग है: आप रिवॉर्ड मॉडलिंग को केवल एक मानक गणितीय समस्या की तरह नहीं मान सकते। क्योंकि रिवॉर्ड मॉडल डेटा वितरण को बदल देता है (अन्वेषक जहाँ जाता है वहाँ का डेटा बदल जाता है), आपको इस बदलाव को ध्यान में रखना होगा।
तापमान एक नियंत्रण नॉब है: प्रशिक्षण चरण के लिए एक विशिष्ट "तापमान" सेटिंग है जो यह सुनिश्चित करती है कि न्यूरल नेटवर्क शोर (noise) को याद करने के बजाय अंतर्निहित फीचर्स (गुप्त दिशा) को सफलतापूर्वक सीखे। यह सेटिंग असंभव रूप से उच्च होने की आवश्यकता नहीं है; एक मध्यम, स्थिर स्तर पर्याप्त है।
"प्रॉक्सी" की समस्या: यदि आप अपने रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए एक रफ अंदाज़ (सरोगेट) का उपयोग करते हैं, तो आप अधिक संवेदनशील होते हैं। आपको तैनाती (deployment) के दौरान बहुत अधिक लालची होने से बचना होगा (बहुत कम तापमान रखने से), अन्यथा आपके अंदाज़ की त्रुटियाँ बढ़ जाएंगी और अन्वेषक के प्रदर्शन को खराब कर देंगी।
संतुलन बनाना: शोध पत्र सही तापमान चुनने के लिए एक गणितीय नुस्खा देता है। आप रिवॉर्ड प्राप्त करने के लिए पर्याप्त लालची होना चाहते हैं, लेकिन इतने लालची नहीं कि आपके मानचित्र की गलतियों को बढ़ा दें।

एक वाक्य में सारांश

यह शोध पत्र सिद्ध करता है कि न्यूरल नेटवर्क के लिए रिवॉर्ड लैंडस्केप की "गुप्त दिशा" को सफलतापूर्वक सीखने और फिर एक AI को निर्देशित करने के लिए, प्रशिक्षण प्रक्रिया को शोर पर अत्यधिक ध्यान केंद्रित करने से बचने के लिए "तापमान" सेटिंग को सावधानीपूर्वक संतुलित करना चाहिए, और तैनाती रणनीति इतनी सतर्क होनी चाहिए कि मानचित्र की छोटी त्रुटियाँ AI को दुर्घटनाग्रस्त होने से रोक सकें।

यहाँ शोध पत्र "How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis" का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

रिवॉर्ड मॉडलिंग (RM), बड़े भाषा मॉडल (जैसे RLHF के माध्यम से) को संरेखित करने में एक महत्वपूर्ण घटक है, फिर भी यह मानक सुपरवाइज्ड प्रेडिक्शन से मौलिक रूप से भिन्न है। KL-रेगुलराइज्ड पॉलिसी ऑप्टिमाइज़ेशन में, सीखा गया रिवॉर्ड फंक्शन $r(x)$ तैनात पॉलिसी $\pi_\beta(dx) \propto e^{r(x)/\beta}\pi_{ref}(dx)$ को परिभाषित करने के लिए एक्सपोनेंशिएट (exponentiated) किया जाता है। फलस्वरूप, सिस्टम का डाउनस्ट्रीम मूल्य न केवल संदर्भ वितरण $\pi_{ref}$ के तहत प्रेडिक्शन सटीकता पर निर्भर करता है, बल्कि उन क्षेत्रों में त्रुटियों पर भी निर्भर करता है जहाँ रिवॉर्ड अधिक होता है और पॉलिसी केंद्रित होती है। यह एक पॉलिसी-प्रेरित वितरण बदलाव (policy-induced distribution shift) उत्पन्न करता है।

ऑफलाइन अलाइनमेंट के मौजूदा सैद्धांतिक विश्लेषण अक्सर निश्चित, ज्ञात लीनियर फीचर्स को मान लेते हैं, जिससे इस चुनौती से बचाव हो जाता है कि न्यूरल नेटवर्क प्रासंगिक फीचर्स कैसे खोजते हैं (फीचर लर्निंग) और ऐसे वितरण बदलावों के तहत नॉनलीनियर रिवॉर्ड लैंडस्केप को कैसे अनुमानित करते हैं। यह शोध पत्र इस अंतर को संबोधित करता है कि कैसे एक टू-लेयर न्यूरल नेटवर्क फीचर्स सीखता है और एक नॉनलीनियर रिवॉर्ड फंक्शन को फिट करता है जब प्रशिक्षण उद्देश्य में एक्सपोनेंशियल रिवॉर्ड वेटिंग शामिल होती है।

कार्यप्रणाली (Methodology)

लेखक इस समस्या को गौसियन सिंगल-इंडेक्स मॉडल (Gaussian Single-Index Model - SIM) सेटिंग के भीतर रूपित करते हैं:

डेटा जनरेशन: इनपुट $x \sim \mathcal{N}(0, I_d)$ , और लेबल्स $y = r^*(x) + \zeta$ , जहाँ वास्तविक रिवॉर्ड $r^*(x) = \sigma^*(\langle \theta^*, x \rangle)$ है। यहाँ $\theta^*$ एक हिडन टारगेट डायरेक्शन है, $\sigma^*$ एक अपर-बाउंडेड पॉलिनोमियल लिंक फंक्शन है, और $\zeta$ बाउंडेड नॉइज़ है।
मॉडल आर्किटेक्चर: $N$ न्यूरॉन्स वाला एक टू-लेयर न्यूरल नेटवर्क: $r_a(x) = \frac{1}{N} \sum_{j=1}^N a_j \sigma(\langle w_j, x \rangle + b_j)$ ।
दो-चरणीय प्रशिक्षण प्रोटोकॉल (Two-Stage Training Protocol):
1. फीचर रिकवरी (चरण 1): पहले-लेयर डायरेक्शंस $w_j$ को $\beta_1$ तापमान के साथ एक रिवॉर्ड-वेटेड ऑब्जेक्टिव के माध्यम से ऑनलाइन स्फेरिकल SGD द्वारा प्रशिक्षित किया जाता है। दूसरे-लेयर कोएफिशिएंट्स $a$ को इनिशियलाइजेशन पर फिक्स कर दिया जाता है। लक्ष्य $w_j$ को हिडन डायरेक्शन $\theta^*$ के साथ संरेखित करना है।
2. रीडआउट फिटिंग (चरण 2): एक बार फीचर्स रिकवर होने के बाद, डायरेक्शंस $w_j$ $w_{j}$ और बायस $b_j$ $b_{j}$ को फ्रीज कर दिया जाता है। दूसरे-लेयर कोएफिशिएंट्स $a$ $a$ को फ्रेश सैंपल्स पर वेटेड रिज रिग्रेशन (weighted ridge regression) का उपयोग करके फिट किया जाता है। वेटिंग स्कीम एक डिप्लॉयमेंट तापमान $\beta_2$ $β_{2}$ का उपयोग करती है, जो $\beta_1$ $β_{1}$ से भिन्न हो सकता है। दो वेटिंग स्कीम्स का विश्लेषण किया गया है:
  - लेबल-वेटेड (Label-weighted): वेट्स $e^{y/\beta_2}$ हैं।
  - सरोगेट-वेटेड (Surrogate-weighted): वेट्स $e^{r_{proxy}(x)/\beta_2}$ हैं, जहाँ $r_{proxy}$ एक फ्रोजन प्रॉक्सी रिवॉर्ड है (उदाहरण के लिए, फीचर रिकवरी चरण से)।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. रिवॉर्ड-प्रेरित वितरण बदलाव के तहत फीचर लर्निंग
यह शोध पत्र एक्सपोनेंशियल रिवॉर्ड वेटिंग के तहत पहले-लेयर फीचर रिकवरी को स्पष्ट करता है।

सिग्नल ट्रांसफॉर्मेशन: एक्सपोनेंशियल वेटिंग एक नॉनलीनियर लेबल ट्रांसफॉर्मेशन के रूप में कार्य करती है जो पहले लेयर के लिए उपलब्ध हर्मिट सिग्नल (Hermite signal) को बदल देती है।
एक्सपोनेंट रिडक्शन: विश्लेषण से पता चलता है कि किसी भी फीचर-लर्निंग तापमान $\beta_1$ के लिए, जो एक डायमेंशन-फ्री $O(1)$ थ्रेशोल्ड से ऊपर है, प्रभावी लर्निंग बॉटलनेक इंफॉर्मेशन एक्सपोनेंट (IE) से घटकर जेनरेटिव एक्सपोनेंट (GE) हो जाता है।
रिकवरी गारंटी: अपर-बाउंडेड पॉलिनोमियल मान्यताओं के तहत, निरंतर अंश (constant fraction) के न्यूरॉन्स उच्च संभाव्यता के साथ हिडन डायरेक्शन $\theta^*$ को रिकवर करते हैं। कमजोर-रिकवरी जटिलता (weak-recovery complexity) जेनरेटिव एक्सपोनेंट द्वारा शासित होती है और $\tilde{O}(\beta_1^{2(I^*-1)} d^{(p_{gen}-1)\vee 1)}$ के रूप में स्केल करती है, जहाँ $I^*$ GE तक पहुँचने के लिए आवश्यक पावर है।
$\beta_1$ का महत्व: महत्वपूर्ण रूप से, $\beta_1$ के लिए आवश्यक निचला स्तर (lower bound) डायमेंशन $d$ से स्वतंत्र है। यह पूर्ववर्ती क्लिप्ड-एक्सपोनेंशियल विश्लेषणों में सुधार करता है जिन्हें डायमेंशन-बढ़ते पॉलीलॉगैरिथमिक तापमान की आवश्यकता थी, जो अन्यथा एक्सपोनेंट रिडक्शन के लाभों को शून्य कर देते।

2. वेटेड प्रेडिक्शन से टिल्टेड-पॉलिसी रिग्रेट तक
लेखक मानक प्रेडिक्शन एरर बाउंड्स से आगे बढ़कर टिल्टेड-पॉलिसी वैल्यू गैप का मूल्यांकन करते हैं:
$\mathcal{R} = \mathbb{E}_{x \sim \pi_{\beta^*}}[r^*(x)] - \mathbb{E}_{x \sim \hat{\pi}_{\beta_2}}[r^*(x)]$
जहाँ $\pi_{\beta^*}$ टारगेट पॉलिसी है और $\hat{\pi}_{\beta_2}$ सीखा गया रिवॉर्ड द्वारा प्रेरित पॉलिसी है।

डिकम्पोजिशन: रिग्रेट को तीन टर्म्स में विभाजित किया गया है:
1. टेम्परेचर मिसमैच ( $T_{temp}$ ): टारगेट तापमान $\beta^*$ और डिप्लॉयमेंट तापमान $\beta_2$ के बीच अंतर पर निर्भर करता है।
2. प्रोजेक्टेड ट्रंकेशन ( $T_{cut}$ ): इंटीग्रेबिलिटी सुनिश्चित करने के लिए विश्लेषण को एक प्रोजेक्टेड सबस्पेस तक सीमित करने से उत्पन्न होता है।
3. लर्निंग टर्म ( $T_{learn}$ ): फिट किए गए रिवॉर्ड के वेटेड प्रेडिक्शन एरर पर निर्भर करता है।
लो-टेम्परेचर व्यवहार: शोध पत्र स्पष्ट बाउंड्स प्रदान करता है जो दिखाते हैं कि टिल्टेड पॉलिसी के तहत रिवॉर्ड का वेरिएंस $\beta_2^2 / (2p_{max})$ के रूप में स्केल करता है, जहाँ $p_{max}$ रिवॉर्ड मैक्सिमम का स्थानीय ऑर्डर है।

3. लेबल- और सरोगेट-वेटेड रिग्रेट बाउंड्स
शोध पत्र दोनों फिटिंग स्कीम्स के लिए स्पष्ट वैल्यू-गैप बाउंड्स प्रदान करता है:

लेबल-वेटेड बाउंड: यह एक सैद्धांतिक बेंचमार्क के रूप में कार्य करता है। बाउंड टेम्परेचर मिसमैच, ट्रंकेशन और लर्निंग कॉस्ट को अलग करता है, जो पॉलिसी वैल्यू रेट्स को नॉनलीनियर रिवॉर्ड मैक्सिमम के स्थानीय आकार (local shape) से जोड़ता है।
सरोगेट-वेटेड बाउंड: प्लग-इन पाइपलाइनों के लिए अधिक व्यावहारिक है। यह एक अतिरिक्त फैक्टर $C_{0,R}(\beta_2)$ $C_{0, R} (β_{2})$ पेश करता है, जो सरोगेट-प्रेरित मेज़र और रेफरेंस डिस्ट्रीब्यूशन के बीच डेंसिटी रेशियो को दर्शाता है।
- प्रॉक्सी मिसमैच मैकेनिज्म: जब प्रॉक्सी रिवॉर्ड अपूर्ण होता है, तो $C_{0,R}(\beta_2)$ बड़ा हो सकता है (जो $1/\beta_2$ के साथ पॉलिनोमियली स्केल करता है)। यह दोनों एप्रोक्सिमेशन एरर्स और फाइनाइट-सैंपल एरर्स को बढ़ाता है, जो "प्रॉक्सी मिसमैच" और रिवॉर्ड ओवरऑप्टिमाइजेशन के पीछे के सांख्यिकीय तंत्र की पहचान करता है।
एडमिसिबल टेम्परेचर्स: विश्लेषण डिप्लॉयमेंट तापमान $\beta_2$ के लिए एक एडमिसेबल सेट प्रदान करता है। एक छोटा $\beta_2$ चुनना टारगेट पॉलिसी के साथ बेहतर मिलान करता है लेकिन एक्सपोनेंशियल वेटिंग के माध्यम से लर्निंग कॉस्ट को बढ़ाता है। इष्टतम चयन इन ट्रेड-ऑफ्स को संतुलित करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह एक नियंत्रित सैद्धांतिक सेटिंग के भीतर रिवॉर्ड मॉडलिंग और पॉलिसी वैल्यू के बीच इंटरैक्शन का एक मौलिक लक्षण वर्णन प्रदान करता है।

फीचर लर्निंग: यह प्रदर्शित करता है कि रिवॉर्ड-प्रेरित एक्सपोनेंशियल वेटिंग, यदि $\beta_1$ बहुत कम नहीं है, तो प्रभावी लर्निंग एक्सपोनेंट को IE से घटाकर GE में बदलकर फीचर लर्निंग को सुगम बना सकती है। यह स्थापित करता है कि रिकवरी के लिए डायमेंशन-फ्री $O(1)$ तापमान पर्याप्त है, जो पिछले धारणाओं को सुधारता है जिनमें डायमेंशन-बढ़ते तापमान की आवश्यकता थी।
मूल्यांकन मीट्रिक: यह तर्क देता है कि रिवॉर्ड मॉडलिंग के लिए प्रासंगिक सांख्यिकीय लक्ष्य टिल्टेड-पॉलिसी वैल्यू है, न कि रेफरेंस-डिस्ट्रीब्यूशन प्रेडिक्शन एरर। प्राप्त बाउंड्स रिवॉर्ड लैंडस्केप की स्थानीय ज्यामिति और डिप्लॉयमेंट तापमान के चुनाव को स्पष्ट रूप से लिंक करते हैं।
सरोगेट रिस्क: यह एक विशिष्ट सांख्यिकीय तंत्र की पहचान करता है जहाँ वेटिंग के लिए प्रॉक्सी रिवॉर्ड का उपयोग करना (सरोगेट वेटिंग) त्रुटियों को बढ़ा सकता है यदि प्रॉक्सी अपूर्ण है, जो व्यवहार में देखे जाने वाले रिवॉर्ड ओवरऑप्टिमाइजेशन घटनाओं के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है।

लेखक बनाए रखते हैं कि हालांकि गौसियन SIM एक सैद्धांतिक एब्स्ट्रैक्शन है, यह फीचर लर्निंग और पॉलिसी-प्रेरित वितरण बदलाव के मुख्य तंत्रों को अलग करता है, जो समृद्ध इनपुट डिस्ट्रीब्यूशन और मल्टी-इंडेक्स स्ट्रक्चर पर भविष्य के कार्य के लिए एक आधार प्रदान करता है।