🤖 AI

Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

यह शोध पत्र रेफरेंस-सैंपलड बोल्ट्ज़मैन प्रोजेक्शन (BOLT) को प्रस्तुत करता है, जो एक अनूठा, प्रॉम्प्ट-नॉर्मलाइज्ड वेटेड SFT ऑब्जेक्टिव व्युत्पन्न करने की एक विधि है ताकि KL-रेगुलराइज्ड RLVR टार्गेट पॉलिसी से सटीक रूप से मेल खाया जा सके, जिससे ऑनलाइन रोलआउट बाधाओं को समाप्त किया जा सके और एक परिमित वन-शॉट विश्लेषण प्रदान किया जा सके जो स्टैटिक ट्रेनिंग की सीमाओं और रिफ्रेश्ड सैंपलिंग के लाभों को स्पष्ट करता है।

मूल लेखक: Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को कठिन गणित के सवाल हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक बहुत ही सख्त शिक्षक (एक "वेरिफायर") है जो तुरंत जांच सकता है कि उत्तर सही है या गलत, लेकिन शिक्षक यह नहीं बताता कि वह क्यों सही है, वे बस एक स्कोर देते हैं।

यह शोध पत्र एक विशिष्ट समस्या का समाधान करता है: हम इन स्कोरों का उपयोग करके छात्र को कैसे सिखा सकते हैं बिना हर बार छात्र के मस्तिष्क (brain) को अपडेट करने के लिए नए अभ्यास प्रश्न उत्पन्न किए?

यहाँ इस शोध पत्र के विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका: "लाइव" ट्रेनिंग लूप

वर्तमान में, अधिकांश उन्नत AI प्रशिक्षण एक लाइव कुकिंग प्रतियोगिता की तरह काम करता है।

शेफ (AI) एक व्यंजन बनाता है (उत्तर उत्पन्न करता है)।
जज (वेरिफायर) उसे चखता है और एक स्कोर देता है।
शेफ उस स्कोर के आधार पर तुरंत अपनी रेसिपी में बदलाव करता है।
फिर, शेफ एक नया व्यंजन बनाता है, जज उसे फिर से चखता है, और यह चक्र दोहराया जाता है।

समस्या: यह अविश्वसनीय रूप से महंगा और धीमा है। हर बार जब शेफ कुछ सीखता है, तो उन्हें वापस रसोई में जाना पड़ता है, ताजी सामग्री खरीदनी पड़ती है और अगला सबक पाने के लिए फिर से खाना बनाना पड़ता है। "रसोई" (कंप्यूटिंग पावर) ही यहाँ मुख्य बाधा (bottleneck) है।

2. प्रस्तावित शॉर्टकट: "फ्रोजन मेनू" (स्थिर मेनू)

शोध पत्र एक अलग दृष्टिकोण का सुझाव देता है: रसोई का एक स्नैपशॉट ले लें।

लाइव खाना बनाने के बजाय, हम शेफ को अपनी वर्तमान रेसिपी का उपयोग करके एक बार में 100 व्यंजन बनाने के लिए कहते हैं।
हमें उन 100 व्यंजनों और उनके स्कोर की एक सूची मिल जाती है।
अब, हम इस व्यंजनों की सूची को स्थिर (freeze) कर देते हैं।
अब, हम इस स्थिर सूची पर शेफ को जितनी बार चाहें उतनी बार प्रशिक्षित कर सकते हैं बिना वापस रसोई में जाए।

चुनौती: यदि आप केवल इस सूची पर प्रशिक्षण लेते हैं, तो आपको यह तय करना होगा कि प्रत्येक व्यंजन पर कितना ध्यान (attention) देना है।

गलत दृष्टिकोण: "इस व्यंजन को 10 स्कोर मिला, तो चलिए इसे 1 वाले व्यंजन की तुलना में 10 गुना अधिक अध्ययन करते हैं।"
शोध पत्र का अंतर्दृष्टि (Insight): यह सरल गणित काम नहीं करता है। व्यंजनों की यह सूची शेफ की पुरानी रेसिपी द्वारा बनाई गई थी। यदि आपकी पुरानी रेसिपी शायद ही कभी "परफेक्ट" व्यंजन बनाती थी, तो आपकी सूची में वे व्यंजन नहीं होंगे, चाहे आप उनका कितना भी अध्ययन क्यों न करें।

3. मुख्य खोज: "परफेक्ट रेसिपी" (बोल्ट्ज़मैन प्रोजेक्शन)

लेखकों ने इस बात का सटीक गणितीय सूत्र खोजा है कि इन स्थिर व्यंजनों को कैसे वेट (weight) किया जाए ताकि छात्र वही सीख सके जो वह महंगी "लाइव" प्रतियोगिता में सीखता।

वे इसे BOLT (बोल्ट्ज़मैन-टारगेटेड SFT) कहते हैं।

इसे इस तरह समझें:

कल्पना करें कि "परफेक्ट रेसिपी" एक मानचित्र है कि सबसे अच्छे व्यंजन कहाँ होने चाहिए।
"फ्रोजन मेनू" एक मानचित्र है कि व्यंजन वास्तव में कहाँ हैं।
शोध पत्र सिद्ध करता है कि फ्रोजन मेनू को परफेक्ट रेसिपी सिखाने के लिए, आपको केवल स्कोर को नहीं देखना है। आपको हर व्यंजन के लिए एक विशेष वेट (weight) की गणना करनी होगी।
यह वेट इस पर आधारित है: यह व्यंजन औसत से कितना बेहतर है, और यह मूल रूप से कितना दुर्लभ था।

यदि शेफ शायद ही कभी एक परफेक्ट व्यंजन बनाता है, लेकिन जज ने इसे उच्च स्कोर दिया है, तो यह सूत्र कहता है: "यह एक दुर्लभ रत्न है! हमें इसका गहन अध्ययन करना चाहिए।" यदि शेफ ने आसानी से एक परफेक्ट व्यंजन बनाया, तो सूत्र कहता है: "हमने यह पहले भी देखा है; सामान्य रूप से अध्ययन करें।"

4. "वन-शॉट" सीमा: गायब सामग्रियाँ

यह पत्र एक कठिन सीमा के बारे में भी बताता है।

उपमा: कल्पना करें कि आप शेफ को "गोल्डन ड्रैगन केक" बनाना सिखाने की कोशिश कर रहे हैं।
यदि शेफ की पुरानी रेसिपी में कभी भी गोल्डन ड्रैगन केक नहीं बना (भले ही वह खराब ही क्यों न हो), और आपके पास केवल 1,000 साधारण केक का फ्रोजन मेनू है, तो आप उन्हें गोल्डन ड्रैगन केक बनाना नहीं सिखा सकते।
फ्रोजन मेनू का अध्ययन करने से कोई फर्क नहीं पड़ेगा यदि उसमें वे सामग्रियाँ (डेटा) मौजूद नहीं हैं।
सबक: आप केवल अधिक अध्ययन करके गायब सामग्री की कमी को पूरा नहीं कर सकते। आपको पहले रसोई में वापस जाना होगा और गोल्डन ड्रैगन केक बनाने की कोशिश करनी होगी (इसे "सैंपलर को रिफ्रेश करना" कहा जाता है)।

5. "रिफ्रेश" रणनीति: पुनरावृत्ति (Iterative) सीखना

क्या होगा यदि शेफ लगभग गोल्डन ड्रैगन केक बना लेता है?

शोध पत्र एक रणनीति सुझाता है जिसे इटरेटिव BOLT (Iterative BOLT) कहा जाता है।
चरण 1: फ्रोजन मेनू पर प्रशिक्षण लें। शेफ थोड़ा बेहतर हो जाता है।
चरण 2: उस नए शेफ को लें और उसे व्यंजनों का एक नया बैच पकाने के लिए कहें।
चरण 3: इस नए बैच को फ्रीज करें और फिर से प्रशिक्षित करें।
यह क्यों काम करता है: क्योंकि अब शेफ बेहतर है, इसलिए इस बात की अधिक संभावना है कि वह नए बैच में गलती से "गोल्डन ड्रैगन केक" बना ले। इस लूप को दोहराकर, शेफ धीरे-धीरे असंभव व्यंजन बनाना सीख जाता है।

6. परिणाम: तेज़ और स्मार्ट

लेखकों ने गणित और कोडिंग समस्याओं (जैसे GSM8K और HumanEval) पर इसका परीक्षण किया।

गति: चूंकि उन्होंने "खाना पकाने" (उत्तर उत्पन्न करने) और "स्कोरिंग" को मुख्य प्रशिक्षण लूप से बाहर निकाल दिया, इसलिए उन्होंने कंप्यूटर मेमोरी और समय की भारी बचत की (कुछ परीक्षणों में 85% तक तेज़)।
सटीकता: केवल कच्चे स्कोर के बजाय अपने विशेष "BOLT" वेट का उपयोग करके, AI ने कच्चे स्कोर का उपयोग करने वाले तरीकों की तुलना में बेहतर सीखा।
"सैचुरेशन" बिंदु: उन्होंने दिखाया कि यदि आप केवल एक ही फ्रोजन सूची पर प्रशिक्षण लेते रहते हैं, तो AI अंततः सुधार करना बंद कर देता है (यह एक दीवार से टकरा जाता है)। लेकिन यदि आप सूची को "रिफ्रेश" करते हैं (नया बैच लेने के लिए रसोई में वापस जाते हैं), तो AI प्रदर्शन के एक नए स्तर पर पहुँच जाता है।

सारांश

यह शोध पत्र कुशल AI प्रशिक्षण के लिए एक ब्लूप्रिंट प्रदान करता है। यह कहता है:

केवल "अच्छे" उत्तरों पर प्रशिक्षण न दें; उन उत्तरों पर प्रशिक्षण दें जिन्हें एक विशिष्ट सूत्र द्वारा भारित (weight) किया गया है जो यह गणना करता है कि उन्हें खोजना कितना कठिन था।
आप वह नहीं सीख सकते जो आपने सैंपल नहीं किया है; यदि आपके डेटा में उत्तर नहीं है, तो कोई भी प्रशिक्षण उसे पैदा नहीं कर सकता।
कठिन चीजें सीखने के लिए, आपको अपने वर्तमान कौशल के आधार पर नया डेटा उत्पन्न करने के लिए समय-समय पर वापस जाना होगा, और फिर से प्रशिक्षित करना होगा।

यह एक धीमे, महंगे, लाइव-फीडबैक लूप को एक तेज़, कुशल, दो-चरणीय प्रक्रिया में बदल देता है: एक बार उत्पन्न करें, सही ढंग से वेट करें, और गहराई से सीखें।

यहाँ "Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स के साथ ऑनलाइन रीइन्फोर्समेंट लर्निंग (RLVR) जांच योग्य परिणामों (जैसे गणितीय प्रमाण, कोड यूनिट टेस्ट) को स्केलेबल ट्रेनिंग सिग्नल्स में बदल देता है। हालाँकि, मानक ऑनलाइन विधियाँ (जैसे PPO या GRPO) रोलआउट जनरेशन, वेरिफायर स्कोरिंग और रेफरेंस-पॉलिसी इवैल्यूएशन को क्रिटिकल ऑप्टिमाइज़ेशन पाथ पर रखती हैं, जिससे उच्च कम्प्यूटेशनल लागत और मेमोरी उपयोग होता है।

एक स्वाभाविक विकल्प जनरेशन को ऑप्टिमाइज़ेशन से अलग करना है: एक बार वेरिफाइड रोलआउट्स को सैंपल करें, उन्हें वेट (weights) असाइन करें, और स्टैटिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से ट्रेन करें। हालाँकि, यह शोध पत्र इस दृष्टिकोण में एक मौलिक अस्पष्टता की पहचान करता है: वेटेड SFT एक एकल उद्देश्य (single objective) नहीं है। वेटेड SFT द्वारा प्रेरित पॉलिसी, उस सैंपलर पर निर्भर करती है जिसने रोलआउट्स उत्पन्न किए हैं और उन पर दिए गए वेट्स पर भी। केवल पूर्व-निर्धारित डेटा पर वेट्स जोड़ने से यह गारंटी नहीं मिलती कि परिणामी पॉलिसी मूल ऑनलाइन KL-रेगुलराइज्ड RLVR ऑब्जेक्टिव के समान होगी। बिना किसी विशिष्ट 'टारगेट-मैचिंग' स्थिति के, स्टैटिक वेटेड SFT उस पॉलिसी को फिट करने में विफल हो सकता है जिसे लक्षित किया गया था, भले ही डेटा अनंत हो और ऑप्टिमाइज़ेशन सटीक हो।

कार्यप्रणाली: बोल्ट्ज़मैन प्रोजेक्शन थ्योरी (Methodology: Boltzmann Projection Theory)

शोध पत्र एक सैद्धांतिक ढांचा विकसित करता है जो स्टैटिक वेटेड SFT और फिक्स्ड-रेफरेंस KL-रेगुलराइज्ड RLVR के बीच सटीक पॉलिसी-लेवल मैच की पहचान करता है।

1. टारगेट पॉलिसी (फिक्स्ड-रेफरेंस बोल्ट्ज़मैन टारगेट)
शोध पत्र स्थापित करता है कि KL-रेगुलराइज्ड RLVR ऑब्जेक्टिव (जो रेफरेंस पॉलिसी $\pi_{ref}$ से KL डाइवर्जेंस को घटाकर रिवॉर्ड को अधिकतम करता है) का ऑप्टिमाइज़र एक विशिष्ट कंडीशनल पॉलिसी है, जिसे बोल्ट्ज़मैन टारगेट $\pi^*$ कहा जाता है:
$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$
जहाँ $r(x, y)$ वेरिफायर रिवॉर्ड है और $\beta$ टेम्परेचर है। यह टारगेट, रेफरेंस पॉलिसी का एक एक्सपोनेंशियल टिल्ट (exponential tilt) है।

2. इंड्यूस्ड-टारगेट आइडेंटिटी (The Induced-Target Identity)
प्रपोजिशन 1 का उपयोग करते हुए, लेखक दिखाते हैं कि कोई भी वेटेड SFT ऑब्जेक्टिव एक टारगेट पॉलिसी $\tilde{\pi}_w$ को प्रेरित करता है जो सैंपलर $q$ और वेट $w$ के गुणनफल के समानुपाती होती है: $\tilde{\pi}_w \propto q(y|x)w(x,y)$ । ऑनलाइन RLVR को सफलतापूर्वक बदलने के लिए, प्रेरित पॉलिसी $\tilde{\pi}_w$ को बोल्ट्ज़मैन टारगेट $\pi^*$ के बराबर होना चाहिए।

3. टारगेट-मैचिंग लॉ (The Target-Matching Law)
शोध पत्र इस मैच के लिए आवश्यक शर्त को व्युत्पन्न करता है (थ्योरम 4)। एक निश्चित सैंपलर $q$ के लिए, वेट्स डेंसिटी रेशियो $\pi^*/q$ के समानुपाती होने चाहिए। महत्वपूर्ण रूप से, रेफरेंस-सैंपल्ड सबक्लास में जहाँ रोलआउट्स रेफरेंस पॉलिसी ( $q = \pi_{ref}$ ) से उत्पन्न होते हैं, यह स्थिति अद्वितीय रूप से प्रॉम्ट-नॉर्मलाइज्ड बोल्ट्ज़मैन वेट में सरल हो जाती है:
$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$
जहाँ $Z(x)$ पार्टिशन फंक्शन (नॉर्मलाइज़र) है। यह वेट ठीक वही रेडॉन-निकोडम डेरिवेटिव है जो रेफरेंस रोलआउट्स को टारगेट रोलआउट्स में परिवर्तित करता है।

4. BOLT एल्गोरिदम
इस सिद्धांत के आधार पर, लेखक BOLT (बोल्ट्ज़मैन-टारगेटेड SFT) प्रस्तावित करते हैं। यह दो चरणों में कार्य करता है:

फेज 1 (प्रीकंप्यूटेशन): रेफरेंस पॉलिसी से रोलआउट्स सैंपल करें, उन्हें वेरिफायर के साथ इवैल्यूएट करें, और $Z(x)$ के मोंटे कार्लो एस्टीमेशन का उपयोग करके एम्पिरिकल प्रॉम्ट-नॉर्मलाइज्ड बोल्ट्ज़मैन वेट्स की गणना करें।
फेज 2 (ऑप्टिमाइज़ेशन): इस फिक्स्ड वेटेड डेटासेट पर स्टैंडर्ड मल्टी-इपोक SFT का उपयोग करके मॉडल को ट्रेन करें।
चूंकि भारी काम (सैंपलिंग, स्कोरिंग, नॉर्मलाइजेशन) प्रीकंप्यूटेड है, इसलिए ऑप्टिमाइज़ेशन चरण के लिए रेफरेंस-मॉडल फॉरवर्ड पास की आवश्यकता नहीं होती है, जो ऑनलाइन RLVR की तुलना में मेमोरी और कंप्यूट को काफी कम कर देता है।

फाइनाइट वन-शॉट एनालिसिस और सीमाएं (Finite One-Shot Analysis and Limitations)

शोध पत्र एक कठोर फाइनाइट-सैंपल विश्लेषण (सेक्शन 5 और 6) प्रदान करता है जो स्टैटिक रिप्लेसमेंट की त्रुटि को विभिन्न घटकों में विभाजित करता है:

सपोर्ट-रिस्ट्रिक्टेड गैप (Support-Restricted Gap): यदि रेफरेंस पॉलिसी $\pi_{ref}$ कभी भी हाई-रिवॉर्ड कंप्लीशन को सैंपल नहीं करती है, तो कोई भी वेटिंग या ऑप्टिमाइज़ेशन उसे रिकवर नहीं कर सकता। शोध पत्र एक सटीक लोअर बाउंड सिद्ध करता है: $\beta \log(1/\pi^*(S_N | x))$ , जहाँ $S_N$ स्टोर किया गया सपोर्ट है। यह स्पष्ट करता है कि अतिरिक्त SFT इपोक मिसिंग कवरेज को ठीक नहीं कर सकते।
टेम्परेचर–कवरेज–वैरिएंस फ्रंटियर (Temperature–Coverage–Variance Frontier): यहाँ एक ट्रेड-ऑफ है जहाँ $\beta$ को कम करने (टारगेट को शार्प करने) से प्रभावी सैंपल साइज (ESS) की लागत और नॉर्मलाइज़र का वेरिएंस बढ़ जाता है, जिससे यदि रेफरेंस पास की प्रोबेबिलिटी कम है, तो एस्टीमेशन कठिन हो जाता है।
इटरेटिव रिफ्रेश एज KL पॉलिसी मिरर डिसेंट (Iterative Refresh as KL Policy Mirror Descent): जब कवरेज कमजोर लेकिन गैर-शून्य होता है, तो शोध पत्र दिखाता है कि इटरेटिव BOLT (जहाँ अपडेटेड पॉलिसी अगले राउंड के लिए नया रेफरेंस बनती है) गणितीय रूप से KL-पॉलिसी मिरर डिसेंट (KL-PMD) के समान है। यह प्रक्रिया रिवॉर्ड टिल्ट्स को संचित करती है और भविष्य के रोलआउट कवरेज में सुधार करती है, जबकि स्टैटिक वन-शॉट पुन: उपयोग ऐसा नहीं कर पाता।

मुख्य परिणाम और अनुभवजन्य साक्ष्य (Key Results and Empirical Evidence)

लेखक अपने सिद्धांत को GSM8K (गणित) और HumanEval (कोड) बेंचमार्क पर Qwen मॉडल्स का उपयोग करके सत्यापित करते हैं। प्रयोगों को केवल लीडरबोर्ड डोमिनेंस के बजाय विशिष्ट सैद्धांतिक तंत्रों को अलग करने के लिए डिज़ाइन किया गया है।

टारगेट मैचिंग: एक ही रेफरेंस रोलआउट्स पर "Refit" (रॉ रिवॉर्ड वेट्स) की तुलना में BOLT (बोल्ट्ज़मैन वेट्स) की तुलना करने पर, BOLT काफी अधिक सटीकता प्राप्त करता है (उदाहरण के लिए, GSM8K पर +1.44, MATH पर +3.60)। यह पुष्टि करता है कि विशिष्ट डेंसिटी-रेशियो वेट, न कि केवल डेटा सोर्स, प्रेरित टारगेट को निर्धारित करता है।
दक्षता (Efficiency): BOLT, ऑनलाइन GRPO की तुलना में लगभग 75–85% कम ट्रेनिंग समय और 18–31% कम पीक मेमोरी के साथ तुलनीय या थोड़ी बेहतर सटीकता प्राप्त करता है, क्योंकि यह ऑनलाइन लूप को हटा देता है।
वन-शॉट सैचुरेशन बनाम रिफ्रेश (One-Shot Saturation vs. Refresh): प्रयोग दर्शाते हैं कि यदि रेफरेंस सपोर्ट सीमित है, तो वन-शॉट BOLT कुछ इपोक के बाद सैचुरेट हो जाता है। हालांकि, इटरेटिव BOLT (सैंपलर को रिफ्रेश करना) प्रदर्शन में सुधार करना जारी रखता है, जो KL-PMD व्याख्या को मान्य करता है।
रिटेंशन (Retention): रेफरेंस रोलआउट्स का उपयोग करने वाली विधियाँ (BOLT, Refit) केवल डेमोंस्ट्रेशन-ओनली SFT की तुलना में सामान्य बेंचमार्क (PIQA, HellaSwag) पर कम कैटास्ट्रोफिक फॉरगेटिंग दिखाती हैं, जो सुझाव देता है कि रेफरेंस रोलआउट्स डिस्ट्रीब्यूशन को एंकर करने में मदद करते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह ट्रेनिंग लॉस के ह्यूरिस्टिक तुलनाओं से आगे बढ़कर, स्टैटिक RLVR रिप्लेसमेंट की एक मैकेनिज्म-लेवल समझ प्रदान करता है। इसके प्राथमिक योगदान हैं:

टारगेट आइडेंटिफिकेशन: यह स्थापित करता है कि स्टैटिक वेटेड SFT केवल तभी एक वफादार विकल्प है जब सैंपलर-वेट प्रोडक्ट विशिष्ट बोल्ट्ज़मन टारगेट को प्रेरित करता है। यह प्रॉम्ट-नॉर्मलाइज्ड बोल्ट्ज़मन डेंसिटी रेशियो को रेफरेंस-सैंपल्ड डेटा के लिए अद्वितीय वेट के रूप में पहचानता है।
फाइनाइट गैप डिकंपोजिशन: यह अपरिहार्य "सपोर्ट प्राइस" (मिसिंग कवरेज) को फाइनाइट एस्टीमेशन एरर (नॉर्मलाइज़र वेरिएंस, ऑप्टिमाइज़ेशन ड्रिफ्ट) से अलग करता है। यह स्पष्ट करता है कि स्टैटिक विधियाँ उन कवरेज गैप्स को ठीक नहीं कर सकतीं जिन्हें रेफरेंस पॉलिसी ने सैंपल करने में विफल रही थी।
इटरेटिव इंटरप्रिटेशन: यह इटरेटिव सैंपलिंग और वेटिंग को केवल "अधिक ऑप्टिमाइज़ेशन" के रूप में नहीं, बल्कि KL-पॉलिसी मिरर डिसेंट के एक रूप के रूप में फिर से परिभाषित करता है जो सक्रिय रूप से कवरेज में सुधार करता है।
व्यावहारिक दक्षता: यह प्रदर्शित करता है कि टारगेट-डिफाइनिंग मात्राओं (वेट्स) को प्रीकंप्यूट करने से एक स्टैटिक SFT प्रक्रिया प्राप्त होती है जो ऑनलाइन RLVR के सैद्धांतिक टारगेट से मेल खाती है और साथ ही काफी कम कम्प्यूटेशनल ओवरहेड की आवश्यकता होती है।

लेखक विनम्र रहते हुए नोट करते हैं कि उनके परिणाम सिंगल-रन प्रयोगों और विशिष्ट मॉडल साइज़ पर आधारित हैं। वे इस बात पर जोर देते हैं कि सिद्धांत यह पहचानता है कि स्टैटिक रिप्लेसमेंट कब वैध है (कवर्ड रेजीम) और यह क्यों विफल होता है (सपोर्ट गैप), न कि सभी ऑनलाइन विधियों पर सार्वभौमिक श्रेष्ठता का दावा करता है। यह कार्य KL-रेगुलराइज्ड RL और स्टैटिक, वेटेड सुपरवाइज्ड लर्निंग के व्यावहारिक कार्यान्वयन के बीच एक सैद्धांतिक सेतु के रूप में कार्य करता है।