🤖 machine learning

Self-Distilled RLVR

यह शोध पत्र RLSD को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण प्रतिमान (paradigm) है जो 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) के स्थिर, दिशा-प्रदान करने वाले संकेतों को 'ऑन-पॉलिसी सेल्फ-डिस्टिलेशन' के सूक्ष्म परिमाण समायोजनों (fine-grained magnitude adjustments) के साथ जोड़ता है, जिससे शुद्ध सेल्फ-डिस्टिलेशन दृष्टिकोणों में पाई जाने वाली सूचना रिसाव (information leakage) और अस्थिरता की समस्याओं को दूर करते हुए बेहतर अभिसरण (convergence) और प्रशिक्षण स्थिरता प्राप्त की जा सकती है।

मूल लेखक: Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

प्रकाशित 2026-04-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक छात्र को सोचना सिखाना

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (एक AI मॉडल) को जटिल गणित की समस्याएं हल करने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वे तर्क करना सीखें, न कि केवल उत्तरों को रटना।

हाल ही में लोगों ने इस छात्र को सिखाने के दो मुख्य तरीके आजमाए हैं:

"सही/गलत" कोच (RLVR):
- यह कैसे काम करता है: छात्र एक समस्या को हल करने की कोशिश करता है। बिल्कुल अंत में, आप उसे बताते हैं, "सही!" या "गलत।"
- समस्या: यह एक ऐसे कोच की तरह है जो पूरा खेल खत्म होने के बाद ही चिल्लाता है, "अच्छा काम किया!" या "बुरा काम किया!" छात्र को यह पता नहीं चलता कि कौन सा विशिष्ट कदम जीनियस वाला था या कौन सा कदम गलती वाला था। उन्हें एक अस्पष्ट संकेत मिलता है और उन्हें अनुमान लगाना पड़ता है कि सुधार कहाँ करना है।
"परफेक्ट आंसर" ट्यूटर (On-Policy Self-Distillation / OPSD):
- यह कैसे काम करता है: छात्र एक समस्या को हल करने की कोशिश करता है। इसी बीच, उसी छात्र का एक "टीचर" वर्जन (जिसके पास गुप्त उत्तर कुंजी तक पहुंच है) देखता है और कहता है, "इस विशिष्ट शब्द के लिए, तुम्हें यह कहना चाहिए था।"
- समस्या: ट्यूटर के पास एक चीट शीट (उत्तर कुंजी) है जिसे छात्र के पास नहीं है। यदि छात्र ट्यूटर के सटीक शब्दों की नकल करने की बहुत अधिक कोशिश करता है, तो वे चीट शीट को रटने लगते हैं बजाय इसके कि वे सोचना सीखें। जब वे बिना चीट शीट के वास्तविक परीक्षा देते हैं, तो वे भ्रमित हो जाते हैं क्योंकि उन्हें उस जानकारी पर निर्भर रहने के लिए प्रशिक्षित किया गया था जो वास्तव में उनके पास नहीं है।

खोज: "ट्यूटर" तरीका क्यों विफल होता है

इस पेपर के लेखकों ने "ट्यूटर" तरीके में एक छिपे हुए जाल की खोज की।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। शिक्षक छात्र के लिखते समय उसके कान में उत्तर फुसफुसाता है। छात्र उत्तर को पूरी तरह से लिख देता है।
जाल: समय के साथ, छात्र समस्या को कैसे हल करना है, यह सीखना बंद कर देता है। इसके बजाय, वे एक गुप्त कोड सीख जाते हैं: "जब मैं प्रश्न X देखूंगा, तो मुझे उत्तर Y लिखना होगा क्योंकि शिक्षक ने मुझे ऐसा करने को कहा था।"
परिणाम: जब शिक्षक फुसफुसाना बंद कर देता है (वास्तविक परीक्षा के दौरान), तो छात्र घबरा जाता है। वे अनुमान लगाने की कोशिश करते हैं कि शिक्षक क्या फुसफुसाता, जिससे मतिभ्रम (hallucinations) और प्रदर्शन में गिरावट आती है। पेपर इसे "Privileged Information Leakage" (विशेषाधिकार प्राप्त सूचना का रिसाव) कहता है। छात्र वह जानकारी लीक कर रहा है जो उसके पास नहीं होनी चाहिए।

समाधान: RLSD (द "स्मार्ट स्कोरकार्ड" मेथड)

लेखकों ने एक नया तरीका प्रस्तावित किया है जिसे RLSD (Reinforcement Learning with Self-Distillation) कहा जाता है। उन्होंने महसूस किया कि उन्हें ट्यूटर को फेंकने की जरूरत नहीं थी; उन्हें बस ट्यूटर के बोलने के तरीके को बदलने की जरूरत थी।

यह बताने के बजाय कि छात्र को क्या कहना चाहिए (विशिष्ट शब्द), ट्यूटर केवल छात्र को यह बताता है कि प्रत्येक शब्द कितना महत्वपूर्ण था।

यह कैसे काम करता है, चरण-दर-चरण:

1. दिशा कोच (पर्यावरण) से आती है

नियम: अंतिम निर्णय कि पूरा उत्तर "अच्छा" है या "बुरा", पूरी तरह से पर्यावरण (गणित की समस्या का सही उत्तर) से आता है।
उपमा: कोच अभी भी खेल के अंत में सीटी बजाता है। यदि टीम जीतती है, तो सभी को "अच्छा काम किया" मिलता है। यदि वे हारते हैं, तो सभी को "कड़ी मेहनत करो" मिलता है। यह सुनिश्चित करता है कि छात्र कभी गलत दिशा न सीखे।

2. परिमाण (Magnitude) ट्यूटर से आता है (Self-Distillation)

नियम: ट्यूटर (जो गुप्त उत्तर देख सकता है) छात्र के काम को देखता है और हर एक शब्द को एक "क्रेडिट स्कोर" देता है।
उपमा:
- परिदृश्य A (सही रास्ता): छात्र गणित की समस्या हल कर रहा है। वे लिखते हैं "2 + 2 = 4"। ट्यूटर देखता है कि यह सही उत्तर की ओर एक महत्वपूर्ण कदम है और कहता है, "बहुत बढ़िया! इस शब्द को एक बड़ा बोनस मिलता है!"
- परिदृश्य B (गलत रास्ता): छात्र लिखता है "2 + 2 = 5"। ट्यूटर देखता है कि यह एक घातक त्रुटि है और कहता है, "इस शब्द को एक बड़ी पेनल्टी मिलती है!"
- परिदृश्य C (फालतू बातें): छात्र लिखता है "आइए इस बारे में सोचते हैं..." ट्यूटर कहता है, "यह ठीक है, लेकिन बहुत महत्वपूर्ण नहीं है। बस एक छोटा बोनस।"

3. जादू का तरीका: दिशा और परिमाण को अलग करना (Decoupling Direction and Magnitude)

यही मुख्य नवाचार है।

पुराना तरीका (OPSD): ट्यूटर कहता था, "यह शब्द बोलो।" (इससे छात्र को चीट शीट कॉपी करने के लिए मजबूर किया जाता था)।
नया तरीका (RLSD): कोच कहता है, "तुम जीत गए!" (दिशा)। ट्यूटर कहता है, "तुमने स्टेप 3 पर बहुत अच्छा काम किया, लेकिन स्टेप 5 कमजोर था" (परिमाण)।

छात्र सीखता है: "मुझे वे चीजें करते रहना है जो जीत की ओर ले जाती हैं, और मुझे उन विशिष्ट चरणों पर अतिरिक्त ध्यान देना चाहिए जिन्हें ट्यूटर महत्वपूर्ण समझता है।"

यह गेम चेंजर क्यों है

कोई धोखाधड़ी नहीं: क्योंकि ट्यूटर छात्र को कभी यह नहीं बताता कि क्या कहना है, बल्कि केवल यह बताता है कि उन्हें कितना ध्यान देना है, इसलिए छात्र गुप्त उत्तर लीक नहीं कर सकता। वे तर्क सीखते हैं, चीट शीट नहीं।
सुपर फास्ट लर्निंग: छात्र को हर एक शब्द पर विस्तृत फीडबैक मिलता है (जैसे GPS द्वारा टर्न-बाय-टर्न निर्देश देना) बजाय केवल अंतिम स्कोर के। यह उन्हें बहुत तेजी से सीखने में मदद करता है।
स्थिरता (Stability): छात्र बाद में क्रैश नहीं होता (जैसा कि पुराने ट्यूटर तरीके में होता था) क्योंकि वे हमेशा कोच से मिलने वाले वास्तविक "सही/गलत" संकेत से जुड़े रहते हैं।

सारांश उपमा: वीडियो गेम वॉकथ्रू

RLVR (पुराना तरीका): आप एक वीडियो गेम खेलते हैं। आप मर जाते हैं। गेम कहता है "Game Over"। आप फिर से प्रयास करते हैं। आपको पता ही नहीं चलता कि किस दुश्मन ने आपको मारा।
OPSD (टूटा हुआ ट्यूटर): आप गेम खेलते हैं। आपका एक "God Mode" वर्जन (जो भविष्य देख सकता है) फुसफुसाता है, "यहाँ कूदो! वहाँ मत गोली चलाओ!" आप फुसफुसाहट को याद कर लेते हैं। लेकिन जब आप बिना फुसफुसाहट के खेलते हैं, तो आप विफल हो जाते हैं क्योंकि आपने गेम के मैकेनिक्स नहीं सीखे, आपने केवल स्क्रिप्ट को रटा था।
RLSD (नया तरीका): आप गेम खेलते हैं। गेम कहता है "Game Over" (कोच)। लेकिन एक रीप्ले एक हीट मैप दिखाता है: "आप इसलिए मरे क्योंकि आपने इस जंप को मिस किया (लाल क्षेत्र)। आप इसलिए बचे क्योंकि आपने इस लेजर से खुद को बचाया (हरा क्षेत्र)।" आप बेहतर कूदना और बचना सीखते हैं, बिना किसी स्क्रिप्ट की आवश्यकता के।

संक्षेप में: RLSD एक स्मार्ट टीचर और एक स्पष्ट स्कोरबोर्ड के बेहतरीन हिस्सों को जोड़ता है, और उस खामी को ठीक करता है जहाँ छात्र ट्यूटर के रहस्यों को रटकर नकल करने लगते हैं। परिणाम एक ऐसा AI है जो तेजी से, स्थिरता से और बिना भ्रमित हुए तर्क करना सीखता है।

यहाँ पेपर "Self-Distilled RLVR" (RLSD) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर On-Policy Self-Distillation (OPSD) में एक महत्वपूर्ण अस्थिरता को संबोधित करता है, जो लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक लोकप्रिय प्रशिक्षण प्रतिमान (training paradigm) है।

संदर्भ: OPSD में, एक ही मॉडल छात्र (student) और शिक्षक (teacher) दोनों के रूप में कार्य करता है। "शिक्षक" संस्करण विशेषाधिकार प्राप्त जानकारी ( $r$ ) पर आधारित होता है, जैसे कि एक सत्यापित रीजनिंग ट्रेस या सही उत्तर, जबकि "छात्र" केवल इनपुट क्वेरी ( $x$ ) को देखता है। लक्ष्य छात्र के सीखने के मार्गदर्शन के लिए शिक्षक के सघन (dense), टोकन-स्तरीय संकेतों का उपयोग करना है।
विफलता का स्वरूप (The Failure Mode): शुरुआती प्रदर्शन लाभों के बावजूद, OPSD गंभीर विशेषाधिकार प्राप्त सूचना रिसाव (privileged information leakage) और प्रशिक्षण अस्थिरता से ग्रस्त है। मॉडल इनपुट ( $x$ ) और विशेषाधिकार प्राप्त जानकारी ( $r$ ) के बीच सहसंबंधों (correlations) को अपने मापदंडों (parameters) में एनकोड करके अप्रत्यक्ष रूप से "चीटिंग" करने के लिए सीख जाता है। इन्फरेंस (inference) के दौरान (जहाँ $r$ उपलब्ध नहीं है), मॉडल इन अदृश्य संदर्भों का स्पष्ट रूप से उल्लेख करता है, जिससे प्रदर्शन में तेजी से उछाल आता है और फिर व्यवस्थित गिरावट आती है।
मूल कारण: लेखक तर्क देते हैं कि सूचना विषमता (information asymmetry) के तहत OPSD में मानक डिस्ट्रीब्यूशन मैचिंग (distribution matching) अस्पष्ट (ill-posed) है। छात्र को एक सशर्त वितरण $P(y|x, r)$ से मेल खाने के लिए मजबूर किया जाता है जो $r$ पर निर्भर है, जिसे वह देख नहीं सकता। यह एक अपरिहार्य म्यूचुअल इंफॉर्मेशन गैप (mutual information gap) बनाता है जो मॉडल को वास्तविक रीजनिंग के बजाय स्प्यूरियस (spurious) $x \to r$ सहसंबंधों को सीखने के लिए प्रेरित करता है।

2. कार्यप्रणाली: RLSD (RLVR के साथ Self-Distillation)

लेखक RLSD प्रस्तावित करते हैं, जो एक नया प्रशिक्षण प्रतिमान है जो Reinforcement Learning with Verifiable Rewards (RLVR) और Self-Distillation दोनों की शक्तियों का लाभ उठाते हुए, अपडेट की दिशा (direction) को अपडेट के परिमाण (magnitude) से अलग करता है।

मुख्य अवधारणा (Core Concept)

डिस्ट्रीब्यूशन मैचिंग (जो रिसाव का कारण बनता है) के लिए शिक्षक को एक जेनेरेटिव टारगेट के रूप में उपयोग करने के बजाय, RLSD शिक्षक को पॉलिसी ग्रेडिएंट फ्रेमवर्क के भीतर एक टोकन-स्तरीय क्रेडिट इवैल्यूएटर (token-level credit evaluator) के रूप में पुन: उपयोग करता है।

एल्गोरिदम के चरण (Algorithmic Steps)

अनुक्रम-स्तरीय दिशा (Sequence-Level Direction - RLVR):
- मॉडल एक ट्राजेक्टरी $y$ उत्पन्न करता है।
- एक वेरीफायर एक बाइनरी रिवॉर्ड $R(x, y)$ (0 या 1) प्रदान करता है।
- एक अनुक्रम-स्तरीय एडवांटेज $A$ की गणना की जाती है (जैसे, Group Relative Policy Optimization, GRPO के माध्यम से)। यह अपडेट की दिशा निर्धारित करता है: सही ट्राजेक्टरी के लिए सकारात्मक, और गलत ट्राजेक्टरी के लिए नकारात्मक। यह अनुकूलन को वातावरण (environment) से जोड़कर विश्वसनीयता सुनिश्चित करता है।
टोकन-स्तरीय परिमाण (Token-Level Magnitude - Self-Distillation):
- मॉडल प्रत्येक टोकन $y_t$ के लिए विशेषाधिकार प्राप्त सूचना लाभ ( $\Delta_t$ ) की गणना करता है:
  $\Delta_t = \text{sg}(\log P_T(y_t | x, r) - \log P_S(y_t | x))$
  जहाँ $P_T$ शिक्षक है (जो $r$ पर आधारित है) और $P_S$ छात्र है (जो केवल $x$ पर आधारित है)। स्टॉप-ग्रेडिएंट ( $\text{sg}$ ) यह सुनिश्चित करता है कि $\Delta_t$ एक स्थिर भार (static weight) है।
- यह लाभ यह दर्शाता है कि विशेषाधिकार प्राप्त जानकारी टोकन के बारे में मॉडल के विश्वास को कितना संशोधित करती है।
- एक टोकन-स्तरीय भार $w_t$ का निर्माण किया जाता है:
  $w_t = \exp(\text{sign}(A) \cdot \Delta_t) = \left( \frac{P_T(y_t)}{P_S(y_t)} \right)^{\text{sign}(A)}$
- व्याख्या:
  - यदि ट्राजेक्टरी सही है ( $A > 0$ ), तो वे टोकन जो विशेषाधिकार प्राप्त जानकारी द्वारा समर्थित हैं ( $P_T > P_S$ ), उच्च सकारात्मक क्रेडिट प्राप्त करते हैं।
  - यदि ट्राजेक्टरी गलत है ( $A < 0$ ), तो वे टोकन जिन्हें विशेषाधिकार प्राप्त जानकारी द्वारा प्रतिकूल माना जाता है ( $P_T < P_S$ ), उच्च नकारात्मक क्रेडिट (दोष/blame) प्राप्त करते हैं।
क्लिप्ड क्रेडिट असाइनमेंट (Clipped Credit Assignment):
- अंतिम टोकन-स्तरीय एडवांटेज $\hat{A}_t = A \cdot \text{clip}(w_t, 1-\epsilon, 1+\epsilon)$ है।
- इसका उपयोग पॉलिसी को अपडेट करने के लिए किया जाता है, जो मानक GRPO में उपयोग किए जाने वाले यूनिफॉर्म एडवांटेज को प्रतिस्थापित करता है।

प्रमुख डिज़ाइन सिद्धांत (Key Design Principles)

दिशा एंकरिंग (Direction Anchoring): अपडेट की दिशा सख्ती से पर्यावरण रिवॉर्ड ( $A$ ) द्वारा निर्धारित होती है, जिससे यह सुनिश्चित होता है कि विशेषाधिकार प्राप्त जानकारी ग्रेडिएंट के चिह्न (sign) को न बदले।
परिमाण मॉड्यूलेशन (Magnitude Modulation): विशेषाधिकार प्राप्त जानकारी केवल विशिष्ट टोकनों के अपडेट की तीव्रता को स्केल करती है, जिससे मौलिक शिक्षण उद्देश्य को बदले बिना सूक्ष्म भेदभाव (fine-grained discrimination) संभव होता है।
कोई सहायक लॉस नहीं (No Auxiliary Loss): RLSD के लिए किसी बाहरी शिक्षक मॉडल या सहायक लॉस फंक्शन की आवश्यकता नहीं है; इसे केवल शिक्षक लॉजिट्स (logits) की गणना के लिए एक अतिरिक्त फॉरवर्ड पास की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

OPSD का सैद्धांतिक निदान (Theoretical Diagnosis of OPSD):
- सिद्ध किया कि OPSD के उद्देश्य में सूचना विषमता ( $I(Y_t; R | X, Y_{<t}) > 0$ ) के कारण एक अपरिहार्य म्यूचुअल इंफॉर्मेशन गैप मौजूद है।
- प्रदर्शित किया कि यह गैप ग्रेडिएंट में एक पाथ-डिपेंडेंट डेविएशन टर्म (path-dependent deviation term) पैदा करता है जो मॉडल को $x \to r$ सहसंबंधों को एनकोड करने के लिए प्रेरित करता है, जिससे रिसाव और प्रदर्शन पतन (performance collapse) होता है।
- साझा-पैरामीटर सेल्फ-डिस्टिलेशन के लिए एक इम्पॉसिबिलिटी ट्राइलेमा (Impossibility Trilemma) स्थापित किया: डिस्ट्रीब्यूशन मैचिंग के तहत कोई भी मॉडल एक साथ ऑब्जेक्टिव स्थिरता, निरंतर सुधार और रिसाव-मुक्त प्रशिक्षण प्राप्त नहीं कर सकता।
RLSD का प्रस्ताव:
- एक ऐसा प्रतिमान पेश किया जो RLVR और Self-Distillation को एकीकृत करता है, जिसमें शिक्षक का उपयोग केवल क्रेडिट असाइनमेंट परिमाण के लिए किया जाता है, न कि डिस्ट्रीब्यूशन मैचिंग के लिए।
- औपचारिक रूप से सिद्ध किया कि RLSD संरचनात्मक रूप से विशेषाधिकार प्राप्त सूचना रिसाव से सुरक्षित है क्योंकि ग्रेडिएंट की दिशा विशेषाधिकार प्राप्त सिग्नल से अलग (decoupled) है।
प्रायोगिक सत्यापन (Empirical Validation):
- दिखाया कि RLSD, GRPO और OPSD की तुलना में उच्च अभिसरण सीमा (convergence ceiling) और बेहतर स्थिरता प्राप्त करता है।
- जटिल मल्टीमॉडल रीजनिंग कार्यों पर बेसलाइन से बेहतर प्रदर्शन किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच मल्टीमॉडल रीजनिंग बेंचमार्क (MMMU, MathVista, MathVision, ZeroBench, WeMath) पर Qwen3-VL-8B-Instruct पर RLSD का मूल्यांकन किया।

प्रदर्शन (Performance): RLSD ने उच्चतम औसत सटीकता (56.18%) प्राप्त की, जो बेस LLM से 4.69% और मानक GRPO से 2.32% अधिक है।
अभिसरण गति (Convergence Speed): RLSD ने केवल 200 स्टेप्स में ही दोगुने स्टेप्स तक प्रशिक्षित GRPO को पीछे छोड़ दिया, जो तेज़ अभिसरण को दर्शाता है।
स्थिरता (Stability): OPSD के विपरीत, जो जल्दी चरम पर पहुँचकर गिर जाता है, RLSD ने स्थिर प्रशिक्षण गति बनाए रखी और "परफॉर्मेंस कोलैप्स" चरण से बचा।
क्रेडिट असाइनमेंट विश्लेषण (Credit Assignment Analysis): हीटमैप्स ने पुष्टि की कि RLSD ने निर्णायक रीजनिंग स्टेप्स (जैसे गणना के चरण) को उच्च क्रेडिट और त्रुटियों (जैसे ग्राफ को गलत पढ़ना) को उच्च दोष (blame) सही ढंग से सौंपा, जबकि GRPO ने यूनिफॉर्म क्रेडिट लागू किया और OPSD ने रिसाव के संकेत दिखाए।

5. महत्व (Significance)

लीकेज की समस्या का समाधान: यह पेपर सेल्फ-डिस्टिलेशन की लंबे समय से चली आ रही सूचना रिसाव की समस्या का एक कठोर सैद्धांतिक और व्यावहारिक समाधान प्रदान करता है, जिससे इन्फरेंस अखंडता से समझौता किए बिना प्रशिक्षण के दौरान विशेषाधिकार प्राप्त जानकारी (जैसे संदर्भ उत्तर) का सुरक्षित उपयोग संभव होता है।
दक्षता (Efficiency): RLSD एक "ड्रॉप-इन" रिप्लेसमेंट के रूप में कार्य करता है जिसके लिए किसी बाहरी शिक्षक मॉडल की आवश्यकता नहीं है, जो टोकन-स्तरीय पर्यवेक्षण (supervision) प्रदान करते हुए कम्प्यूटेशनल ओवरहेड को काफी कम करता है।
प्रतिमान परिवर्तन (Paradigm Shift): यह इस प्रचलित धारणा को चुनौती देता है कि सेल्फ-डिस्टिलेशन को डिस्ट्रीब्यूशन मैचिंग पर निर्भर होना चाहिए। शिक्षक की भूमिका को जेनेरेटिव टारगेट के बजाय मैग्निट्यूड मॉड्यूलेटर के रूप में बदलकर, लेखक स्थिर, उच्च-प्रदर्शन वाली रीजनिंग मॉडल ट्रेनिंग का एक नया मार्ग खोलते हैं।
सामान्यीकरण (Generalizability): हालांकि इसे मल्टीमॉडल रीजनिंग पर सत्यापित किया गया है, यह ढांचा किसी भी RLVR सेटिंग के लिए लागू है जहाँ सत्यापन योग्य परिणाम मौजूद हैं, जो स्पार्स-रिवॉर्ड RL और अस्थिर सेल्फ-डिस्टिलेशन के लिए एक मजबूत विकल्प प्रदान करता है।