💬 NLP

Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning

यह शोधपत्र टेम्परेचर-स्केल्ड ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (TS-OPSD) का प्रस्ताव करता है, जो एक हल्का तरीका है जो एंट्रॉपी कोलैप्स के बाद बड़े भाषा मॉडलों में एंट्रॉपी को पुनः प्राप्त करने और तर्क क्षमता में सुधार करने के लिए मॉडल मापदंडों में एक्सप्लोरेटरी टेम्परेचर प्रभावों को आंतरिक रूप से समाहित करता है, जिसके लिए किसी बाहरी शिक्षक या अतिरिक्त इन्फरेंस लागत की आवश्यकता नहीं होती है।

मूल लेखक: Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

समस्या: "अति-आत्मविश्वासी" छात्र

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक AI मॉडल) को जटिल गणित की समस्याएँ हल करने के लिए प्रशिक्षित कर रहे हैं। आप रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक विधि का उपयोग करते हैं, जहाँ छात्र को सही उत्तर के लिए "गोल्ड स्टार" मिलता है और गलत उत्तर के लिए "थम्ब्स डाउन" मिलता है।

शुरुआत में, छात्र बहुत अच्छा प्रदर्शन करता है। वे अपनी गलतियों से सीखते हुए कई अलग-अलग तरीकों को आज़माते हैं। लेकिन कुछ समय बाद, कुछ अजीब होता है: छात्र बहुत अधिक आत्मविश्वासी हो जाता है। वे नए दृष्टिकोण आज़माना बंद कर देते हैं और केवल उसी एक समाधान को दोहराते हैं जिसे वे एकदम सही मानते हैं।

शोध पत्र में, इसे एंट्रॉपी कोलैप्स (Entropy Collapse) कहा गया है।

उपमा: छात्र के दिमाग को एक लाइब्रेरी की तरह समझें। शुरुआत में, वे कई अलग-अलग गलियारों में घूमते हैं (कई विचारों की खोज करते हैं)। लेकिन जैसे-जैसे वे "प्रशिक्षित" होते हैं, वे अलमारियों को देखना बंद कर देते हैं और केवल एक ही किताब को घूरते रहते हैं जिसे वे उत्तर मानते हैं। वे खोज करना बंद कर देते हैं।
परिणाम: क्योंकि वे नई चीज़ें आज़माना बंद कर देते हैं, इसलिए वे सीखना भी बंद कर देते हैं। यदि वे किसी कठिन समस्या में फंस जाते हैं, तो वे एक नया रास्ता नहीं खोज पाते क्योंकि वे खोज करने का तरीका भूल चुके होते हैं। वे एक सीमा पर पहुँच जाते हैं और उससे बेहतर नहीं हो पाते।

पुराने समाधान: "नकली" अन्वेषण (Exploration)

वैज्ञानिकों ने इस समस्या को ठीक करने के लिए छात्र को यह बताने की कोशिश की, "हे, थोड़ा अधिक रैंडम (अनिश्चित) होने की कोशिश करो!"

विधि 1: उन्होंने ग्रेडिंग सिस्टम में एक नियम जोड़ा ताकि छात्र को कम आत्मविश्वासी होने के लिए मजबूर किया जा सके।
विधि 2: उन्होंने छात्र से कहा, "जब आप कोई उत्तर चुनें, तो एक सिक्का उछालें ताकि वह थोड़ा अधिक रैंडम हो जाए।"

दोष: ये एक छात्र के चश्मे पर "रैंडमनेस फ़िल्टर" लगाने जैसा है। छात्र ऐसा दिखता है जैसे वह खोज कर रहा है, लेकिन गहराई में, उसका दिमाग (मॉडल के आंतरिक वेट्स) अभी भी कठोर और अटका हुआ है। यह एक अस्थायी ट्रिक है, उनके सोचने के तरीके में वास्तविक बदलाव नहीं।

नया समाधान: "पॉलिसी रीहीटिंग" (TS-OPSD)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे TS-OPSD कहा जाता है। केवल छात्र को रैंडम व्यवहार करने के लिए कहने के बजाय, वे वास्तव में छात्र के दिमाग की वायरिंग को फिर से व्यवस्थित करते हैं ताकि वह स्वाभाविक रूप से अधिक खुले विचारों वाला बन सके।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

"स्व-शिक्षक" (Self-Teacher) वाली ट्रिक:
कल्पive कि छात्र अपने कठोर सोचने के तरीके में फंसा हुआ है। शोधकर्ता छात्र से अपने ही विचारों को देखने के लिए कहते हैं, लेकिन एक "धुंधले लेंस" (हाई टेम्परेचर) के माध्यम से।

उपमा: यदि छात्र सोचता है, "उत्तर निश्चित रूप से 42 है," तो धुंधला लेंस उसे यह सोचने पर मजबूर करता है, "खैर, 42 की संभावना है, लेकिन शायद 41 या 43 भी संभव हो सकते हैं।"
महत्वपूर्ण बात यह है कि छात्र को किसी नए शिक्षक की आवश्यकता नहीं है। वे इस धुंधले लेंस के माध्यम से अपने ही विचारों को देखकर खुद को ही सिखा रहे हैं।

"रीहीटिंग" (Reheating) की प्रक्रिया:
छात्र फिर अपने सामान्य, कठोर मस्तिष्क को अपने ही इस "धुंधले" और खुले विचारों वाले संस्करण के साथ मिलाने की कोशिश करता है।

उपमा: यह सख्त मिट्टी के टुकड़े को फिर से गर्म करने जैसा है। आप मिट्टी को केवल यह नहीं बताते कि वह नरम हो जाए; आप वास्तव में उसे गर्म करते हैं ताकि वह फिर से लचीली हो जाए। अब "लचीलापन" (exploration) मिट्टी के भीतर ही समाहित है, न कि यह केवल एक अस्थायी ट्रिक है।

परिणाम:
एक बार जब छात्र का मस्तिष्क "रीहीट" हो जाता है, तो वे अपने प्रशिक्षण पर वापस जाते हैं। क्योंकि उनका मस्तिष्क अब स्वाभाविक रूप से अधिक लचीला है, वे बाहरी नियमों या रैंडम नंबर जनरेटरों की आवश्यकता के बिना फिर से नए रास्तों की खोज कर सकते हैं।

यह बेहतर क्यों है?

शोध पत्र दिखाता है कि यह "रीहीटिंग" दो मुख्य कारणों से पुराने तरीकों से बेहतर काम करती है:

यह स्थायी है: लचीलापन अब मॉडल के डीएनए (पैरामीटर्स) का हिस्सा है, न कि केवल एक सेटिंग जिसे आप चालू या बंद करते हैं।
यह भूलता नहीं है: जब वे मॉडल को "रीहीट" करते हैं, तो वे पहले से सीखी गई गणितीय दक्षता को नहीं खोते हैं।
- उपमा: कल्पना कीजिए कि एक शेफ अपनी रचनात्मकता भूल गया है। पुराने तरीके उसे बस "अधिक अनुमान लगाने" के लिए कहते थे। नया तरीका उसकी रचनात्मकता को धीरे से गर्म करता है बिना उसे प्याज काटने या पानी उबालने का तरीका भुलाए। वह अभी भी एक महान शेफ है, लेकिन अब वह फिर से नए व्यंजन बना सकता है।

"एंट्रॉपी जंप" का आश्चर्य

शोधकर्ताओं ने रीहीटिंग के दौरान कुछ दिलचस्प होते देखा।

पहले, मॉडल थोड़ा अधिक लचीला होता है।
फिर, अचानक, एक "जंप" (छलांग) आता है।
उपमा: यह एक बांध की तरह है जो पानी को रोके हुए है। पानी का दबाव धीरे-धीरे बढ़ता है (मॉडल थोड़ा अधिक खुला होता है), और फिर अचानक, पानी दरार से बाहर निकल आता है। मॉडल अचानक उन पूरी तरह से नए, पहले अनदेखे रास्तों की खोज करने लगता है।
अच्छी खबर: भले ही वे जंगली नए रास्तों की खोज शुरू कर देते हैं, लेकिन वे गलत गलतियाँ नहीं करते हैं। वे बस उन बेहतर समाधानों को ढूंढ लेते हैं जिन्हें वे पहले छोड़ चुके थे।

सारांश

यह शोध पत्र उन AI मॉडलों को ठीक करने का एक तरीका पेश करता है जो "फंस" गए हैं और बहुत अधिक आत्मविश्वासी हो गए हैं। उन्हें रैंडम होने के लिए मजबूर करने के बजाय, शोधकर्ता एक स्व-शिक्षण ट्रिक का उपयोग करते हैं ताकि लचीलेपन को सीधे मॉडल के मस्तिष्क में समाहित (bake) किया जा सके। यह AI को लंबे समय तक सीखने और कठिन गणितीय समस्याओं को हल करने में सक्षम बनाता है, जब तक कि वह सामान्यतः हार मान लेता।

मुख्य निष्कर्ष: एक कठोर AI को केवल "रैंडम होने" के लिए न कहें। उसे फिर से लचीला बनना सिखाएं, ताकि वह अपने आप सीखना जारी रख सके।

तकनीकी सारांश: टेम्परेचर-स्केल्ड ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (TS-OPSD)

1. समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स से सुदृढ़ीकरण शिक्षण (Reinforcement Learning from Verifiable Rewards - RLVR) ने बड़े भाषा मॉडलों (LLMs) की तर्क करने की क्षमताओं को, विशेष रूप से गणितीय और तार्किक क्षेत्रों में, महत्वपूर्ण रूप से बढ़ाया है। हालाँकि, यह प्रगति एक महत्वपूर्ण बाधा का सामना करती है जिसे एन्ट्रॉपी कोलैप्स (entropy collapse) कहा जाता है। जैसे-जैसे पॉलिसी ऑप्टिमाइज़ेशन आगे बढ़ता है, मॉडल का आउटपुट डिस्ट्रीब्यूशन तेजी से संकेंद्रित (शार्प) होता जाता है, जिससे निम्नलिखित स्थितियाँ उत्पन्न होती हैं:

कम रोलआउट विविधता (Reduced Rollout Diversity): मॉडल दोहराव वाले ट्रेजेक्टरीज (trajectories) उत्पन्न करता है, जिससे समाधान स्थान (solution space) की खोज सीमित हो जाती है।
घटते लर्निंग सिग्नल्स (Diminished Learning Signals): प्रभावी ग्रेडिएंट सूचना महत्वपूर्ण रीजनिंग ब्रांच पॉइंट्स पर उच्च-एन्ट्रॉपी टोकन के एक छोटे अंश पर केंद्रित हो जाती है। एक बार जब पॉलिसी कोलैप्स हो जाती है, तो ये सिग्नल लुप्त हो जाते हैं, जिससे सुधार रुक जाता है।

मौजूदा उपचार इसे या तो एन्ट्रॉपी रेगुलराइजेशन या एडेप्टिव क्लिपिंग का उपयोग करके संशोधित करने का प्रयास करते हैं। ये विधियाँ बाहरी बाधाएं लगाती हैं जो रिवॉर्ड मैक्सिमाइजेशन के विरुद्ध ट्रेड-ऑफ कर सकती हैं।
दूसद, रोलआउट संग्रह के दौरान सैंपलिंग टेम्परेचर को बढ़ाना। जबकि यह व्यवहार नीति (behavior policy) को बदल देता है, यह मॉडल के अंतर्निहित पैरामीटराइज्ड डिस्ट्रीब्यूशन को नहीं बदलता है, जिससे व्यवहार नीति और अनुकूलित नीति के बीच विसंगति पैदा होती है।

ये दृष्टिकोण मॉडल पैरामीटर्स के लिए बाहरी (external) बने रहते हैं। शोध पत्र का तर्क है कि टेम्परेचर का खोजात्मक प्रभाव (exploratory effect) सीधे मॉडल वेट्स में आंतरिक (internalized) किया जाना चाहिए ताकि निरंतर RL के लिए बेहतर इनिशियलाइजेशन प्रदान किया जा सके।

2. कार्यप्रणाली: TS-OPSD

लेखक टेम्परेचर-स्केल्ड ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (TS-OPSD) का प्रस्ताव करते हैं, जो एक हल्का "पॉलिसी रीहीटिंग" (policy reheating) तरीका है जिसे बिना किसी बाहरी टीचर, विशेषाधिकार प्राप्त डेटा, या अतिरिक्त अनुमान लागत के एन्ट्रॉपी बहाल करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र (Core Mechanism)

TS-OPSD, RL चरणों के बीच एक हस्तक्षेप के रूप में कार्य करता है। एन्ट्रॉपी-कोलैप्स्ड चेकपॉइंट ( $\theta_{RL-collapse}$ ) से शुरू होकर, यह विधि एक सेल्फ-टीचर का निर्माण करती है और छात्र मॉडल ( $\theta_{reheat}$ ) में एक स्मूथ डिस्ट्रीब्यूशन को वापस डिस्टिल करती है।

सेल्फ-टीचर निर्माण: छात्र के वर्तमान लॉजिट्स $z_\theta$ को देखते हुए, एक हाई-टेम्परेचर सॉफ्टमैक्स ट्रांसफॉर्मेशन ( $T > 1$ ) लागू करके एक सेल्फ-टीचर डिस्ट्रीब्यूशन $p_T$ बनाया जाता है। महत्वपूर्ण बात यह है कि टीचर लॉजिट्स 'स्टॉप-ग्रेडिएंट' हैं, और किसी बाहरी मॉडल का उपयोग नहीं किया गया है।
$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$
ऑन-पॉलिसी डिस्टिलेशन: छात्र को अपने स्वयं के $q_\theta$ से लिए गए ऑन-पॉलिसी रोलआउट का उपयोग करके, अपने वर्तमान डिस्ट्रीब्यूशन $q_\theta$ और हाई-टेम्परेचर सेल्फ-टीचर $p_T$ के बीच क्लालबैक-लीब्लर (KL) डाइवर्जेंस को कम करने के लिए प्रशिक्षित किया जाता है।
$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(Forward KL)}$
$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(Reverse KL)}$

संरचनात्मक गुण (Structural Properties)

रैंक संरक्षण (Rank Preservation): चूंकि $p_T$ , $q_\theta$ का एक मोनोटोन पावर ट्रांसफॉर्म है ( $p_T(v) \propto q_\theta(v)^{1/T}$ ), इसलिए टोकन रैंकिंग संरक्षित रहती है। टीचर और स्टूडेंट एक ही लोकल सपोर्ट और सिमेंटिक प्रेफरेंस ऑर्डरिंग साझा करते हैं; केवल डिस्ट्रीबेशनल शार्पनेस अलग होती है।
आंतरीकरण (Internalization): मानक डिकोडिंग टेम्परेचर एडजस्टमेंट के विपरीत, TS-OPSD मॉडल वेट्स को अपडेट करता है ताकि स्मूथ, उच्च-एन्ट्रॉपी व्यवहार को स्थायी रूप से एनकोड किया जा सके। यह ट्रेन-इन्फरेंस मिसमैच को समाप्त करता है।
ग्रेडिएंट डायनेमिक्स (Gradient Dynamics):
- फॉरवर्ड KL (FKL): ग्रेडिएंट का रूप $q_\theta(v) - p_T(v)$ होता है। यह "स्ट्रक्चर्ड स्मूथिंग" करता है, जो मॉडल के अपने पूर्व निर्णयों के आधार पर दबाए गए विकल्पों को पुन: भारित (re-weighting) करता है।
- रिवर्स KL (RKL): सेल्फ-टेम्परेचर कपलिंग के तहत, RKL को कम करना स्थानीय रूप से छात्र की एन्ट्रॉपी को अधिकतम करने के बराबर है, जहाँ टेम्परेचर ग्रेडिएंट मैग्नीट्यूड पर केवल एक स्केलर मल्टीप्लायर के रूप में कार्य करता है।

3. प्रमुख योगदान

पॉलिसी रीहीटिंग फ्रेमवर्क: TS-OPSD पेश करता है, जो टेम्परेचर के खोजात्मक प्रभाव को मॉडल पैरामीटर्स में आंतरिक करने का एक तरीका है, जो एक पोस्ट-कोलैप्स इंटरवेंशन के रूप में कार्य करता है।
सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि सेल्फ-टेम्परेचर कपलिंग के तहत, टीचर-स्टूडेंट मिसमैच न्यूनतम होता है (रैंक-प्रिजर्विंग), और RKL सीधे एन्ट्रॉपी-मैक्सिमाइजिंग अपडेट में बदल जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह दिखाता है कि एक एन्ट्रॉपी-कोलैप्स्ड चेकपॉइंट को रीहीट करना, मानक निरंतर प्रशिक्षण या रोलआउट-लेवल टेम्परेचर एडजस्टमेंट की तुलना में निरंतर RL के लिए एक बेहतर इनिशियलाइजेशन प्रदान करता है।
डायनेमिक्स का विश्लेषण: "एन्ट्रॉपी जंप" घटना को लक्षणित करता है, जहाँ एन्ट्रॉपी रिकवरी दो चरणों में होती है (धीमी स्मूथिंग के बाद एक तीव्र विच्छिन्न जंप), और इन पैरामीटर अपडेट की प्रतिवर्तीता (reversibility) का विश्लेषण करता है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3-4B-Base और Qwen3-8B-Base पर DAPO-Math-17K डेटासेट का उपयोग करके किए गए और MATH-500, AIME24/25/26, और OlymMATH पर मूल्यांकित किए गए।

प्रदर्शन लाभ: TS-OPSD (विशेष रूप से Forward KL, PR-FKL) ने लगातार मानक DAPO बेसलाइन और रोलआउट रीहीटिंग (DAPO w/ RR) दोनों को पछाड़ दिया।
- Qwen3-8B-Base पर, PR-FKL ने Avg pass@8 का 54.74 प्राप्त किया, जबकि मानक DAPO के लिए यह 51.60 और रोलआउट रीहीटिंग के लिए 52.66 था।
- लाभ कठिन बेंचमार्क (AIME, OlymMATH) पर सबसे अधिक स्पष्ट थे।
एन्ट्रॉपी रिकवरी: रीहीटिंग के बाद, मॉडल उच्च-एन्ट्रॉपी इनिशियलाइजेशन से RL फिर से शुरू करते हैं और मानक DAPO की तुलना में उच्च अंतिम रिवॉर्ड प्राप्त करते हैं, जो दबा हुआ (suppressed) रहता है।
रोलआउट रीहीटिंग के साथ तुलना: हालांकि रोलआउट के दौरान सैंपलिंग टेम्परेचर बढ़ाने (RR) ने गैर-मामूली लाभ प्रदान किया, लेकिन पॉलिसी रीहीटिंग (PR) ने बेहतर परिणाम दिए। यह सुझाव देता है कि लाभ केवल शोर भरे सैंपलिंग से नहीं, बल्कि स्वयं स्मूथर पॉलिसी डिस्ट्रीब्यूशन से आता है जो अनुकूलन के लिए एक बेहतर आधार के रूप में कार्य करता है।
क्षमताओं का संरक्षण: विश्लेषणों ने दिखाया कि TS-OPSD सपोर्ट-प्रिजर्विंग प्रोबेबिलिटी रिडिस्ट्रिब्यूशन करता है:
- मध्यवर्ती प्रतिनिधित्व (Intermediate Representations): बेस और रीहीटेड लेयर्स के बीच लीनियर CKA स्कोर 1.0 के करीब रहे, जो दर्शाता है कि आंतरिक प्रतिनिधित्व काफी हद तक अपरिवर्तित रहे।
- रीजनिंग क्षमता: MATH-500 और GPQA पर टास्क सटीकता पूरी डिस्टिलेशन प्रक्रिया के दौरान स्थिर रही, जिससे पुष्टि हुई कि एन्ट्रॉपी रिकवरी ने रीजनिंग कौशल को कम नहीं किया।
- कैंडिडेट सेट्स: टॉप-10 टोकन ओवरलैप और प्रोबेबिलिटी मास रिटेंशन 1.0 के करीब था, जो दर्शाता है कि मॉडल के सिमेंटिक प्रेफरेंस सुरक्षित रहे जबकि मार्जिन को नरम (softened) किया गया।

5. महत्व और दावे

शोध पत्र का दावा है कि एन्ट्रॉपी बहाली को RL ऑब्जेक्टिव से अलग (decoupled) किया जा सकता है और जब एक पॉलिसी बहुत नियत (deterministic) हो जाती है, तो इसे एक मॉड्यूलर, इंटर-स्टेज ऑपरेशन के रूप में डाला जा सकता है।

मॉड्यूलर हस्तक्षेप: TS-OPSD एक सरल, हल्का तंत्र प्रदान करता है जो कोर RL एल्गोरिदम को बदले बिना रीजनिंग-ओरिएंटेड RL को एन्ट्रॉपी-कोलैप्स बाधा से आगे बढ़ाने में मदद करता है।
डेटा-दुर्लभ सेटिंग्स में स्थिरता: कम डेटा (2048 प्रॉम्प्ट्स) के साथ किए गए प्रयोगों में, गंभीर एन्ट्रॉपी कोलैप्स के कारण मानक RL प्रशिक्षण अस्थिर (ग्रेडिएंट स्पाइक्स, रिवॉर्ड गिरावट) हो गया। TS-OPSD ने एक स्थिर करने वाले तंत्र के रूप में कार्य किया, जिससे लंबा, स्थिर प्रशिक्षण संभव हुआ।
कंप्यूटेशनल दक्षता: रीहीटिंग हस्तक्षेप कुल RL प्रशिक्षण समय में लगभग 15–17% जोड़ता है। बैच साइज के लिए सामान्यीकृत करने पर, प्रति-सैंपल लागत मानक RL स्टेप्स के बराबर या उससे कम है।
सीमाएँ: लेखक नोट करते हैं कि प्रयोग विशिष्ट मॉडल स्केल्स (4B/8B) तक सीमित हैं, और रीहीटिंग के लिए स्टॉपिंग क्राइटेरिया (एन्ट्रॉपी थ्रेशोल्ड) वर्तमान में सिद्धांत के बजाय अनुभवजन्य (empirical) है। वे सुझाव देते हैं कि भविष्य के कार्य वैकल्पिक OPSD और RL के कैस्केडेड शेड्यूल्स का पता लगा सकते हैं।

संक्षेप में, TS-OPSD प्रदर्शित करता है कि सेल्फ-डिस्टिलेशन के माध्यम से टेम्परेचर को "आंतरिक" करना कोलैप्स्ड पॉलिसियों की खोजात्मक क्षमता को प्रभावी रूप से बहाल करता है, जिससे निरंतर RL को उच्च प्रदर्शन स्तर तक पहुँचने में सक्षम बनाया जा जाता है, जबकि प्रशिक्षण के दौरान प्राप्त की गई रीजनिंग संरचनाओं को भी सुरक्षित रखा जाता है।