🤖 machine learning

How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

यह शोध पत्र एक टैलिस लॉस निरंतरता (Tsallis loss continuum) प्रस्तुत करता है जो रीजनिंग मॉडल्स में कोल्ड-स्टार्ट स्टालिंग (cold-start stalling) को हल करने के लिए सुदृढीकरण शिक्षण (reinforcement learning) और घनत्व अनुमान (density estimation) के बीच मध्यस्थता करता है, जिसमें दो व्यावहारिक अनुमानकों (GARL और PAFT) का प्रस्ताव दिया गया है जो कम सफलता की संभावनाओं से बाहर निकलने की गति और प्रशिक्षण स्थिरता के बीच संतुलन बनाकर जटिल रीजनिंग बेंचमार्क पर GRPO जैसे मानक तरीकों से काफी बेहतर प्रदर्शन करते हैं।

मूल लेखक: Chu-Cheng Lin, Eugene Ie

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chu-Cheng Lin, Eugene Ie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन वर्तमान में बहुत भ्रमित छात्र को जटिल पहेलियाँ हल करना सिखा रहे हैं। आपके पास एक नोटबुक है जहाँ वे अपने विचारों को लिखने के लिए (एक "चेन ऑफ थॉट") स्क्रिबल कर सकते हैं।

आपने जो पेपर साझा किया है, वह एक विशिष्ट समस्या पर काम करता है: आप इस छात्र को कैसे सिखाते हैं जब वे शून्य से शुरुआत कर रहे होते हैं?

समस्या: "कोल्ड स्टार्ट" स्टॉल (The "Cold Start" Stall)

जब छात्र बिल्कुल नया होता है, तो वह लगभग कभी भी तुरंत सही उत्तर नहीं पाता है।

पुराना तरीका (RLVR/GRPO): यह तरीका एक सख्त शिक्षक की तरह है जो केवल अंतिम उत्तर के आधार पर "अच्छा काम किया!" या "फिर से कोशिश करो" देता है। यदि छात्र 99 बार लगातार गलत होता है, तो उसे कोई "अच्छा काम किया!" का संकेत नहीं मिलता। शिक्षक चमत्कार का इंतज़ार करता रहता है, लेकिन छात्र विफलता के एक लूप में फंसा रहता है। पेपर इसे "कोल्ड-स्टार्ट स्टॉलिंग" कहता है।
जाल: यदि आप छात्र को उन कुछ बारों से बहुत आक्रामक रूप से सीखने के लिए मजबूर करने की कोशिश करते हैं जब वे सही होते हैं, तो वे शिक्षक की गलतियों या परीक्षण प्रश्नों की विशिष्ट बारीकियों को याद करना (जिसे "नॉइज़ मेमोराइजेशन" कहा जाता है) शुरू कर सकते हैं।

समाधान: एक "कमिटमेंट" डायल (A "Commitment" Dial)

लेखक एक नया परिवार पेश करते हैं जो Tsallis Loss नामक गणितीय अवधारणा पर आधारित है। इसे एक डायल के रूप में सोचें जिसे "कमिटमेंट" (जिसे अक्षर q द्वारा दर्शाया गया है) लेबल किया गया है।

यह डायल यह नियंत्रित करता है कि शिक्षक छात्र की वर्तमान समझ के स्तर के बारे में कितना परवाह करता है बनाम किसी भी प्रयास, यहाँ तक कि एक बिखरे हुए प्रयास से भी सीखने के लिए उन्हें कितना प्रेरित करता है।

डायल को 0 पर सेट करना ("सुरक्षित" मोड):
- उपमा: शिक्षक बहुत सतर्क है। वे केवल तभी ध्यान देते हैं जब छात्र पहले से ही कुछ परिचित कर रहा होता है।
- परिणाम: शिक्षक बिखरे हुए, गलत प्रयासों को अनदेखा कर देता है। यह भ्रम (शोर) से बचने के लिए बहुत अच्छा है, लेकिन यदि छात्र शून्य ज्ञान के साथ शुरू करता है, तो शिक्षक उन्हें कभी धक्का नहीं देता। छात्र हमेशा के लिए वहीं फंसा रह जाता है।
- पेपर का दावा: यह "कोल्ड स्टार्ट" से बाहर निकलने के लिए बहुत धीमा है।
डायल को 1 पर सेट करना ("आक्रामक" मोड):
- उपमा: शिक्षक अत्यंत उत्साही है। वे हर प्रयास को, यहाँ तक कि भयानक प्रयास को भी, सीखने के एक मूल्यवान अवसर के रूप में देखते हैं। वे उन कुछ बारों से मिलने वाले संकेत को बढ़ा देते हैं जब छात्र सही होता है, चिल्लाकर कहते हैं, "देखो! तुमने कर दिखाया! इससे सीखो!"
- परिणाम: छात्र शुरुआत में अविश्वसनीय रूप से तेजी से सीखता है। वह "कोल्ड स्टार्ट" से जल्दी बाहर निकल जाता है।
- जोखिम: क्योंकि शिक्षक बहुत शोर मचा रहा है, छात्र शिक्षक की अपनी गलतियों या प्रश्नों के पूछने के विशिष्ट तरीके को याद करना शुरू कर सकता है।
डायल को 0.75 पर सेट करना ("स्वीट स्पॉट"):
- उपमा: शिक्षक संतुलित है। वे छात्र को शुरुआती ब्लॉक से बाहर धकेलने के लिए पर्याप्त शोर मचाते हैं, लेकिन इतने भी शोर नहीं मचाते कि वे वास्तविक संकेत को शोर में डुबो दें।
- पेपर का दावा: यह सेटिंग मॉडल को शुरुआत में तेजी से सीखने की अनुमति देती है बिना भ्रम की दीवार से टकराए।

डायल घुमाने के दो तरीके: GARL और PAFT

चूंकि गणित को पूरी तरह से गणना करना बहुत जटिल है, इसलिए लेखकों ने इस डायल को घुमाने के लिए दो व्यावहारिक उपकरण (एस्टिमेटर्स) बनाए हैं। इन्हें दो अलग-अलग शिक्षण शैलियों के रूप में समझें जो एक ही डायल का उपयोग करती हैं।

GARL (द ब्रॉडकास्टर - "प्रसारक"):
- यह कैसे काम करता है: शिक्षक छात्र से कई यादृच्छिक "विचार" (ट्रैजेक्टरीज) उत्पन्न करता है। भले ही अधिकांश गलत हों, शिक्षक उन कुछ को देखता है जो सही हैं और डायल सेटिंग के आधार पर उनके महत्व को बढ़ा (amplify) देता है।
- पक्ष: यह बहुत तेज़ है और जब छात्र फंसा हुआ हो तो उसे आगे बढ़ने में मदद करने के लिए बेहतरीन है (कोल्ड स्टार्ट)।
- हानि: कभी-कभी, शिक्षक बहुत उत्साहित हो जाता है, बुरे उदाहरणों को मिला देता है, और छात्र भ्रमित हो जाता है या प्रशिक्षण के दौरान क्रैश हो जाता है (अस्थिरता)।
PAFT (द फ़िल्टर - "छलनी"):
- यह कैसे काम करता है: शिक्षक कई विचार उत्पन्न करता है, लेकिन फिर वे उन्हें फ़िल्टर करते हैं। वे बिखरे हुए, गलत विचारों को फेंक देते हैं और केवल उन्हें रखते हैं जो वास्तव में सही उत्तर से मेल खाते हैं। फिर, वे केवल इन "अच्छे" उदाहरणों का उपयोग करके छात्र को सिखाते हैं, लेकिन वे डायल सेटिंग के आधार पर तीव्रता को कम (dampen) कर देते हैं।
- पक्ष: यह बहुत स्थिर है। छात्र स्वच्छ, सुसंगत उदाहरणों से सीखता है। यह क्रैश नहीं होता।
- हानि: यह शुरुआत में धीमा है क्योंकि यह बहुत सारा डेटा फेंक देता है।

प्रयोगों में क्या हुआ?

लेखकों ने तीन कठिन तर्क पहेलियों (FinQA, HotPotQA, और MuSiQue) पर इनका परीक्षण किया।

जब छात्र पूरी तरह से खोया हुआ था (कोल्ड स्टार्ट):
- पुराने तरीके (डायल 0) पूरी तरह विफल रहे। छात्र कभी सीख नहीं पाया।
- "ब्रॉडकास्टर" (GARL) उच्च डायल सेटिंग (0.75) के साथ सफल रहा। इसने छात्र को उस शुरुआती ब्लॉक से बाहर निकाला जहाँ अन्य विफल रहे थे।
- दिलचस्प बात यह है कि 0.75 डायल पर "ब्रॉडकास्टर" ने डायल 1 की तुलना में बेहतर प्रदर्शन किया, जिससे साबित हुआ कि शुरुआत में थोड़ा शोर फ़िल्टर करना अच्छा है।
जब छात्र पहले से ही सीख रहा था (वार्म स्टार्ट):
- कुछ पहेलियों (FinQA) पर, "ब्रॉडकास्टर" (GARL) कम डायल सेटिंग पर अच्छा काम करता है।
- कठिन पहेलियों (HotPotQA, MuSiQue) पर, "ब्रॉडकास्टर" बहुत अधिक उत्साहित हो गया और छात्र का प्रदर्शन शून्य पर गिर गया।
- "फ़िल्टर" (PAFT) यहाँ नायक बना। भले ही यह धीमा था, इसने छात्र को स्थिर रखा और उच्चतम अंतिम स्कोर प्राप्त किया।

मुख्य निष्कर्ष

लेखक तर्क देते हैं कि किसी तर्क मॉडल (reasoning model) को प्रशिक्षित करने का कोई एक "परफेक्ट" तरीका नहीं है।

यदि आपका मॉडल शून्य पर अटका हुआ है, तो आपको उच्च प्रतिबद्धता (high commitment) (उच्च डायल के साथ GARL) की आवश्यकता है ताकि इसे सीखने के लिए मजबूर किया जा सके।
यदि आपका मॉडल सीख रहा है लेकिन अस्थिर है, तो आपको स्थिरता (stability) (PAFT) की आवश्यकता है ताकि इसे ट्रैक पर रखा जा सके।

लेखकों ने एक "कंटीनम" (एक निरंतरता) बनाया है जो आपको इसे गतिशील रूप से समायोजित करने की अनुमति देता है, बजाय इसके कि आपको "सुरक्षित लेकिन धीमा" या "तेज़ लेकिन जोखिम भरा" में से किसी एक को चुनना पड़े। उन्होंने पाया कि एक मध्यम मार्ग (लगभग 0.75) अक्सर सबसे अच्छा परिणाम देता है: शुरुआत से बाहर निकलने के लिए पर्याप्त तेज़, लेकिन दौड़ पूरी करने के लिए पर्याप्त स्थिर।

यहाँ शोध पत्र "How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र केवल आउटपुट-स्तर के पर्यवेक्षण (supervision) का उपयोग करके रीजनिंग मॉडल (वे मॉडल जो उत्तर देने से पहले लेटेंट चेन ऑफ थॉट उत्पन्न करते हैं) को प्रशिक्षित करने में आने वाली दो महत्वपूर्ण विफलता स्थितियों को संबोधित करता है:

कोल्ड-स्टार्ट स्टॉलिंग (Cold-Start Stalling): जब सफलता की प्रारंभिक संभावना ( $p_0$ ) बहुत कम होती है, तो मानक रीइन्फोर्समेंट लर्निंग फ्रॉम वेरिफिएबल रिवार्ड्स (RLVR) और इसके वेरिएंट (जैसे GRPO या राव-ब्लैकवेलकृत REINFORCE) अक्सर प्रगति करने में विफल रहते हैं। ग्रेडिएंट सिग्नल इतना कमजोर होता है कि वह "कोल्ड स्टार्ट" शासन से बाहर नहीं निकल पाता।
नॉइज़ मेमोराइजेशन (Noise Memorization): इसके विपरीत, वे विधियाँ जो मॉडल को प्रशिक्षण वितरण (training distribution) में फिट होने के लिए आक्रामक रूप से प्रेरित करती हैं (जैसे मानक सुपरवाइज्ड फाइन-ट्यूनिंग या मैक्सिमम लाइक्लीहुड एस्टीमेशन), लेबल त्रुटियों और नॉइज़ को याद करने लगती हैं, जिससे सामान्यीकरण (generalization) और सेल्फ-कंसिस्टेंसी कम हो जाती है।

मौजूदा दृष्टिकोण इन दोनों को अलग-अलग समस्याओं के रूप में देखते हैं। लेखक तर्क देते हैं कि ये एक स्पेक्ट्रम के दो छोर हैं, जो मॉडल के पर्यवेक्षण सिग्नल के प्रति "कमिटमेंट" (commitment) द्वारा नियंत्रित होते हैं। वे कोल्ड-स्टार्ट से बचने की गति और नॉइज़ के प्रति मजबूती के बीच संतुलन बनाने के लिए एक एकीकृत सैद्धांतिक ढांचा प्रस्तावित करते हैं।

2. कार्यप्रणाली: $J_Q$ लॉस कॉन्टिनम (Methodology: The $J_Q$ Loss Continuum)

मुख्य योगदान Tsallis $q$ -logarithm से व्युत्पन्न एक लॉस फैमिली, $J_Q$ की परिभाषा है। यह परिवार दो ध्रुवों के बीच इंटरपोलेट करता है:

एक्सप्लोइटेशन पोल ( $q=0$ ): अपेक्षित सटीकता (expected accuracy) को अधिकतम करने के अनुरूप (सटीक-मैच रिवार्ड्स के साथ RLVR के समान)। लॉस बाउंडेड है ( $1 - P_\theta$ )।
डेंसिटी-एस्टीमेशन पोल ( $q=1$ ): लेटेंट ट्राजेक्टरीज पर लॉग-मार्जनल-लाइक्लीहुड को अधिकतम करने के अनुरूप (मानक SFT/ML के समान)। लॉस अनबाउंडेड है ( $-\log P_\theta$ )।

मुख्य सैद्धांतिक अंतर्दृष्टि: ग्रेडिएंट एम्प्लीफिकेशन (Gradient Amplification)

$J_Q$ परिवार के सभी सदस्य एक ही प्रति-उदाहरण ग्रेडिएंट दिशा (per-example gradient direction) साझा करते हैं, जो केवल एक स्केलर एम्प्लीफिकेशन फैक्टर द्वारा भिन्न होती है:
$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$
जहाँ $P_\theta = p_\theta(y^*|x^*)$ मॉडल की कंडीशनल सक्सेस प्रोबेबिलिटी है।

पैरामीटर $q$ (कमिटमेंट): यह नियंत्रित करता है कि "हार्ड" उदाहरणों (कम $P_\theta$ $P_{θ}$ ) के लिए ग्रेडिएंट को कितना एम्प्लीफाई किया जाए।
- लो $q$ (0 के करीब): न्यूनतम एम्प्लीफिकेशन। मॉडल उन चीजों पर ध्यान केंद्रित करता है जिन्हें वह पहले से जानता है (नॉइज़-रोबस्ट) लेकिन कोल्ड स्टार्ट से धीरे निकलता है ( $\Omega(1/p_0)$ समय)।
- हाई $q$ (1 के करीब): अपरिचित पर्यवेक्षण के लिए भारी एम्प्लीफिकेशन। मॉडल अज्ञात पर्यवेक्षण को आक्रामक रूप से एक्सप्लोर करता है, जिससे कोल्ड स्टार्ट जल्दी समाप्त होता है ( $\Theta(\log(1/p_0))$ समय) लेकिन नॉइज़ को याद करने का जोखिम रहता है।

ग्रेडिएंट एस्टिमेटर्स (Gradient Estimators)

चूंकि $P_\theta$ गणना योग्य नहीं है (इसमें सभी लेटेंट ट्राजेक्टरीज का योग शामिल है), लेखक ग्रेडिएंट के ड्यूल फैक्टराइजेशन के आधार पर दो मोंटे कार्लो एस्टिमेटर्स निकालते हैं:

GARL (Gradient-Amplified RL):
- तंत्र: प्रायर $p_\theta(z|x^*)$ से ट्राजेक्टरीज को सैंपल करता है और मानक RL ग्रेडिएंट को $(\bar{w}_M)^{-q}$ द्वारा एम्प्लीफाई करता है।
- विशेषताएँ: कम वेरिएंस, RB-REINFORCE ( $q=0$ ) और IWAE ( $q=1$ ) का सामान्यीकरण करता है।
- उपयोग का मामला: उन कोल्ड-स्टार्ट परिदृश्यों के लिए आवश्यक जहाँ पोस्टीरियर सैंपलिंग से कोई वैध ट्राजेक्टरी प्राप्त नहीं होती।
PAFT (Posterior-Attenuated Fine-Tuning):
- तंत्र: पोस्टीरियर (जो उत्तर के साथ सहमत हैं) से ट्राजेक्टरीज को इम्पोर्टेंस-रीसैंपल करता है और SFT ग्रेडिएंट को $(\bar{w}_M)^{1-q}$ द्वारा अटेन्युएट (attenuate) करता है।
- विशेषताएँ: सिमेंटिक रूप से सुसंगत ग्रेडिएंट प्रदान करता है (केवल वैध तर्क पर अपडेट होता है) लेकिन रीसैंपलिंग नॉइज़ के कारण उच्च वेरिएंस रखता है। यह EM के E-स्टेप ( $q=1$ ) का सामान्यीकरण करता है।
- उपयोग का मामला: वार्म-स्टार्ट ट्रेनिंग के दौरान अधिक स्थिर होता है, जो GARL में देखे गए "कोलैप्स" को रोकता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत सैद्धांतिक ढांचा: यह शोध पत्र कोल्ड-स्टार्ट स्टॉलिंग और नॉइज़ मेमोराइजेशन को $q$ द्वारा नियंत्रित एक ट्रेड-ऑफ के रूप में एकीकृत करने वाला पहला सैद्धांतिक विवरण प्रदान करता है।
एस्केप स्पीड विश्लेषण: सैद्धांतिक प्रमाण (Theorems 5.1 & 5.2) दर्शाते हैं कि कोल्ड स्टार्ट से बचने का समय $q=0$ के लिए $\Omega(1/p_0)$ होता है, लेकिन $q=1$ के लिए $\Theta(\log(1/p_0))$ में सुधर जाता है। यह समझाता है कि मानक RLVR क्यों विफल होता है जब $p_0$ छोटा होता है।
ड्यूल एस्टिमेटर्स (GARL और PAFT): दो व्यावहारिक, ड्रॉप-इन एस्टिमेटर्स का व्युत्पन्न जो उपयोगकर्ताओं को मॉडल आर्किटेक्चर बदले बिना "कमिटमेंट" स्तर को ट्यून करने की अनुमति देते हैं।
बायस-वेरिएंस ट्रेड-ऑफ: विश्लेषण दिखाता है कि जबकि उच्च $q$ लर्निंग को तेज करता है, यह एस्टिमेटर बायस ( $O(q/MP_\theta^{q+1})$ भी लाता है, जिसके लिए इष्टतम प्रदर्शन के लिए मध्यवर्ती $q$ मानों की आवश्यकता होती है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने Qwen 3 0.6B मॉडल का उपयोग करके तीन रीजनिंग बेंचमार्क (FinQA, HotPotQA, MuSiQue) पर GARL और PAFT का मूल्यांकन किया।

कोल्ड-स्टार्ट प्रदर्शन:
- मानक GRPO और $q=0$ (RB-RLOO) पूरी तरह विफल रहे (0% सटीकता) कोल्ड-स्टार्ट कार्यों पर।
- $q=0.75$ के साथ GARL ने कोल्ड स्टार्ट को सफलतापूर्वक पार किया, महत्वपूर्ण सटीकता प्राप्त की (जैसे, FinQA पर GRPO के 0% के मुकाबले 38.3% maj@16)।
- $q=1$ ने कोल्ड स्टार्ट को पार किया लेकिन उच्च नॉइज़ मेमोराइजेशन से ग्रस्त रहा, जिसके परिणामस्वरूप $q=0.75$ की तुलना में कम अंतिम सटीकता मिली।
वार्म-स्टार्ट प्रदर्शन:
- FinQA: प्रशिक्षण सभी $q$ के लिए स्थिर रहा। $q=0.25$ के साथ GARL ने सर्वश्रेष्ठ परिणाम दिए (38.7% maj@16), जो GRPO से +11.8 अंक बेहतर है।
- HotPotQA और MuSique: सभी परीक्षण किए गए $q$ मानों पर GARM कोलैप्स हो गया (वैलिडेशन सटीकता शून्य हो गई), जो संभवतः पाथवाइज टर्म करप्शन या ओवरफिटिंग के कारण हुआ।
- PAFT की स्थिरता: PAFT किसी भी बेंचमार्क पर कोलैप्स नहीं हुआ। $q=0.75$ के साथ PAFT ने HotPotQA (47.9% maj@16, GRPO से +14.4) और MuSique (22.4% maj@16) पर सबसे स्थिर और सर्वश्रेष्ठ परिणाम प्राप्त किए।
प्रॉम्प्ट स्वतंत्रता (Prompt Independence): उल्लेखनीय रूप से, कोल्ड-स्टार्ट GARL मॉडल (जिसे टास्क-विशिष्ट प्रॉम्प्ट के बिना प्रशिक्षित किया गया था) ने सभी मेट्रिक्स पर वार्म-स्टार्ट GRPO मॉडल (जिसे प्रॉम्प्ट के साथ प्रशिक्षित किया गया था) को पछाड़ दिया, जो यह सुझाव देता है कि मजबूत कमिटमेंट ( $q \approx 0.75$ ) मॉडल को इनपुट-आउटपुट पेयर्स से सीधे टास्क स्ट्रक्चर खोजने की अनुमति देता है।

5. महत्व और व्यावहारिक निहितार्थ (Significance and Practical Implications)

कोल्ड-स्टार्ट बॉटलनेक को हल करना: यह शोध पत्र सिद्ध करता है कि RLVR में बाधा केवल ग्रेडिएंट वेरिएंस नहीं है (जिसे राव-ब्लैकवेलाइजेशन द्वारा संबोधित किया जाता है), बल्कि कम-संभावना वाले उदाहरणों के लिए ग्रेडिएंट एम्प्लीफिकेशन की कमी है। $q$ को बढ़ाना इसे हल करता है।
डायनेमिक ट्रेनिंग रणनीति: लेखक एक व्यावहारिक रेसिपी प्रस्तावित करते हैं:
- कोल्ड स्टार्ट: मॉडल को ज़ीरो-रिवॉर्ड शासन से बाहर निकालने के लिए उच्च $q$ ( $\approx 0.75$ ) के साथ GARL का उपयोग करें।
- वार्म स्टार्ट: यदि प्रशिक्षण स्थिर है (जैसे FinQA), तो बायस को कम करने के लिए निम्न $q$ ( $\approx 0.25$ ) के साथ GARL का उपयोग करें। यदि प्रशिक्षण अस्थिर है (जैसे HotpotQA), तो सुसंगत ग्रेडिएंट के माध्यम से स्थिरता बनाए रखने के लिए उच्च $q$ ( $\approx 0.75$ ) के साथ PAFT पर स्विच करें।
RLVR से परे: यह ढांचा RL और SFT के बीच इंटरपोलेट करने का एक सिद्धांत आधारित तरीका प्रदान करता है, जो "पहले SFT फिर RL" के कठोर पाइपलाइन से आगे बढ़कर कमिटमेंट के एक निरंतर स्पेक्ट्रम की ओर ले जाता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि पर्यवेक्षण के प्रति कमिटमेंट एक ट्यूनेबल हाइपरपैरामीटर है। $q$ को समायोजित करके, अभ्यासकर्ता लर्निंग की गति (कोल्ड स्टार्ट से बचना) और लर्निंग की मजबूती (नॉइज़ मेमोराइजेशन से बचना) के बीच के ट्रेड-ऑफ को नियंत्रित कर सकते हैं, जिससे जटिल रीजनिंग कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त होता है।