🤖 machine learning

Predictive Divergence Masks for LLM RL

यह शोध पत्र प्रेडिक्टिव डायवर्जेंस मास्क (Predictive Divergence Masks) का प्रस्ताव करता है, जो एलएलएम (LLM) सुदृढीकरण शिक्षण (reinforcement learning) के लिए एक नवीन विधि है जो प्रॉक्सिमिटी मानदंड (proximity criterion) के रूप में उपयोग किए जाने वाले संभाव्यता विचलन (probability divergence) को अगला ग्रेडिएंट स्टेप बढ़ाएगा या घटाएगा, इसके लिए एक क्लोज्ड-फॉर्म भविष्यवाणी के माध्यम से PPO के अनुपात-आधारित दिशा मानदंड को प्रतिस्थापित करता है, जिससे मॉडल के पैमानों (scales) में प्रशिक्षण स्थिरता और प्रदर्शन में सुधार होता है।

मूल लेखक: Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कहानियाँ लिखना सिखा रहे हैं। आप चाहते हैं कि वह अपनी गलतियों से सीखे, लेकिन आपका एक सख्त नियम है: "एक बार में अपनी लिखने की शैली को बहुत अधिक नाटकीय रूप से न बदलें।" यदि रोबोट बहुत उत्साहित हो जाता है और पूरी तरह से अलग आवाज़ में लिखने लगता है, तो आपको ब्रेक लगाना होगा। यह रीइन्फोर्समेंट लर्निंग (RL) का काम है जो लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए किया जाता है।

लंबे समय तक, उन ब्रेक्स को लगाने का मानक तरीका PPO नामक एक विधि थी। यह एक एकल शब्द पर आधारित एक साधारण ट्रैफिक लाइट की तरह काम करता था। हर बार जब रोबट एक शब्द चुनता था, तो सिस्टम जाँचता था: "क्या यह शब्द उस शब्द से बहुत अधिक संभावित है जिसे रोबोट आमतौर पर चुनता है? और क्या रिवॉर्ड हमें इसे और भी अधिक संभावित बनाने के लिए कह रहा है?" यदि उत्तर दोनों के लिए "हाँ" था, तो सिस्टम कहता, "रुकिए! यह बहुत दूर है!" और उस शब्द के सबक को अनदेखा कर देता।

लेकिन यहाँ समस्या यह है: रोबोट केवल एक शब्द नहीं चुनता; वह उस शब्द को चुनने के लिए अपने पूरे व्यक्तित्व (अपनी प्रोबेबिलिटी डिस्ट्रीब्यूशन) को पुनर्व्यवस्थित करता है। पुराना तरीका केवल उसके द्वारा चुने गए एक शब्द को देखता था, जैसे केवल एक वायलिन को सुनकर पूरे ऑर्केस्ट्रा का न्याय करना। यह इस बात को चूक जाता था कि बाकी संगीत कैसे बदल रहा है।

नया विचार: "प्रेडिक्टिव डायवर्जेंस मास्क" (Predictive Divergence Mask)

टेनसेंट (Tencent), UIUC और NUS के शोधकर्ताओं की एक टीम ने महसूस किया कि यह सिंगल-वर्ड व्यू भ्रामक था। उन्होंने एक नया नियम प्रस्तावित किया जिसे प्रेडिक्टिव डायवर्जेंस मास्क कहा गया।

केवल उस एक शब्द को देखने के बजाय जिसे रोबोट ने चुना है, यह नई विधि एक बड़ा सवाल पूछती है: "यदि हम यह कदम उठाते हैं, तो क्या रोबोट का पूरा व्यक्तित्व उसके मूल स्वरूप से और दूर चला जाएगा?"

इसे इस तरह सोचें:

पुराना तरीका (PPO): आप एक बच्चे को खाई की ओर दौड़ते हुए देखते हैं। आप जाँचते हैं कि क्या वह विशिष्ट कदम खतरनाक है। यदि हाँ, तो आप चिल्लाते हैं "रुक जाओ!"
नया तरीका (प्रेडिक्टिव डायवर्जेंस): आप बच्चे को दौड़ते हुए देखते हैं। आप पूरे रास्ते को देखते हैं। भले ही वह विशिष्ट कदम ठीक लग रहा हो, शायद बच्चे का मोमेंटम उसे घुमाने वाला है और उसे एक अलग खाई में भेज देगा। नया तरीका उस पूरे 'स्पिन' (घूमने) को कदम उठाने से पहले ही प्रेडिक्ट (पूर्वानुमान) कर लेता है।

यह कैसे काम करता है (जादुв गणित)

शोधकर्ताओं ने इस "पूरे स्पिन" की भविष्यवाणी करने के लिए एक चतुर गणितीय ट्रिक खोजी, जिसके लिए उन्हें पहले से सिमुलेशन चलाने की आवश्यकता नहीं है।

लोकल टर्म (Local Term): यह वह हिस्सा है जिसे पुराना तरीका पहले से जानता था। यह रोबोट द्वारा चुने गए विशिष्ट शब्द में परिवर्तन है।
ग्लोबल टर्म (Global Term): यह नया सीक्रेट सॉस है। यह इस बात का हिसाब रखता है कि एक शब्द को बदलने से रोबोट को उन अन्य सभी शब्दों की संभावनाओं को कैसे समायोजित करना पड़ता है जिन्हें उसने नहीं चुना (क्योंकि कुल संभावना हमेशा 100% होनी चाहिए)।

पुराने तरीके ने ग्लोबल टर्म को अनदेखा कर दिया था। नया तरीका इसे जोड़ देता है। यदि गणित दिखाता है कि रोबोट का पूरा व्यक्तित्व बहुत दूर जा रहा है, तो मास्क अपडेट को ब्लॉक कर देता है। यदि गणित दिखाता है कि रोबोट वास्तव में सुरक्षा की ओर वापस आ रहा है, तो अपडेट की अनुमति दी जाती है।

"टॉप-K" समस्या

असल दुनिया में, रोबोट का इंजन (रोलआउट इंजन) समय और मेमोरी बचाने के लिए केवल सबसे संभावित शीर्ष 20 शब्दों ("Top-K") को दिखाता है। यह हजारों अन्य शब्दों को एक "टेल" (tail) बकेट में छिपा देता है।

इस सीमित दृश्य के साथ अपनी भविष्यवाणी को काम करने योग्य बनाने के लिए, शोधकर्ताओं ने दो हल्के एस्टिमेटर्स (estimators) का आविष्कार किया:

एग्रीगेटेड-टेल एस्टिमेटर (Aggregated-Tail Estimator): यह मान लेता है कि सभी छिपे हुए शब्द एक विशाल ढेर की तरह हैं।
यूनिफॉर्म-टेल एस्टिमेटर (Uniform-Tail Estimator): यह मान लेता है कि छिपे हुए शब्द समान रूप से संभावित हैं।

उन्होंने पाया कि क्योंकि शीर्ष 20 शब्द आमतौर पर लगभग सारी संभावना (99% से अधिक) रखते हैं, इसलिए दोनों तरीके लगभग एक जैसा काम करते हैं। यह मौसम का अनुमान लगाने जैसा है; आपको यह जानने के लिए कि बारिश होने वाली है या नहीं, हर एक बादल को गिनने की आवश्यकता नहीं है, बस आसमान को देखना काफी है।

प्रयोग क्या दिखाते हैं

टीम ने विभिन्न आकार के रोबोटों (4 बिलियन से 30 बिलियन पैरामीटर्स वाले मॉडल) पर इसका परीक्षण किया और यहाँ तक कि तब भी परीक्षण किया जब वे "FP8" प्रिसिजन (एक सुपर-फास्ट, थोड़ी कम सटीक गणित मोड जो ट्रेनिंग और राइटिंग इंजन को अलग तरह से कार्य करने पर मजबूर करती है) पर चल रहे थे।

परिणाम: नए मास्क ने ट्रेनिंग को अधिक स्थिर (stable) बनाया।
प्रमाण: उन्होंने 61 अलग-अलग प्रयोग (seeds) चलाए। उन्होंने पाया कि पुराना तरीका कभी-कभी उन अपडेट्स को रख लेता था जो वास्तव में रोबोट को और दूर ले जाते थे (एक "अनसेफ कीप" रेट 36.9%)। नया तरीका इसे घटाकर 34.2% कर देता है।
सुधार: हालांकि संख्याएँ छोटी लग सकती हैं, लेकिन विशाल AI मॉडल को प्रशिक्षित करने की दुनिया में, कुछ बुरे कदमों को रोकना भी रोबोट को बेहतर और तेजी से सीखने में मदद करता है। नया तरीका सभी मॉडल आकारों और प्रिसिजन सेटिंग्स में लगातार काम करता रहा।

उन्होंने स्पष्ट रूप से किसे खारिज किया

पेपर बहुत स्पष्ट है कि क्या उतना अच्छा काम नहीं करता:

वे तर्क देते हैं कि अपडेट की दिशा तय करने के लिए सैंपलड-टोकन इम्पॉर्टेंस रेशियो (पुराना "सिंगल वायलिन" चेक) का उपयोग करने के खिलाफ हैं। उन्होंने दिखाया कि यह एकल-शब्द चेक अक्सर रोबोट के पूरे व्यक्तित्व में वास्तविक परिवर्तन से असहमत होता है।
उन्होंने यह भी दिखाया कि केवल "सेफ्टी ज़ोन" (ट्रस्ट रीजन) को कड़ा करने से (0.15 के बजाय 0.05 के थ्रेशोल्ड का उपयोग करके) सब कुछ बदतर हो जाता है, जो यह सुझाव देता है कि केवल अधिक प्रतिबंधात्मक होना ही समाधान नहीं है; बल्कि दिशा के बारे में अधिक स्मार्ट होना ज़रूरी है।

वे कितने आश्वस्त हैं?

लेखक अपने निष्कर्षों को लेकर अपने प्रयोगों से प्राप्त मापे गए डेटा के आधार पर आश्वस्त हैं। उन्होंने केवल शून्य में सिमुलेशन नहीं चलाया; उन्होंने वास्तविक गणितीय समस्याओं (DAPO-Math-17k डेटासेट का उपयोग करके) पर वास्तविक मॉडल को प्रशिक्षित किया और AIME24 और AIME25 जैसे बेंचमार्क पर सटीकता को मापा।

वे इस दृष्टिकोण का सुझाव देते हैं कि यह नियमों का एक बेहतर संरेखण है: यदि आप पूरे व्यक्तित्व (डायवर्जेंस) को देखकर सुरक्षा क्षेत्र को परिभाषित करते हैं, तो आपको अपडेट की दिशा को भी पूरे व्यक्तित्व को देखकर ही जांचना चाहिए, न कि केवल एक शब्द को। परिणाम सुझाव देते हैं कि इससे ट्रेनिंग अधिक स्थिर होती है, लेकिन वे स्वीकार करते हैं कि यह अभी भी एक "लोकल फर्स्ट-ऑर्डर एप्रोक्सिमेशन" है—जिसका अर्थ है कि यह अगले कदम के आधार पर एक बहुत अच्छा अनुमान है, भविष्य के लिए कोई पूर्ण क्रिस्टल बॉल नहीं।

संक्षेप में, नया तरीका रोबोट को एक ऐसे GPS देने जैसा है जो केवल वर्तमान कदम को नहीं, बल्कि पूरे मानचित्र को देखता है। यह रोबोट को दुनिया के किनारे से भटकने दिए बिना तेजी से सीखने में मदद करता है।

तकनीकी सारांश: LLM RL के लिए प्रेडिक्टिव डायवर्जेंस मास्क (Predictive Divergence Masks)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए रीइन्फोर्समेंट लर्निंग (RL) स्वाभाविक रूप से ऑफ-पॉलिसी (off-policy) है, क्योंकि रोलआउट्स के लिए उपयोग किए जाने वाले इन्फरेंस इंजन और ट्रेनिंग स्टैक के बीच विसंगति होती है, साथ ही पॉलिसी की पुरानापन (staleness) भी एक कारक है। इन ऑफ-पॉलिसी अपडेट्स को स्थिर करने के लिए, स्टैंडर्ड प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) जैसे तरीके ट्रस्ट-रीजन मास्क (trust-region masks) का उपयोग करते हैं। ये मास्क यह तय करने के लिए दो मानदंडों पर निर्भर करते हैं कि किसी टोकन के ग्रेडिएंट को मास्क (जीरो आउट) किया जाए या नहीं:

प्रॉक्सिमिटी क्राइटेरियन (Proximity Criterion): यह निर्धारित करता है कि क्या पॉलिसी व्यवहार नीति (behavior policy) से बहुत दूर चली गई है।
डायरेक्शन क्राइटेरियन (Direction Criterion): यह निर्धारित करता है कि क्या अपडेट पॉलिसी को व्यवहार नीति से और दूर ले जा रहा है (outward-pointing) या वापस खींच रहा है (corrective)।

हाल के कार्यों में, विशेष रूप से DPPO में, टॉप-K वोकैबुलरी (vocabulary) पर अनुमानित डिस्ट्रीब्यूशनल डायवर्जेंस (जैसे KL डायवर्जेंस) का उपयोग करके प्रॉक्सिमिटी क्राइटेरियन में सुधार किया गया। हालांकि, DPPO मूल PPO के डायरेक्शन क्राइटेरियन को बरकरार रखता है, जो केवल सैंपल किए गए टोकन के इम्पोर्टेंस रेशियो ( $r_t - 1$ ) पर निर्भर करता है।

लेखक इस हाइब्रिड दृष्टिकोण में एक मौलिक विसंगति की पहचान करते हैं: जबकि प्रॉक्सिमिटी क्राइटेरियन अब एक ग्लोबल डिस्ट्रीब्यूशनल डायवर्जेंस द्वारा परिभाषित है, डायरेक्शन क्राइटेरियन अभी भी एक सिंगल-सैंपल प्रॉक्सी बना हुआ है। लेखक देखते हैं कि सैंपल किए गए रेशियो के परिवर्तन का चिह्न (sign), वास्तविक डायवर्जेंस में परिवर्तन के चिह्न से भिन्न हो सकता है। परिणामस्वरूप, एक टोकन को रखा जा सकता है (क्योंकि रेशियो एक सुधारात्मक अपडेट का सुझाव देता है), भले ही वह अपडेट वास्तव में ग्लोबल डायवर्जेंस को बढ़ा रहा हो, या इसके विपरीत।

2. कार्यप्रणाली (Methodology)

पेपर प्रेडिक्टिव डायवर्जेंस मास्क (Predictive Divergence Mask) प्रस्तावित करता है, जो प्रॉक्सिमिटी क्राइटेरियन की डिस्ट्रीब्यूशनल प्रकृति के साथ डायरेक्शन क्राइटेरियन को संरेखित (align) करता है। यह पूछने के बजाय कि "क्या सैंपल किया गया रेशियो एक चीज़ से दूर जाएगा?", यह तरीका पूछता है "क्या अगला ग्रेडिएंट स्टेप डायवर्जेंस को बढ़ाएगा?"

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

ऑटोरेग्रेसिव LLMs में उपयोग की जाने वाली सॉफ्टमैक्स पॉलिसियों के लिए, लेखक एक पॉलिसी ग्रेडिएंट स्टेप के साथ कुलबैक-लीब्लर (KL) डायवर्जेंस के डायरेक्शनल डेरिवेटिव $\dot{D}$ के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं।
$\dot{D} = \underbrace{(\pi_k - \mu_k)}_{\text{Local Term}} + \underbrace{\sum_{i} \pi_i (\mu_i - \pi_i)}_{\text{Global Term}}$
जहाँ:

$\pi_k$ और $\mu_k$ क्रमशः ट्रेनिंग और व्यवहार नीतियों के तहत सैंपल किए गए टोकन $k$ की प्रोबेबिलिटी हैं।
लोकल टर्म (Local Term) ठीक उसी मात्रा के अनुरूप है जिसका उपयोग स्टैंडर्ड रेशियो-आधारित डायरेक्शन क्राइटेरियन ( $r - 1$ ) में किया जाता है।
ग्लोबल टर्म (Global Term) पूरी वोकैबुलरी में नॉर्मलाइजेशन कपलिंग (normalization coupling) को कैप्चर करता है। यह टर्म पूरे वोकैबुलरी डिस्ट्रीब्यूशन के लिए अदृश्य है लेकिन डायवर्जेंस में वास्तविक परिवर्तन को निर्धारित करने के लिए महत्वपूर्ण है।

प्रेडिक्टिव मास्क एक अपडेट को केवल तभी रखता है जब $\hat{A}_t \cdot \dot{D}_t$ का चिह्न गैर-धनात्मक (non-positive) हो (जो एक सुधारात्मक या न्यूट्रल मूव को दर्शाता है), बशर्ते कि टोकन पहले से ही ट्रस्ट रीजन ( $D_t > \delta$ ) के बाहर हो।

व्यावहारिक अनुमान (Practical Estimation)

प्रोडक्शन रोलआउट इंजन आमतौर पर केवल टॉप- $K$ टोकन प्रोबेबिलिटी दिखाते हैं, न कि पूरी वोकैबुलरी डिस्ट्रीब्यूशन। इस ट्रंकेटेड व्यू के तहत $\dot{D}$ की गणना करने के लिए, लेखक अनसीन टेल (unseen tail) के लिए दो हल्केवेट एस्टिमेटर्स का प्रस्ताव करते हैं:

एग्रीगेटेड-टेल एस्टिमेटर (Aggregated-Tail Estimator): शेष प्रोबेबिलिटी मास को एक एकल एग्रीगेटेड टोकन में समाहित करता है।
यूनिफॉर्म-टेल एस्टिमेटर (Uniform-Tail Estimator): शेष मास को अनसीन वोकैबुलरी टोकन्स में समान रूप से वितरित करता है।

दोनों एस्टिमेटर्स के लिए केवल रिटेंड टॉप- $K$ प्रोबेबिलिटीज और टेल मास पर सरल रिडक्शन की आवश्यकता होती है, जिससे नगण्य कंप्यूटेशनल ओवरहेड जुड़ता है।

3. मुख्य योगदान (Key Contributions)

विसंगति की पहचान: पेपर इस बात पर प्रकाश डालता है कि डिस्ट्रीब्यूशनल प्रॉक्सिमिटी क्राइटेरियन (डायवर्जेंस) को सिंगल-सैंपल डायरेक्शन क्राइटेरियन (रेशियो) के साथ मिलाना एक मिसअलाइनमेंट पैदा करता है जहाँ डायरेक्शन मास्क वास्तविक डायवर्जेंस परिवर्तन को ट्रैक करने में विफल हो सकता है।
प्रेडिक्टिव डायवर्जेंस मास्क: एक नया मास्किंग नियम जो डायवर्जेंस के पहले-ऑर्डर परिवर्तन का उपयोग यह निर्धारित करने के लिए करता है कि अपडेट की दिशा क्या है।
क्लोज्ड-फॉर्म व्युत्पत्ति: सॉफ्टमैक्स पॉलिसियों के लिए डायरेक्शनल डेरिवेटिव की व्युत्पत्ति, जो स्पष्ट रूप से लोकल (सैंपल) और ग्लोबल (नॉर्मलाइजेशन) घटकों को अलग करती है।
ट्रंकेटेड वोकैबुलरी एस्टिमेटर्स: दो व्यावहारिक, लो-ओवरहेड एस्टिमेटर्स (एग्रीगेटेड और यूनिफॉर्म टेल), जो विधि को मानक प्रोडक्शन रोलआउट बाधाओं (top- $K$ views) के साथ कार्य करने की अनुमति देते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3 मॉडल्स (4B, 8B, और 30B) को विभिन्न प्रिसिजन सेटिंग्स (FP8) के साथ DAPO-Math-17k डेटासेट पर मूल्यांकित किया।

ट्रेनिंग स्थिरता (Training Stability): विभिन्न मॉडल स्केल्स और प्रिसिजन सेटिंग्स (FP8 सहित स्ट्रैस टेस्ट के साथ) में, प्रेडिक्टिव डायवर्जेंस मास्क ने बेसलाइन DPPO-TopK-KL की तुलना में ट्रेनिंग स्थिरता में सुधार किया। इसके विपरीत, स्टैंडर्ड GRPO विद क्लिप-हायर ट्रिक्स बड़े मॉडल सेटिंग्स में अस्थिरता और कोलैप्स दिखा।
डायरेक्शन क्राइटेरियन अलाइनमेंट: टोकन-लेवल विश्लेषण से पता चला कि डायवर्जेंस-आधारित डायरेक्शन क्राइटेरियन, रेशियो-आधारित क्राइटेरियन की तुलना में रियलाइज्ड डायवर्जेंस परिवर्तन के साथ बेहतर संरेखित है।
- उन टोकन्स के बीच जहाँ दोनों क्राइटेरिया असहमत थे, डायवर्जेंस-आधारित क्राइटेरियन में कम "अनसेफ-कीप" (unsafe-keep) दर थी (34.2% बनाम 36.9%), जिसका अर्थ है कि यह उन अपडेट्स को रखने में कम विफल रहा जो वास्तव में डायवर्जेंस को बढ़ा रहे थे।
- इसके विपरीत, इसने उन अपडेट्स का उच्च अंश रखा जिन्होंने सफलतापूर्वक डायवर्जेंस को कम किया (65.1% बनाम 62.9%)।
मजबूती (Robustness): विधि ने ट्रस्ट-रीजन थ्रेशोल्ड हाइपरपैरामीटर ( $\delta$ ) के प्रति बेहतर मजबूती प्रदर्शित की, जो सख्त बाधाओं ( $\delta = 0.05$ ) के तहत भी बेसलाइन से बेहतर प्रदर्शन करती है।
एस्टिमेटर तुल्यता (Estimator Equivalence): एग्रीगेटेड-टेल और यूनिफॉर्म-टेल एस्टिमेटर्स ने लगभग समान परिणाम दिए, जो यह सुझाव देता है कि विधि विशिष्ट टेल मॉडलिंग धारणा के प्रति संवेदनशील नहीं है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रेडिक्टिव डायवर्जेंस मास्क LLMs के लिए वर्तमान डायवर्जेंस-आधारित RL मेथड्स में एक संरचनात्मक विसंगति को हल करता है। यह सुनिश्चित करके कि दोनों प्रॉक्सिमिटी और डायरेक्शन क्राइटेरिया एक ही डिस्ट्रीब्यूशनल डायवर्जेंस से प्राप्त होते हैं, यह विधि अधिक निष्ठावान (faithful) ट्रस्ट-रीजन कंट्रोल प्रदान करती है।

लेखक इस बात पर जोर देते हैं कि हालांकि "अनसेफ-कीप" दरों में सुधार मामूली है (विसंगति वाले टोकन्स के छोटे सेट के कारण), यह निरंतरता सैद्धांतिक रूप से सुदृढ़ और विभिन्न स्केल्स पर अनुभवजन्य रूप से लाभकारी है। वे निष्कर्ष निकालते हैं कि डायरेक्शन क्राइटेरियन को प्रॉक्सिमिटी क्राइटेरियन की तरह ही डिस्ट्रीब्यूशनल ट्रीटमेंट मिलना चाहिए ताकि डायवर्जेंस-आधारित ट्रस्ट रीजन के लाभों का पूर्ण लाभ उठाया जा सके। इस विधि को मौजूदा DPPO कार्यान्वयन के लिए एक ड्रॉप-इन रिप्लेसमेंट के रूप में प्रस्तुत किया गया है जिसके लिए मौजूदा डायवर्जेंस थ्रेशोल्ड के अलावा कोई नया हाइपरपैरामीटर आवश्यक नहीं है।