📊 statistics

Adaptive Nucleus Truncation for Long-Form Reasoning

यह शोध पत्र एडेप्टिव न्यूक्लियस ट्रंकेशन सैंपलिंग (ANTS) प्रस्तुत करता है, जो एक एंट्रॉपी-कंडीशन्ड तंत्र है जो विविध कार्यों और जनरेशन बजटों में लॉन्ग-फॉर्म रीजनिंग मॉडल्स को स्थिर करने और उनके प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए टोकन ट्रंकेशन थ्रेशोल्ड्स को गतिशील रूप से समायोजित करता है।

मूल लेखक: Ousmane Amadou Dia

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ousmane Amadou Dia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े बिखरे हुए छात्र को एक जटिल समस्या को हल करना सिखा रहे हैं। आप उसे एक प्रॉम्प्ट (प्रश्न) देते हैं और उसे अपनी पूरी विचार प्रक्रिया को चरण-दर-चरण लिखने के लिए कहते हैं।

समस्या यह है कि जैसे-जैसे छात्र लिखना शुरू करता है, वह भटकने लगता है। वह अप्रासंगिक विवरणों में उलझ सकता है, खुद को दोहरा सकता है, या एक गलत मोड़ ले सकता है जो उसे एक बंद रास्ते (dead end) की ओर ले जाता है। AI की दुनिया में, इसे "ड्रिफ्टिंग" (drifting) या "इनस्टेबिलिटी" (instability) कहा जाता है।

यह शोध पत्र एक नया टूल पेश करता है जिसे ANTS (Adaptive Nucleus Truncation Sampling) कहा जाता है, ताकि AI को ट्रैक पर रहने में मदद मिल सके, खासकर जब उसे बहुत लंबे उत्तर लिखने हों।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "फिक्स्ड फिल्टर" बनाम "स्मार्ट फिल्टर"

कल्पना कीजिए कि AI एक चौराहे पर खड़ा है जहाँ हजारों संभावित रास्ते (शब्द) हैं जिन्हें वह अगला कदम उठाने के लिए चुन सकता है।

पुराने तरीके: पारंपरिक उपकरण एक फिक्स्ड गेटकीपर (निश्चित द्वारपाल) की तरह काम करते हैं। वे कहते हैं, "चाहे स्थिति कुछ भी हो, हम केवल शीर्ष 50% रास्तों को ही आगे जाने देंगे।"
- दोष: कभी-कभी छात्र को बहुत केंद्रित होने की आवश्यकता होती है (एक गणित की समस्या), और एक चौड़ा गेट बहुत अधिक शोर (noise) को अंदर आने देता है। अन्य समय में, छात्र को रचनात्मक होने की आवश्यकता होती है (एक कहानी लिखना), और एक संकीकर गेट अच्छे विचारों को काट देता है। एक फिक्स्ड गेट स्थिति के आधार पर अपना निर्णय नहीं बदल सकता।
ANTS का समाधान: ANTS एक स्मार्ट, अडैप्टिव गाइड की तरह काम करता है। एक फिक्स्ड गेट के बजाय, यह वर्तमान स्थिति को देखता है और पूछता है: "छात्र अभी कितना भ्रमित है?"
- यदि छात्र अपने उत्तर के प्रति बहुत आश्वस्त है (कम भ्रम), तो गाइड उसे केंद्रित रखने के लिए गेट को संकुचित कर देता है।
- यदि छात्र अनिश्चित है (उच्च भ्रम), तो गाइड उसे अधिक विकल्पों को खोजने के लिए गेट को चौड़ा कर देता है।

2. सीक्रेट सॉस: "लॉगिट्स" (Logits) और "एन्ट्रॉपी" (Entropy)

इन निर्णय लेने के लिए, ANTS दो विशेष उपकरणों का उपयोग करता है:

लॉगिट्स (Raw Score - कच्चा स्कोर): अधिकांश AI उपकरण किसी शब्द की अंतिम "संभावना" (जैसे प्रतिशत संभावना) को देखते हैं। लेकिन शोध पत्र का तर्क है कि यह एक फोटो को देखने जैसा है जिसे फिल्टर और रीसाइज किया गया है। ANTS किसी भी फिल्टरिंग से पहले के कच्चे स्कोर (logits) को देखता है। यह खाना पकाने से पहले कच्चे माल को देखने जैसा है; यह एक स्पष्ट तस्वीर देता है कि AI वास्तव में सबसे अच्छा शब्द क्या "सोचता" है।
एन्ट्रॉपी (Confusion Meter - भ्रम मीटर): ANTS "एन्ट्रॉपी" को मापता है, जो मूल रूप से इस बात का माप है कि AI उस विशिष्ट क्षण में कितना भ्रमित या अनिश्चित है। यह अपने गेट को कितना चौड़ा खोलना है, इसका निर्णय लेने के लिए इस मीटर का उपयोग करता है।

3. सेफ्टी नेट: "फालबैक आर्म" (Fallback Arm)

यह इस आविष्कार का सबसे महत्वपूर्ण हिस्सा है।
कल्पना कीजिए कि स्मार्ट गाइड (ANTS) बहुत अधिक मददगार होने की कोशिश कर रहा है। वह रास्तों को इतनी आक्रामक तरीके से काटने लगता है कि छात्र फंस जाता है या बेतुकी बातें (nonsense) करने लगता है।

फालबैक (Fallback): ANTS के पास एक विशेष "इमरजेंसी बटन" (जिसे फालबैक आर्म कहा जाता है) है। यदि गाइड को एहसास होता है कि रास्तों को काटना चीजों को बदतर बना रहा है, तो वह तुरंत बटन दबाकर रास्तों को काटना पूरी तरह से बंद कर सकता है। यह तुरंत मूल, अनफिल्टर्ड तरीके पर वापस आ जाता है।
यह क्यों मायने रखता है: पुराने दिनों में, यदि कोई फिल्टर बहुत सख्त था, तो AI केवल बदतर होता जाता था। ANTS के साथ, सिस्टम यह "सीख" सकता है कि कब सख्त होना बंद करना है और कब स्वतंत्र होना है, जिससे इसकी ट्रेनिंग स्थिर बनी रहती है।

4. परिणाम: यह जितना लंबा संवाद, उतना बेहतर

शोधकर्ताओं ने एक बड़े AI मॉडल पर विभिन्न "बजट" (शब्दों की सीमा) के साथ इसका परीक्षण किया।

छोटे बजट (8K शब्द): परिणाम मिले-जुले रहे। कोडिंग जैसे कार्यों के लिए, ANTS के साथ AI वास्तव में बदतर प्रदर्शन करता है। ऐसा लगता है कि जब आपके पास काम करने के लिए बहुत कम जगह होती है, तो किन शब्दों को अनुमति देनी है, इसे लेकर बहुत अधिक चयनात्मक होना परिणाम को नुकसान पहुँचा सकता है।
लंबे बजट (16K और 32K शब्द): यहीं पर ANTS चमकता है। जैसे-जैसे अनुमत लंबाई बढ़ी, ANTS काफी बेहतर हुआ।
- निर्देश पालन (Instruction Following): जब लंबे समय तक जटिल नियमों का पालन करने के लिए कहा गया, तो ANTS ने AI को नियमों को भूलने या बड़बड़ाने (rambling) से रोका।
- गणित और तर्क (Math & Logic): कठिन गणितीय समस्याओं पर, ANTS ने AI को गलत चरणों का भ्रम (hallucination) पैदा करने से बचने में मदद की, जिससे बेहतर स्कोर मिले।
- "कोडफोर्स" (Codeforces) ट्विस्ट: दिलचस्प बात यह है कि कोडिंग कार्यों के लिए, ANTS छोटे स्तर पर बुरा था लेकिन लंबे स्तर पर अद्भुत था। यह सुझाव देता है कि जटिल कोडिंग के लिए, सही विचार पर टिकने से पहले कई विचारों को खोजने की स्वतंत्रता की आवश्यकता होती है, लेकिन केवल तभी जब आपके पास इसके लिए पर्याप्त जगह हो।

मुख्य निष्कर्ष

यह शोध पत्र तर्क देता है कि हमें "सैंपलिंग" पद्धति (AI अगला शब्द कैसे चुनता है) को केवल एक साधारण सेटिंग के रूप में नहीं देखना चाहिए जिसे आप चालू या बंद कर सकते हैं। इसके बजाय, इसे एक डायनेमिक कंट्रोलर के रूप में होना चाहिए जो निम्नलिखित के आधार पर अपना व्यवहार बदलता है:

उत्तर को कितना लंबा होना चाहिए।
AI उस क्षण में कितना भ्रमित है।
क्या वर्तमान रणनीति काम कर रही है या इसे रीसेट करने के लिए "इमरजेंसी बटन" दबाने की आवश्यकता है।

संक्षेप में, ANTS एक ऐसा सिस्टम है जो AI को यह सिखाता है कि कब केंद्रित होना है, कब रचनात्मक होना है, और कब "स्मार्ट" बनने की कोशिश छोड़ देनी चाहिए और बस स्वाभाविक रूप से बहने देना चाहिए, ताकि वह एक लंबी बातचीत के बीच में खो न जाए।

तकनीकी सारांश: दीर्घ-रूप तर्क के लिए एडेप्टिव न्यूक्लियस ट्रंकेशन (Adaptive Nucleus Truncation)

समस्या विवरण

दीर्घ-रूप भाषा मॉडल (long-form language model) तर्क में, जनरेशन बजट अक्सर इतना बड़ा होता है कि वह बहु-चरणीय तर्क (multi-step reasoning), स्व-परिष्करण (self-refinement), और टूल उपयोग का समर्थन कर सके। इन व्यवस्थाओं में, डिकोडिंग सैंपलर केवल एक पोस्ट-प्रोसेसिंग विवरण नहीं है, बल्कि एक महत्वपूर्ण नियंत्रण तंत्र है जो सुलभ तर्क पथों (reasoning paths) और प्रशिक्षण प्रक्षेपवक्र (training trajectories) की स्थिरता को निर्धारित करता है। मौजूदा ट्रंकेशन विधियाँ—जैसे top- $p$ , min- $p$ , और निश्चित top- $n_\sigma$ सैंपलिंग—अनियंत्रित सैंपलिंग में सुधार तो करती हैं, लेकिन महत्वपूर्ण सीमाओं से ग्रस्त हैं:

निश्चित थ्रेशोल्ड (Fixed Thresholds): top- $p$ और min- $p$ जैसी विधियाँ निश्चित संभाव्यता थ्रेशोल्ड पर निर्भर करती हैं जो एंट्रॉपी, कार्य की कठिनाई, प्रशिक्षण चरण, या जनरेशन बजट में होने वाले परिवर्तनों के अनुकूल नहीं हो सकती हैं।
संभाव्यता-स्थान विरूपण (Probability-Space Distortions): संभाव्यता-आधारित विधियाँ सॉफ्टमैक्स और टेम्परेचर स्केलिंग के बाद संचालित होती हैं, जिससे वे संभाव्यता सामान्यीकरण (probability normalization) से उत्पन्न विरूपणों को विरासत में प्राप्त करती हैं। फलस्वरूप, एक ही अंतर्निहित लॉजिट ज्यामिति (logit geometry) तापमान बदलने पर अलग-अलग कैंडिडेट सेट दे सकती है।
अनुकूलन क्षमता का अभाव (Lack of Adaptability): एक एकल निश्चित ट्रंकेशन पैरामीटर (जैसे, top- $n_\sigma$ में एक निश्चित $n$ ) एक साथ उन संदर्भों की सेवा नहीं कर सकता जिन्हें तीक्ष्ण छंटनी (sharp pruning) की आवश्यकता है और उन अस्पष्ट संदर्भों की जिन्हें व्यापक समर्थन की आवश्यकता है। इसके अलावा, अस्थिर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) चरणों में, आक्रामक ट्रंकेशन प्रशिक्षण अस्थिरता (एंट्रॉपी, KL डाइवर्जेंस, और ग्रेडिएंट नॉर्म्स में ओवरशूटिंग) का कारण बन सकता है।

कार्यप्रणाली: एडेप्टिव न्यूक्लियस ट्रंकेशन सैंपलिंग (ANTS)

लेखक एडेप्टिव न्यूक्लियस ट्रंकेशन सैंपलिंग (ANTS) का प्रस्ताव करते हैं, जो top- $n_\sigma$ सैंपलिंग को एक निश्चित डिकोडिंग ह्यूरिस्टिक से एक एडेप्टिव, बजट-जागरूक रोलआउट-कंट्रोल तंत्र में विस्तारित करता है। ANTS तीन चरणों में कार्य करता है:

1. लॉजिट-स्पेस सपोर्ट अनुमान (Logit-Space Support Estimation)

संभाव्यता-आधारित विधियों के विपरीत, ANTS प्री-टेम्परेचर लॉजिट स्पेस में कैंडिडेट सेट का चयन करता है। यह शब्दावली-वार मानक विचलन $\sigma(\ell_t)$ के आधार पर अधिकतम लॉजिट $\ell_{t, \text{max}}$ के चारों ओर एक पड़ोस $N_t(n)$ को परिभाषित करता है:
$N_t(n) = \{ v \in V \mid \ell_{t,v} > \max_{u \in V} \ell_{t,u} - n \cdot \sigma(\ell_t) \}$
यह चयन पॉजिटिव लॉजिट रीस्केलिंग (टेम्परेचर स्केलिंग) के प्रति अपरिवर्तित है, जो यह सुनिश्चित करता है कि तापमान परिवर्तन के बावजूद कैंडिडेट सेट सुसंगत बना रहे।

2. एंट्रॉपी-कंडीशनड थ्रेशोल्डिंग (Entropy-Conditioned Thresholding)

ट्रंकेशन पड़ोस की चौड़ाई, $n_t$ , स्थिर नहीं है बल्कि मॉडल की स्थानीय अनिश्चितता के आधार पर अनुकूलित होती है। इसकी गणना इस प्रकार की जाती है:
$n_t = n_0 + \gamma \cdot H(p^{(0)}_t)$
जहाँ $H(p^{(0)}_t)$ यूनिट-टेम्परेचर डिस्ट्रीब्यूशन की एंट्रॉपी है। उच्च-एंट्रॉपी संदर्भ (अस्पष्ट) अधिक विकल्पों को बनाए रखते हैं (बड़ा $n_t$ ), जबकि निम्न-एंट्रॉपी संदर्भ (निर्णायक) को अधिक तीक्ष्णता से छाँटा जाता है।

3. ऑनलाइन थॉम्पसन-सैंपलिंग कंट्रोलर (Online Thompson-Sampling Controller)

इष्टतम ट्रंकेशन स्ट्रेंथ $\gamma$ को गतिशील रूप से निर्धारित करने के लिए, ANTS सीमित 'आर्म्स' (arms) के ऊपर एक थॉम्पसन-सैंपलिंग बैंडिट कंट्रोलर का उपयोग करता है:

सीमित आर्म्स (Finite Arms): लॉग-स्पेस $\gamma$ मानों ( $\gamma_k = 10^{\eta_k}$ ) के साथ $K$ आर्म्स का एक सेट।
फ़ालबैक आर्म (Fallback Arm): एक महत्वपूर्ण $K+1$ -वाँ आर्म जिसके साथ $\gamma_{K+1} = +\infty$ है, जो प्रभावी रूप से ट्रंकेशन को अक्षम कर देता है ( $N_t = V$ ), जिससे बेसलाइन सैंपलर वापस मिल जाता है।
रिवॉर्ड सिग्नल (Reward Signal): कंट्रोलर प्रत्येक आर्म द्वारा प्रेरित डिस्ट्रीब्यूशन की एंट्रॉपी पर आधारित एक आंतरिक रिवॉर्ड का उपयोग करता है। वे आर्म्स जो पर्याप्त सपोर्ट बनाए रखते हैं (उच्च-औसत एंट्रॉपी), उन्हें बड़े पोस्टीरियर अपडेट प्राप्त होते हैं।
स्थिरता तंत्र (Stability Mechanism): फ़ालबैक आर्म एक "सेफ एस्केप हैच" के रूप में कार्य करता है। यदि RL रोलआउट के दौरान ट्रंकेशन असुरक्षित हो जाता है (जिससे KL डाइवर्जेंस या ग्रेडिएंट नॉर्म्स जैसे मेट्रिक्स में विचलन होता है), तो कंट्रोलर स्थिरता लाने के लिए फ़ालबैक आर्म चुनने के लिए सीख सकता है।

मुख्य योगदान

एडेप्टिव लॉजिट-स्पेस सैंपलर: ANTS को एक टेम्परेचर-इनवेरिएंट सैंपलर के रूप में तैयार करना जो कैंडिडेट-सेट चयन को इन-सेट स्टोकास्टिसिटी से अलग करता है।
एंट्रॉपी-ड्रिवन कंट्रोल: एक एंट्रॉपी-कंडीशनड थॉम्पसन कंट्रोलर का परिचय जो ऑनलाइन ट्रंकेशन स्ट्रेंथ को अनुकूलित करता है और इसमें प्रशिक्षण अस्थिरता को रोकने के लिए नो-ट्रंकेशन फ़ालबैक आर्म शामिल है।
जनरेशन-बजट स्केलिंग मूल्यांकन: 8K, 16K, और 32K जनरेशन बजटों में व्यापक मूल्यांकन, जो दर्शाता है कि प्रदर्शन लाभ आम तौर पर बजट के साथ बढ़ते हैं।
बजट-जागरूक ट्रंकेशन: शॉर्ट-बजट कोड जनरेशन में एक विशिष्ट विफलता मोड का लक्षण वर्णन, जो जनरेशन बजट और कार्य प्रकार के साथ संयुक्त रूप से सीखे जाने वाले ट्रंकेशन पॉलिसी की आवश्यकता को प्रेरित करता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन एक 33B-टोटल / 4B-एक्टिव स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) रीजनिंग मॉडल पर किया गया।

बजट के साथ स्केलिंग: प्रतिशत-आधारित बेंचमार्क पर औसत प्रदर्शन 8K पर +1.9 अंक, 16K पर +3.8, और 32K पर +5.2 अंक सुधरा।
इंस्ट्रक्शन फॉलोइंग (IFBench): सबसे मजबूत लाभ दिखाया, 32K पर +10.5 (लूज़) और +10.8 (स्ट्रिक्ट) अंक का सुधार हुआ। ANTS ने उन निरंतरताओं में विचलन को रोका जो बाधाओं का उल्लंघन करती हैं या अत्यधिक विस्तृत/तर्कहीन हो जाती हैं।
गणितीय तर्क (AIME 2025): 32K पर +7.0 अंक सुधरा, जिसमें 8K से 32K तक लाभ लगभग दोगुना हो गया।
कोड जनरेशन (Codeforces): एक महत्वपूर्ण बजट इंटरैक्शन प्रकट किया। 8K पर, अधिक सॉल्यूशन टोकन उत्पन्न करने के बावजूद ANTS बेसलाइन से -59 ELO पीछे रहा। हालांकि, 16K और 32K पर, इसने इस अंतर को उलट दिया, क्रमशः +230 और +212 ELO लाभ प्राप्त किया। यह सुझाव देता है कि कड़े कोड शासन (tightly constrained code regimes) में ट्रंकेशन हानिकारक है, लेकिन जब व्यवहार्य प्रोग्राम स्पेस बड़ा होता है तो यह फायदेमंद होता है।
वैज्ञानिक QA (GPQA) और ज्ञान (MMLU Pro): लगभग समानता या मामूली लाभ दिखाया, जो इंगित करता है कि लॉजिट-स्पेस ट्रंकेशन सटीक सिंगल-आंसर चयन के लिए आवश्यक कार्यों की तुलना में दीर्घ-रूप जनरेशन के लिए कम प्रभाव डालता है।
टोकन आवंटन: ANTS ने टोकन उपयोग पैटर्न को बदल दिया। मध्यम बजट पर, इसने "थॉट" (thought) टोकन को बढ़ाया (विमर्श)। 32K पर, इसने उच्च सटीकता बनाए रखते हुए थॉट टोकन को कम किया, जो बताता है कि यह केवल लंबी श्रृंखलाओं को उत्पन्न करने के बजाय अनावश्यक निरंतरता को दबाता है।

महत्व और दावे

पेपर का तर्क है कि सैंपलर डिज़ाइन को केवल एक निश्चित डिकोडिंग हाइपरपैरामीटर के रूप में नहीं, बल्कि इन्फ्रेंस-टाइम स्केलिंग और रोलआउट कंट्रोल के एक अभिन्न अंग के रूप में माना जाना चाहिए।

स्थिरता: फ़ालबैक आर्म का समावेश इस पद्धति की सफलता के लिए केंद्रीय है, जो सिस्टम को उन अस्थिर ट्रंकेशन अवस्थाओं से उबरने की अनुमति देता है जिनसे फिक्स्ड विधियाँ नहीं निकल सकती हैं।
संदर्भ संवेदनशीलता (Context Sensitivity): परिणाम प्रदर्शित करते हैं कि इष्टतम सैंपलिंग रणनीति संदर्भ-निर्भर है, जो जनरेशन बजट, कार्य प्रकार (जैसे कोड बनाम गणित), और प्रशिक्षण अवस्था के अनुसार बदलती है।
दक्षता: ANTS अक्सर बेसलाइन की तुलना में प्रदर्शन बैंड तक जल्दी पहुँच जाता है, जिससे RL सेटिंग्स में कम-गुणवत्ता वाले या अस्थिर रोलआउट की आवृत्ति को कम करके प्रभावी कंप्यूट दक्षता में सुधार होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि ANTS सभी कार्यों के लिए सभी मौजूदा सैंपलर्स पर सार्वभौमिक रूप से हावी नहीं होता है, लेकिन यह एक मजबूत जनरेशन-बजट स्केलिंग पैटर्न प्रदर्शित करता है, विशेष रूप से दीर्घ-रूप तर्क और इंस्ट्रक्शन फॉलोइंग के लिए, जहाँ उपयोगी तर्क पथों को हटाए बिना शोर वाले पूंछ (noisy tails) को दबाना महत्वपूर्ण है।