📊 statistics

Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation

यह शोध पत्र टॉप-एच (Top-H) डिकोडिंग को प्रस्तुत करता है, जो एक एंट्रॉपी-प्रतिबंधित मास मैक्सिमाइजेशन फ्रेमवर्क पर आधारित एक नवीन सैंपलिंग एल्गोरिदम है जो लार्ज लैंग्वेज मॉडल्स में रचनात्मकता और सुसंगतता के बीच प्रभावी ढंग से संतुलन बनाता है, और तथ्यात्मक कार्यों में मजबूती बनाए रखते हुए क्रिएटिव राइटिंग बेंचमार्क पर मिन-पी (min-p) सैंपलिंग जैसी अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, जानकार रोबोट से एक कहानी सुनाने के लिए कह रहे हैं। आप चाहते हैं कि कहानी रचनात्मक (creative) हो (अजीब और रोमांचक विचारों से भरी हुई) लेकिन साथ ही सुसंगत (coherent) भी हो (तार्किक रूप से समझ में आने वाली)।

समस्या यह है कि जब आप रोबोट को "रचनात्मक होने" के लिए कहते हैं, तो वह अक्सर बहुत अधिक उत्साहित हो जाता है। वह ऐसे शब्दों को चुनना शुरू कर देता है जो इतने असामान्य होते हैं कि कहानी बिखर जाती है। यह "रचनात्मकता बनाम सुसंगतता" (Creativity vs. Coherence) का संघर्ष है।

पुराने तरीके: "Top-K" और "Top-P" फिल्टर्स

पहले, शोधकर्ताओं ने इसे सरल फिल्टर्स के साथ ठीक करने की कोशिश की थी:

Top-K: "केवल शीर्ष 50 सबसे संभावित शब्दों में से चुनें।" यह एक सख्त शिक्षक की तरह है जो आपको केवल एक छोटा, सुरक्षित शब्दकोश उपयोग करने की अनुमति देता है। यह सुसंगत है, लेकिन उबाऊ है।
Top-P (Nucleus): "उन शब्दों के सबसे छोटे समूह में से चुनें जो 90% संभावना जोड़ते हैं।" यह थोड़ा अधिक लचीला है, लेकिन अगर रोबोट अनिश्चित है, तो वह कोटा पूरा करने के लिए गलती से कुछ बहुत ही अजीब शब्द शामिल कर सकता है, जिससे कहानी खराब हो जाती है।
Min-P: एक नया तरीका जो कहता है, "यदि रोबोट सबसे अच्छे शब्द के बारे में बहुत आश्वस्त है, तो अजीब शब्दों को आक्रामक रूप से हटा दें। यदि वह अनिश्चित है, तो अधिक उदार रहें।" यह अच्छा काम करता है, लेकिन इसकी एक कमी है: यह यह तय करने के लिए कि रोबोट कितना आश्वस्त है, केवल एक सबसे अच्छे शब्द को देखता है। यह बाकी भीड़ को अनदेखा कर देता है।

नया तरीका: Top-H डिकोडिंग

इस शोध पत्र के लेखक एक नई विधि प्रस्तावित करते हैं जिसे Top-H कहा जाता है। इसे एक स्मार्ट ट्रैफिक कंट्रोलर के रूप में सोचें।

केवल "सबसे तेज़ कार" (शीर्ष शब्द) को देखने के बजाय यह तय करने के लिए कि कितना ट्रैफिक होने देना है, Top-H पूरी ट्रैफिक जाम (पूरी प्रोबेबिलिटी डिस्ट्रीब्यूशन) को देखता है।

यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) यहाँ दी गई है:

"एन्ट्रॉपी" मीटर (अराजकता का माप)

कल्पना कीजिए कि रोबोट का मस्तिष्क अलग-अलग शब्द चिल्लाने वाले लोगों से भरा एक कमरा है।

कम एन्ट्रॉपी (शांत): हर कोई एक ही चीज़ चिल्ला रहा है, या केवल कुछ लोग ज़ोर से चिल्ला रहे हैं। रोबोट बहुत आश्वस्त है।
उच्च एन्ट्रॉपी (अराजकता): सैकड़ों लोग एक साथ अलग-अलग चीजें चिल्ला रहे हैं। रोबोट भ्रमित और अनिश्चित है।

पुराने तरीके (जैसे Min-P) केवल सबसे तेज़ चिल्लाने वाले व्यक्ति की आवाज़ की जाँच करते हैं ताकि यह अनुमान लगाया जा सके कि कमरा कितना अराजक है। यदि सबसे तेज़ व्यक्ति ज़ोर से चिल्ला रहा है, तो Min-P मान लेता है कि कमरा शांत है और दूसरों को काट देता है। लेकिन क्या होगा यदि वहां 50 अन्य लोग बस थोड़ी कम आवाज़ में चिल्ला रहे हैं? कमरा वास्तव में अराजक है!

Top-H पूरे कमरे के कुल शोर के स्तर (एन्ट्रॉपी) को मापता है।

यदि कमरा शांत है (कम एन्ट्रॉपी), तो Top-H कहता है, "बहुत बढ़िया, हमें पता है कि हम क्या कर रहे हैं। आइए केवल कुछ ही लोगों को बोलने दें।" (उच्च सुसंगतता)।
यदि कमरा अराजक है (उच्च एन्ट्रॉपी), तो Top-H कहता है, "वाह, यहाँ बहुत अनिश्चितता है। हमें कहानी को दिलचस्प बनाए रखने के लिए अधिक लोगों को बोलने देना होगा, लेकिन हमें एक सीमा निर्धारित करनी होगी ताकि यह चीख-पुकार में न बदल जाए।" (उच्च रचनात्मकता, लेकिन नियंत्रित)।

"ग्रीडी" (Greedy) एल्गोरिदम

शोध पत्र यह सिद्ध करता है कि इस संतुलन को खोजने के लिए एकदम सही समूह ढूँढना गणितीय रूप से एक असंभव पहेली (जिसे "NP-hard" कहा जाता है) है। यह एक केक के लिए सामग्री का सही संयोजन खोजने की कोशिश करने जैसा है जहाँ आपके पास लाखों विकल्प हैं, लेकिन आप उन सभी का परीक्षण नहीं कर सकते।

इसलिए, Top-H एक ग्रीडी एल्गोरिदम का उपयोग करता है। कल्पना कीजिए कि आप ब्लॉकों का एक टॉवर बना रहे हैं।

आप सबसे बड़े, सबसे स्थिर ब्लॉक (सबसे संभावित शब्द) के साथ शुरुआत करते हैं।
आप अगले सबसे बड़े ब्लॉक को जोड़ते रहते हैं।
हर ब्लॉक के बाद, आप जाँचते हैं: "क्या टॉवर बहुत डगमगा रहा है?" (क्या एन्ट्रॉपी बहुत अधिक है?)
यदि टॉवर अभी भी स्थिर है (एन्ट्रॉपी बजट के भीतर), तो आप जोड़ते रहते हैं।
जिस क्षण एक और ब्लॉक जोड़ने से टॉवर बहुत अधिक डगमगा सकता है, आप रुक जाते हैं।

यह सुनिश्चित करता है कि आपको जितने संभव हो उतने दिलचस्प शब्द मिलें बिना कहानी के निरर्थक हुए।

शोध पत्र ने क्या पाया

लेखकों ने विभिन्न कार्यों पर अन्य तरीकों के मुकाबले इस "स्मार्ट ट्रैफिक कंट्रोलर" का परीक्षण किया:

रचनात्मक लेखन: Top-H ने अन्य तरीकों की तुलना में काफी अधिक रचनात्मक और सुसंगत कहानियाँ लिखीं, विशेष रूप से तब जब रोबोट को "विद्रोही/अतरंगी" (उच्च टेम्परेचर सेटिंग्स) होने के लिए कहा गया था।
तर्क संबंधी कार्य: इसने गणित और तर्क पहेलियों में भी बेहतर प्रदर्शन किया, जो यह साबित करता है कि यह केवल मनगढ़ंत बातें नहीं बनाता; यह तथ्यों पर टिका रहता है।
गति: यह अन्य तरीकों के लगभग समान तेज़ है, इसलिए यह रोबोट को धीमा नहीं करता है।

निचोड़ (The Bottom Line)

Top-H एक नया तरीका है जिससे AI अपने शब्दों का चयन करता है। केवल "सर्वश्रेष्ठ" विकल्प के आधार पर अनुमान लगाने के बजाय, यह AI के समग्र "विश्वास" को मापता है। यदि AI आश्वस्त है, तो वह सुरक्षित शब्दों तक ही सीमित रहता है। यदि AI अन्वेषण कर रहा है, तो यह विविधता की अनुमति देता है लेकिन कहानी को बिखरने से बचाने के लिए एक सख्त नियंत्रण रखता है। यह एक ऐसे क्रिएटिव डायरेक्टर की तरह है जो जानता है कि अभिनेताओं को कब इम्प्रोवाइज़ (तत्काल संवाद) करने देना है और कब स्क्रिप्ट पर टिके रहना है।

तकनीकी सारांश: टॉप-H (Top-H) डिकोडिंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) ओपन-एंडेड टेक्स्ट जनरेशन में एक मौलिक चुनौती का सामना करते हैं: विविधता और रचनात्मकता को बढ़ावा देने और तार्किक सुसंगतता (logical coherence) को बनाए रखने के बीच संतुलन बनाना। मौजूदा ट्रंकेटेड सैंपलिंग तकनीकें, जैसे कि टेम्परेचर स्केलिंग, टॉप-k, टॉप-p (न्यूक्लियस), और मिन-p सैंपलिंग, इस संतुलन को प्रबंधित करने का प्रयास करती हैं लेकिन वे महत्वपूर्ण सीमाओं को प्रदर्शित करती हैं। विशेष रूप से, मिन-p जैसी विधियाँ मॉडल के आत्मविश्वास के एक ह्यूरिस्टिक (heuristic) के रूप में केवल एक शीर्ष टोकन पर निर्भर करती हैं। यह दृष्टिकोण मूल संभाव्यता वितरण (probability distribution) के समग्र आकार को ध्यान में रखने में विफल रहता है, जिससे स्पार्स (कम-एन्ट्रॉपी) वितरणों में अत्यधिक ट्रंकेशन (over-truncation) और डेंस (उच्च-एन्ट्रॉपी) वितरणों में अपर्याप्त ट्रंकेशन (under-truncation) होता है। फलस्वरूप, ये विधियाँ अक्सर उच्च तापमान पर सुसंगतता बनाए रखने में संघर्ष करती हैं जहाँ रचनात्मकता आवश्यक होती है।

कार्यप्रणाली (Methodology)
यह शोध पत्र टॉप-H डिकोडिंग पेश करता है, जो एक सैंपलिंग रणनीति है जिसे केवल अपने शिखर (peak) के बजाय संपूर्ण संभाव्यता वितरण पर विचार करके मॉडल के आत्मविश्वास को गतिशील रूप से शामिल करने के लिए डिज़ाइन किया गया है। इसकी कार्यप्रणाली एक सैद्धांतिक ढांचे पर आधारित है जो रचनात्मकता और सुसंगतता के बीच के ट्रेड-ऑफ को एक अनुकूलन समस्या (optimization problem) के रूप में औपचारिक रूप देती है।

सैद्धांतिक आधार (ECMD और ECMM):
लेखक इस समस्या को एन्ट्रॉपी-कंस्ट्रेंड मिनिमम डायवर्जेंस (ECMD) के रूप में तैयार करते हैं, जो एक ऐसे टोकन सेट $S$ को खोजने का प्रयास करता है जो मूल वितरण $p$ से जेन्सन-शैनन डायवर्जेंस (JSD) को न्यूनतम करता है और एक एन्ट्रॉपी बाधा $H(q) \leq \alpha H(p)$ को संतुष्ट करता है, जहाँ $q$ सेट $S$ पर वितरण है और $\alpha \in (0,1)$ एक ट्यूनेबल हाइपरपैरामीटर है।
शोध पत्र यह सिद्ध करता है कि एन्ट्रॉपी बाउंड के तहत JSD को न्यूनतम करना गणितीय रूप से एन्ट्रॉपी-कंस्ट्रेंड मास मैक्सिमाइजेशन (ECMM) के समान है: समान एन्ट्रॉपी बाधा के अधीन चयनित टोकनों की संभाव्यता के योग ( $\Gamma_S = \sum_{i \in S} p_i$ ) को अधिकतम करना।
जटिलता विश्लेषण (Complexity Analysis):
लेखक यह सिद्ध करते हैं कि ECMM समस्या, कार्डिनैलिटी-कंस्ट्रेंड सबसेट सम (CCSS) समस्या से पॉलीनोमियल-टाइम रिडक्शन के माध्यम से NP-hard है। यह स्थापित करता है कि सामान्य मामले में सटीक इष्टतम उपसमुच्चय (optimal subset) खोजना गणनात्मक रूप से कठिन है।
एल्गोरिदम (Top-H):
ECMM की NP-hardness को संबोधित करने के लिए, शोध पत्र top-H प्रस्तावित करता है, जो एक गणनात्मक रूप से कुशल ग्रीडी (greedy) एल्गोरिदम है।

प्रक्रिया: एल्गोरिदम टोकनों को घटते संभाव्यता क्रम में सॉर्ट करता है और उन्हें चयन सेट $S$ में जोड़ने के लिए पुनरावृत्ति (iteratively) करता है। प्रत्येक जोड़ के बाद, यह $S$ पर पुनर्गठित (renormalized) वितरण $q$ की एन्ट्रॉपी की गणना करता है।
समाप्ति (Termination): प्रक्रिया तब रुक जाती है जब अगला टोकन जोड़ने से एन्ट्रॉपी $H(q)$ , गतिशील थ्रेशोल्ड $\alpha H(p)$ से अधिक हो जाती है।
गतिशील अनुकूलन (Dynamic Adaptation): स्टेटिक थ्रेशोल्ड विधियों के विपरीत, top-H प्रत्येक जनरेशन स्टेप पर मॉडल के बदलते आत्मविश्वास के अनुसार अनुकूलित होता है। जैसे-जैसे मूल वितरण $H(p)$ की एन्ट्रॉपी बदलती है, चयनित उपसमुच्चय के लिए अनुमत एन्ट्रॉपी बजट भी उसी के अनुसार स्केल होता है।

प्रमुख योगदान

सैद्धांतिक सूत्रीकरण: शोध पत्र ECMD समस्या को परिभाषित करके और इसे NP-hard ECMM समस्या के समकक्ष सिद्ध करके एन्ट्रॉपी-आधारित ट्रंकेशन के लिए एक सैद्धांतिक आधार स्थापित करता है।
नवीन एल्गोरिदम: यह top-H प्रस्तुत करता है, जो एक कुशल ( $O(n \log n)$ जटिलता, जो सॉर्टिंग द्वारा संचालित है) ग्रीडी एप्रोक्सिमेशन एल्गोरिदम है, जो चयनित वितरण की एन्ट्रॉपी को सख्ती से सीमित करते हुए ECMM समस्या को हल करता है।
वितरण जागरूकता (Distribution Awareness): मिन-p के विपरीत, जो केवल top-1 टोकन संभाव्यता पर निर्भर है, top-H सैंपलिंग पूल के आकार को निर्धारित करने के लिए पूर्ण वितरण के आकार का उपयोग करता है, जिससे यह दोनों स्पार्स और डेंस वितरणों में ह्यूरिस्टिक-आधारित ट्रंकेशन की सीमाओं को प्रभावी ढंग से संबोधित करता है।

प्रायोगिक परिणाम
तीन इंस्ट्रक्शन-ट्यून्ड मॉडल्स (LLaMA3.1-8B, Qwen2.5-3B, Phi-3-Mini) और कई बेंचमार्क्स पर व्यापक अनुभवजन्य मूल्यांकन किए गए:

क्रिएटिव राइटिंग (Alpaca-Eval और MT-Bench): Top-H ने विन रेट और जज स्कोर में स्टेट-ऑफ-द-आर्ट मिन-p सैंपलिंग से 25.63% तक बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, top-H ने टेम्परेचर स्केलिंग के प्रति उत्कृष्ट मजबूती (robustness) प्रदर्शित की; जहाँ top-p और min-p उच्च तापमान (जैसे, $T=2$ ) पर महत्वपूर्ण सुसंगतता गिरावट का शिकार हुए, वहीं top-H ने स्थिर प्रदर्शन बनाए रखा।
रीजनिंग टास्क (GSM8K और GPQA): Top-H ने विभिन्न तापमानों पर min-p और top-p की तुलना में लगातार उच्च सटीकता प्राप्त की। $T=2$ पर, top-p ने सटीकता में लगभग पूर्ण गिरावट दिखाई (जैसे, Phi-3-Mini के लिए GSM8K पर 73.62% की गिरावट), जबकि top-H ने मजबूती बनाए रखी, जो min-p की तुलना में 25.63% तक का सुधार दिखाता है।
LLM-as-a-Judge: GPT-4o का उपयोग करके किए गए मूल्यांकन ने पुष्टि की कि top-H बेसलाइन्स की तुलना में उच्च रचनात्मकता, मौलिकता और सुसंगतता वाले आउटपुट उत्पन्न करता है, विशेष रूप से उच्च तापमान पर।
दक्षता (Efficiency): top-H का कम्प्यूटेशनल ओवरहेड नगण्य है (min-p/top-p की तुलना में लगभग 0.8% लेटेंसी वृद्धि), क्योंकि इसकी जटिलता सॉर्टिंग स्टेप द्वारा संचालित होती है जो सभी संचयी डिकोडिंग विधियों में सामान्य है।

महत्व और दावे
शोध पत्र का दावा है कि top-H रचनात्मकता और सुसंगतता के बीच संतुलन बनाने के लिए एक सिद्धांत-आधारित, सैद्धांतिक रूप से सुदृढ़ विधि प्रदान करके ओपन-एंडेड टेक्स्ट जनरेशन में स्टेट-ऑफ-द-आर्ट को आगे बढ़ाता है। मॉडल की अनिश्चितता के सापेक्ष सैंपलिंग वितरण की एन्ट्रॉपी को स्पष्ट रूप से नियंत्रित करके, top-H LLMs को उच्च-तापमान व्यवस्थाओं में भी तार्किक निरंतरता से समझौता किए बिना विविध और रचनात्मक सामग्री उत्पन्न करने में सक्षम बनाता है जहाँ पारंपरिक विधियाँ विफल हो जाती हैं। लेखक top-H को मौजूदा सैंपलिंग रणनीतियों के एक 'ड्रॉप-इन रिप्लेसमेंट' के रूप में प्रस्तुत करते हैं जिसे रचनात्मक लेखन अनुप्रयोगों और अन्य जेनेरेटिव कार्यों में आसानी से एकीकृत किया जा सकता है। इसे अपनाने की सुविधा के लिए कोड सार्वजनिक रूप से उपलब्ध कराया गया है।