🤖 AI

Min- $k$ Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics

यह शोध पत्र Min- $k$ Sampling प्रस्तुत करता है, जो एक नवीन डिकोडिंग रणनीति है जो वैश्विक सांख्यिकी या निश्चित संभाव्यता थ्रेशोल्ड के बजाय स्थानीय "सिमेंटिक क्लिफ्स" (semantic cliffs) के आधार पर लॉजिट वितरण को गतिशील रूप से ट्रंकेट करके सख्त तापमान अपरिवर्तनीयता (temperature invariance) और बेहतर टेक्स्ट गुणवत्ता प्राप्त करती है।

मूल लेखक: Yuanhao Ding, Meimingwei Li, Esteban Garces Arias, Matthias Aßenmacher, Christian Heumann, Chongsheng Zhang

प्रकाशित 2026-04-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanhao Ding, Meimingwei Li, Esteban Garces Arias, Matthias Aßenmacher, Christian Heumann, Chongsheng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक विशाल, जादुई कुकबुक (लार्ज लैंग्वेज मॉडल) का उपयोग करके एक बेहतरीन भोजन पकाने की कोशिश कर रहे हैं। हर बार जब आप किसी रेसिपी के लिए पूछते हैं, तो वह किताब आपको केवल एक उत्तर नहीं देती; वह हजारों संभावित सामग्रियों की एक सूची फुसफुसाती है, जिनमें से कुछ एकदम सही हैं, कुछ ठीक-ठाक हैं, और कुछ पूरी तरह से बेतुकी (जैसे "एक टायर डालें" या "शांति छिड़कें") हैं।

सबसे अच्छा व्यंजन प्राप्त करने के लिए, आपको उस सूची में से सही सामग्री चुनने का एक तरीका चाहिए। यही डिकोडिंग सैंपलिंग (decoding sampling) है।

समस्या: "टेम्परेचर" (तापमान) का नॉब

ज्यादातर शेफ एक डायल का उपयोग करते हैं जिसे टेम्परेचर (Temperature) कहा जाता है ताकि यह नियंत्रित किया जा सके कि खाना कितना रचनात्मक या सुरक्षित होगा।

लो टेम्परेचर (Low Temperature): शेफ बहुत सख्त है, वह केवल शीर्ष 3 सबसे स्पष्ट सामग्रियां ही चुनता है। भोजन सुरक्षित है लेकिन उबाऊ है।
हाई टेम्परेचर (High Temperature): शेफ जंगली हो जाता है, वह रचनात्मक होने के लिए अजीबोगरीब सामग्रियों की एक बड़ी सूची में से चुनने लगता है।

पेंच (The Catch): वर्तमान तरीके (जैसे Top-k या Top-p) ऐसे हैं जैसे एक शेफ जो तापमान बढ़ने पर भ्रमित हो जाता है।

यदि आप तापमान थोड़ा भी बढ़ाते हैं, तो वे बेतरतीब ढंग से कचरा सामग्रियां (जैसे "एक जूता डालें") उठाने लगते हैं क्योंकि "ठीक-ठाक" सामग्रियों की सूची बहुत लंबी और धुंधली हो जाती है।
यदि आप इसे बहुत अधिक बढ़ा देते हैं, तो भोजन एक आपदा बन जाता है। शेफ खाना बनाना पूरी तरह से भूल जाता है और बकवास (hallucinations) पैदा करने लगता है।

पुराने समाधान (और वे क्यों विफल होते हैं)

Top-k (एक कठोर शेफ): "मैं हमेशा शीर्ष 5 सामग्रियां ही चुनूंगा, चाहे कुछ भी हो।"
- दोष: यदि तापमान अधिक होने के कारण शीर्ष 5 भी खराब हैं, तो भी आपको एक खराब भोजन ही मिलेगा।
Top-p (एक लालची शेफ): "मैं तब तक सामग्रियां चुनूंगा जब तक मेरे पास कुल स्वाद का 90% न हो जाए।"
- दोष: जब गर्मी बढ़ जाती है, तो वह 90% भारी मात्रा में कचरा और शोर (noise) से भर जाता है।
Top-nσ (एक सांख्यिकीविद् शेफ): "मैं पूरी कुकबुक को देखूंगा और किसी भी ऐसी चीज़ को हटा दूंगा जो औसत की तुलना में सांख्यिकीय रूप से अजीब दिखती है।"
- दोष: यह बहुत धीमा है और आसानी से धोखा खा सकता है। यदि नीचे की सूची में लाखों छोटी, अजीब सामग्रियां हैं, तो वे "औसत" को बिगाड़ देती हैं, जिससे शेफ गलती से कचरे को रख लेता है या अच्छी सामग्रियों को हटा देता है।

नया समाधान: Min-k सैंपलिंग (एक "क्लिफ" यानी चट्टान का जासूस)

इस पेपर के लेखक Min-k सैंपलिंग का प्रस्ताव देते हैं। सामग्रियों को गिनने या पूरी किताब को देखने के बजाय, यह तरीका एक क्लिफ डिटेक्टिव (चट्टान के जासूस) की तरह काम करता है।

यहाँ उपमा (analogy) दी गई है:
कल्पना कीजिए कि सामग्रियों की सूची एक पहाड़ से नीचे जाती हुई एक हाइकिंग ट्रेल (पैदल पथ) है।

शीर्ष (The Top): रास्ता चौड़ा, समतल और सुरक्षित है। ये उच्च-विश्वास वाले, सही शब्द हैं (जैसे फ्रांस के बारे में पूछे जाने पर "पेरिस")।
चट्टान (The Cliff): अचानक, जमीन तेजी से नीचे गिर जाती है। यह "सिमेंटिक क्लिफ" (अर्थ संबंधी चट्टान) है।
तल (The Bottom): चट्टान के नीचे एक अराजक, धुंध भरा गड्ढा है जो चट्टानों, कीचड़ और बकवास से भरा है (निम्न-गुणवत्ता वाला शोर)।

Min-k कैसे काम करता है:

यह सामग्रियों की सूची में नीचे उतरता है।
यह उस तीव्र गिरावट (चट्टान) को खोजता है।
यह कहता है, "ठीक है, इस गिरावट से ऊपर सब सुरक्षित है। इसके नीचे खतरनाक शोर है। मैं ठीक यहीं रुक जाऊंगा।"

यह जादू क्यों है?

यह गर्मी (Heat) को अनदेखा करता है: चाहे तापमान कम हो या अधिक, पहाड़ का आकार नहीं बदलता। चट्टान वहीं रहती है। इसलिए, Min-k हमेशा उसी स्थान पर रुकता है, चाहे खाना कितना भी "गर्म" क्यों न हो जाए।
यह गतिशील (Dynamic) है: यदि पहाड़ समतल है (मॉडल बहुत अनिश्चित है), तो Min-k के पास खाना जारी रखने के लिए एक बैकअप प्लान है, लेकिन यदि एक स्पष्ट चट्टान है, तो यह ठीक वहीं रुक जाता है।

परिणाम: आपको इसकी परवाह क्यों करनी चाहिए?

पेपर ने गणित की समस्याओं और रचनात्मक लेखन पर इसका परीक्षण किया:

गणित (तर्क): जब अन्य तरीके उच्च तापमान पर बकवास (hallucinations) पैदा करने लगे (0% सही होने लगे), Min-k ने गणित की समस्याओं को सही ढंग से हल करना जारी रखा (75-80% सटीकता बनाए रखी)। इसने एक सुरक्षा रेल की तरह काम किया।
रचनात्मक लेखन: इसने कहानी के "स्वाद" को बनाए रखते हुए भी बिना बकवास बने रचनात्मकता दिखाई। इसने कहानी में "जूते" जोड़ने के बजाय उसका मूल भाव बनाए रखा।
मानवीय स्वाद परीक्षण: मनुष्यों ने अन्य तरीकों की तुलना में Min-k द्वारा पकाए गए भोजन को अधिक पसंद किया।

निचोड़ (The Bottom Line)

Min-k सैंपलिंग ऐसा है जैसे आप अपने AI को स्मार्ट चश्मे दे रहे हैं जो तुरंत देख सकते हैं कि "अच्छी चीज़" कहाँ समाप्त होती है और "कचरा" कहाँ शुरू होता है, चाहे वातावरण कितना भी अराजक क्यों न हो जाए। यह AI को अपना मानसिक संतुलन खोए बिना रचनात्मक और साहसी होने की अनुमति देता है, जो उच्च-गुणवत्ता वाला टेक्स्ट उत्पन्न करने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "Min-k Sampling: Decoupling Truncation from Temperature Scaling via Relative Logit Dynamics" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) टेक्स्ट जनरेट करने के लिए डिकोडिंग सैंपलिंग रणनीतियों पर निर्भर करते हैं। जबकि Top-k, Top-p (Nucleus), और Min-p जैसे मुख्यधारा के तरीके प्रोबेबिलिटी स्पेस को ट्रंकेट (truncate) करके विविधता और सटीकता के बीच संतुलन बनाने में प्रभावी हैं, वे एक गंभीर दोष साझा करते हैं: तापमान पैरामीटर ( $T$ ) के प्रति अत्यधिक संवेदनशीलता।

समस्या: जैसे-जैसे तापमान बढ़ता है, प्रोबेबिलिटी डिस्ट्रीबशन समतल (flatten) होता जाता है। प्रोबेबिलिटी-आधारित तरीके उच्च-विश्वास वाले टोकन और कम-गुणवत्ता वाले "लॉन्ग-टेल" शोर (noise) के बीच अंतर करने में संघर्ष करते हैं। इससे अर्थहीन टोकन शामिल हो जाते हैं, जिससे उच्च तापमान ( $T > 2.0$ ) पर "सिमेंटिक कोलैप्स" (जहाँ उत्पन्न टेक्स्ट तर्कहीन या दोहराव वाला हो जाता है) की स्थिति पैदा होती है।
मौजूदा समाधानों की सीमाएँ: हालिया लॉजिट-स्पेस दृष्टिकोण जैसे Top-n $\sigma$ , ग्लोबल स्टैटिस्टिक्स (मीन और स्टैंडर्ड डेविएशन) का उपयोग करके तापमान अपरिवर्तनीयता (temperature invariance) प्राप्त करते हैं। हालाँकि, वे लॉन्ग-टेल में मौजूद बैकग्राउंड नॉइज़ से प्रभावित हो सकते हैं और शीर्ष उम्मीदवारों के बीच सूक्ष्म "सिमेंटिक क्लिफ्स" (उच्च-विश्वास और अनिश्चित टोकन के बीच तीव्र संक्रमण) को पकड़ने में विफल रहते हैं। वे अपने स्वयं के हाइपरपैरामीटर्स के प्रति भी संवेदनशील रहते हैं।

2. कार्यप्रणाली: Min-k सैंपलिंग (Methodology: Min-k Sampling)

लेखक Min-k सैंपलिंग का प्रस्ताव करते हैं, जो एक डायनेमिक ट्रंकेशन रणनीति है। यह तापमान स्केलिंग से स्वतंत्र होकर, लॉजिट डिस्ट्रीब्यूशन की स्थानीय ज्यामितीय संरचना (local geometric structure) के आधार पर इष्टतम ट्रंकेशन पॉइंट की पहचान करने के लिए लॉजिट स्पेस में कार्य करती है।

मुख्य तंत्र (Core Mechanism)

यह विधि सॉर्ट किए गए लॉजिट वेक्टर का विश्लेषण करती है ताकि एक "सिमेंटिक क्लिफ" (semantic cliff) का पता लगाया जा सके—लॉजिट मानों में एक तीव्र गिरावट, जो उच्च-विश्वास वाले मुख्य टोकन और अनिश्चित लॉन्ग-टेल शोर के बीच की सीमा को दर्शाती है।

सॉर्टिंग और नॉर्मलाइजेशन (Sorting and Normalization):
- लॉजिट्स ( $l$ ) को अवरोही क्रम में सॉर्ट किया जाता है: $l_1 \ge l_2 \ge \dots \ge l_{|V|}$ ।
- एक डायनेमिक रेंज $R_l = l_1 - l_{|V|}$ की गणना की जाती है ताकि मानों को नॉर्मलाइज़ किया जा सके, जिससे लीनियर ट्रांसफॉर्मेशन (जैसे तापमान स्केलिंग) के प्रति अपरिवर्तनीयता सुनिश्चित हो सके।
वेटेड रिलेटिव डिके (Weighted Relative Decay):
- ग्लोबल स्टैटिस्टिक्स के बजाय, Min-k सॉर्ट की गई अनुक्रम (sequence) के प्रत्येक चरण के लिए एक पोजीशन-वेटेड रिलेटिव डिके रेट ( $w_i$ ) की गणना करता है:
  $w_i = \frac{l_i - l_{i+1}}{R_l} \cdot \frac{1}{i}$
- पद $\frac{1}{i}$ एक पोजीशनल वेट के रूप में कार्य करता है, जो डिस्ट्रीब्यूशन के "हेड" (उच्च-विश्वास वाले टोकन) के पास के परिवर्तनों पर जोर देता है और टेल (tail) से होने वाले शोर को दबा देता है।
क्लिफ डिटेक्शन (Cliff Detection):
- ट्रंकेशन पॉइंट $k_{cliff}$ को अधिकतम वेटेड डिके वाले इंडेक्स $i$ को खोजने से निर्धारित किया जाता है:
  $k_{cliff} = \arg\max_i w_i$
- यह सबसे स्पष्ट सिमेंटिक सीमा की पहचान करता है।
डायनेमिक फॉलबैक मैकेनिज्म (Dynamic Fallback Mechanism):
- अत्यधिक अनिश्चितता के मामलों में जहाँ लॉजिट्स लगभग समतल होते हैं (कोई स्पष्ट क्लिफ नहीं होता), एल्गोरिदम $k=1$ चुनने का जोखिम उठा सकता है। इसे रोकने के लिए, डायनेमिक रेंज ( $R_l^{-1}$ ) के व्युत्क्रम के आधार पर एक फॉलबैक साइज $k_{fallback}$ की गणना की जाती है।
- अंतिम कैंडिडेट साइज $k = \max(k_{cliff}, k_{fallback})$ होता है।
सैंपलिंग (Sampling):
- टॉप- $k$ लॉजिट्स को रखा जाता है; बाकी को $-\infty$ सेट कर दिया जाता है।
- इसके बाद ट्रंकेटेड लॉजिट्स को तापमान $T$ द्वारा स्केल किया जाता है और सॉफ्टमैक्स (Softmax) के माध्यम से पास किया जाता है।

सैद्धांतिक गारंटी: तापमान अपरिवर्तनीयता (Theoretical Guarantee: Temperature Invariance)

शोध पत्र औपचारिक रूप से सिद्ध करता है कि Min-k स्ट्रिक्टली टेम्परेचर-इनवेरिएंट है।

प्रमाण का तर्क: जब लॉजिट्स को तापमान $T$ द्वारा स्केल किया जाता है ( $l' = l/T$ ), तो डायनेमिक रेंज $1/T$ से स्केल होती है, और लॉजिट अंतर भी $1/T$ से स्केल होता है। ये कारक रिलेटिव डिके गणना ( $d'_i = d_i$ ) में एक-दूसरे को रद्द कर देते हैं। परिणामस्वरूप, अधिकतम डिके का स्थान ( $i^*$ ) और परिणामी ट्रंकेशन साइज $k$ , तापमान के किसी भी मान के बावजूद समान रहता है।

3. प्रमुख योगदान (Key Contributions)

नया ट्रंकेशन स्ट्रैटेजी: ग्लोबल स्टैटिस्टिक्स या फिक्स्ड प्रोबेबिलिटी थ्रेशोल्ड के बजाय, लोकल लॉजिट शेप एनालिसिस का उपयोग करके डायनेमिक रूप से "सिमेंटिक क्लिफ्स" को खोजने वाले Min-k का परिचय।
तापमान अपरिवर्तनीयता (Temperature Invariance): औपचारिक प्रमाण और अनुभवजन्य प्रदर्शन कि Min-k सभी तापमान सेटिंग्स में सुसंगत ट्रंकेशन सीमाओं को बनाए रखता है, जिससे विविधता नियंत्रण और शोर प्रवेश (noise admission) अलग-अलग हो जाते हैं।
मजबूती (Robustness): यह विधि हाइपरपैरामीटर्स (विशेष रूप से फॉलबैक कांस्टेंट $\tau$ ) के प्रति कम संवेदनशीलता प्रदर्शित करती है, जिससे इसे Top-n $\sigma$ या प्रोबेबिलिटी-आधारित तरीकों की तुलना में तैनात करना आसान हो जाता है।
व्यापक मूल्यांकन: गणितीय तर्क, रचनात्मक लेखन और मानव मूल्यांकन बेंचमार्क पर व्यापक परीक्षण।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-3 (8B, 70B) और Qwen3 (4B, 30B) मॉडल्स का उपयोग करके Top-k, Top-p, Min-p, Mirostat, $\eta$ -sampling, और Top-n $\sigma$ के विरुद्ध Min-k का मूल्यांकन किया।

गणितीय तर्क (AQuA, GSM8K, GPQA, MATH500):
- उच्च-तापमान लचीलापन (High-Temperature Resilience): पारंपरिक तरीके (Top-p, Min-p) $T=10.0$ पर लगभग पूर्ण सटीकता पतन (0% के करीब) का सामना करते हैं। Min-k $T=10.0$ पर भी उच्च सटीकता (जैसे, GSM8K पर ~74-79%) बनाए रखता है।
- श्रेष्ठता: Min-k विभिन्न मॉडल्स और डेटासेट्स पर लगातार Top-n $\sigma$ और अन्य बेसलाइन्स से बेहतर प्रदर्शन करता है।
क्रिएटिव राइटिंग (AlpacaEval 2.0):
- Min-k ग्रीडी डिकोडिंग (greedy decoding) के मुकाबले उच्चतम विन रेट प्राप्त करता है। $T=3.0$ और $T=10.0$ पर, यह Top-n $\sigma$ और प्रोबेबिलिटी-आधारित तरीकों से काफी बेहतर प्रदर्शन करता है, जो शून्य के करीब विन रेट तक गिर जाते हैं।
सिमेंटिक नॉइज़ विश्लेषण (Semantic Noise Analysis):
- मात्रात्मक विश्लेषण दिखाता है कि जबकि Top-p और Min-p $T \ge 2.0$ पर ~100% सिमेंटिक नॉइज़ रेट तक पहुँच जाते हैं, Min-k $T=10.0$ पर भी नगण्य नॉइज़ रेट (<10%) बनाए रखता है, जो प्रभावी ढंग से लॉन्ग-टेल शोर को फ़िल्टर करता है।
मानव मूल्यांकन (Human Evaluation):
- 200 सैंपल्स के पेयरवाइज तुलना में, Min-k को Top-n $\sigma$ के मुकाबले 37.5% मामलों में पसंद किया गया (Top-n $\sigma$ के लिए 33.5% के मुकाबले), शेष मामले बराबरी (ties) के थे।
दक्षता (Efficiency):
- Min-k न्यूनतम कम्प्यूटेशनल ओवरहेड (~ग्रीडी डिकोडिंग की तुलना में ~3.73% धीमा) पेश करता है, जो Top-p और Top-n $\sigma$ के तुलनीय है, जिससे यह रियल-टाइम डिप्लॉयमेंट के लिए उपयुक्त बनता है।

5. महत्व (Significance)

Min-k सैंपलिंग ट्रंकेशन रणनीतियों में तापमान संवेदनशीलता की मौलिक सीमा को संबोधित करके LLM डिकोडिंग में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

डिकपलिंग (Decoupling): यह सफलतापूर्वक विविधता के नियंत्रण (तापमान के माध्यम से) को शोर प्रवेश (डायनेमिक लॉजिट ट्रंकेशन के माध्यम से) के नियंत्रण से अलग करता है।
विश्वसनीयता: यह उच्च-तापमान जेनरेशन के लिए एक "सेफ्टी रेल" के रूप में कार्य करता है, जिससे मॉडल तार्किक सुसंगतता या सिमेंटिक अखंडता से समझौता किए बिना रचनात्मक स्थानों का अन्वेषण कर सकते हैं।
सामान्यीकरण (Generalizability): यह विधि स्केल-इनवेरिएंट है, जो छोटे (4B/8B) और बड़े (30B/70B) दोनों मॉडल्स पर मजबूती से प्रदर्शन करती है, जो यह सुझाव देता है कि यह बड़े भाषा मॉडलों के लिए डिकोडिंग प्रक्रिया में एक मौलिक सुधार है।

निष्कर्षतः, Min-k उच्च-गुणवत्ता वाला टेक्स्ट उत्पन्न करने के लिए एक सैद्धांतिक रूप से आधारित, अनुभवजन्य रूप से श्रेष्ठ और व्यावहारिक रूप से कुशल समाधान प्रदान करता है, विशेष रूप से उन परिदृश्यों में जिनमें उच्च रचनात्मकता की आवश्यकता होती है या जो अत्यधिक तापमान सेटिंग्स के तहत संचालित होते हैं।