💬 NLP

p-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding

यह शोध पत्र $p$ -less सैंपलिंग को प्रस्तुत करता है, जो एक सुदृढ़, हाइपरपैरामीटर-मुक्त डिकोडिंग रणनीति है जो सूचना सिद्धांत के आधार पर टोकन संभावनाओं को गतिशील रूप से ट्रंकेट करती है ताकि विभिन्न कार्यों में, विशेष रूप से उच्च तापमान पर, गुणवत्ता, दक्षता और स्थिरता में मौजूदा विधियों से लगातार बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Runyan Tan, Shuang Wu, Phillip Howard

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Runyan Tan, Shuang Wu, Phillip Howard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान, लेकिन थोड़े घबराए हुए दोस्त (AI) से कोई कहानी सुनाने या गणित की समस्या हल करने के लिए कह रहे हैं। हर बार जब आपका दोस्त एक शब्द बोलता है, तो उसे हजारों विकल्पों वाले एक विशाल शब्दकोश में से अगला शब्द चुनना पड़ता है।

अतीत में, AI के पास उस अगले शब्द को चुनने के दो मुख्य तरीके थे:

रोबोट: हमेशा सबसे संभावित शब्द को चुनें। (सुरक्षित, लेकिन उबाऊ और दोहराव वाला)।
जुआरी: शीर्ष 10 या शीर्ष 100 विकल्पों में से किसी एक शब्द को यादृच्छिक (randomly) रूप से चुनें। (मजेदार और रचनात्मक, लेकिन यदि 'टेम्परेचर' बहुत अधिक हो जाए तो यह अक्सर बेतुकी बातें करने लगता है)।

वर्तमान "जुआरी" (Gambler) विधियों की समस्या यह है कि वे नॉब्स और डायल (हाइपरपैरामीटर्स) पर निर्भर करते हैं जिन्हें आपको मैन्युअल रूप से एडजस्ट करना पड़ता है। यदि आप "रचनात्मकता" का नॉब बहुत अधिक बढ़ा देते हैं, तो AI मतिभ्रम (hallucinations) का शिकार होने लगता है या बकवास लिखने लगता है। यदि आप इसे बहुत कम कर देते हैं, तो यह एक उबाऊ रोबोट बन जाता है। हर कार्य के लिए सही सेटिंग ढूँढना एक सिरदर्द है।

पेश है: p-less सैंपलिंग (द "इंट्यूटिव गाइड")

यह पेपर एक नई विधि पेश करता है जिसे p-less सैंपलिंग कहा जाता है। इसे उन भ्रमित करने वाले नॉब्स को एक स्मार्ट, खुद-एडजस्ट होने वाले कंपास से बदलने के रूप में सोचें।

यह इस प्रकार काम करता है, कुछ रोजमर्रा के उदाहरणों का उपयोग करते हुए:

1. "रैंडम गेस" टेस्ट (यादृच्छिक अनुमान परीक्षण)

कल्पना कीजिए कि आपका दोस्त एक बहुविकल्पीय परीक्षा (multiple-choice test) दे रहा है।

पुरानी विधियाँ (Top-p, Min-p): वे कहती हैं, "मैं केवल उन शीर्ष 5 उत्तरों पर विचार करूँगा जो अच्छे दिखते हैं।" लेकिन यदि परीक्षा बहुत कठिन है (high entropy), तो वे शीर्ष 5 उत्तर भी बहुत खराब हो सकते हैं।
p-less: यह एक अलग सवाल पूछता है: "यदि मैं अपनी आँखें बंद कर दूँ और पूरी तरह से रैंडम तरीके से एक शब्द चुनूँ, तो मेरे सही होने की संभावना क्या है?"

यह इस "भाग्यशाली अनुमान की संभावना" की गणना सभी संभावित विकल्पों की पूरी सूची के आधार पर करता है। फिर यह कहता है, "मैं केवल उन शब्दों पर विचार करूँगा जो एक भाग्यशाली रैंडम गेस की तुलना में कम से कम उतने ही संभावित हों।"

2. स्व-समायोजित जाल (The Self-Adjusting Net)

कल्पना कीजिए कि आप एक नदी में मछली पकड़ रहे हैं।

पुरानी विधियाँ: आप एक निश्चित छेद आकार वाला जाल उपयोग करते हैं। यदि मछलियाँ छोटी और बिखरी हुई हैं (high temperature), तो आपका जाल बहुत सारी छोटी, बेकार मछलियों को अंदर आने देता है (बेतुके शब्द)। यदि मछलियाँ बड़ी और दुर्लभ हैं, तो आपका जाल बड़ी मछलियों को फिसलने दे सकता है।
p-less: आपका जाल जादुई रबर का बना है।
- जब पानी शांत होता है (low entropy, स्पष्ट उत्तर), तो जाल कस जाता है। यह केवल सबसे बड़ी, सबसे आत्मविश्वासी मछलियों को ही अंदर आने देता है।
- जब पानी अशांत और अराजक होता है (high entropy, रचनात्मक लेखन), तो जाल अपने आप फैल जाता है। यह अधिक मछलियों को अंदर आने देता है, लेकिन यह अभी भी छोटी, बेकार गंदगी को बाहर रखता है जो आपकी पकड़ को बर्बाद कर सकती है।

आपको यह बताने की ज़रूरत नहीं है कि जाल कितना बड़ा होना चाहिए; जाल खुद पानी को देखकर यह तय कर लेता है।

3. यह गेम चेंजर क्यों है?

पेपर दिखाता है कि यह विधि सुपर रोबस्ट (अत्यधिक मजबूत) है:

कोई ट्यूनिंग नहीं: आपको सेटिंग्स के साथ छेड़छाड़ करने की आवश्यकता नहीं है। चाहे आप AI से एक सख्त गणितीय प्रमाण लिखवाना चाहते हों या एक काल्पनिक विज्ञान (sci-fi) की कहानी, यह बेहतरीन काम करता है।
हाई टेम्परेचर हीरो: आमतौर पर, जब आप "रचनात्मकता" की सेटिंग (temperature) को बढ़ाते हैं, तो अन्य विधियाँ टूट जाती हैं और बेतुकी बातें लिखने लगती हैं। p-less शांत रहता है। यह जानता है कि कब साहसी होना है और कब केंद्रित रहना है, जिससे AI नियंत्रण से बाहर होने से बच जाता है।
तेज़ और लीन (Lean): क्योंकि यह शब्दों को चुनने में इतना स्मार्ट है, इसलिए यह अक्सर वाक्यों को तेज़ी से और कम शब्दों में पूरा करता है, जिससे कंप्यूटिंग पावर की बचत होती है।

निष्कर्ष (The Bottom Line)

p-less सैंपलिंग को AI को एक इन-बिल्ट कॉमन सेंस फ़िल्टर देने के रूप में समझें। एक नियम पुस्तिका (जैसे "शीर्ष 50 शब्द चुनें") का आँख बंद करके पालन करने के बजाय, यह पूरी तस्वीर को देखता है और पूछता है, "क्या यह शब्द एक रैंडम गेस से बेहतर है?"

यदि उत्तर हाँ है, तो यह उसे रखता है। यदि उत्तर नहीं है, तो यह उसे फेंक देता है। यह सरल, गणित-आधारित अंतर्ज्ञान AI को अपना मानसिक संतुलन खोए बिना रचनात्मक होने की अनुमति देता है, जिससे जटिल सेटिंग्स को ट्यून करने के सिरदर्द के बिना उच्च-गुणवत्ता वाले परिणाम प्राप्त करने के लिए यह एक शक्तिशाली उपकरण बन जाता है।

यहाँ शोध पत्र "p-LESS SAMPLING: A ROBUST HYPERPARAMETER-FREE APPROACH FOR LLM DECODING" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) विविध और सुसंगत टेक्स्ट उत्पन्न करने के लिए सैंपलिंग-आधारित डिकोडिंग रणनीतियों पर निर्भर करते हैं। जबकि Top-k, Top-p (nucleus), $\epsilon$ -sampling, Mirostat, और Min-p जैसी विधियों ने नियतात्मक (deterministic) ग्रीडी डिकोडिंग में सुधार किया है, वे महत्वपूर्ण सीमाओं से ग्रस्त हैं:

हाइपरपैरामीटर संवेदनशीलता (Hyperparameter Sensitivity): इन विधियों के लिए विशिष्ट हाइपरपैरामीटर्स (जैसे $k$ , $p$ , $\epsilon$ , लक्ष्य सर्प्रिसल) को ट्यून करने की आवश्यकता होती है जो जनरेशन कार्य और सैंपलिंग तापमान ( $\tau$ ) के प्रति अत्यधिक संवेदनशील होते हैं।
तापमान अस्थिरता (Temperature Instability): जैसे-जैसे तापमान बढ़ता है (विविधता को बढ़ावा देने के लिए), मौजूदा विधियाँ अक्सर अपने ट्रंकेशन थ्रेशोल्ड (truncation thresholds) को प्रभावी ढंग से अनुकूलित करने में विफल रहती हैं। इससे बहुत अधिक कम-संभावना वाले टोकन शामिल हो जाते हैं, जिससे टेक्स्ट डिजनरेशन (भ्रम/hallucinations, असंगतता और निरर्थक शब्द) होता है।
सूचना-सैद्धांतिक आधार का अभाव (Lack of Information-Theoretic Grounding): कई विधियाँ फिक्स्ड थ्रेशोल्ड या सिंगल-स्टैटिस्टिक ह्यूरिस्टिक्स (जैसे Min-p में मोड प्रोबेबिलिटी) पर निर्भर करती हैं, न कि टोकन प्रोबेबिलिटी डिस्ट्रीब्यूशन की पूर्ण जानकारी का उपयोग करने पर।

2. कार्यप्रणाली: p-less Sampling

लेखक p-less sampling का प्रस्ताव करते हैं, जो एक पैरामीटर-मुक्त, सूचना-सैद्धांतिक दृष्टिकोण है जो प्रत्येक डिकोडिंग स्टेप पर संपूर्ण टोकन प्रोबेबिलिटी डिस्ट्रीब्यूशन के आधार पर एक ट्रंकेशन थ्रेशोल्ड को गतिशील रूप से निर्धारित करता है।

मुख्य अवधारणा (Core Concept)

यह विधि एक थ्रेशोल्ड प्रोबेबिलिटी, $L[P]$ , को परिभाषित करती है, जो वर्तमान टोकन डिस्ट्रीब्यूशन के आधार पर एक सही रैंडम अनुमान (correct random guess) की संभावना को दर्शाती है। टोकन को सैंपलिंग पूल में तभी शामिल किया जाता है जब उनकी प्रोबेबिलिटी इस थ्रेशोल्ड के बराबर या उससे अधिक हो।

गणितीय सूत्र (Mathematical Formulation):
माना $P_\theta(v | x_{1:t-1})$ संदर्भ (context) दिए जाने पर टोकन $v$ की अनुमानित प्रोबेबिलिटी है। थ्रेशोल्ड $L[P]$ की गणना प्रोबेबिलिटी के वर्ग के योग (डिस्ट्रीब्यूशन का दूसरा मोमेंट) के रूप में की जाती है:
$L[P] = \sum_{v \in V} P_\theta(v | x_{1:t-1})^2$

सैंपलिंग सेट $V_{p-less}$ का निर्माण इस प्रकार किया जाता है:
$V_{p-less} = \{ v \in V : P_\theta(v | x_{1:t-1}) \ge L[P] \}$

अगला टोकन सामान्यीकृत (normalized) प्रोबेबिलिटी का उपयोग करके $V_{p-less}$ से सैंपल किया जाता है।

मुख्य गुण (Key Properties)

गतिशील अनुकूलन (Dynamic Adaptation): $L[P]$ $L [P]$ वर्तमान डिस्ट्रीब्यूशन की एंट्रॉपी के आधार पर हर स्टेप पर बदलता है।
- कम एंट्रॉपी (उच्च विश्वास/Low Entropy): $L[P]$ उच्च होता है, जिससे केवल कुछ उच्च-प्रोबेबिलिटी वाले टोकन ही शामिल होते हैं।
- उच्च एंट्रॉपी (उच्च अनिश्चितता/High Entropy): $L[P]$ गिर जाता है, जिससे टोकन की एक विस्तृत श्रृंखला (लॉन्ग-टेल टोकन सहित) शामिल होती है ताकि यादृच्छिकता (randomness) में गिरे बिना विविधता बनी रहे।
रेनी एंट्रॉपी (Rényi Entropy) से संबंध: थ्रेशोल्ड $L[P]$ , ऑर्डर 2 की रेनी एंट्रॉपी (Collision Entropy) के नेगेटिव एक्सपोनेंशियल के गणितीय रूप से समकक्ष है:
$L[P] = e^{-H_2(P)}$
यह विधि को एक सिद्धांतवादी सूचना-सैद्धांतिक आधार प्रदान करता है।
हाइपरपैरामीटर-मुक्त (Hyperparameter-Free): इसमें किसी बाहरी पैरामीटर (जैसे $p$ या $k$ ) को ट्यून करने की आवश्यकता नहीं है।
p-lessnorm वेरिएंट: एक शिथिल संस्करण ( $\bar{L}[P]$ ) प्रस्तावित किया गया है जहाँ विविधता को सुसंगतता (coherence) से अधिक प्राथमिकता दी जाती है, जो एक गलत रैंडम अनुमान की संभावना को घटाकर थ्रेशोल्ड को प्रभावी रूप से कम करता है।

दक्षता लाभ (Efficiency Advantages)

Top-p (जिसके लिए प्रोबेबिलिटी सॉर्टिंग की आवश्यकता होती है) या Min-p (जिसके लिए मोड खोजने की आवश्यकता होती है) के विपरीत, p-less सीधे एम्पिरिकल डिस्ट्रीब्यूशन पर कार्य करता है।

जटिलता (Complexity): यह समय जटिलता को $O(|V| \log |V|)$ से घटाकर $O(|V|)$ कर देता है।
कोई सॉर्टिंग नहीं (No Sorting): यह वोकैबुलरी को सॉर्ट करने की आवश्यकता को समाप्त करता है, जिससे इन्फरेंस की गति काफी बढ़ जाती है।

3. मुख्य योगदान (Key Contributions)

p-less का परिचय: सूचना सिद्धांत (Rényi entropy) पर आधारित एक मजबूत, हाइपरपैरामीटर-मुक्त सैंपलिंग रणनीति।
सैद्धांतिक आधार (Theoretical Grounding): प्रोबेबिलिटी डिस्ट्रीब्यूशन के दूसरे मोमेंट और थ्रेशोल्ड के बीच संबंध स्थापित किया, यह सिद्ध करते हुए कि यह एक सही रैंडम अनुमान की संभावना का एक निष्पक्ष अनुमानक (unbiased estimator) है।
व्यापक मूल्यांकन (Comprehensive Evaluation): गणित, तार्किक तर्क (GPQA, GSM8K, QASC, CSQA) और रचनात्मक लेखन (Writing Prompts) को कवर करने वाले तीन LLMs (Llama-2-7B, Mistral-7B, Llama-3-70B) और पाँच डेटासेट्स पर मान्य किया गया।
दक्षता विश्लेषण (Efficiency Analysis): बेसलाइन की तुलना में बेहतर इन्फरेंस-टाइम दक्षता (तेज़ सैंपलिंग स्पीड और छोटी जनरेशन लंबाई) प्रदर्शित की गई।

4. प्रयोगात्मक परिणाम (Experimental Results)

गणित और तार्किक तर्क पर प्रदर्शन (Performance on Math & Logical Reasoning)

मेट्रिक: एरिया अंडर द एक्यूरेसी-टेम्परेचर कर्व (AUC)।
निष्कर्ष: p-less और p-lessnorm ने सभी मॉडल्स और डेटासेट्स पर Top-p, Min-p, $\epsilon$ -sampling, $\eta$ -sampling और Mirostat को लगातार पछाड़ दिया।
तापमान मजबूती (Temperature Robustness): जबकि अन्य विधियों ने उच्च तापमान बढ़ने पर महत्वपूर्ण सटीकता गिरावट दिखाई (जैसे Top-p और $\epsilon$ $ϵ$ -sampling अक्सर $\tau=2.0$ $τ = 2.0$ पर लगभग शून्य सटीकता तक गिर जाते हैं), p-less ने उच्च तापमान पर भी उच्च सटीकता बनाए रखी।
- उदाहरण: Llama-2-7B के साथ GSM8K पर, p-less ने 0.267 का AUC प्राप्त किया, जो Min-p (0.256) और Top-p (0.210) से काफी बेहतर है।

रचनात्मक लेखन पर प्रदर्शन (Performance on Creative Writing)

मेट्रिक: लंबाई-नियंत्रित जीत दर (डिफ़ॉल्ट सैंपलिंग के विरुद्ध)।
निष्कर्ष: p-less ने तापमान $> 1.0$ पर सर्वश्रेष्ठ प्रदर्शन किया। अन्य विधियों ने उच्च तापमान पर गंभीर गुणवत्ता गिरावट का सामना किया, जबकि p-less ने सुसंगत और विविध कहानियाँ बनाईं।
मानव मूल्यांकन (Human Evaluation): मानव परीक्षकों के एक अध्ययन में, p-less द्वारा बनाई गई कहानियों को डिफ़ॉल्ट सैंपलिंग और अन्य विधियों की तुलना में पसंद किया गया, जिसकी जीत दर 58.8% (एकमत सहमति के लिए 72.7% तक बढ़ गई) रही।

दक्षता और विविधता (Efficiency and Diversity)

इन्फरेंस स्पीड: p-less सबसे तेज़ विधि थी, जिसने Min-p की तुलना में प्रति टोकन औसत सैंपलिंग समय में 22% की कमी हासिल की। यह सॉर्टिंग ऑपरेशन्स की अनुपस्थिति के कारण है।
जनरेशन लंबाई: p-less ने विशेष रूप से उच्च तापमान पर, सटीकता से समझौता किए बिना, Top-p और Min-p की तुलना में छोटी जनरेशन बनाई। यह वर्बोसिटी (verbosity) पर बेहतर नियंत्रण को दर्शाता है।
विविधता-सटीकता ट्रेड-ऑफ: p-less ने एक पारेटो-ऑप्टिमल फ्रंटियर (Pareto-optimal frontier) प्राप्त किया, जो अन्य विधियों की तुलना में समान स्तर की विविधता के लिए उच्च सटीकता प्रदान करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र प्रदर्शित करता है कि p-less sampling मौजूदा ट्रंकेशन-आधारित डिकोडिंग विधियों के लिए एक बेहतर विकल्प है क्योंकि यह:

हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को समाप्त करता है, जिससे यह विभिन्न कार्यों और मॉडलों के लिए सार्वभौमिक रूप से लागू करने योग्य बन जाता है।
उच्च-तापमान सेटिंग्स के विरुद्ध मजबूती प्रदान करता है, जिससे अन्य विधियों में होने वाला टेक्स्ट डिजनरेशन रुक जाता है।
एक सरल, गैर-सॉर्टिंग एल्गोरिदम दृष्टिकोण के माध्यम से कम्प्यूटेशनल दक्षता में सुधार करता है।

सूचना सिद्धांत (विशेष रूप से रेनी एंट्रॉपी) में डिकोडिंग प्रक्रिया को आधार बनाकर, p-less सुसंगतता और विविधता को गतिशील रूप से संतुलित करने के लिए एक सिद्धांतवादी तंत्र प्रदान करता है। परिणाम बताते हैं कि आउटपुट डिस्ट्रीब्यूशन के पूर्ण सांख्यिकीय गुणों का लाभ उठाकर LLM डिकोडिंग में महत्वपूर्ण सुधार किया जा सकता है, बजाय केवल ह्यूरिस्टिक थ्रेशोल्ड पर निर्भर रहने के।

कोड उपलब्धता (Code Availability): लेखक कहते हैं कि पुनरुत्पादकता (reproducibility) को सुगम बनाने के लिए कोड सार्वजनिक रूप से उपलब्ध कराया जाएगा।