💬 NLP

Before and After Temperature: A Distributional View of Creative LLM Generation

यह शोधपत्र यह प्रदर्शित करता है कि एक नवीन संदर्भ-मुक्त (reference-free) मीट्रिक, जो यह मात्रा निर्धारित करता है कि जनरेशन से पूर्व सैंपलिंग टेम्परेचर (sampling temperature) एक LLM के टोकन वितरण को कैसे नया रूप देता है, LLM जजों के विरुद्ध 0.918 और मानव रैंकिंग के विरुद्ध 0.870 का स्पीयरमैन सहसंबंध (Spearman correlation) प्राप्त करके रचनात्मक गुणवत्ता की भविष्यवाणी करने में मौजूदा बेसलाइनों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: V. S. Raghu Parupudi, Harsha Ponnada, Aditi Kaushal, S. Shria Parupudi, Saiteja Dasari, Sahiti Bulusu

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: V. S. Raghu Parupudi, Harsha Ponnada, Aditi Kaushal, S. Shria Parupudi, Saiteja Dasari, Sahiti Bulusu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादूगर को टोपी से खरगोश निकालते हुए देख रहे हैं। आमतौर पर, यह तय करने के लिए कि जादू कैसा था, आप खरगोश को देखते हैं (AI द्वारा लिखा गया अंतिम टेक्स्ट)। आप पूछ सकते हैं, "क्या खरगोश रोएंदार है? क्या वह सफेद है? क्या वह एक असली खरगोश जैसा दिखता है?"

यह शोध पत्र तर्क देता है कि हम गलत चीज़ को देख रहे हैं। खरगोश को परखने के बजाय, हमें यह देखना चाहिए कि खरगोश निकालने से ठीक पहले जादूगर का हाथ कैसे हिला था।

यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध का विवरण दिया गया है:

1. समस्या: खरगोश को नहीं, जादू को परखना

जब AI रचनात्मक कहानियाँ लिखता है, तो तुलना करने के लिए कोई "सही" उत्तर नहीं होता। आमतौर पर, लोग अंतिम टेक्स्ट को देखकर गुणवत्ता को आंकने की कोशिश करते हैं।

पुराना तरीका: वे "परप्लेक्सिटी" (Perplexity) जैसे मेट्रिक्स का उपयोग करते हैं (कि AI अपने स्वयं के शब्दों से कितना हैरान है)। शोध पत्र कहता है कि यह एक पेंटिंग को केवल इस आधार पर आंकने जैसा है कि उसमें कितने ब्रशस्ट्रोक हैं। यह आपको बताता है कि पेंटिंग चिकनी है, लेकिन यह नहीं कि वह एक उत्कृष्ट कृति (masterpiece) है या कचरा।
नया विचार: शोधकर्ताओं ने AI के आंतरिक विचार प्रक्रिया को देखा जो एक शब्द चुनने से ठीक पहले होती है। उन्होंने AI के "मन" के दो संस्करणों की तुलना की:
1. कच्चा विश्वास (The Raw Belief): जो AI स्वाभाविक रूप से अगला शब्द कहने के लिए सबसे अच्छा समझता था।
2. संयमित विश्वास (The Tempered Belief): जो AI ने "तापमान" (temperature) का नॉब घुमाने के बाद सोचा।

2. "तापमान" (Temperature) का नॉब

"तापमान" सेटिंग को अराजकता के लिए वॉल्यूम नॉब के रूप में सोचें।

कम तापमान (0.3): AI बहुत शांत और केंद्रित होता है। यह सबसे स्पष्ट, सुरक्षित शब्द चुनता है। यह एक छात्र की तरह है जो परीक्षा दे रहा है और केवल वही उत्तर लिख रहा है जिनके बारे में वह 100% सुनिश्चित है।
मध्यम तापमान (0.8): AI सहज है लेकिन फिर भी समझदार है। यह एक दोस्ताना बातचीत की तरह है।
उच्च तापमान (1.5): AI "जंगली" मोड पर आ जाता है। यह रचनात्मक होने के लिए अजीब, अस्वाभाविक शब्द चुनने लगता है। यह एक जैज़ संगीतकार की तरह है जो इतना अधिक सुधार (improvisation) कर रहा है कि वह ऐसे सुर बजाने लगता है जो गाने में फिट नहीं बैठते।

3. खोज: बाल्टी में "रिसाव" (The "Leak" in the Bucket)

शोधकर्ताओं ने पाया कि "तापमान" का नॉब AI के मन को कैसे बदलता है, इसमें एक गुप्त संकेत छिपा हुआ है।

कल्पना कीजिए कि AI का मस्तिष्क पानी से भरी एक बाल्टी है (विभिन्न शब्दों की संभावना)।

कम/मध्यम तापमान पर: पानी ज्यादातर वहीं रहता है जहाँ से शुरू हुआ था। AI उन शब्दों को चुनता है जो पहले से ही उसके पसंदीदा विकल्पों के "टॉप 90%" में थे।
उच्च तापमान (1.5) पर: शोधकर्ताओं ने एक बड़ा "रिसाव" (leak) पाया। जब तापमान को बढ़ाकर 1.5 कर दिया जाता है, तो बाल्टी के मुख्य क्षेत्र से लगभग 13% पानी लीक होकर बाहर निकल जाता है और फर्श पर बिखर जाता है (अस्वाभाविक शब्दों की "पूंछ" या tail में)।

उपमा:
यदि आप किसी इंसान को कहानी सुनाने के लिए कहते हैं, और वह अचानक ऐसे शब्दों का उपयोग करने लगता है जिनका संदर्भ में कोई अर्थ नहीं है (जैसे पिकनिक के बारे में बात करते समय कहना "बिल्ली ने टोस्टर खा लिया"), तो आप जानते हैं कि वह भ्रमित (hallucinating) हो रहा है या अपनी सुसंगतता खो रहा है। शोध पत्र में पाया गया कि AI ठीक उसी समय एक गणितीय "रिसाव" दिखाता है जब वह ऐसा करने लगता है। उच्च तापमान के कारण AI का "अच्छे शब्दों" का आंतरिक मानचित्र इतना विकृत हो जाता है कि वह ऐसे शब्द चुनने लगता है जो वास्तव में उसकी नज़र में कभी थे ही नहीं।

4. परिणाम: एक बेहतर क्रिस्टल बॉल

शोधकर्ताओं ने इस "रिसाव" संकेत का परीक्षण दो समूहों के विरुद्ध किया:

सुपर-स्मार्ट AI जज (GPT-4o और Gemini)।
मानव जज (असली लोग)।

स्कोरबोर्ड:

पुराने तरीके: AI की रचनात्मकता को आंकने के मानक तरीके (जैसे यह जांचना कि AI कितना "हैरान" है) का स्कोर लगभग 0.76 था (1.0 के पैमाने पर जहाँ 1.0 पूर्ण है)। वे ठीक थे, लेकिन बहुत अच्छे नहीं।
नया तरीका: "Pre-vs-Post Temperature" सिग्नल ने AI जजों के खिलाफ 0.918 और मानव जजों के खिलाफ 0.870 का स्कोर प्राप्त किया।

इसका अर्थ है: नया तरीका यह अनुमान लगाने में काफी बेहतर है कि कौन सी कहानियाँ वास्तव में रचनात्मक और सुसंगत हैं, केवल यह मापकर कि "तापमान" के नॉब ने AI के आंतरिक मानचित्र को कितना विकृत किया।

5. पकड़: यह "अच्छा" और "बेहतरीन" के बीच अंतर नहीं कर सकता

इस जादू के खेल की एक सीमा है।

यह तरीका अराजकता (High Temperature = Bad/Incoherent) को पहचानने में अद्भुत है।
हालाँकि, इसे शांत (Low Temperature) और सहज (Medium Temperature) के बीच अंतर करने में संघर्ष करना पड़ता है।

उपमा:
यह तरीका एक स्मोक डिटेक्टर (धुआं पहचानने वाला यंत्र) की तरह है। यह घर में आग लगने पर (High Temperature/Incoherent) चिल्लाने में शानदार है। लेकिन यह वास्तव में यह नहीं बता सकता कि घर "सुखद और गर्म" (Medium Temperature) है या "ठंडा और ताज़ा" (Low Temperature)। डिटेक्टर के लिए दोनों ही "कोई आग नहीं" की तरह दिखते हैं। शोध पत्र सुझाव देता है कि "अच्छे" और "बेहतरीन" रचनात्मक लेखन के बीच अंतर करने के लिए, हमें पूरी कहानी (क्रम/sequence) को देखना होगा, न कि केवल चुने जा रहे एकल शब्द को।

सारांश

इस शोध पत्र ने खोजा है कि यह आंकने के लिए कि AI रचनात्मक रूप से लिख रहा है या सिर्फ बड़बड़ा रहा है, आपको पूरी कहानी पढ़ने की आवश्यकता नहीं है। आपको बस यह देखना है कि जब आप "रचनात्मकता" का नॉब बढ़ाते हैं, तो AI की आंतरिक "मतदान" प्रणाली कितनी गड़बड़ा जाती है। यदि गड़बड़ी के कारण AI ऐसे शब्द चुनने लगता है जो वास्तव में उसकी शॉर्टलिस्ट में भी नहीं थे, तो कहानी के बिखरने की संभावना अधिक है। यह सरल जांच AI रचनात्मकता को मापने के पिछले सभी तरीकों की तुलना में बहुत अधिक सटीक है।

तकनीकी सारांश: तापमान से पहले और बाद का वितरण: रचनात्मक LLM जनरेशन का एक वितरणात्मक दृष्टिकोण

समस्या विवरण (Problem Statement)

ओपन-एंडेड कार्यों में, बिना किसी संदर्भ पाठ (reference text) के, लार्ज लैंग्वेज मॉडल (LLM) के रचनात्मक जनरेशन का मूल्यांकन करना एक निरंतर चुनौती है। पारंपरिक संदर्भ-मुक्त मेट्रिक्स, जैसे कि पर्प्लेक्सिटी (perplexity), अक्सर विफल हो जाते हैं क्योंकि वे प्रवाहपूर्ण, उच्च-आवृत्ति वाले टेक्स्ट को पुरस्कृत करते हैं, जिससे "न्यूरल टेक्स्ट डिजनरेशन" (बोरियत भरा, दोहराव वाला आउटपुट) होता है। हालांकि मॉडल एम्बेडिंग या LLM-as-judge प्रॉम्प्ट्स का उपयोग करने वाले हालिया दृष्टिकोणों ने मूल्यांकन में सुधार किया है, वे जेनरेट किए गए टेक्स्ट के सतही रूप पर कार्य करते हैं, न कि उस अंतर्निहित संभाव्यता वितरण (probability distribution) पर जिससे टेक्स्ट को सैंपल किया गया है। मौजूदा विधियाँ जो वितरणों का विश्लेषण करती हैं, वे आमतौर पर उन्हें स्केलर मानों (जैसे, एंट्रॉपी, मार्जिन) में संकुचित कर देती हैं या कई सैंपल्स की तुलना करने पर निर्भर करती हैं, और टोकन उत्सर्जित होने से पहले लागू किए गए विशिष्ट संरचनात्मक रूपांतरण (structural transformation) को अनदेखा करती हैं, जो कि सैंपलिंग टेम्परेचर ( $T$ ) द्वारा संचालित होता है।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा फ्रेमवर्क प्रस्तावित करते हैं जो मॉडल के कच्चे विश्वास वितरण (raw belief distribution) और तापमान-पुनर्गठित वितरण (temperature-reshaped distribution) के बीच के अंतर को मूल्यांकन के लिए एक प्राथमिक सिग्नल के रूप में मानता है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल और प्रॉम्प्ट्स: प्रयोग WritingPrompts, Alternative Uses Task, और HellaSwag से प्राप्त 500 ओपन-एंडेड रचनात्मक प्रॉम्प्ट्स पर Llama-3.1-8B-Instruct का उपयोग करके किए गए।
सैंपलिंग स्थितियाँ: तीन तापमानों पर जनरेशन किया गया: $T \in \{0.3, 0.8, 1.5\}$ ।
लॉगिट कैप्चर (Logit Capture): प्रत्येक जेनरेट किए गए टोकन के लिए, सैंपलिंग से पहले शीर्ष- $K$ कच्चे लॉगिट्स को कैप्चर किया गया। $T \le 0.8$ के लिए $K=100$ और $T=1.5$ के लिए $K=200$ । महत्वपूर्ण रूप से, सिस्टम यह सुनिश्चित करता है कि कैप्चर किए गए सेट में सैंपल किया गया टोकन शामिल हो (यदि आवश्यक हो तो उसे जोड़ दिया जाए), जिससे उच्च तापमान पर भी जहाँ वितरण सपाट (flat) होता है, सुपरिभाषित विश्लेषण सुनिश्चित हो सके।
वितरण निर्माण (Distribution Construction): प्रति टोकन दो वितरणों की गणना की जाती है:
1. तापमान-पूर्व ( $p$ ): मॉडल का कच्चा विश्वास, $p = \text{softmax}(z)$ ।
2. तापमान-पश्चात ( $q$ ): पुनर्गठित वितरण, $q = \text{softmax}(z/T)$ , जिससे टोकन वास्तव में सैंपल किया गया था।
ग्राउंड ट्रुथ (Ground Truth): मूल्यांकन रैंकिंग निम्नलिखित द्वारा स्थापित की गई थी:
- एक LLM-judge एन्सेम्बल (सभी 500 प्रॉम्प्ट्स पर gpt-4o और gemini-2.5-pro की औसत रैंकिंग) द्वारा।
- एक ह्यूमन-मेजोरिटी रैंकिंग (तीन स्वतंत्र रेटर्स) द्वारा 150-प्रॉम्प्ट के उपसमुच्चय (subset) पर।
- दोनों ग्राउंड ट्रुथ ने "कोहेरेंस-फर्स्ट" (सुसंगतता-प्रथम) नियम का पालन किया, जो विसंगति (incoherence) और असंबद्ध शब्दावली को दंडित करता है।

मेट्रिक्स (Metrics)

अध्ययन $p$ और $q$ की तुलना करने वाले वितरण संबंधी विशेषताओं के एक समूह की गणना करता है, जिसमें शामिल हैं:

सूचना-सैद्धांतिक विचलन (Information-Theoretic Divergences): KL, Jensen-Shannon।
ज्यामितीय दूरियां (Geometric Distances): टोटल वेरिएशन, L2, हेलिंगर।
टॉप-एंड गुण (Top-End Properties): टॉप-1 संभाव्यता और पहचान में बदलाव।
संचयी-द्रव्यमान चौड़ाई (Cumulative-Mass Width) ( $n_\alpha$ ): एक संभाव्यता द्रव्यमान $\alpha$ को कवर करने के लिए आवश्यक टोकनों की संख्या (जैसे, $n_{90}$ )।
द्रव्यमान रिसाव (Mass Leakage): तापमान-पूर्व संभावित सेट पर शेष रहने वाले तापमान-पश्चात द्रव्यमान का अंश (जैसे, $S(p)_{90}$ )।
एकत्रीकरण (Aggregation): जनरेशन ट्रेस के विभिन्न पहलुओं को पकड़ने के लिए फीचर्स को पर्सेंटाइल (p10, p90), मैक्स, और मीन का उपयोग करके प्रति रिस्पॉन्स एकत्रित किया जाता है।

मुख्य योगदान और परिणाम (Key Contributions & Results)

1. प्री-बनाम-पोस्ट फीचर्स की श्रेष्ठ भविष्य कहने वाली शक्ति

प्राथमिक निष्कर्ष यह है कि प्री-बनाम-पोस्ट टेम्परेचर रीशेप से प्राप्त एक एकल प्रति-टोकन फीचर मानक संदर्भ-मुक्त बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है।

शीर्ष फीचर: प्री-टेम्परेचर टॉप-90% चौड़ाई का 10वां पर्सेंटाइल ( $n_{90}(p)_{\text{p10}}$ ) औसत LLM जज के विरुद्ध 0.918 का स्पीयरमैन सहसंबंध ( $\rho$ ) और ह्यूमन मेजोरिटी के विरुद्ध 0.870 का सहसंबंध प्राप्त करता है।
बेसलाइन तुलना: चार मानक बेसलाइन (सेल्फ-परप्लेक्सिटी, मीन प्रेडिक्टिव एंट्रॉपी, टॉप-1 मार्जिन, और gzip कंप्रेशन रेशियो) सभी $|\rho| \approx 0.76$ पर स्थिर हो गए।
अंतर (Gap): प्रस्तावित विधि सर्वश्रेष्ठ बेसलाइन से +0.165 (LLM जज) और +0.110 (ह्यूमन मेजोरिटी) अधिक है, जो बेसलाइन्स के बीच के अंतर से काफी बड़ा है।

2. यांत्रिक अंतर्दृष्टि: विसंगति का हस्ताक्षर (The Incoherence Signature)

प्रदर्शन में वृद्धि एक तीव्र वितरण संबंधी हस्ताक्षर द्वारा संचालित होती है जो "विसंगति शासन" ( $T=1.5$ ) को सुसंगत शासन ( $T=0.3, 0.8$ ) से अलग करती है।

द्रव्यव्‍य का रिसाव (Mass Leakage): $T=1.5$ पर, लगभग 13 प्रतिशत अंक संभाव्यता द्रव्यमान प्री-टेम्परेचर टॉप-90% संभावित सेट से "लीक" हो जाता है। तापमान-पश्चात का द्रव्यमान जो मूल संभावित सेट पर रहता है, वह ~$0.982 $($ T=0.8 $) से गिरकर ~$ 0.868 $($ T=1.5$) हो जाता है।
चौड़ाई में वृद्धि (Width Inflation): संचयी-द्रव्यमान चौड़ाई ( $n_{95}(q)$ ) $T=1.5$ पर $\sim 1$ टोकन से बढ़कर $\sim 131$ टोकन हो जाती है।
एकरूपता (Uniformity): यह विरूपण जनरेशन ट्रेस में समान रूप से व्याप्त है, न कि केवल अलग-थलग टोकनों तक सीमित है।

3. प्रति-टोकन एग्रीगेट्स की सीमाएं

जबकि यह विधि विसंगत जनरेशन ( $T=1.5$ ) को सुसंगत जनरेशन से अलग करने में उत्कृष्ट है, प्रति-टोकन एग्रीगेट्स दोनों सुसंगत शासनों ( $T=0.8$ बनाम $T=0.3$ ) के बीच अंतर करने में विफल रहते हैं। इन शासनों में $p$ और $q$ वितरण समान आकार बनाए रखते हैं, जो यह सुझाव देता है कि "मिड-बनाम-ब्लैंड" (मध्यम-बनाम-बोरियत) का अंतर सिंगल-स्टेप वितरण संबंधी रीशेपिंग के बजाय सीक्वेंस-लेवल फीचर्स (सामग्री की नवीनता, प्रक्षेपवक्र) पर निर्भर करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि "प्री-बनाम-पोस्ट टेम्परेचर व्यू" एक सस्ता, सिंगल-पास, और संदर्भ-मुक्त मेट्रिक प्रदान करता है जो जनरेशन की गुणवत्ता पर सैंपलिंग टेम्परेचर के संरचनात्मक प्रभाव को पकड़ता है।

दक्षता (Efficiency): कई सैंपल्स की आवश्यकता वाले तरीकों (जैसे, सिमेंटिक एंट्रॉपी) या बाहरी संदर्भों के विपरीत, यह दृष्टिकोण टेक्स्ट जेनरेट करने के लिए उपयोग किए जाने वाले समान फॉरवर्ड पास से सिग्नल निकालता है।
व्याख्यात्मकता (Interpretability): तंत्र व्याख्या योग्य है: उच्च रचनात्मकता (या इस मामले में, विसंगति) मॉडल के मूल संभावित सेट से टेल (tail) में द्रव्यमान के विशिष्ट रिसाव के साथ सह-संबंधित है।
बेंचमार्किंग: अध्ययन स्थापित करता है कि औसत LLM जज (gpt-4o/gemini-2.5-pro) इस संदर्भ में मानव निर्णय के लिए एक विश्वसनीय प्रॉक्सी है, जो मानव रेटिंगरों के साथ $\rho=0.832$ का सहसंबंध प्राप्त करता है, जो $\rho=0.771$ की इंटर-ह्यूमन एग्रीमेंट सीलिंग से भी अधिक है।

लेखक निष्कर्ष निकालते हैं कि जबकि प्रति-टोकन वितरण संबंधी बदलाव विसंगति की सीमा को पहचानने के लिए एक शक्तिशाली संकेतक हैं, सूक्ष्म रूप से सुसंगत रचनात्मकता के बीच अंतर करने के लिए संभवतः इन वितरण संबंधी विशेषताओं को सीक्वेंस-लेवल विश्लेषण के साथ मिलाने वाले हाइब्रिड दृष्टिकोण की आवश्यकता होगी।