🤖 machine learning

Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention

यह शोध पत्र "एन्ट्रोपिक-टाइम इन्फरेंस" (entropic-time inference) का प्रस्ताव करता है, जो एक नवीन प्रतिमान है जो रैखिक टोकन-आधारित डिकोडिंग को अधिक कुशल और बुद्धिमान LLM जनरेशन के लिए कंप्यूटेशनल संसाधनों को गतिशील रूप से आवंटित करने, अटेंशन स्पारसिफिकेशन (attention sparsification) को अनुकूलित करने और सैंपलिंग तापमान को अनुकूलित करने के लिए एक स्व-संगठित, एन्ट्रॉपी-संचालित आर्किटेक्चर से बदल देता है।

मूल लेखक: Andrew Kiruluta

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrew Kiruluta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन टुकड़ों को एक-एक करके या एक सख्त क्रम में देखने के बजाय, आपके पास श्रमिकों की एक टीम (कंप्यूटर के प्रोसेसर) और टुकड़ों का एक विशाल ढेर (डेटा) है।

पुराना तरीका (Standard LLM Inference):
वर्तमान में, अधिकांश AI सिस्टम एक कठोर असेंबली लाइन की तरह काम करते हैं। वे एक टुकड़ा उठाते हैं, उसे चिपकाते हैं, फिर अगला टुकड़ा उठाते हैं, और उसे चिपकाते हैं, चाहे वह टुकड़ा कितना भी आसान या कठिन क्यों न हो।

यदि टुकड़ा स्पष्ट है (जैसे नीला आसमान वाला टुकड़ा), तो वे उस पर भी उतने ही समय और ऊर्जा खर्च करते हैं जितना कि एक कठिन या अनोखे टुकड़े पर।
वे पूरे पहेली बोर्ड को मेज पर खुला रखते हैं, भले ही वे 90% हिस्सा पहले ही सुलझा चुके हों, बस इस डर से कि कहीं उन्हें पुराने टुकड़े की जरूरत न पड़ जाए।
वे अगला टुकड़ा चुनने के लिए सिक्का उछालते हैं, और चाहे वे अनुमान लगा रहे हों या पूरी तरह निश्चित हों, वे एक ही "रैंडमनेस" (यादृच्छिकता) सेटिंग का उपयोग करते हैं।

यह एक सरल और अनुमानित तरीके से कुशल है, लेकिन यह उन चीजों पर बहुत अधिक ऊर्जा बर्बाद करता है जो पहले ही हल हो चुकी हैं या बहुत आसान हैं।

नया तरीका (Entropic-Time Inference):
एंड्रयू किरुलुटा का पेपर इस पहेली फैक्ट्री को चलाने का एक स्मार्ट और अधिक "स्व-संगठित" (self-organizing) तरीका प्रस्तावित करता है। चरणों (समय) को गिनने के बजाय, सिस्टम अनिश्चितता (Uncertainty) को गिनता है।

अनिश्चितता को "भ्रम" (confusion) के रूप में समझें।

उच्च भ्रम (High Confusion): AI अंधाधुंध अनुमान लगा रहा है। इसे गहराई से सोचने, कई सुरागों को देखने और शायद कई अलग-अलग विकल्पों को आज़माने की आवश्यकता है।
कम भ्रम (Low Confusion): AI उत्तर के प्रति आश्वस्त है। इसे बहुत कम काम करने की आवश्यकता है।

यहाँ तीन सरल उपमाओं (analogies) का उपयोग करके यह नया सिस्टम कैसे काम करता है, इसे समझाया गया है:

1. स्मार्ट मैनेजर (Entropy-Aware Scheduling)

एक व्यस्त रेस्टोरेंट किचन की कल्पना करें।

पुराना तरीका: शेफ हर ऑर्डर को ठीक 20 मिनट तक पकाता है, चाहे वह एक साधारण सलाद हो या एक जटिल स्टेक, और उन्हें आने वाले क्रम में परोसता है।
नया तरीका: मैनेजर प्रत्येक ऑर्डर के "भ्रम के स्तर" को देखता है।
- यदि कोई ऑर्डर एक साधारण सलाद है (कम भ्रम), तो मैनेजर कहता है, "शानदार तैयारी छोड़ो, बस इसे जल्दी से प्लेट में सजा दो।"
- यदि कोई ऑर्डर एक जटिल स्टेक है (उच्च भ्रम), तो मैनेजर कहता है, "इस शेफ को उन सभी संसाधनों की आवश्यकता दें जिनकी उसे जरूरत है; यह कठिन है।"
- परिणाम: किचन आसान कार्यों पर समय बर्बाद करना बंद कर देता है और अपनी ऊर्जा वहीं केंद्रित करता है जहाँ वास्तव में इसकी आवश्यकता होती है।

2. चयनात्मक लाइब्रेरियन (Entropic Attention Pruning)

कल्पना कीजिए कि AI एक कहानी लिखने के लिए एक बड़ी किताब पढ़ रहा है।

पुराना तरीका: हर बार जब वह एक नया वाक्य लिखता है, तो वह यह सुनिश्चित करने के लिए कि वह कुछ भूल न जाए, पेज 1 से वर्तमान पेज तक पूरी किताब को फिर से पढ़ता है। यह धीमा और थका देने वाला है।
नया तरीका: AI पूछता है, "क्या मुझे अभी पेज 1 को याद रखने की वास्तव में आवश्यकता है?"
- यदि कहानी आगे बढ़ गई है और पेज 1 अब प्रासंगिक नहीं है (अगले शब्द के बारे में कम भ्रम), तो लाइब्रेरियन उस पेज को एक बॉक्स में रख देता है और उसे देखना बंद कर देता है।
- यह केवल उन "सक्रिय" पेजों को डेस्क पर खुला रखता है जहाँ कहानी वर्तमान में भ्रमित या जटिल है।
- परिणाम: डेस्क कम अव्यवस्थित होता है, और AI बहुत तेज़ी से पढ़ता है क्योंकि वह उन हिस्सों को अनदेखा कर रहा है जिन्हें वह पहले से ही समझ चुका है।

3. एडजस्टेबल थर्मोस्टेट (Entropy-Stabilized Sampling)

कल्पना कीजिए कि AI एक यात्री है जो तय कर रहा है कि कौन सा रास्ता लेना है।

पुराना तरीका: यात्री एक निश्चित दिशा-सूचक (compass) सेटिंग का उपयोग करता है। कभी-कभी वे बिना किसी दिशा के भटक जाते हैं (बहुत अधिक रैंडम), और कभी-कभी वे एक लूप में फंस जाते हैं (बहुत अधिक कठोर)।
नया तरीका: यात्री के पास एक "कन्फ्यूजन थर्मामीटर" है।
- यदि थर्मामीटर उच्च है (High Confusion): सिस्टम "रैंडमनेस" (तापमान) को बढ़ा देता है। यह कहता है, "हम खो गए हैं! आइए कई अलग-अलग रास्ते आज़माएं ताकि देख सकें कि कौन सा सही लगता है।"
- यदि थर्मामीटर निम्न है (Low Confusion): सिस्टम "रैंडमनेस" को कम कर देता है। यह कहता है, "हमें पता है कि हम कहाँ हैं। आइए बिना भटके सीधे चलते रहें।"
- परिणाम: यात्री कभी भी लूप में नहीं फंसता और न ही कभी खाई में गिरता है। वे स्थिति के अनुसार तुरंत खुद को ढाल लेते हैं।

बड़ी तस्वीर: "एंट्रोपिक टाइम" (Entropic Time)

इस पेपर का सबसे महत्वपूर्ण विचार यह है कि समय को इस बात से नहीं मापा जाता कि AI कितने शब्द लिख रहा है, बल्कि इस बात से मापा जाता है कि कितना भ्रम हल किया गया है।

पुराने सिस्टम में, 1 सेकंड = 1 शब्द।
नए सिस्टम में, 1 सेकंड = "हमने कितना पता लगाया?"

यदि AI एक ही स्टेप में एक बड़ा रहस्य सुलझा लेता है, तो वह एक "लंबा" सेकंड है। यदि यह बस एक उबाऊ वाक्यांश को दोहराता है, तो वह एक "छोटा" सेकंड है। इस तरह प्रगति को मापकर, कंप्यूटर उन चीजों पर काम करना बंद कर सकता है जो पहले ही हल हो चुकी हैं और पूरी तरह से उन हिस्सों पर ध्यान केंद्रित कर सकता है जो अभी भी रहस्य बने हुए हैं।

यह क्यों मायने रखता है?

यह दृष्टिकोण AI को एक स्व-संगठित प्रणाली में बदल देता है। इसे यह बताने के लिए किसी इंसान की आवश्यकता नहीं है कि कब धीमा होना है या कब तेज होना है। "भ्रम" स्वयं एक संकेत (signal) के रूप में कार्य करता है।

यह पैसा बचाता है: आसान कार्यों पर बिजली की बर्बादी कम होती है।
यह तेज़ है: AI जटिल कार्यों को तेज़ी से पूरा करता है क्योंकि वह आसान हिस्सों में उलझता नहीं है।
यह स्मार्ट है: यह दोहराव वाले लूप में फंसने से बचता है क्योंकि इसे पता है कि कब यह बहुत रैंडम या बहुत कठोर हो रहा है।

संक्षेप में, यह पेपर सुझाव देता है कि हम AI को केवल एक रोबोट के रूप में मानना बंद कर दें जो चेकलिस्ट का पालन करता है, और इसे एक जिज्ञासु मन के रूप में देखना शुरू करें जो जानता है कि कब गहराई से सोचना है और कब आराम करना है।

यहाँ एंड्रयू जे. किरुलुटा के शोध पत्र "एन्ट्रोपिक-टाइम इन्फरेंस: अटेंशन से परे सेल्फ-ऑर्गनाइजिंग लार्ज लैंग्वेज मॉडल डिकोडिंग" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस इंजन एक फिक्स्ड-टाइम, टोकन-इंडेक्स्ड पैराडाइम के तहत कार्य करते हैं। इस मानक दृष्टिकोण में:

समान उपचार (Uniform Treatment): प्रत्येक डिकोडिंग स्टेप को कार्य की एक समान इकाई माना जाता है, चाहे उस स्टेप का सूचनात्मक मूल्य (informational value) कुछ भी हो।
अक्षमता (Inefficiency): उन चरणों पर महत्वपूर्ण कंप्यूटेशनल संसाधनों (अटेंशन FLOPs, मेमोरी बैंडविड्थ, KV-कैश उपयोग) को व्यय किया जाता है जहाँ अनिश्चितता पहले से ही कम है (निश्चित सिंटैक्टिक फिलर्स) या जहाँ अनिश्चितता (entropy) बिना समाधान के उच्च बनी रहती है (अस्पष्टता), जिससे संसाधनों का उप-इष्टतम आवंटन होता है।
स्थिर नियंत्रण (Static Control): शेड्यूलिंग, मेमोरी एक्सेस (अटेंशन), और सैंपलिंग पैरामीटर्स (टेम्परेचर) एक-दूसरे से अलग (decoupled) और आमतौर पर स्थिर होते हैं, जो जनरेशन प्रक्रिया की गतिशील सूचनात्मक स्थिति (dynamic informational state) को अनदेखा करते हैं।

यह शोध पत्र तर्क देता है कि इन्फरेंस को टोकन की एक रैखिक प्रगति के रूप में नहीं, बल्कि एक अनिश्चितता समाधान प्रक्रिया (uncertainty resolution process) के रूप में देखा जाना चाहिए। वर्तमान प्रणालियाँ कंप्यूटेशनल प्रयास को प्रत्येक चरण के वास्तविक "सूचना लाभ" (information gain) के साथ संरेखित करने में विफल रहती हैं।

2. मुख्य कार्यप्रणाली: एन्ट्रोपिक-टाइम इन्फरेंस (Core Methodology: Entropic-Time Inference)

लेखक एन्ट्रोपिक-टाइम इन्फरेंस का प्रस्ताव करते हैं, जो एक ऐसा पैराडाइम शिफ्ट है जहाँ डिकोडिंग प्रगति को टोकन गणना के बजाय इरिवर्सिबल एंट्रॉपी रिडक्शन (irreversible entropy reduction) द्वारा मापा जाता है।

A. सैद्धांतिक आधार (Theoretical Foundation)

एन्ट्रोपिक समय ( $\tau$ ): इसे जनरेशन सीक्वेंस के दौरान सकारात्मक एंट्रॉपी रिडक्शन ( $\Delta H_t = H_{t-1} - H_t$ ) के संचयी योग के रूप में परिभाषित किया गया है।
$\tau = \sum_{t} \max(0, \Delta H_t)$
वे चरण जो अनिश्चितता को कम नहीं करते (या स्टोकेस्टिसिटी के कारण इसे बढ़ाते हैं), $\tau$ में नगण्य योगदान देते हैं।
अनुकूलन उद्देश्य (Optimization Objective): लक्ष्य एंट्रॉपी रिडक्शन और संसाधन लागत के अनुपात को अधिकतम करना है:
$\max \frac{d\tau}{dC}$
जहाँ $C$ संसाधनों (कंप्यूट, मेमोरी, बैंडविड्थ) का प्रतिनिधित्व करता है।

B. सिस्टम आर्किटेक्चर (System Architecture)

यह फ्रेमवर्क मौजूदा इन्फरेंस इंजनों (जैसे vLLM) के मॉडल आर्किटेक्चर को बदले बिना उन पर एक एकीकृत नियंत्रण लूप (unified control loop) आरोपित करता है। यह तीन जुड़े हुए पैमानों (scales) पर कार्य करता है:

मैक्रो-स्केल: एंट्रॉपी-अवेयर शेड्यूलिंग (Macro-Scale: Entropy-Aware Scheduling)
- तंत्र (Mechanism): अनुक्रमों (sequences) को उनके प्रति इकाई लागत पर अपेक्षित इरिवर्सिबल एंट्रॉपी रिडक्शन के आधार पर प्राथमिकता दी जाती है।
- फॉर्मूला: प्राथमिकता $\pi(s) = \frac{E[\Delta H_s]}{\alpha C_s + \beta M_s + \gamma L_s}$ ।
- प्रभाव: हल किए गए अनुक्रमों (कम एंट्रॉपी क्षमता) को कम प्राथमिकता दी जाती है, जबकि अनसुलझे, उच्च-अनिश्चितता वाले अनुक्रमों को अधिक कंप्यूट मिलता है, जिससे कठिन कार्यों पर संसाधनों की कमी को रोका जा सकता है।
मेसो-स्केल: एन्ट्रोपिक अटेंशन प्रूनिंग (Meso-Scale: Entropic Attention Pruning)
- तंत्र: पेज्ड अटेंशन मैकेनिज्म में, की-वैल्यू (KV) ब्लॉक्स को उनके "एन्ट्रोपिक योगदान" के आधार पर गतिशील रूप से हटाया (prune) जाता है।
- मेट्रिक: कम सूचनात्मक योगदान (कम सरप्राइज़ल/अटेंशन वेट) वाले ब्लॉक्स को हटा दिया जाता है यदि वर्तमान एंट्रॉपी व्यवस्था इसकी अनुमति देती है।
- प्रभाव: यह अटेंशन FLOPs और KV-कैश बैंडविड्थ उपयोग को कम करता है, जिससे मेमोरी एक्सेस केवल सूचनात्मक संदर्भ (informative context) पर केंद्रित रहता है।
माइक्रो-स्केल: एंट्रॉपी-स्टेबलाइज्ड सैंपलिंग (Micro-Scale: Entropy-Stabilized Sampling)
- तंत्र: एक लक्षित एंट्रॉपी ( $H^*$ ) बनाए रखने के लिए सैंपलिंग टेम्परेचर ( $T_t$ ) को गतिशील रूप से समायोजित किया जाता है।
- कंट्रोल लॉ: $T_{t+1} = \text{clip}(T_t \exp(\eta(H_t - H^*)), T_{min}, T_{max})$ ।
- प्रभाव: यह उच्च-अनिश्चितता वाले क्षेत्रों में समयपूर्व पतन (premature collapse/over-confidence) को रोकता है और कम-अनिश्चितता वाले क्षेत्रों में अत्यधिक यादृच्छिकता (randomness) से बचाता है, जिससे जनरेशन ट्राजेक्टरी स्थिर होती है।

C. व्यावहारिक कार्यान्वयन (Practical Implementation)

एंट्रॉपी अनुमान (Entropy Estimation): बड़े वोकैबुलरी पर सटीक शैनन एंट्रॉपी की $O(|V|)$ लागत से बचने के लिए, सिस्टम Top-k ट्रंकेटेड एंट्रॉपी और टेल-करेक्टेड एस्टिमेटर्स का उपयोग करता है।
मजबूती (Robustness): मॉडल मिसकैलिब्रेशन (जैसे ओवरकॉन्फिडेंस) को संभालने के लिए, सिस्टम कैटास्ट्रोफिक अर्ली टर्मिनेशन को रोकने के लिए एंट्रॉपी फ्लोर्स ( $H_{min}$ ) और रूढ़िवादी प्रूनिंग थ्रेसहोल्ड का उपयोग करता है।

3. प्रमुख योगदान (Key Contributions)

समय की परिचालन परिभाषा: "एन्ट्रोपिक टाइम" को एक प्रथम-श्रेणी के कंट्रोल सिग्नल के रूप में पेश करता है, जो इन्फरेंस प्रगति को इरिवर्सिबल अनिश्चितता रिडक्शन के रूप में पुनर्परिभाषित करता है।
एकीकृत नियंत्रण ढांचा: पहला इन्फरेंस इंजन आर्किटेक्चर प्रस्तावित करता है जो एकल एंट्रॉपी-आधारित उद्देश्य के तहत शेड्यूलिंग, मेमोरी इंटरैक्शन (अटेंशन), और स्टोकेस्टिसिटी (सैंपलिंग) को संयुक्त रूप से जोड़ता है।
सेल्फ-ऑर्गनाइजिंग डायनेमिक्स: यह प्रदर्शित करता है कि स्थानीय एंट्रॉपी-संचालित नियंत्रण नियम कैसे एक केंद्रीकृत वैश्विक ऑप्टिमाइज़र की आवश्यकता के बिना उभरती हुई वैश्विक दक्षता (emergent global efficiency) की ओर ले जाते हैं।
सैद्धांतिक गारंटी: सिस्टम की स्थिरता और अभिसरण (convergence) के लिए प्रमाण प्रदान करता है, यह दिखाते हुए कि युग्मित फीडबैक लूप बाउंडेड रहता है और विचलन या समयपूर्व पतन से बचता है।

4. परिणाम (एब्लेशन स्टडी) [Results (Ablation Study)]

एक डिकोडर-ओनली ट्रांसफार्मर पर एक vLLM बैकएंड का उपयोग करके प्रयोग किए गए, जिसमें फुल सिस्टम की तुलना बेसलाइन (फिक्स्ड शेड्यूलिंग, डेंस अटेंशन, फिक्स्ड टेम्परेचर) से की गई।

मेट्रिक	बेसलाइन	सैंपलिंग केवल	शेड्यूलिंग केवल	अटेंशन केवल	फुल सिस्टम
लेटेंसी (Latency)	1.00	0.98	0.88	0.85	0.70 (-30%)
थ्रूपुट (Throughput)	1.00	1.02	1.15	1.20	1.40 (+40%)
दक्षता ( $d\tau/dC$ )	1.00	1.08	1.12	1.25	1.55 (+55%)
गुणवत्ता (Quality)	1.00	1.00	1.00	0.98	1.00

सुपर-एडिटिव लाभ: फुल सिस्टम ने दक्षता में ऐसे लाभ प्राप्त किए (कंप्यूट यूनिट प्रति एंट्रॉपी रिडक्शन में 40-60% सुधार) जो व्यक्तिगत घटकों के योग से अधिक थे, जो युग्मित नियंत्रण की स्व-संगठित प्रकृति की पुष्टि करते हैं।
स्थिरता: एंट्रॉपी-स्टेबलाइज्ड सैंपलिंग ने एंट्रॉपी वेरिएंस को काफी कम कर दिया (15-20% की कमी), जिससे डिजेनरेट लूप्स को रोका जा सका।
मजबूती: सिस्टम ने सिंथेटिक मिसकैलिब्रेशन स्ट्रेस टेस्ट के तहत भी बेसलाइन के समान आउटपुट गुणवत्ता (BLEU/ROUGE) बनाए रखी।

5. महत्व और पूर्व कार्य से संबंध (Significance and Relation to Prior Work)

स्पेक्युलेटिव डिकोडिंग के प्रति ऑर्थोगोनैलिटी: जबकि स्पेक्युलेटिव डिकोडिंग प्रेडिक्टिव करेक्टनेस (भविष्य के टोकन को सत्यापित करना) को अनुकूलित करती है, एन्ट्रोपिक-टाइम इन्फरेंस सूचनात्मक दक्षता (उन स्थानों पर संसाधन आवंटित करना जहाँ अनिश्चितता सबसे अधिक है) को अनुकूलित करता है। इन दोनों को जोड़ा जा सकता है।
MoE के साथ पूरकता: मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) स्थानिक रूप से (मॉडल लेयर्स के माध्यम से) कंप्यूटेशन को स्पार्सिफाई करता है, जबकि एन्ट्रोपिक-टाइम इन्फरेंस इसे टेम्पोरल और सूचनात्मक रूप से (डिकोडिंग स्टेप्स के माध्यम से) स्पार्सिफाई करता है।
पैराडाइम शिफ्ट: LLM इन्फरेंस को "शेड्यूलिंग और मेमोरी मैनेजमेंट" की समस्या से बदलकर "थर्मोडायनामिक इंफॉर्मेशन-प्रोसेसिंग" की समस्या में बदल देता है। यह इन्फरेंस इंजन को एक डायनेमिकल सिस्टम के रूप में देखता है जो प्रति इकाई ऊर्जा सूचना लाभ को अधिकतम करने के लिए स्वयं को व्यवस्थित (self-organize) करता है।

निष्कर्ष (Conclusion)

यह शोध पत्र एक मजबूत, सिस्टम-लेवल फ्रेमवर्क प्रस्तुत करता है जो LLM इन्फरेंस को एक संसाधन-इंटेलिजेंट प्रक्रिया में बदल देता है। एंट्रॉपी को एक वैश्विक नियंत्रण सिग्नल के रूप में उपयोग करके, प्रस्तावित आर्किटेक्चर आउटपुट गुणवत्ता बनाए रखते हुए लेटेंसी और कंप्यूट लागत में महत्वपूर्ण कमी लाता है, जो अनुकूलित, स्व-संगठित AI इन्फरेंस सिस्टमों की ओर एक सिद्धांतपूर्ण मार्ग प्रदान करता है।