तकनीकी सारांश: फ्लोटिंग-पॉइंट संख्याओं की एंट्रॉपी (The Entropy of Floating-Point Numbers)

समस्या विवरण (Problem Statement)

फ्लोटिंग-पॉइंट संख्याएं आधुनिक कंप्यूटिंग, विशेष रूप से डीप लर्निंग एल्गोरिदम और हार्डवेयर में निरंतर चरों (continuous variables) के लिए मानक असतत प्रतिनिधित्व (discrete representation) हैं। हालांकि यूनिफॉर्म क्वांटाइजेशन (uniform quantization) वाले असतत चरों के लिए डिफरेंशियल एंट्रॉपी और असतत एंट्रॉपी के बीच का संबंध (विशेष रूप से उच्च-रिज़ॉल्यूशन सीमा में) अच्छी तरह से स्थापित है, लेकिन फ्लोटिंग-पॉइंट प्रतिनिधित्व जैसे नॉन-यूनिफॉर्म क्वांटाइजेशन के लिए कोई समान विश्लेषणात्मक ढांचा उपलब्ध नहीं है।

यह शोध पत्र इस मौलिक प्रश्न को संबोधित करता है: एक फ्लोटिंग-पॉइंट फॉर्मेट पर क्वांटाइज किए गए रैंडम वेरिएबल की आउटपुट एंट्रॉपी क्या है? मौजूदा विधियां सटीक असतत एंट्रॉपी के संख्यात्मक मूल्यांकन (numerical evaluation) पर निर्भर करती हैं, जो गणनात्मक रूप से बहुत गहन (computationally intensive) है। लेखक फ्लोटिंग-पॉइंट क्वांटाइज्ड रैंडम वेरिएबल $X_{fp}$ की एंट्रॉपी के लिए एक भविष्य कहनेवाला विश्लेषणात्मक सन्निकटन (predictive analytic approximation) और उसके त्रुटि अंतराल पर कठोर सीमाएं (rigorous bounds) प्राप्त करने का प्रयास करते हैं।

कार्यप्रणाली (Methodology)

लेखक एक फ्लोटिंग-पॉइंट क्वांटाइज्ड रैंडम वेरिएबल $X_{fp}$ की असतत एंट्रॉपी $H(X_{fp})$ को अनुमानित करने के लिए एक बहु-चरणीय विश्लेषणात्मक ढांचे का विकास करते हैं:

1. सटीक संबंध व्युत्पत्ति (Exact Relation Derivation): यूनिफॉर्म क्वांटाइजेशन पर Kostina [9] के कार्य का विस्तार करते हुए, लेखक नॉन-यूनिफॉर्म क्वांटाइजेशन की असतत एंट्रॉपी और अंतर्निहित निरंतर चर $X$ की डिफरेंशियल एंट्रॉपी $h(X)$ के बीच एक सटीक पहचान (identity) व्युत्पन्न करते हैं। इस पहचान में वास्तविक घनत्व (density) $f_X$ और एक पीसवाइज-कांस्टेंट सन्नक (piecewise-constant approximation) $g$ के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस से संबंधित एक सुधार पद (correction term) शामिल है:
   $$H(X_{fp}) = h(X) - E[\log \Delta(X)] + D(f_X || g)$$
   जहाँ $\Delta(X)$ फ्लोटिंग-पॉइंट क्वांटाइज़र का परिवर्तनीय बिन आकार (variable bin size) है।

2. सन्निकटन रणनीति (Approximation Strategy):

   • KL डाइवर्जेंस को अनदेखा करना: लेखक एक प्रथम-क्रम सन्नक (first-order approximation) के रूप में गैर-ऋणात्मक KL डाइवर्जेंस पद $D(f_X || g)$ को अनदेखा करने का प्रस्ताव करते हैं। वे विश्लेषण करते हैं कि यह पद किन स्थितियों में छोटा होता है, यह दिखाते हुए कि यह बिन आकार के सापेक्ष घनत्व की "स्पाइकीनेस" (spikiness) पर निर्भर करता है।
   • बिन आकार को स्मूथ करना (Smoothing the Bin Size): फ्लोटिंग-पॉइंट बिन आकार फलन $\Delta(x)$ एक स्टेप फंक्शन है। लेखक एक स्मूथ सन्नक $\Delta_s(x) \approx \frac{|x|}{\sqrt{2}} 2^{1-p}$ पेश करते हैं, जो क्लोज्ड-फॉर्म इंटीग्रेशन की अनुमति देता है। यह बिन आकार फलन के डोमेन को "ग्रैनुलर क्षेत्र" (जहाँ प्रतिनिधित्व योग्य मान मौजूद हैं) से पूरे वास्तविक रेखा $\mathbb{R}$ तक विस्तारित करता है।

3. त्रुटि विश्लेषण (Error Analysis):

   • स्मूथिंग एरर: लेखक सिद्ध करते हैं कि बिन आकार को स्मूथ करने और डोमेन को विस्तारित करने से होने वाली त्रुटि $d/2$ (जहाँ $d$ आयामीता/dimensionality है) और एक पद $\epsilon$ द्वारा सीमित है, जो ओवरफ्लो और अंडरफ्लो क्षेत्रों में संभाव्यता द्रव्यमान (probability mass) का प्रतिनिधित्व करता है।
   • स्केल इनवेरिएंस (Scale Invariance): एक प्रमुख सैद्धांतिक कदम यह सिद्ध करना है कि सन्निकट एंट्रॉपी अंतर्निहित रैंडम वेरिएबल के स्केलिंग के तहत अपरिवर्तित रहती है (अर्थात, $H((aX)_{fp}) \approx H(X_{fp})$), बशर्ते ओवरफ्लो/अंडरफ्लो की संभावनाएं नगण्य हों। यह डिफरेंशियल एंट्रॉपी के विपरीत है, जो $\log|a|$ के साथ स्केल होती है।

मुख्य योगदान (Key Contributions)

1. विश्लेषणात्मक सन्निकटन सूत्र (Analytic Approximation Formula)

शोध पत्र $p$ प्रिसिजन वाले रैंडम वेरिएबल $X$ के लिए फ्लोटिंग-पॉइंट एंट्रॉपी का एक क्लोज्ड-फॉर्म सन्निकटन प्रदान करता है:
$$\tilde{H}_s(X_{fp}) = p - \frac{1}{2} - E[\log(|X| f_X(X))]$$
यह सूत्र प्रभावी रूप से एंट्रॉपी को एक स्थिर पद (जो प्रिसिजन $p - 1/2$ पर निर्भर है) और एक वितरण-निर्भर पद (जिसे "डिफरेंशियल फ्लोटिंग-पॉइंट एंट्रॉपी" कहा जाता है) में विभाजित करता है।

2. सामान्य वितरणों के लिए क्लोज्ड-फॉर्म अभिव्यक्ति (Closed-Form Expressions for Common Distributions)

व्युत्पन्न सन्निकटन का उपयोग करते हुए, लेखक कई सामान्य वितरणों (जैसे Gaussian, Uniform, Gamma, Laplace, Lognormal, Pareto, Beta, Student's t) के लिए स्पष्ट क्लोज्ड-फॉर्म अभिव्यक्तियाँ प्रदान करते हैं। विशेष रूप से, एकवैरिएट वितरणों के लिए, स्केल पैरामीटर सन्निकटन में रद्द हो जाते हैं, जो स्केल-इनवेरिएंस गुण की पुष्टि करते हैं।

3. कठोर त्रुटि सीमाएं (Rigorous Error Bounds)

शोध पत्र सन्निकटन पर त्रुटि की सीमा निर्धारित करता है:
$$|H(X_{fp}) - \tilde{H}_s(X_{fp})| \leq \frac{1}{2} + \epsilon + D(f_X || g)$$
जहाँ $\epsilon$ ओवरफ्लो/अंडरफ्लो योगदानों की व्याख्या करता है और $D(f_X || g)$ बिन के भीतर घनत्व के यूनिफॉर्मिटी से विचलन की व्याख्या करता है। लेखक प्रदर्शित करते हैं कि सुचारू (smooth) वितरणों और पर्याप्त बड़े एक्सपोनेंट रेंज के लिए, त्रुटि न्यूनतम है।

4. स्केल-इनवेरिएंस गुण (Scale-Invariance Property)

लेखक सिद्ध करते हैं कि, डिफरेंशियल एंट्रॉपी के विपरीत, सन्निकट फ्लोटिंग-पॉइंट एंट्रॉपी स्केलर रैंडम वेरिएबल्स के लिए स्केल-इनवेरिएंट है। इसका तात्पर्य यह है कि फ्लोटिंग-पॉइंट प्रतिनिधित्व की एंट्रॉनी मुख्य रूप से वितरण के आकार और प्रिसिजन $p$ पर निर्भर करती है, न कि मानों के परिमाण (magnitude) पर, जब तक कि मान प्रतिनिधित्व योग्य रेंज के भीतर हों।

परिणाम (Results)

• सटीकता (Accuracy): विश्लेषणात्मक सन्निकटन विभिन्न वितरणों (Gaussian, Uniform, आदि) के लिए संख्यात्मक रूप से मूल्यांकित सटीक असतत एंट्रॉपी के साथ निकटता से मेल खाता है। यह सहमति एक्सपोनेंट बिट्स द्वारा परिभाषित अंडरफ्लो और ओवरफ्लो सीमाओं के भीतर अच्छी तरह बनी रहती है।
• प्रिसिजन बनाम एक्सपोनेंट बिट्स: परिणाम दिखाते हैं कि सन्निकटन कम प्रिसिजन ($p$) के साथ भी सटीक रहता है, जब तक कि एक्सपोनेंट बिट्स ($E$) की संख्या पर्याप्त हो ताकि ओवरफ्लो और अंडरफ्लो की संभावना कम रहे।
• स्केल इनवेरिएंस सत्यापन: अनुभवजन्य (Empirical) प्लॉट्स पुष्टि करते हैं कि एक क्वांटाइज्ड Gaussian वेरिएबल की एंट्रॉपी स्थिर रहती है जब तक कि मानक विचलन $\sigma$ बदलता है, जब तक कि $\sigma$ फ्लोटिंग-पॉइंट एक्सपोनेंट रेंज की सीमाओं के करीब न पहुँच जाए।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह एक "अलग मात्रा" (डिफरेंशियल फ्लोटिंग-पॉइंट एंट्रॉपी) की खोज करता है जो यूनिफॉर्म क्वांटाइजेशन के मामले से भिन्न, फ्लोटिंग-पॉइंट क्वांटाइजेशन के संदर्भ में डिफरेंशियल एंट्रॉपी को असतत एंट्रॉपी से जोड़ती है।

इस कार्य का महत्व एक भविष्य कहनेवाला विश्लेषणात्मक उपकरण प्रदान करने में निहित है, जो महंगे संख्यात्मक एकीकरण (numerical integration) के बिना फ्लोटिंग-पॉइंट प्रतिनिधित्व की एंट्रॉपी का अनुमान लगाने में सक्षम बनाता है। यह विशेष रूप से निम्नलिखित के लिए प्रासंगिक है:

• वेरिएबल-रेट क्वांटाइज़र डिज़ाइन: फ्लोटिंग-पॉइंट फॉर्मेट के लिए एंट्रॉपी-डिस्टॉर्शन ट्रेडऑफ़ को समझना।
• डीप लर्निंग: फ्लोटिंग-पॉइंट फॉर्मेट (जैसे FP8, BF16) में प्रतिनिधित्व किए गए न्यूरल नेटवर्क वेट्स और एक्टिवेशन्स की सूचना सामग्री (information content) और संपीड़न सीमाओं (compression limits) का विश्लेषण करना।
• हार्डवेयर डिज़ाइन: नवीन फ्लोटिंग-पॉइंट फॉर्मेट के लिए प्रिसिजन, डायनेमिक रेंज और मेमोरी उपयोग के बीच के ट्रेडऑफ़ को सूचित करना।

लेखक एक विनम्र लहजा बनाए रखते हैं, इस बात पर जोर देते हुए कि उनके परिणाम सिद्ध सीमाओं वाले सन्निकटन हैं, जो इस धारणा के तहत मान्य हैं कि ओवरफ्लो और अंडरफ्लो की संभावना कम है और वितरण क्वांटाइजेशन बिन के सापेक्ष पर्याप्त रूप से सुचारू (smooth) है। वे किसी नए हार्डवेयर या विशिष्ट एल्गोरिदम परिवर्तनों का प्रस्ताव नहीं करते हैं, बल्कि मौजूदा फ्लोटिंग-पॉइंट प्रतिनिधित्वों का विश्लेषण करने के लिए सैद्धांतिक आधार प्रदान करते हैं।