🔢 mathematics

A Second-Moment Theory for Floating-Point Reduction Trees

यह शोध पत्र एक सटीक माध्य-वर्ग त्रुटि पुनरावृत्ति (mean-square error recurrence) और एक वृक्ष-निर्भर कर्नेल (tree-dependent kernel) को व्युत्पन्न करके फ्लोटिंग-पॉइंट रिडक्शन ट्री के लिए एक द्वितीय-क्षण सिद्धांत (second-moment theory) विकसित करता है, जो यह लक्षणित करता है कि आंशिक-योग क्रम (partial-sum order) के साथ योग त्रुटि कैसे बदलती है, जिससे विभिन्न परिशुद्धता प्रारूपों (precision formats) में केंद्रित और गैर-केंद्रित इनपुट दोनों के लिए इष्टतम ट्री टोपोलॉजी और शेड्यूल्स की पहचान करना सक्षम होता है।

मूल लेखक: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

प्रकाशित 2026-07-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप सिक्कों के एक विशाल ढेर को गिनने की कोशिश कर रहे हैं, लेकिन आप इसे एक बहुत ही विशिष्ट, थोड़े अनाड़ी नियम के साथ कर रहे हैं: हर बार जब आप दो संख्याओं को जोड़ते हैं, तो आपको परिणाम को एक छोटे से बॉक्स में फिट होने के लिए उसे राउंड (round) करना पड़ता है। यदि संख्या बॉक्स के लिए बहुत बड़ी है, तो आपको अतिरिक्त हिस्सों को काटना पड़ता है। कंप्यूटर इसी तरह "फ्लोटिंग-पॉइंट" (floating-point) संख्याओं के साथ गणित करते हैं। वे अविश्वसनीय रूप से तेज़ हैं, लेकिन वे पूर्ण नहीं हैं; वे हर बार गणना करते समय सूक्ष्म, अदृश्य त्रुटियाँ पेश करते हैं।

अब, कल्पना कीजिए कि आपके पास दस लाख सिक्कों को गिनने हैं। आप उन्हें एक लंबी रेखा में एक-एक करके जोड़ सकते हैं (एक "सीक्वेंशियल" या क्रमिक दृष्टिकोण), या आप लोगों की एक टीम रख सकते हैं जो जोड़ों में जुड़ती है, फिर वे फिर से जोड़े बनाते हैं, और इसी तरह (एक "ट्री" या पेड़ दृष्टिकोण)। वास्तविक दुनिया में, जोड़ने का क्रम आमतौर पर अंतिम कुल योग को प्रभावित नहीं करता है। लेकिन डिजिटल दुनिया में, उन सूक्ष्म राउंडिंग त्रुटियों के कारण, जोड़ने का क्रम मायने रखता है। एक लंबी रेखा में जोड़ना एक ट्री दृष्टिकोण से अलग कुल योग दे सकता है, भले ही आप बिल्कुल उन्हीं सिक्कों को जोड़ रहे हों। वैज्ञानिक लंबे समय से जानते हैं कि इन त्रुटियों का "सबसे खराब मामला" (worst-case scenario) मौजूद है, लेकिन उनके पास रैंडम नंबरों के साथ औसत रूप से क्या होता है, इसका अनुमान लगाने का कोई अच्छा तरीका नहीं था। यह जानने जैसा है कि एक कार तूफान में दुर्घटनाग्रस्त हो सकती है, लेकिन यह नहीं जानना कि धूप वाले दिन उसके फिसलने की कितनी संभावना है।

यह शोध पत्र, जिसका शीर्षक "ए सेकंड-मोमेंट थ्योरी फॉर फ्लोटिंग-पॉइंट रिडक्शन ट्रीज़" (A Second-Moment Theory for Floating-Point Reduction Trees) है, उसी कमी को भरने का प्रयास करता है। लेखकों ने, जो ओक रिज नेशनल लेबोरेटरी की एक टीम है, एक नया गणितीय "मानचित्र" विकसित किया है जो यह सटीक भविष्यवाणी करने के लिए है कि आपके द्वारा उपयोग किए जाने वाले जोड़ के पेड़ (addition tree) के आकार के आधार पर कितनी त्रुटि जमा होगी। वे राउंडिंग त्रुटियों को यादृच्छिक अराजकता के रूप में नहीं, बल्कि एक पैटर्न के रूप में देखते हैं जिसे मापा और अनुमानित किया जा सकता है।

उनकी खोज का मूल आधार यह है: उन्होंने पाया कि कुल त्रुटि दो मुख्य चीजों पर निर्भर करती है: आपके जोड़ के पेड़ का "आकार" और आपके द्वारा जोड़ी जा रही संख्याओं का "व्यक्तित्व"।

सबसे पहले, उन्होंने "कॉमन-एंसेस्टर कर्नल" (common-ancestor kernel) की अवधारणा पेश की। अपने जोड़ के पेड़ को एक वंशावली (family tree) के रूप में कल्पना करें। यदि आप ढेर में से दो विशिष्ट सिक्के (पत्तियाँ/leaves) चुनते हैं, तो "साझा पूर्वज" (common ancestors) वे लोग (नोड्स/nodes) हैं जिन्होंने किसी बिंदु पर उन दो सिक्कों को जोड़ा था। लेखकों ने सिद्ध किया कि कुल त्रुटि मूल रूप से इस बात की गिनती है कि प्रत्येक जोड़े के सिक्के पेड़ में कितने साझा पूर्वजों को साझा करते हैं। यदि दो सिक्के प्रक्रिया के शुरुआती चरण में जोड़े जाते हैं और फिर उस परिणाम को कई अन्य चीजों के साथ जोड़ा जाता है, तो वे कई पूर्वजों को साझा करते हैं, और त्रुटि बढ़ती है। यदि वे देर से जोड़े जाते हैं, तो वे कम साझा करते हैं।

दूसरा, उन्होंने महसूस किया कि संख्याओं का "व्यक्तित्व" खेल बदल देता है। यदि आप जो संख्याएँ जोड़ रहे हैं वे "सेंटर्ड" (centered) हैं (अर्थात उनमें सकारात्मक और नकारात्मक मूल्यों का मिश्रण है जो एक दूसरे को रद्द करते हैं, जैसे कि बाएं और दाएं धक्का देने वाली भीड़), तो त्रुटि मुख्य रूप से पेड़ की कुल गहराई पर निर्भर करती है। लेकिन यदि संख्याएँ "नॉन-सेंटर्ड" (non-centered) हैं (जैसे कि केवल सकारात्मक सिक्कों का ढेर, या दाईं ओर धक्का देने वाली पूरी भीड़), तो त्रुटि उप-समूहों के आकार पर निर्भर करती है। एक पेड़ जो सकारात्मक और नकारात्मक संख्याओं के मिश्रण के लिए आदर्श है, वह केवल सकारात्मक संख्याओं के ढेर के लिए बहुत बुरा हो सकता है। एक संतुलित पेड़ (जहाँ सभी समान रूप से जोड़े बनाते हैं) मिश्रित डेटा के लिए सबसे अच्छा होता है, लेकिन केवल सकारात्मक संख्याओं के लिए, एक "टू-स्टेज" (दो-चरणीय) पेड़ अक्सर विजेता होता है, जो त्रुटि को बहुत बेहतर तरीके से नियंत्रित करता है।

लेखकों ने अपने सिद्धांत का परीक्षण करने के लिए विभिन्न प्रकार की संख्याओं (मानक उच्च-परिशुद्धता से लेकर आधुनिक AI में उपयोग किए जाने वाले बहुत कम-परिशुद्धता प्रारूपों तक) का उपयोग करके कंप्यूटर पर लाखों सिमुलेशन चलाए। उन्होंने पाया कि उनका नया मॉडल आश्चर्यजनक रूप से सटीक है। यह सही ढंग से भविष्यवाणी करता है कि दिए गए डेटा के प्रकार के लिए कौन सा ट्री आकार न्यूनतम त्रुटि देगा। उदाहरण के लिए, उन्होंने पुष्टि की कि मानक मिश्रित संख्याओं के लिए, एक "बैलेंस्ड" (संतुलित) पेड़ आमतौर पर सबसे अच्छा होता है। लेकिन केवल सकारात्मक संख्याओं के ढेर के लिए, एक "टू-स्टेज" पेड़ (जहाँ पहले छोटे समूहों को जोड़ा जाता है, फिर समूह के कुल योग को जोड़ा जाता है) अक्सर विजेता होता है, जो एक साधारण रेखा या संतुलित पेड़ की तुलना में त्रुटि को बहुत बेहतर तरीके से स्केल करता है।

उन्होंने यह भी देखा कि यह बड़े मैट्रिक्स गुणन (वह गणित जो न्यूरल नेटवर्क और 3D ग्राफिक्स को शक्ति देता है) पर कैसे लागू होता है। उन्होंने दिखाया कि वही "पूर्वज गणना" (ancestor counting) तर्क वहां भी लागू होता है, जिससे वे जटिल गणनाओं में त्रुटियों की उच्च सटीकता के साथ भविष्यवाणी कर सकते हैं।

हालाँकि, शोध पत्र सावधानीपूर्वक यह नोट करता है कि उनका मानचित्र कहाँ काम करना बंद कर देता है। बहुत कम-परिशुद्धता वाले प्रारूपों (जैसे कि कुछ AI चिप्स में उपयोग किए जाने वाले बहुत छोटे नंबर) में, यदि आप केवल सकारात्मक संख्याएँ जोड़ रहे हैं, तो त्रुटियाँ अटक सकती हैं। इसे "स्टैग्नेशन" (stagnation) कहा जाता है, जहाँ एक बड़ी संख्या में एक छोटी संख्या जोड़ने से कुछ नहीं होता क्योंकि छोटी संख्या बहुत सूक्ष्म होती है ताकि दर्ज की जा सके। इन विशिष्ट मामलों में, मॉडल की भविष्यवाणियाँ टूट जाती हैं क्योंकि त्रुटियाँ यादृच्छिक शोर की तरह व्यवहार करना बंद कर देती हैं और एक जिद्दी पूर्वाग्रह (bias) की तरह व्यवहार करने लगती हैं।

संक्षेप में, यह शोध पत्र केवल यह नहीं बताता कि राउंडिंग त्रुटियाँ होती हैं; यह हमें यह गणना करने के लिए एक सटीक सूत्र देता है कि वे कितनी होंगी, जो हमारे गणित की संरचना और हमारे द्वारा उपयोग किए जा रहे डेटा के प्रकार पर निर्भर करती है। यह सुझाव देता है कि सही "ट्री" आकार चुनकर—चाहे वह मिश्रित डेटा के लिए एक संतुलित पेड़ हो या सकारात्मक डेटा के लिए एक ब्लॉक्ड पेड़—हम अपने हार्डवेयर को बदले बिना अपनी गणनाओं में शोर (noise) को काफी कम कर सकते हैं। यह "जमा होने वाली त्रुटियों" के अस्पष्ट डर को एक प्रबंधनीय, पूर्वानुमेय इंजीनियरिंग समस्या में बदल देता है।

तकनीकी सारांश: फ्लोटिंग-पॉइंट रिडक्शन ट्रीज़ के लिए सेकंड-मोमेंट थ्योरी

समस्या विवरण

फ्लोटिंग-पॉइंट योग (summation) के लिए मानक वर्स्ट-केस फॉरवर्ड-एरर बाउंड्स, जैसे कि $|\hat{s} - s| \le \gamma_{k-1} \sum |p_i|$ , रिडक्शन ट्री टोपोलॉजी से स्वतंत्र होते हैं। जबकि ये बाउंड्स सुरक्षा गारंटी प्रदान करते हैं, वे रैंडम इनपुट के मामले में विभिन्न ट्री संरचनाओं (जैसे, अनुक्रमिक (sequential), पेयरवाइज (pairwise), ब्लॉकड (blocked)) के बीच अंतर करने में विफल रहते हैं। फलस्वरूप, वे यह अनुमान नहीं लगा सकते कि कौन सी टोपोलॉजी दिए गए डेटासेट के लिए विशिष्ट माध्य-वर्ग त्रुटि (mean-square error, MSE) को न्यूनतम करेगी। यह शोध पत्र एक ऐसे मॉडल की आवश्यकता को संबोधित करता है जो यह कैप्चर कर सके कि "रिडक्शन ज्योमेट्री" (reduction geometry)—अर्थात युग्मित जोड़ (pairwise additions) का विशिष्ट क्रम—इनपुट सांख्यिकी (input statistics) के साथ कैसे अंतःक्रिया करता है ताकि त्रुटि संचय (error accumulation) निर्धारित किया जा सके।

कार्यप्रणाली (Methodology)

लेखक एक सेकंड-मोमेंट थ्योरी विकसित करते हैं जो वर्स्ट-केस विश्लेषण से आगे बढ़कर, रिडक्शन ट्री संरचना पर निर्भर एक स्टोकेस्टिक प्रक्रिया के रूप में संचित राउंडिंग एरर को मॉडल करती है।

1. सटीक सशर्त पुनरावृत्ति (Exact Conditional Recurrence)

विश्लेषण कंडिशनली अनबायस्ड राउंडिंग (जैसे, स्टोकेस्टिक राउंडिंग) से शुरू होता है। राउंडिंग से ठीक पहले उपलब्ध जानकारी (सिग्मा-अल्जेब्रा $\mathcal{F}^-_v$ ) पर कंडीशन करके, लेखक संचित त्रुटि विचरण (accumulated error variance) के लिए एक सटीक पुनरावृत्ति प्राप्त करते हैं। यह पुनरावृत्ति विरासत में मिली त्रुटि (inherited error) को स्थानीय राउंडिंग त्रुटि से अलग करती है, जिससे यह स्पष्ट होता है कि क्रॉस-टर्म्स (cross-terms) अपेक्षा (expectation) में शून्य हो जाते हैं। यह दिखाया गया है कि स्थानीय विचरण (local variance) प्री-राउंडिंग ऑपरेंड मान $x_v$ पर निर्भर करता है।

2. कॉन्स्टेंट- $\nu$ मॉडल (The Constant- $\nu$ Model)

डेटरमिनिस्टिक राउंड-टू-नियरएस्ट (जहाँ त्रुटियाँ पूरी तरह से कंडिशनली अनबायस्ड नहीं होती हैं) के लिए एक सुलभ मॉडल बनाने हेतु, लेखक एक "कॉन्स्टेंट- $\nu$ " सन्निकटन (approximation) पेश करते हैं। वे ऑपरेंड-डिपेंडेंट लोकल वेरिएंस को एक होमोजेनियस मॉडल $\psi_v(x) = \nu u^2 x^2$ से बदल देते हैं, जहाँ $\nu$ एक अनुभवजन्य रूप से कैलिब्रेटेड (empirically calibrated) आयामहीन गुणांक है। यह पुनरावृत्ति को एक ऐसे रूप में सरल बनाता है जहाँ कुल अपेक्षित वर्ग त्रुटि (expected squared error) वर्ग आंशिक योगों (squared exact partial sums) के योग के समानुपाती होती है: $\sum_v q_v^2$ ।

3. कॉमन-एंसेस्टर कर्नेल ( $K_T$ )

मुख्य सैद्धांतिक योगदान वर्ग आंशिक योगों के वर्ग योग को एक क्वाड्रेटिक फॉर्म के रूप में प्रस्तुत करना है:
$\sum_{v \in \text{int}(T)} q_v^2 = p^\top K_T p$
यहाँ, $K_T$ एक कॉमन-एंसेस्टर कर्नेल है, जो एक $k \times k$ मैट्रिक्स है जहाँ प्रविष्टि (entry) $(K_T)_{ij}$ उन आंतरिक नोड्स (internal nodes) की संख्या गिनती है जो लीव्स (leaves) $i$ और $j$ दोनों के पूर्वज (ancestors) हैं। यह मैट्रिक्स रिडक्शन ज्योमेट्री को एनकोड करता है।

4. I.i.d. कम्प्रेशन और ट्री स्टैटिस्टिक्स

स्वतंत्र और समान रूप से वितरित (i.i.d.) इनपुट के लिए, जिनका माध्य $\mu$ और विचरण $\tau^2$ है, क्वाड्रेटिक फॉर्म की अपेक्षा (expectation) दो स्केलर ट्री स्टैटिस्टिक्स में सिमट जाती है:
$\mathbb{E}[\text{MSE}] \propto \tau^2 \Lambda_1(T) + \mu^2 \Lambda_2(T)$

$\Lambda_1(T)$ : लीफ डेप्थ का योग (टोटल एक्सटर्नल पाथ लेंथ)। यह सेंटर्ड इनपुट ( $\mu=0$ ) के लिए त्रुटि को नियंत्रित करता है।
$\Lambda_2(T)$ : आंतरिक सबट्री साइज़ के वर्ग का योग। यह नॉन-सेंटर्ड इनपुट ( $\mu \neq 0$ ) के लिए त्रुटि को नियंत्रित करता है।

5. GEMM तक विस्तार

इस सिद्धांत को जनरल मैट्रिक्स-मैट्रिक्स मल्टीप्लिकेशन (GEMM) तक विस्तारित किया गया है। दिखाया गया है कि अपेक्षित स्क्वेयर्ड फ्रोबेनियस एरर (expected squared Frobenius error), ऑपरेंड ग्राम मैट्रिसेस के हैडामार्ड प्रोडक्ट से बने मैट्रिक्स $G$ के साथ कर्नेल $K_T$ का एक कॉन्ट्रैक्शन (contraction) है ( $G = (A^\top A) \circ (BB^\top)$ )।

मुख्य योगदान

सैद्धांतिक अनुकूलन (Theoretical Optimization)

लेखक विभिन्न श्रेणियों के लिए इष्टतम ट्री टोपोलॉजी प्राप्त करते हैं:

सेंटर्ड इनपुट: बैलेंस्ड ट्री $\Lambda_1$ को न्यूनतम करते हैं, जबकि अनुक्रमिक (sequential) ट्री इसे अधिकतम करते हैं। पेयरवाइज ट्री के लिए RMS एरर का इष्टतम घातांक (exponent) $1/2$ है।
नॉन-सेंटर्ड इनपुट: इष्टतम टोपोलॉजी बदल जाती है। फिक्स्ड-स्टेज पदानुक्रमों (hierarchies) के लिए, लेखक एक "डबलिंग-गैप शेड्यूल" प्राप्त करते हैं जहाँ स्टेज रेश्यो क्रमशः आधे होते जाते हैं ( $r_\ell \propto 2^{-\ell}$ ) ताकि $\Lambda_2$ को न्यूनतम किया जा सके।
हेटरोजीनियस वेरिएंस: असमान वेरिएंस वाले स्वतंत्र सेंटर्ड इनपुट के लिए, इष्टतम ट्री संरचना हफमैन कोडिंग (Huffman coding) के अनुरूप होती है, जो वेरिएन्स-वेटेड एक्सटर्नल पाथ लेंथ को न्यूनतम करती है।
ब्लॉकिंग: दो-चरणीय अनुक्रमिक ब्लॉकिंग के लिए, सेंटर्ड इनपुट के लिए इष्टतम ब्लॉक साइज $b \propto \sqrt{k}$ स्केल करता है (जिससे RMS एक्सपोनेंट $3/4$ मिलता है), लेकिन नॉन-सेंटर्ड इनपुट के लिए अलग स्केलिंग की आवश्यकता होती है।

अनुभवजन्य सत्यापन (Empirical Validation)

लेखक कई प्रेसिजन्स (binary64, binary32, सॉफ्टवेयर-एम्युलेटेड binary16, और bfloat16) और इनपुट प्रकारों में कॉन्स्टेंट- $\nu$ मॉडल को सत्यापित करते हैं:

टोपोलॉजी ऑर्डरिंग: मॉडल अनुक्रमिक, ब्लॉकड और पेयरवाइज ट्री के बीच RMS एरर के क्रम को सही ढंग से भविष्यवाणी करता है।
कैलिब्रेशन: binary64 राउंड-टू-नियरएस्ट के लिए स्वतंत्र रूप से कैलिब्रेटेड $\nu \approx 0.19$ के साथ, मॉडल GEMM के लिए पूर्ण MSE की $3\%$ के भीतर भविष्यवाणी कर सकता है और विभिन्न ट्री परिवारों के लिए स्केलिंग लॉ को सही ढंग से कैप्चर करता है।
स्टैग्नेशन लिमिट्स: अध्ययन उन लो-प्रिसिजन (binary16/bfloat16) पॉजिटिवे सम्स (positive sums) में एक विफलता क्षेत्र की पहचान करता है जहाँ "स्टैग्नेशन" (एक बड़े नंबर में छोटा नंबर जोड़ने पर बदलाव न होना) के कारण बायस (bias) हावी हो जाता है, जिससे कॉन्स्टेंट- $\nu$ सन्निकटन टूट जाता है।

परिणाम

स्केलिंग लॉज़: पेपर पुष्टि करता है कि सेंटर्ड इनपुट के लिए, पेयरवाइज समेशन $O(\sqrt{\log k})$ स्केल करता है, $b \propto \sqrt{k}$ के साथ ब्लॉकड समेशन $O(k^{3/4})$ स्केल करता है, और अनुक्रमिक समेशन $O(k)$ स्केल करता है।
नॉन-सेंटर्ड रिजीम: नॉन-जीरो मीन वाले इनपुट (जैसे, सॉफ्टमैक्स डिनोमिनेटर, स्क्वेयर्ड नॉर्म्स) के लिए, त्रुटि $\Lambda_2$ द्वारा डोमिनेट होती है। "डबलिंग-गैप" शेड्यूल, जो सेंटर्ड इनपुट के लिए इष्टतम ज्यामितिक शेड्यूल से भिन्न है, एक अलग स्केलिंग व्यवहार प्रदान करता है।
कोरिलेटेड इनपुट: AR(1) कोरिलेटेड इनपुट के लिए, पूर्ण कर्नेल कॉन्ट्रैक्शन $\langle K_T, M \rangle$ की आवश्यकता होती है; कोरिलेशन बढ़ने पर i.i.d. सन्निकटन काफी विफल हो जाता है।
लाइब्रेरी वैलिडेशन: मॉडल एक पुनर्गठित NumPy np.sum ट्री के एरर स्केलिंग की सफलतापूर्वक भविष्यवाणी करता है, जो इसके मल्टी-स्केल पदानुक्रम (छोटे ब्लॉक्स के भीतर अनुक्रमिक संचय, बड़े आकार के लिए रिकर्सिव हाल्विंग) के कारण होने वाले एरर ग्रोथ के विशिष्ट "बेंड" (bend) को कैप्चर करता है।

महत्व और दावे

पेपर दावा करता है कि यह वर्स्ट-केस बाउंड्स और व्यावहारिक एरर व्यवहार के बीच के अंतर को पाटने वाली एक सेकंड-मोमेंट थ्योरी प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

जियोमेट्री अवेयरनेस: यह स्पष्ट रूप से मात्रा निर्धारित करता है कि रिडक्शन ट्री संरचना (जियोमेट्री) इनपुट सांख्यिकी के साथ कैसे अंतःक्रिया करती है, एक ऐसा कारक जिसे मानक बाउंड्स अनदेखा कर देते हैं।
भविष्यवाणी शक्ति (Predictive Power): यह एक वर्कफ़्लो (तालिका 1) प्रदान करता है जिससे किसी विशिष्ट कार्यान्वयन के RMS एरर की उसके ट्री स्ट्रक्चर और इनपुट डिस्ट्रीब्यूशन के आधार पर भविष्यवाणी की जा सकती है, जिसे विभिन्न प्रेसिजन्स और आर्किटेक्चर पर सत्यापित किया गया है।
ऑप्टिमाइजेशन गाइडेंस: यह डेटा के सेंटर्ड या नॉन-सेंटर्ड होने, और वेरिएंस के होमोजेनियस होने के आधार पर रिडक्शन शेड्यूल्स (जैसे, ब्लॉक साइज, स्टेज रेश्यो) चुनने के लिए ठोस मानदंड प्रदान करता है।
सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि मॉडल $h(T)u^2 \ll 1$ की धारणा पर निर्भर करता है और लो-प्रिसिजन रिजीम्स में विफल हो सकता है जहाँ स्टैग्नेशन और व्यवस्थित बायस (systematic bias) त्रुटि पर हावी हो जाते हैं, जैसा कि उनके binary16/bfloat16 प्रयोगों में देखा गया है। कॉन्स्टेंट- $\nu$ एक अनुभवजन्य कैलिब्रेशन है, न कि एक सार्वभौमिक अंकगणितीय स्थिरांक (arithmetic constant)।

यह कार्य स्थापित करता है कि रैंडम इनपुट के लिए, "टिपिकल" एरर ट्री के साझा पूर्वज (shared ancestry) संरचना द्वारा नियंत्रित होता है, जिससे विशिष्ट डेटा विशेषताओं के लिए अनुकूलित न्यूमेरिकली स्टेबल रिडक्शन ट्री डिज़ाइन करना संभव होता है।