📊 statistics

When LLMs get significantly worse: A statistical approach to detect model degradations

यह लेख मैकनेमर टेस्ट (McNemar test) पर आधारित एक सांख्यिकीय रूप से पुष्ट परिकल्पना परीक्षण ढांचे का प्रस्ताव करता है ताकि अनुकूलन प्रक्रियाओं (optimization processes) से उत्पन्न होने वाली संख्यात्मक त्रुटियों के कारण होने वाले सूक्ष्म मॉडल क्षरणों को विश्वसनीय रूप से पहचाना जा सके, उन्हें सौम्य मूल्यांकन शोर (benign evaluation noise) से अलग किया जा सके, और इस प्रकार गलत सकारात्मक दर (false positive rate) को नियंत्रित किया जा सके।

मूल लेखक: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास दो जुड़वां भाई हैं, मॉडल A (मूल) और मॉडल B (अनुकूलित संस्करण)। आप यह जानना चाहते हैं कि क्या मॉडल B, मॉडल A के समान ही अच्छा है या वह पैसे बचाने और तेज़ी से चलने के लिए चुपके से थोड़ा "मूर्ख" हो गया है।

यह शोध पत्र तर्क देता है कि केवल दोनों जुड़वाओं के परीक्षण में औसत स्कोर की तुलना करना वैसा ही है जैसे तूफान में फुसफुसाहट को सुनने की कोशिश करना। चूंकि आधुनिक कंप्यूटर स्वाभाविक रूप से अपूर्ण होते हैं (संख्याओं को संभालने के तरीके में सूक्ष्म गणितीय त्रुटियों के कारण), इसलिए एक पूर्ण अनुकूलन भी मॉडल B को बिल्कुल उसी प्रश्न के लिए मॉडल A की तुलना में थोड़ा अलग उत्तर देने के लिए मजबूर कर सकता है। यह एक "शोर" (noise) पैदा करता है जो यह पहचानने में कठिन बना देता है कि प्रदर्शन में गिरावट वास्तविक है या केवल यादृच्छिक उतार-चढ़ाव (random static) है।

यहाँ इस शोध पत्र का समाधान दिया गया है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. "आमने-सामने" वाला जासूस (मैकनेमार टेस्ट - McNemar's Test)

अधिकांश लोग मॉडलों की तुलना यह कहकर करते हैं: "मॉडल A ने 50% सही उत्तर दिए और मॉडल B ने 49% सही उत्तर दिए। क्या यह कोई बड़ी समस्या है?" शोध पत्र कहता है: नहीं। यह अलग-अलग दिनों में किए गए दो सिक्कों के उछाल (coin flips) की तुलना करने जैसा है।

इसके बजाय, लेखक तर्क देते हैं कि आपको एक ही प्रश्न के लिए दोनों मॉडलों को एक ही समय पर देखना चाहिए।

उपमा: एक अदालत की कल्पना करें जहाँ आप एक विशिष्ट गवाह का मूल्यांकन कर रहे हैं। आप यह नहीं पूछते: "क्या गवाह आमतौर पर सच बोलता है?" बल्कि आप पूछते हैं: "क्या गवाह ने इस विशेष दिन झूठ बोला था?"
विधि: आप प्रत्येक व्यक्तिगत प्रश्न की जांच करते हैं।
- क्या मॉडल A सही था और मॉडल B गलत? (एक "गिरावट" या degradation)
- क्या मॉडल A गलत था और मॉडल B सही? (एक "सुधार" या improvement)
- क्या दोनों सही थे या दोनों गलत थे? (इन्हें अनदेखा करें; ये हमें निर्णय लेने में मदद नहीं करते)।

शोध पत्र मैकनेमार टेस्ट नामक एक सांख्यिकीय उपकरण का उपयोग करता है (जो 1947 की एक क्लासिक विधि है) जो केवल असहमतियों को गिनता है। यदि मॉडल B, मॉडल A की तुलना में उन्हीं सटीक प्रश्नों पर काफी अधिक बार विफल होता है, तो मॉडल B वास्तव में खराब हुआ है। यदि विफलताएं केवल यादृच्छिक शोर हैं, तो यह टेस्ट आपको "शांत रहने" का संकेत देगा।

2. "शोर" बनाम "संकेत" (Noise versus Signal)

शोध पत्र बताता है कि एक मज़ेदार समस्या है: यदि आप कुछ भी नहीं बदलते हैं (केवल इसे किसी अन्य कंप्यूटर या सॉफ़्टवेयर संस्करण पर चलाते हैं), तो कंप्यूटर जिस तरह से गणित को प्रोसेस करते हैं, उसके कारण उत्तर थोड़े ऊपर-नीचे हो सकते हैं।

रूपक: एक ऐसे तराजू के बारे में सोचें जो थोड़ा डगमगाता है। यदि आप उस पर 1-किग्रा का भार रखते हैं, तो यह एक बार 1.01 किग्रा और अगली बार 0.99 किग्रा दिखा सकता है। आप यह नहीं कह सकते कि भार बदल गया है; तराजू बस डगमगा रहा है।
अंतर्दृष्टि: लेखक दिखाते हैं कि यदि आप इन "डगमगाते" उतार-चढ़ाव को स्वतंत्र त्रुटियों के रूप में देखते हैं, तो आप भ्रमित हो जाते हैं। हालाँकि, यदि आप देखते हैं कि उसी प्रश्न पर कौन जीत रहा है और कौन हार रहा है, तो डगमगाहट रद्द हो जाती है, और वास्तविक संकेत (वास्तविक गिरावट) स्पष्ट रूप से उभर कर आता है।

3. "तीन-अलार्म" प्रणाली (एग्रीगेटिंग टेस्ट्स)

यदि आप एक मॉडल का कई अलग-अलग विषयों (गणित, इतिहास, प्रोग्रामिंग, आदि) पर परीक्षण करते हैं, तो आप यह कैसे तय करेंगे कि मॉडल खराब है या नहीं? शोध पत्र परिणामों को संयोजित करने के तीन तरीके सुझाता है, जैसे तीन अलग-अलग सुरक्षा गार्ड:

"पूल" गार्ड (The Pool Guard): हर विषय से सभी त्रुटियों को जोड़ता है। यह तब अच्छा है जब मॉडल हर चीज़ में थोड़ा खराब हो।
"मैक्स-ड्रॉप" गार्ड (The Max-Drop Guard): केवल सबसे खराब विषय को देखता है। यह तब अच्छा है जब मॉडल हर चीज़ में महान हो लेकिन एक विशिष्ट चीज़ (जैसे एक गणित का जीन जो ठीक से लिख नहीं सकता) में बहुत बुरा हो।
"फिशर" गार्ड (The Fisher Guard): एक संतुलित मिश्रण जो सभी विषयों से साक्ष्य को गणितीय रूप से जोड़ता है।

शोध पत्र तीनों का उपयोग करने का सुझाव देता है। यदि इनमें से कोई भी अलार्म बजाता है, तो आप जानते हैं कि मॉडल वास्तव में खराब हुआ है।

4. अनावश्यक भाग को हटाना (डेटासेट के आकार को कम करना)

शोध पत्र ने पाया कि इन बड़े परीक्षणों में कई प्रश्न "बहुत आसान" या "बहुत कठिन" हैं।

आसान वाले: दोनों मॉडल हर बार सही होते हैं।
कठिन वाले: दोनों मॉडल हर बार गलत होते हैं।
"फ्लिप ज़ोन" (The Flip Zone): ये वे पेचीदा प्रश्न हैं जहाँ मॉडल कभी सही होते हैं और कभी गलत।

लेखकों ने महसूस किया कि यह निर्धारित करने के लिए कि क्या मॉडल खराब हुआ है, आपको केवल "फ्लिप ज़ोन" के प्रश्नों का परीक्षण करने की आवश्यकता है। आसान और कठिन वाले प्रश्न केवल शोर हैं। उन प्रश्नों को हटाकर जो कभी बदलते नहीं हैं, वे अपने परीक्षण डेटासेट को आधा कर सके और फिर भी गिरावट का पता लगा सके। यह एक डॉक्टर द्वारा रोगी के जूते का आकार मापने के बजाय केवल उन महत्वपूर्ण संकेतों (vital signs) की जाँच करने जैसा है जो वास्तव में बदलते रहते हैं।

5. परिणाम: सूक्ष्म गिरावट को पकड़ना

लेखकों ने वास्तविक लार्ज लैंग्वेज मॉडल्स (LLMs) पर इसका परीक्षण किया।

उन्होंने पाया कि उनकी विधि केवल 0.3% की सटीकता गिरावट को भी विश्वसनीय रूप से पहचान सकती है।
उन्होंने साबित किया कि कुछ "अनुकूलन" (जैसे हार्डवेयर बदलना या कुछ गणितीय शॉर्टकट का उपयोग करना) वास्तव में सुरक्षित (lossless) थे, भले ही कच्चे आंकड़े थोड़े अलग दिख रहे थे।
उन्होंने उन मामलों को भी खोजा जहाँ मॉडल काफी खराब हो गए थे (जैसे बहुत आक्रामक संपीड़न/compression का उपयोग करने पर), जिन्हें पुराने, सरल तरीकों ने सांख्यिकीय शोर से विचलित होने के कारण मिस कर दिया था।

संक्षेप में: यह शोध पत्र एक कठोर, सांख्यिकीय "सत्य डिटेक्टर" प्रदान करता है जो हमें यादृच्छिक कंप्यूटर त्रुटियों पर घबराने से रोकता है और हमें यह पहचानने में मदद करता है कि कब एक AI मॉडल वास्तव में अपनी धार खो चुका है। यह हमें औसत स्कोर देखने के बजाय उन विशिष्ट लड़ाइयों को देखने के लिए कहता है जहाँ मॉडल आपस में असहमत होते हैं।

तकनीकी सारांश: जब LLMs महत्वपूर्ण रूप से खराब हो जाते हैं

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के व्यापक प्रसार ने कुशल कर्नेल (efficient kernels) और स्पेक्युलेटिव डिकोडिंग (speculative decoding) जैसे सैद्धांतिक रूप से लॉसलेस (lossless) तरीकों से लेकर क्वांटाइजेशन (quantization) और स्पर्सिटी (sparsity) जैसे लॉसी (lossy) तरीकों तक, इन्फरेंस ऑप्टिमाइजेशन तकनीकों में व्यापक शोध को प्रेरित किया है। इस क्षेत्र में एक महत्वपूर्ण चुनौती वास्तविक मॉडल गिरावट (genuine model degradation) और सामान्य सांख्यिकीय उतार-चढ़ाव या संख्यात्मक त्रुटियों (numerical errors) के बीच अंतर करना है।

जीरो टेम्परेचर पर भी, आधुनिक LLMs फ्लोटिंग-पॉइंट अंकगणित की गैर-सहयोगी प्रकृति (non-associative nature of floating-point arithmetic, जैसे कि $(a+b)+c \neq a+(b+c)$ ) और हार्डवेयर या सर्विंग फ्रेमवर्क्स के विविधताओं के कारण पूरी तरह से नियतात्मक (deterministic) नहीं होते हैं। ये कारक समान मॉडल को विभिन्न रन में अलग-अलग प्रतिक्रियाएं उत्पन्न करने का कारण बनते हैं, जिससे सैद्धांतिक रूप से लॉसलेस ऑप्टिमाइजेशन के बावजूद बाइनरी एक्यूरेसी मेट्रिक्स में "फ्लिप्स" (flips) होते हैं। फलस्वरूप, सीमित नमूनों वाले बेंचमार्क में देखे गए एक्यूरेसी विचलन वास्तविक मॉडल गिरावट के बजाय सांख्यिकीय उतार-चढ़ाव के कारण हो सकते हैं। मौजूदा मूल्यांकन पद्धतियां अक्सर मनमाने थ्रेशोल्ड (जैसे कि 2% एक्यूरेसी ड्रॉप या 5% फ्लिप रेट) पर निर्भर करती हैं या एक्यूरेसी अनुमानों को स्वतंत्र मान लेती हैं, जो बेसलाइन और ऑप्टिमाइज्ड मॉडल दोनों का ठीक उसी डेटासेट पर मूल्यांकन करने से उत्पन्न होने वाले सहसंबंध (correlation) को समझने में विफल रहती हैं। यह या तो फाल्स पॉजिटिव (लॉसलेस ऑप्टिमाइजेशन को फ्लैग करना) या फाल्स नेगेटिव (सूक्ष्म गिरावट को अनदेखा करना) की ओर ले जाता है।

कार्यप्रणाली (Methodology)

यह कार्य नियंत्रित फाल्स-पॉजिटिव रेट के साथ मॉडल गिरावट का पता लगाने के लिए मैकनेमर टेस्ट (McNemar Test) पर आधारित एक सांख्यिकीय रूप से कठोर परिकल्पना परीक्षण ढांचा प्रस्तावित करता है।

1. सांख्यिकीय आधार (Statistical Foundation)

एकत्रित एक्यूरेसी मेट्रिक्स की तुलना करने के बजाय, लेखक एक नमूने $x$ पर बेसलाइन मॉडल $M$ और ऑप्टिमाइज्ड मॉडल $\tilde{M}$ के व्यक्तिगत स्कोर के आधार पर विरोधाभास करने का तर्क देते हैं। वे एक द्विविचर यादृच्छिक चर (bivariate random variable) को परिभाषित करते हैं जो एक कंटिंजेंसी टेबल (contingency table) में परिणामों को वर्गीकृत करता है:

$a$ : दोनों मॉडल विफल होते हैं।
$b$ : बेसलाइन सफल होता है, ऑप्टिमाइज्ड मॉडल विफल होता है (गिरावट)।
$c$ : बेसलाइन विफल होता है, ऑप्टिमाइज्ड मॉडल सफल होता है (सुधार)।
$d$ : दोनों मॉडल सफल होते हैं।

लेखक डिग्रेडेशन प्रोबेबिलिटी $q_{\downarrow}$ को उन मामलों की सशर्त प्रायिकता के रूप में परिभाषित करते हैं जहाँ बेसलाइन मॉडल सफल होता है, यह देखते हुए कि दोनों मॉडल असहमत हैं ( $b$ बनाम $c$ )। शून्य परिकल्पना $H_0$ (कोई गिरावट नहीं) के तहत, $q_{\downarrow} = 0.5$ है। वैकल्पिक परिकल्पना $H_A$ है $q_{\downarrow} > 0.5$ ।

2. सटीक एक-तरफा मैकनेमर टेस्ट (Exact One-Sided McNemar Test)

प्रस्तावित टेस्ट स्टैटिस्टिक अनुभवजन्य डिग्रेडेशन प्रोबेबिलिटी $\hat{q}_{\downarrow} = b / (b+c)$ है। चूंकि $b$ , बाइनोमियल डिस्ट्रीब्यूशन $Binomial(b+c, q_{\downarrow})$ का अनुसरण करता है, लेखक p-वैल्यू की गणना करने के लिए एक एक्जेक्ट वन-साइडेड बाइनोमियल टेस्ट का उपयोग करते हैं। यह दृष्टिकोण:

विशेष रूप से उन नमूनों पर ध्यान केंद्रित करता है जहाँ मॉडल असहमत होते हैं ( $b+c$ ), क्योंकि सहमत नमूने सापेक्ष प्रदर्शन के बारे में कोई संकेत प्रदान नहीं करते हैं।
उस ओवरएस्टिमेशन से बचता है जो तब होता है जब एक्यूरेसी अनुमानों को स्वतंत्र माना जाता है।
छोटे सैंपल साइज के लिए एसिम्प्टोटिक एप्रोक्सिमेशन (asymptotic approximations) पर निर्भर रहने के बजाय सटीक p-वैल्यू प्रदान करता है।

3. कार्यों के बीच एकत्रीकरण (Aggregation Across Tasks)

कई बेंचमार्क ( $T$ tasks) में मूल्यांकन को संभालने के लिए, यह कार्य तीन एकत्रीकरण रणनीतियों का परिचय देता है:

पुल्ड टेस्ट (Pooled Test): सभी कार्यों में $b$ और $c$ काउंट्स को एक एकल कंटिंजेंसी टेबल में एकत्रित करता है। यह टास्क सबग्रुप्स के प्रति मजबूत है और तब अत्यधिक संवेदनशील है जब गिरावट कार्यों में सजातीय (homogeneous) होती है।
मैक्स ड्रॉप टेस्ट (Max Drop Test): सबसे महत्वपूर्ण मानकीकृत डिग्रेडेशन सांख्यिकी ( $z_{max}$ ) वाले कार्य की पहचान करता है। यह नल डिस्ट्रीब्यूशन को प्राप्त करने के लिए मोंटे कार्लो सिमुलेशन का उपयोग करता है और किसी एक विशिष्ट कार्य में गिरावट का पता लगाने में प्रभावी है।
फिशर मेथड (Fisher Method): व्यक्तिगत कार्यों के p-वैल्यू को $\chi^2 = -2 \sum \ln(p_i)$ सांख्यिकी का उपयोग करके जोड़ता है। यह पुल्ड और मैक्स ड्रॉप दृष्टिकोणों के बीच एक संतुलन प्रदान करता है।
कंबाइंड निर्णय (Combined Decision): यदि तीनों में से कोई भी टेस्ट सिग्निफिकेंस लेवल $\alpha$ पर शून्य परिकल्पना को खारिज करता है, तो यह ढांचा गिरावट को फ्लैग करता है।

4. दक्षता के लिए डेटासेट प्रूनिंग (Dataset Pruning for Efficiency)

लेखक परीक्षण को तेज करने के लिए डेटासेट के आकार को कम करने का एक तरीका प्रस्तावित करते हैं। "अस्थिर" (unstable) उदाहरणों (जो फ्लिप होने की संभावना रखते हैं) की पहचान करने के लिए बेसलाइन मॉडल को एक परिमित तापमान (finite temperature) पर चलाकर, वे मूल्यांकन सेट से स्थिर उदाहरणों (जो हमेशा सफल या हमेशा विफल होते हैं) को हटाने का सुझाव देते हैं। यह शेष डेटासेट में फ्लिप प्रोबेबिलिटी $p_{\updownarrow}$ को बढ़ाता है, जिससे प्रासंगिक डिग्रेडेशन संकेतों को खोए बिना सिग्नल-टू-नॉइज़ अनुपात में सुधार होता है।

5. गैर-बाइनरी स्कोर के लिए सामान्यीकरण (Generalization to Non-Binary Scores)

गैर-बाइनरी मेट्रिक्स (जैसे ROUGE) वाले कार्यों के लिए, यह कार्य परम्यूटेशन टेस्ट (permutation tests) का उपयोग करके अपने ढांचे का विस्तार करता है। इसमें अंतर के संकेतों को बेतरतीब ढंग से फ्लिप करके एक नल डिस्ट्रीब्यूशन बनाना शामिल है, जो किसी भी सैंपल साइज के लिए टाइप I एरर रेट को नियंत्रित करता है।

मुख्य परिणाम (Key Results)

लेखकों ने अपने ढांचे को ओपन-सोर्स lm-eval हार्नेस के साथ लागू किया और Llama-3.1 8B, Llama-3.3 70B, और Mistral Small मॉडल्स के साथ व्यापक प्रयोग किए।

सूक्ष्म गिरावट का पता लगाना (Detection of Subtle Degradations): ढांचे ने उच्च सांख्यिकीय विश्वास ( $p < 0.05$ ) के साथ 0.3% जितनी छोटी अनुभवजन्य एक्यूरेसी गिरावट (जैसे 70B मॉडल के KV-FP8 वेरिएंट में) का सफलतापूर्वक पता लगाया, जबकि बेसलाइन मानदंड (2% ड्रॉप या 5% फ्लिप रेट) इसे पकड़ने में विफल रहे।
लॉसलेस ऑप्टिमाइजेशन का सत्यापन: परीक्षणों ने सही ढंग से पहचाना कि सैद्धांतिक रूप से लॉसलेस बदलावों (जैसे री-रन, अलग हार्डवेयर, विभिन्न इन्फरेंस इंजन) के परिणामस्वरूप कोई सांख्यिकीय रूप से महत्वपूर्ण गिरावट नहीं हुई, बावजूद इसके कि गैर-शून्य फ्लिप रेट (1.3%–2.8%) और मामूली एक्यूरेसी उतार-चढ़ाव देखे गए।
फाल्स पॉजिटिव का विश्लेषण: अध्ययन ने दिखाया कि केवल फ्लिप प्रोबेबिलिटी (जैसा कि पिछले कार्यों में सुझाया गया है) पर निर्भर रहने से फाल्स पॉजिटिव हो सकते हैं। उदाहरण के लिए, एक मॉडल जिसमें 8.71% फ्लिप रेट था, उसमें कोई एक्यूरेसी गिरावट नहीं देखी गई, जबकि प्रस्तावित सांख्यिकीय परीक्षण ने उसे सही ढंग से क्लियर कर दिया।
क्वांटाइजेशन का प्रभाव: ढांचे ने INT4 क्वांटाइज्ड मॉडल्स (w4a16) और एक प्रून/डिस्टिल्ड वेरिएंट में काफी गंभीर गिरावट को फ्लैग किया, जहाँ p-वैल्यू प्रभावी रूप से शून्य थे।
दक्षता: डेटासेट प्रूनिंग दृष्टिकोण ने अधिकांश "फ्लिपिंग" उदाहरणों को बनाए रखते हुए MMLU-Pro सैंपल साइज को लगभग 50% कम कर दिया, जिससे डिटेक्शन पावर से समझौता किए बिना मूल्यांकन की गति काफी बढ़ गई।

महत्व और दावे (Significance and Claims)

यह कार्य दावा करता है कि यह विशेष रूप से संख्यात्मक शोर (numerical noise) और सीमित नमूनों में अनिश्चितता की उपस्थिति में LLM मॉडल गिरावट का पता लगाने के लिए डिज़ाइन किया गया पहला कठोर सांख्यिकीय ढांचा प्रदान करता है।

सांख्यिकीय कठोरता (Statistical Rigor): यह ह्यूरिस्टिक थ्रेशोल्ड (जैसे "2% ड्रॉप") से हटकर एक सिद्धांत-आधारित परिकल्पना परीक्षण दृष्टिकोण की ओर बढ़ता है जो फाल्स-पॉजिटिव रेट को नियंत्रित करता है।
व्यावहारिक उपयोगिता (Practical Utility): लेखक lm-eval में एकीकृत एक सार्वजनिक रूप से उपलब्ध कार्यान्वयन प्रदान करते हैं, जिससे समुदाय को मानक बेंचमार्क पर इन परीक्षणों को लागू करने में सक्षम बनाया जा सके।
सूक्ष्म अंतर्दृष्टि (Nuanced Insight): यह कार्य रेखांकित करता है कि "फ्लिप्स" आधुनिक LLMs में फ्लोटिंग-पॉइंट अंकगणित का एक स्वाभाविक परिणाम हैं और वे अनिवार्य रूप से गिरावट का संकेत नहीं देते हैं। इसके बजाय, फ्लिप की दिशा (डिग्रेडेशन प्रोबेबिलिटी) महत्वपूर्ण मीट्रिक है।
संवेदनशीलता (Sensitivity): ढांचा सांख्यिकीय रूप से महत्वपूर्ण लेकिन व्यावहारिक रूप से छोटी (जैसे 0.3%) गिरावटों का पता लगाने के लिए पर्याप्त संवेदनशील है, जिससे अधिक सूचित निर्णय लेने में सक्षम बनाया जा सके।

लेखक निष्कर्ष निकालते हैं कि अनुकूलित (optimized) LLMs के विश्वसनीय मूल्यांकन के लिए एक्यूरेसी का उचित सांख्यिकीय उपचार आवश्यक है, विशेष रूप से जैसे-जैसे क्षेत्र मिक्स्ड प्रिसिजन और अत्यधिक संकुचित मॉडल्स की ओर बढ़ रहा है जहाँ संख्यात्मक त्रुटियां अपरिहार्य हैं।