📊 statistics

Diagnostic Tools for Extreme Value Regression Models

यह शोध पत्र दो नवीन दृश्य उपकरणों—मानकीकृत टेल प्लॉट (standardised tail plot) और सामान्यीकृत अवशेष प्लॉट (normalised residual plot)—का प्रस्ताव करके एक्सट्रीम वैल्यू रिग्रेशन मॉडलों के लिए स्केलेबल और व्याख्या योग्य डायग्नोस्टिक्स की कमी को संबोधित करता है, जो विभिन्न नमूना आकारों में वैश्विक और क्षेत्रीय दोनों स्तरों पर कुशल, सुसंगत गुडनेस-ऑफ-फिट मूल्यांकन को सक्षम करने के लिए एसिम्प्टोटिक अनसर्टेन्टी बाउंड्स (asymptotic uncertainty bounds) का उपयोग करते हैं।

मूल लेखक: Ed Mackay, Jordan Richards, Philip Jonathan

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ed Mackay, Jordan Richards, Philip Jonathan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं जो सदी के सबसे भीषण तूफानों की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक कंप्यूटर मॉडल है जो हवा की गति, लहरों की ऊंचाई और तापमान जैसे कारकों के आधार पर यह अनुमान लगाने की कोशिश करता है कि तूफान कितना भयानक होगा। इसे सांख्यिकीविद एक्सट्रीम वैल्यू रिग्रेशन मॉडल (Extreme Value Regression Model) कहते हैं।

समस्या यह है कि इन मॉडलों का परीक्षण अक्सर उस डेटा पर किया जाता है जिसे वे पहले ही देख चुके होते हैं, या उनसे ऐसी चीजों की भविष्यवाणी करने के लिए कहा जाता है जो पहले कभी नहीं हुई हैं (एक्सट्रपलेशन/extrapolation)। यदि आपका मॉडल थोड़ा भी गलत हुआ, तो इसके परिणाम विनाशकारी हो सकते हैं। तो, आपको कैसे पता चलेगा कि आपका मॉडल वास्तव में अच्छा है?

यह शोध पत्र "चेक-अप टूल्स" का एक नया सेट पेश करता है ताकि यह देखा जा सके कि क्या ये चरम मौसम मॉडल सही ढंग से काम कर रहे हैं। यहाँ एक सरल विवरण दिया गया है कि लेखकों ने क्या किया है:

1. समस्या: "एक ही आकार सबके लिए" वाला अंधा मोड़ (The "One-Size-Fits-All" Blind Spot)

कल्पना कीजिए कि आपके पास एक देश का नक्शा है, और आप यह जांचना चाहते हैं कि आपका मौसम मॉडल हर जगह काम करता है या नहीं।

पुराना तरीका: आप पूरे देश को देख सकते हैं और कह सकते हैं, "औसतन, मॉडल 90% सटीक है!" लेकिन यह सच्चाई को छिपा देता है। हो सकता है कि मॉडल पहाड़ों में एकदम सटीक हो लेकिन घाटियों में पूरी तरह विफल हो जाए।
चुनौती: एक्सट्रीम वैल्यू सांख्यिकी में, "मौसम" बदलता रहता है कि आप कहाँ हैं (कोवेरिएट्स/covariates)। यदि आप हर एक स्थान को व्यक्तिगत रूप से जांचने की कोशिश करते हैं, तो आपको हजारों छोटे चार्ट मिल जाएंगे जिन्हें पढ़ना असंभव है। यदि आप उन्हें समूहों में बांटते हैं, तो प्रत्येक समूह में तूफानों की संख्या बहुत अधिक भिन्न होती है, जिससे उनकी निष्पक्ष तुलना करना कठिन हो जाता है।

2. समाधान: दो नए "एक्स-रे" प्लॉट

लेखकों ने दो नए दृश्य उपकरण (डायग्नोस्टिक्स) बनाए हैं जो एक एक्स-रे की तरह काम करते हैं, जिससे आप पूरे मानचित्र पर एक साथ मॉडल के स्वास्थ्य को देख सकते हैं, जबकि इस बात का भी ध्यान रखते हैं कि कुछ क्षेत्रों में डेटा अधिक है और कुछ में कम।

टूल A: "स्टैंडर्डाइज्ड टेल प्लॉट" (The "Standardised Tail Plot" - चरम तनाव परीक्षण)

इसे सबसे चरम घटनाओं (डेटा के "टेल्स" या पूंछ) के लिए एक स्ट्रेस टेस्ट के रूप में समझें।

यह कैसे काम करता है: लेखक मॉडल के अनुमानों और वास्तविक डेटा को लेते हैं और उन्हें एक मानक भाषा में बदलते हैं। वे डेटा के विशिष्ट विवरणों को हटा देते हैं कि डेटा कहाँ से आया था और केवल इस पर ध्यान केंद्रित करते हैं कि वह कितना चरम है।
जादू: वे एक गणितीय ट्रिक (इस आधार पर कि अधिक डेटा मिलने पर दुर्लभ घटनाएं कैसे व्यवहार करती हैं) का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि 10 तूफानों के एक छोटे समूह और 10,000 तूफानों के एक बड़े समूह को एक ही ग्राफ पर बिना एक-दूसरे को दबाए प्लॉट किया जा सके।
आप क्या देखते हैं: यदि मॉडल अच्छा है, तो ग्राफ पर रेखाएं एक "सुरक्षित क्षेत्र" (कॉन्फिडेंस बैंड्स) के भीतर रहेंगी। यदि कोई रेखा सुरक्षित क्षेत्र से बाहर निकल जाती है, तो इसका मतलब है कि मॉडल उस विशिष्ट क्षेत्र में सबसे खराब परिदृश्यों की भविष्यवाणी करने में विफल हो रहा है।

टूल B: "नॉर्मलाइज्ड रेसिडुअल प्लॉट" (The "Normalised Residual Plot" - पूर्ण-सीमा जांच)

जबकि पहला टूल सबसे भीषण तूफानों पर ध्यान केंद्रित करता है, यह टूल गंभीरता के सभी स्तरों पर मॉडल के प्रदर्शन की जांच करता है, मंद हवाओं से लेकर चक्रवातों तक।

यह कैसे काम करता है: यह मॉडल ने क्या अनुमान लगाया था और वास्तव में क्या हुआ, इसके बीच की "दूरी" को मापता है, लेकिन यह दूरी को एक मानक पैमाने (जैसे Z-स्कोर) में अनुवादित करता है।
आप क्या देखते हैं: यह आपको दिखाता है कि क्या मॉडल लगातार बहुत अधिक या बहुत कम अनुमान लगा रहा है, या क्या यह केवल यादृच्छिक (रैंडम) गलतियाँ कर रहा है।

3. "स्कोरकार्ड" (सारांश सांख्यिकी)

ग्राफ देखना अच्छा है, लेकिन कभी-कभी आपको हजारों अलग-अलग मॉडलों की तेजी से तुलना करने के लिए एक एकल संख्या की आवश्यकता होती है (जैसे शोरूम से सबसे अच्छी कार चुनना)।

लेखकों ने इन प्लॉट्स के आधार पर दो नए "स्कोरकार्ड" (सांख्यिकीय परीक्षण) बनाए हैं।
"EMAD" स्कोर: यह एक विशेष स्कोर है जिसे विशेष रूप से चरम छोर (extreme tail) में त्रुटियों को पकड़ने के लिए डिज़ाइन किया गया है। लेखकों ने गणितीय रूप से सिद्ध किया है कि यह स्कोर पुराने, सामान्य स्कोर की तुलना में "खराब" चरम भविष्यवाणियों को पकड़ने में बेहतर है।
कार्यप्रवाह (Workflow): आप हजारों मॉडल विविधताओं को चला सकते हैं, इन स्कोरों की गणना कर सकते हैं, और तुरंत उन मॉडलों को फ़िल्टर कर सकते हैं जो "चरम तनाव परीक्षण" में विफल हो रहे हैं।

4. वास्तविक दुनिया के परीक्षण

लेखकों ने अपने उपकरणों का परीक्षण दो परिदृश्यों में किया:

सिम्युलेटेड डेटा: उन्होंने एक नकली, जटिल 5-आयामी दुनिया बनाई ताकि यह देख सकें कि क्या उनके उपकरण हजारों "अच्छे" मॉडलों के बीच छिपे एक "टूटे हुए" मॉडल को ढूंढ सकते हैं। वे सफल रहे।
विंड टर्बाइन: उन्होंने तैरते हुए विंड टर्बाइनों की रस्सियों (मूरिंग लाइन्स) के तनाव के संबंध में वास्तविक डेटा का अध्ययन किया। उन्होंने पाया कि जबकि कुछ जटिल "डीप लर्निंग" मॉडल वैश्विक औसत में अच्छे दिखते थे, वे डेटा के किनारों के पास के विशिष्ट, खतरनाक क्षेत्रों में विफल हो रहे थे। उनके नए प्लॉट्स का उपयोग करके, वे इन खामियों की पहचान कर सके और एक सरल, अधिक विश्वसनीय मॉडल की ओर स्विच कर सके।

निचोड़ (The Bottom Line)

यह शोध पत्र आपको केवल संख्या गणना करने का नया तरीका नहीं देता; यह आपको एक विजुअल डैशबोर्ड देता है।

पहले: आप सोच सकते हैं कि आपका मॉडल बहुत अच्छा है क्योंकि औसत त्रुटि कम है, केवल यह जानने के लिए कि यह सबसे खतरनाक स्थितियों में विनाशकारी रूप से विफल हो जाता है।
बाद में: आप एक एकल प्लॉट देख सकते हैं, देख सकते हैं कि मॉडल वास्तव में कहाँ टूट रहा है (बहुत कम डेटा वाले क्षेत्रों में भी), और इसे ठीक करने के लिए सूचित निर्णय ले सकते हैं।

लेखक मुफ्त कोड प्रदान करते हैं ताकि कोई भी इन "एक्स-रे" का उपयोग करके यह सुनिश्चित कर सके कि उनके एक्सट्रीम वैल्यू मॉडल वास्तव में सबसे खराब परिस्थितियों के लिए तैयार हैं।

शीर्षक: एक्सट्रीम वैल्यू रिग्रेशन मॉडल्स के लिए नैदानिक उपकरण (Diagnostic Tools)

समस्या विवरण
एक्सट्रीम वैल्यू रिग्रेशन मॉडल्स (Extreme value regression models) प्रतिक्रिया चरों (response variables) के अवलोकन योग्य सीमाओं से परे अनुमान लगाने के लिए आवश्यक हैं, विशेष रूप से हाइड्रोलॉजी, जलवायु विज्ञान और अपतटीय इंजीनियरिंग (offshore engineering) जैसे क्षेत्रों में। सांख्यिकीय मॉडलिंग में एक महत्वपूर्ण कदम यह आकलन करना है कि एक मॉडल प्रेक्षित डेटा (observed data) के साथ कितनी अच्छी तरह फिट बैठता है; हालाँकि, यदि कोई मॉडल उप-एसिम्प्टोटिक (sub-asymptotic) चरम घटनाओं के वितरण के साथ सहमत होने में विफल रहता है, तो एक्सट्रपलेशन (extrapolation) पर विश्वास कम हो जाता है। जबकि स्थिर एकचर (stationary univariate) एक्सट्रीम वैल्यू मॉडल्स के लिए दृश्य और मात्रात्मक नैदानिक (visual and quantitative diagnostics) मौजूद हैं (जैसे PP और QQ प्लॉट्स), इन्हें रिग्रेशन सेटिंग्स में विस्तारित करना महत्वपूर्ण चुनौतियाँ प्रस्तुत करता है।

रिग्रेशन में, $Y|X$ का सशर्त वितरण (conditional distribution) सहचर डोमेन (covariate domain) $X$ के विभिन्न हिस्सों में बदलता रहता है। मानक नैदानिक प्लॉट्स अवलोकनों को क्रमबद्ध करने पर निर्भर करते हैं, लेकिन गैर-स्थिर (non-stationary) सेटिंग्स में, प्रतिक्रिया चर (response variable) को क्रमबद्ध करने से सशर्त संभाव्यता इंटीग्रल ट्रांसफॉर्म (PIT) मानों का क्रम नहीं बदलता है। फलस्वरूप, मौजूदा विधियों को अक्सर फिट का आकलन करने के लिए सहचर डोमेन को विभिन्न क्षेत्रों में विभाजित करने की आवश्यकता होती है। हालाँकि, इस दृष्टिकोण की कई सीमाएँ हैं:

स्केलेबिलिटी (Scalability): जैसे-जैसे क्षेत्रों की संख्या बढ़ती है, प्रत्येक के लिए अलग-अलग प्लॉट्स का मैन्युअल निरीक्षण करना अव्यावहारिक हो जाता है।
असंगति (Inconsistency): क्षेत्रों में नमूना आकार (sample sizes) भिन्न हो सकते हैं, और सशर्त पूंछ (tails) का आकार और स्केल भी बदलता रहता है, जिससे नैदानिकों की निरंतर तुलना करना कठिन हो जाता है।
ग्लोबल बनाम लोकल (Global vs. Local): वैश्विक नैदानिक (global diagnostics) (सभी डेटा को एकत्रित करके) विशिष्ट स्थानीय या क्षेत्रीय उपसमुच्चयों में खराब प्रदर्शन को छिपा सकते हैं।
पूर्वाग्रह (Bias): मौजूदा क्षेत्रीय नैदानिक, जैसे कि वर्म प्लॉट्स (worm plots), उन एसिम्प्टोटिक सन्निकटन (asymptotic approximations) पर निर्भर करते हैं जो चरम ऑर्डर सांख्यिकी (extreme order statistics) के लिए सटीक नहीं होते हैं और नमूना आकार एवं प्लॉटिंग पोजीशन के प्रति संवेदनशील होते हैं।

कार्यप्रणाली (Methodology)
लेखक पूरे सहचर डोमेन में एक्सट्रीम वैल्यू रिग्रेशन मॉडल्स (पैरामीट्रिक, सेमी-पैरामीट्रिक, या नॉन-पैरामीट्रिक) के लिए गुडनेस-ऑफ-फिट (goodness-of-fit) का आकलन करने के लिए दो नवीन दृश्य नैदानिक और सारांश सांख्यिकी का एक समूह प्रस्तावित करते हैं। मुख्य कार्यप्रणाली सशर्त PIT, $P_x = F_{Y|X}(Y|x)$ पर आधारित है, जो सही मॉडल के तहत $[0,1]$ पर समान रूप से वितरित (uniformly distributed) होता है।

मानकीकृत टेल प्लॉट (Standardised Tail Plot):
- अवधारणा: यह एक डिट्रेंडेड क्वांटाइल-क्वेंटाइल (QQ) प्लॉट है जो एक्सपोनेंशियल मार्जिन ( $Z = -\log(1-P)$ ) में ट्रांसफॉर्म की गई अति-संभावनाओं (exceedance probabilities) पर आधारित है।
- मानकीकरण: विभिन्न क्षेत्रों में भिन्न नमूना आकारों को संबोधित करने के लिए, लेखक अति-संभावनाओं के सैंपलिंग वितरण के एक एसिम्प्टोटिक गुण का उपयोग करते हैं। वे दिखाते हैं कि $k$ -वें एक्सपोनेंशियल ऑर्डर सांख्यिकी का अपेक्षित मान और प्रेक्षित मान के बीच का अंतर ( $D_k = E[Z_{(k)}] - Z_{(k)}$ ) एक लॉग-गामा वितरण की ओर अभिसरित होता है जो नमूना आकार $n$ से स्वतंत्र है (यह केवल रैंक $k$ पर निर्भर करता है)।
- विज़ुअलाइज़ेशन: यह प्लॉट कई क्षेत्रों को एक ही प्लॉट पर ओवरले करते हुए एक्सपोनेंशियल रेजिड्यूल्स ( $z_k - \hat{z}_k$ ) को रैंक $k$ के विरुद्ध प्रदर्शित करता है। एसिम्प्टोटिक कॉन्फिडेंस इंटरवल (लॉग-गामा वितरण से प्राप्त) नमूना आकार की परवाह किए बिना निरंतर दृश्य मूल्यांकन की अनुमति देते हैं।
नॉर्मलाइज्ड रेजिड्यूल प्लॉट (Normalised Residual Plot):
- अवधारणा: यह प्लॉट सभी संभाव्यता स्तरों पर विचलन को विज़ुअलाइज़ करता है, न कि केवल पूंछ (tail) को।
- ट्रांसफॉर्मेशन: यह क्रमबद्ध अति-संभावनाओं के सटीक बीटा वितरण पर आधारित एक संभाव्यता इंटीग्रल ट्रांसफॉर्म लागू करता है, जो उन्हें मानक सामान्य स्केल ( $\nu_k = \Phi^{-1}(F_{\beta_k}(\hat{q}_{(k)}))$ ) पर मैप करता है।
- लाभ: स्टैंडर्डाइज्ड टेल प्लॉट के विपरीत, यह नमूना आकार के संबंध में एसिम्प्टोटिक धारणाओं पर निर्भर नहीं करता है और सभी संभाव्यता स्तरों पर मॉडल फिट के महत्व का विज़ुअलाइज़ेशन प्रदान करता है।
सारांश सांख्यिकी (Summary Statistics):
- लेखक एक्सपोनेंशियल मीन एब्सोल्यूट डेविएशन (EMAD) सांख्यिकी पेश करते हैं, जो एक्सपोनेंशियल ऑर्डर सांख्यिकी के मीन एब्सोल्यूट डेविएशन को परिभाषित करता है। वे इसके एसिम्प्टोटिक वितरण को व्युत्पन्न करते हैं और संवेदनशीलता विश्लेषण के माध्यम से प्रदर्शित करते हैं कि यह मानक एंडरसन-डार्लिंग (AD) या राइट-टेल-वेटेड AD (ADR) सांख्यिकी की तुलना में ऊपरी पूंछ (exceedance probabilities $< 0.155$ ) के विचलन के प्रति अधिक संवेदनशील है।
- वे नॉर्मलाइज्ड रेजिड्यूल्स के मीन स्क्वायर का भी उपयोग करते हैं, जिसे एंडरसन-डार्लिंग सांख्यिकी के एसिम्प्टोटिक रूप से समकक्ष दिखाया गया है।
- क्षेत्रीय और वैश्विक सारांश: पेपर क्षेत्रीय p-मानों (EMAD या ADR परीक्षणों से) को क्षेत्रीय एकरूपता का आकलन करने के लिए डेंसिटी हिस्टोग्राम में एकत्रित करने का प्रस्ताव करता है और वैश्विक नैदानिक के लिए सभी डेटा को पूल करता है।

प्रमुख परिणाम और अनुप्रयोग
प्रस्तावित नैदानिकों को एक्सट्रीम वैल्यू रिग्रेशन के लिए डीप लर्निंग-आधारित अनुमान (आर्टिफिशियल न्यूरल नेटवर्क) से जुड़े दो उदाहरणों का उपयोग करके मान्य किया गया:

मल्टीवेरिएट एक्सट्रीम्स (SPAR मॉडल):
- सेटअप: एक मल्टीवेरेट नॉर्मल कॉपुला और लैप्लेस मार्जिन्स के साथ 5-डायमेंशनल सिम्युलेटेड डेटा पर एक पीक्स-ओवर-थ्रेशोल्ड (POT) मॉडल फिट किया गया। रेडियल कंपोनेंट को छद्म-कोण (pseudo-angle) के आधार पर मॉडल किया गया था।
- प्रक्रिया: विभिन्न हाइपरपैरामीटर्स (थ्रेशोल्ड्स, नेटवर्क आर्किटेक्चर) वाले 5,000 कैंडिडेट मॉडल्स को फिट किया गया।
- निष्कर्ष: ग्लोबल डायग्नोस्टिक्स (जैसे ग्लोबल ADR p-values) ने अक्सर अच्छा फिट दर्शाया, जबकि क्षेत्रीय डायग्नोस्टिक्स ने महत्वपूर्ण स्थानीय विफलताओं को उजागर किया। विशेष रूप से, एक मॉडल (मॉडल 1) ने उत्कृष्ट ग्लोबल फिट दिखाया लेकिन खराब क्षेत्रीय फिट (जो ग्लोबल औसत द्वारा छिपा हुआ था), जबकि दूसरा (मॉडल 3) दोनों में सफल रहा। डायग्नोस्टिक्स ने इष्टतम थ्रेशोल्ड स्तर ( $\tau \approx 0.825$ ) की सफलतापूर्वक पहचान की और यह भी बताया कि गैर-स्थिर सेटिंग्स में मॉडल चयन के लिए केवल ग्लोबल मेट्रिक्स पर्याप्त नहीं हैं।
ऑफशोर विंड टर्बाइन सरोगेट मॉडल:
- सेटअप: एक मूरिंग लाइन में अत्यधिक तनाव के लिए एक संभावabilistic सरोगेट मॉडल को तीन पर्यावरणीय चरों (हवा की गति, लहर की ऊंचाई, लहर की अवधि) पर कंडिशन किया गया था।
- तुलना: डीप GP रिग्रेशन मॉडल्स (ANNs) की तुलना एक सरल जनरललाइज्ड एडिटिव मॉडल (GAM) फॉर्मुलेशन से की गई।
- निष्कर्ष: जबकि कई डीप लर्निंग मॉडल्स ने उच्च ग्लोबल p-values प्राप्त किए, उनके स्टैंडर्डाइज्ड टेल प्लॉट्स ने सहचर डोमेन की सीमाओं पर आउटलेयर्स को दिखाया, जो ओवरफिटिंग का संकेत है। इसके विपरीत, सरल GAM फॉर्मुलेशन ने डोमेन में बेहतर स्थानीय फिट दिखाया, जबकि अच्छा ग्लोबल प्रदर्शन भी बनाए रखा। इसने डायग्नोस्टिक्स की उपयोगिता को मॉडल डिजाइन और ट्यूनिंग को निर्देशित करने में प्रदर्शित किया।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित डायग्नोस्टिक्स एक्सट्रीम वैल्यू रिग्रेशन मॉडल्स के आकलन के लिए एक व्यावहारिक और स्केलेबल समाधान प्रदान करते हैं जहाँ सहचर डोमेन गैर-स्थिर होते हैं और नमूना आकार भिन्न होते हैं। मुख्य योगदान हैं:

दृश्य निरंतरता (Visual Consistency): अलग-अलग नमूना आकार वाले क्षेत्रों के डायग्नोस्टिक्स को एक ही प्लॉट पर वैध अनिश्चितता सीमाओं के साथ ओवरले करने की क्षमता, जो वर्म प्लॉट्स जैसे मौजूदा क्षेत्रीय डायग्नोस्टिक्स की सीमाओं को दूर करती है।
पूंछ संवेदनशीलता (Tail Sensitivity): EMAD सांख्यिकी का परिचय, जो पारंपरिक गुडनेस-ऑफ-फिट परीक्षणों की तुलना में ऊपरी-पूंछ के विचलन के प्रति अधिक संवेदनशीलता प्रदान करता है।
कार्रवाई योग्य अंतर्दृष्टि (Actionable Insights): डायग्नोस्टिक्स हजारों कैंडिडेट मॉडल्स की तुलना करने में मदद करते हैं और खराब फिट वाले विशिष्ट क्षेत्रों की पहचान करते हैं, जो मॉडल डिजाइन (जैसे डोमेन सीमाओं पर ओवरफिटिंग से बचना) में कार्रवाई योग्य निर्णय लेने में सहायता करते हैं।
सामान्यता (Generality): ये उपकरण किसी भी एक्सट्रीम वैल्यू रिग्रेशन मॉडल (थ्रेशोल्ड एक्सीडेंस या ब्लॉक मैक्सिमा) के लिए लागू होते हैं जो सशर्त वितरण कार्यों का अनुमान प्रदान करता है, चाहे अनुमान योजना (inference scheme) कुछ भी हो।

लेखक नोट करते हैं कि वर्कफ़्लो वैध कॉन्फिडेंस बाउंड्स सुनिश्चित करने के लिए मूल्यांकन के लिए एक स्वतंत्र होल्ड-आउट सैंपल का उपयोग करता है, हालांकि वे स्वीकार करते हैं कि यदि ऐसा डेटा उपलब्ध नहीं है तो बूटस्ट्रैप विधियों का उपयोग किया जा सकता है। पेपर का निष्कर्ष है कि ये उपकरण केवल ग्लोबल मेट्रिक्स की तुलना में एक्सट्रीम वैल्यू मॉडल्स के अधिक कठोर और सूक्ष्म मूल्यांकन को सक्षम करते हैं।