📈 economics

Quantifying the Risk-Return Tradeoff in Forecasting

यह शोध पत्र पूर्वानुमान हानि अंतरों (forecast loss differentials) को वित्तीय रिटर्न के रूप में मानकर और जोखिम-समायोजित प्रदर्शन मेट्रिक्स लागू करके पूर्वानुमान विश्वसनीयता का मूल्यांकन करने के लिए एक नवीन ढांचे का प्रस्ताव करता है, जो यह प्रकट करता है कि जबकि मशीन लर्निंग मॉडल औसत सटीकता में पेशेवर पूर्वानुमानकर्ताओं से आगे निकल सकते हैं, बाद वाले अक्सर बेहतर जोखिम प्रोफाइल और विनाशकारी विफलताओं के विरुद्ध अधिक लचीलापन बनाए रखते हैं।

मूल लेखक: Philippe Goulet Coulombe

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Philippe Goulet Coulombe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञान (weather foreaster) को काम पर रख रहे हैं। आपके पास दो उम्मीदवार हैं:

उम्मीदवार A आमतौर पर सही होता है, लेकिन कभी-कभार वे धूप वाले दिन की भविष्यवाणी करते हैं और अचानक तूफान आ जाता है।
उम्मीदवार B आमतौर पर बस "ठीक-ठाक" होता है, लेकिन वे अविश्वसनीय रूप से सुसंगत (consistent) हैं और लगभग कभी भी किसी आपदा के कारण अचानक नहीं फंसते।

अधिकांश पारंपरिक अध्ययन उम्मीदवार A को चुनेंगे क्योंकि उनकी "औसत" सटीकता थोड़ी अधिक है। वे गणित देखते हैं और कहते हैं, "उम्मीदवार A 95% बार सही था, जबकि उम्मीदवार B 92% बार सही था।"

यह शोध पत्र तर्क देता है कि यह चुनने का गलत तरीका है। वास्तविक दुनिया में, कुछ विनाशकारी गलतियाँ औसत स्कोर से कहीं अधिक नुकसानदेह हो सकती हैं। लेखक, फिलिप गुलेट कूलोंब (Philippe Goulet Coulombe), चाहते हैं कि हम केवल औसत को न देखें बल्कि जोखिम (risk) को देखना शुरू करें।

यहाँ इस शोध पत्र का ढांचा दिया गया है, जिसे सरल शब्दों में समझाया गया है:

1. भविष्यवाणियों का "शेयर बाजार" (The "Stock Market" of Predictions)

लेखक सुझाव देते हैं कि पूर्वानुमान को शेयर बाजार में निवेश करने की तरह मानें।

"रिटर्न" (The Return): केवल यह देखने के बजाय कि कोई मॉडल कितना गलत था, हम देखते हैं कि वह एक मानक "बेंचमार्क" मॉडल (जैसे एक साधारण अनुमान) से कितना बेहतर था। यदि बेंचमार्क 10 अंक से गलत था और आपका मॉडल 5 अंक से गलत था, तो आपके मॉडल ने 5 अंकों का "लाभ" कमाया।
"जोखिम" (The Risk): ठीक वैसे ही जैसे किसी स्टॉक में उतार-चढ़ाव हो सकता है, एक पूर्वानुमान भी अप्रत्याशित हो सकता है। कभी-कभी यह बड़ी जीत देता है; कभी-कभी यह बड़ा नुकसान देता है।

यह पत्र इन पूर्वानुमानों को मापने के लिए चार "वित्तीय उपकरणों" (financial tools) का परिचय देता है:

शार्प रेशियो (The Sharpe Ratio - द स्टेडी एडी): यह मापता है कि आपको प्रति इकाई "अस्थिरता" (ऊपर-नीचे के उतार-चढ़ाव) के लिए कितना "लाभ" (सटीकता में सुधार) मिलता है। उच्च स्कोर का अर्थ है कि मॉडल एक विश्वसनीय और स्थिर प्रदर्शन करने वाला है।
सॉर्टिनो रेशियो (The Sortino Ratio - द सेफ्टी फर्स्ट): यह और भी बेहतर है। यह केवल "बुरे दिनों" (जब मॉडल बेंचमार्क से खराब प्रदर्शन करता है) की परवाह करता है। यह "अच्छी अस्थिरता" को अनदेखा कर देता है। यदि किसी मॉडल की बड़ी जीत होती है लेकिन साथ ही बड़े, डरावने नुकसान भी होते हैं, तो उसका सॉर्टिनो स्कोर कम होगा।
ओमेगा रेशियो (The Omega Ratio - द फुल पिक्चर): यह जीत और हार के पूरे इतिहास को देखता है। यह पूछता है: "क्या अच्छे समय में हमने जितना पैसा कमाया वह बुरे समय में हमारे नुकसान से अधिक है?"
मैक्सिमम ड्रॉडाउन (Maximum Drawdown - द वर्स्ट-केस सिनेरियो): यह पूछता है: "यह मॉडल कभी कितने गहरे गड्ढे में गिरा था?" यदि कोई मॉडल तीन साल तक बेहतरीन रहता है लेकिन फिर छह महीने के लिए क्रैश हो जाता है, तो ड्रॉडाउन मीट्रिक उस आपदा को पकड़ लेता है।

2. "एज रेशियो" (The "Edge Ratio" - अनूठी प्रतिभा)

लेखक ने एक नया टूल भी बनाया जिसे एज रेशियो कहा जाता है।
कल्पना कीजिए कि 10 धावकों की एक दौड़ है। अधिकांश धावक औसत से थोड़े तेज़ या थोड़े धीमे होते हैं। लेकिन एक धावक कभी-कभार सभी से बहुत आगे निकल जाता है और भारी अंतर से जीत जाता है।

एज रेशियो यह मापता है कि कोई मॉडल कितनी बार कमरे में सबसे अच्छा होता है, और वह कितना बेहतर होता है।
यह मॉडल को तब भी दंडित करता है जब वह दूसरे सबसे अच्छे विकल्प से पीछे रह जाता है।
यह क्यों महत्वपूर्ण है: यह बताता है कि क्या कोई मॉडल कुछ ऐसा अद्वितीय लेकर आता है जो कोई और नहीं कर सकता, या वह बस बाकी सभी के जैसा ही काम कर रहा है लेकिन थोड़ा बेहतर है।

3. जब उन्होंने इसका परीक्षण किया तो क्या हुआ?

लेखक ने अमेरिकी आर्थिक डेटा (जैसे GDP, मुद्रास्फीति और बेरोजगारी) पर इन उपकरणों का परीक्षण किया, जिसमें तीन समूहों की तुलना की गई:

पुराने जमाने के गणितीय मॉडल (Econometrics)।
आधुनिक AI/मशीन लर्निंग (न्यूरल नेटवर्क, रैंडम फॉरेस्ट)।
प्रोफेशनल फोरकास्टर्स का सर्वेक्षण (SPF): विशेषज्ञों का एक समूह जो अपने दिमाग, अनुभव और निजी डेटा का उपयोग करके भविष्यवाणियां करता है।

चौंकाने वाले परिणाम:

"औसत" का जाल: कई फैंसी AI मॉडल औसत सटीकता को देखने पर मानव विशेषज्ञों (SPF) को पछाड़ देते हैं। वे विजेता दिखाई देते हैं।
"जोखिम" की वास्तविकता: जब आप सॉर्टिनो रेशियो (विनाशों से बचने पर ध्यान केंद्रित करना) लागू करते हैं, तो SPF (मानव विशेषज्ञ) आमतौर पर जीतता है।
- क्यों? मानव विशेषज्ञों के पास शायद ही कभी "विनाशकारी विफलताएं" होती हैं। वे 2008 के वित्तीय संकट या 2022 के मुद्रास्फीति उछाल जैसी चीजों से अचानक नहीं घबराते। वे "स्टेडी एडी" (स्थिर और भरोसेमंद) हैं।
- AI मॉडल, हालांकि कभी-कभी शानदार होते हैं, लेकिन उनके पास विफल होने के भयानक क्षण भी होते हैं। एक केंद्रीय बैंक या सरकार के लिए, एक एकल बड़ी गलती कुछ छोटी, स्थिर जीत से कहीं अधिक बुरी होती है।
"विशेषज्ञ" (The Specialists): कुछ विशिष्ट AI मॉडल (जैसे कि "हेमिस्फेयर न्यूरल नेटवर्क") ने बहुत अच्छा प्रदर्शन किया। उन्होंने सटीकता में मनुष्यों के बराबर प्रदर्शन किया, लेकिन "बुरे दिनों" से बचने में वे और भी बेहतर थे।
"ब्लैक बॉक्स" टेस्ट: उन्होंने एक नए "फाउंडेशन मॉडल" (TabPFN) का परीक्षण किया, जो नकली डेटा पर प्रशिक्षित एक प्रकार का AI है। इसने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, जिससे पता चलता है कि ये जटिल, "ब्लैक बॉक्स" AI मॉडल भी विश्वसनीय हो सकते हैं यदि उनका जोखिम प्रोफाइल अच्छा हो।

4. मुख्य निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि औसत सटीकता $\neq$ विश्वसनीयता।

यदि आप एक केंद्रीय बैंकर या नीति निर्माता हैं, तो आप ऐसा मॉडल नहीं चाहते जो "ज्यादातर सही" हो लेकिन कभी-कभार बहुत ज्यादा गलत हो जाए। आप एक ऐसा मॉडल चाहते हैं जो लगातार अच्छा हो और जिसका शायद ही कभी "मेलडाउन" (विनाशकारी गिरावट) हो।

इन वित्तीय-शैली के मीट्रिक्स का उपयोग करके, हम देख सकते हैं कि मानव विशेषज्ञ (SPF) अविश्वसनीय रूप से मूल्यवान हैं, इसलिए नहीं कि वे सबसे बुद्धिमान हैं, बल्कि इसलिए कि वे सबसे अधिक विश्वसनीय हैं। वे शायद ही कभी क्रैश होते हैं। वहीं दूसरी ओर, कुछ आधुनिक मशीन लर्निंग मॉडल बेहतरीन हैं, लेकिन उन्हें सावधानीपूर्वक चुनना आवश्यक है ताकि यह सुनिश्चित हो सके कि उनमें छिपे हुए "क्रैश" होने का खतरा न हो।

संक्षेप में: केवल यह न पूछें, "कौन सबसे अधिक बार सही होता है?" बल्कि यह पूछें, "कौन एक बुरा दिन आए बिना सबसे अधिक बार सही होता है?" यही एक अच्छे पूर्वानुमान का असली पैमाना है।

तकनीकी सारांश: पूर्वानुमान में जोखिम-प्रतिफल ट्रेडऑफ़ का परिमाणीकरण

समस्या विवरण

पारंपरिक मैक्रोइकॉनॉमिकिक (समष्टि आर्थिक) पूर्वानुमान मूल्यांकन मुख्य रूप से औसत हानि मेट्रिक्स (जैसे, RMSE, MAE) और सांख्यिकीय सार्थकता परीक्षणों (जैसे, Diebold–Mariano) पर निर्भर करते हैं। जबकि ये उपकरण यह निर्धारित करते हैं कि क्या कोई मॉडल औसत रूप से पूर्वानुमान त्रुटियों को कम करता है, वे उन लाभों की विश्वसनीयता और जोखिम प्रोफ़ाइल को पकड़ने में विफल रहते हैं। संस्थागत उपयोगकर्ता (केंद्रीय बैंक, संपत्ति प्रबंधक) अक्सर विषम प्राथमिकताओं के स्वामी होते हैं: वे प्रदर्शन में सुधार के दौर को सहन कर सकते हैं लेकिन विनाशकारी खराब प्रदर्शन को बर्दाश्त नहीं कर सकते। दो मॉडलों में समान औसत सटीकता हो सकती है, फिर भी समय के साथ उनके लाभ और हानि के पैटर्न बहुत भिन्न हो सकते हैं, जिससे अलग-अलग परिचालन जोखिम उत्पन्न होते हैं। यह शोध पत्र तर्क देता है कि औसत सटीकता, पूर्वानुमान विश्वसनीयता के समानार्थक नहीं है और वर्तमान साहित्य में पूर्वानुमान सुधार और पूर्वानुमान विफलताओं की अस्थिरता या गंभीरता के बीच के ट्रेडऑफ़ को मापने के लिए एक एकीकृत ढांचे का अभाव है।

कार्यप्रणाली

यह शोध पत्र वित्त (finance) से जोखिम-समायोजित प्रदर्शन उपायों को आयात करता है ताकि पूर्वानुमान हानि अंतरों को एक "रिटर्न सीरीज़" (प्रतिफल श्रृंखला) के रूप में माना जा सके।

1. रिटर्न सादृश्य (The Return Analogy)

एक मॉडल $M$ और बेंचमार्क $B$ के लिए, समय $t$ पर "रिटर्न" को हानि अंतर के रूप में परिभाषित किया जाता है:
$r_t = L_t^B - L_t^M$
जहाँ $L$ एक लॉस फंक्शन (जैसे, स्क्वेयर्ड एरर) है। एक सकारात्मक $r_t$ इंगित करता है कि मॉडल बेंचमार्क से बेहतर प्रदर्शन कर रहा है। श्रृंखला $\{r_t\}$ का विश्लेषण एक वित्तीय रिटर्न सीरीज़ के रूप में किया जाता है।

2. जोखिम-समायोजित मेट्रिक्स

यह ढांचा चार प्रमुख वित्तीय मेट्रिक्स को पूर्वानुमान मूल्यांकन के लिए अनुकूलित करता है:

फोरकास्ट शार्प रेशियो (Forecast Sharpe Ratio): औसत रिटर्न और रिटर्न के मानक विचलन (standard deviation) का अनुपात। यह प्रति इकाई कुल अस्थिरता के लिए औसत सुधार को मापता है।
फोरकास्ट सॉर्टिनो रेशियो (Forecast Sortino Ratio): औसत रिटर्न और सेमी-स्टैंडर्ड डेविएशन (केवल नकारात्मक रिटर्न की अस्थिरता) का अनुपात। यह अपसाइड वेरिएबिलिटी (ऊपर की ओर परिवर्तनशीलता) को अनदेखा करते हुए अंडरपरफॉर्मेंस (कम प्रदर्शन) को दंडित करता है, जो पूर्वानुमान उपयोगकर्ताओं की विषम प्राथमिकताओं के अनुरूप है।
फोरकास्ट ओमेगा रेशियो (Forecast Omega Ratio): औसत अपसाइड और औसत डाउनसाइड का अनुपात। यह सामान्य वितरण (normality) की धारणा बनाए बिना लाभ बनाम हानि के पूर्ण वितरण को कैप्चर करता है, जो गैर-गौसियन (non-Gaussian) लॉस डिफरेंशियल के लिए उपयुक्त है।
मैक्सिमम ड्रॉडाउन (Maximum Drawdown): एक ऐतिहासिक शिखर (peak) से गर्त (trough) तक का सबसे बड़ा संचयी नुकसान। यह निरंतर पूर्वानुमान विफलता के दौर की पहचान करता है, जो संरचनात्मक परिवर्तनों (जैसे, मुद्रास्फीति उछाल) के दौरान विशेष रूप से प्रासंगिक है।

3. एज रेशियो (The Edge Ratio)

उपलब्ध विकल्पों के संपूर्ण सेट (पूर्वानुमान सीमा/forecasting frontier) के सापेक्ष अद्वितीय भविष्य कहनेवाला लाभ प्रदान करने की एक मॉडल की प्रवृत्ति को मापने के लिए पेश किया गया एक नवीन मीट्रिक।

परिभाषा: प्रत्येक समय $t$ पर, बेंचमार्क सबसे अच्छा प्रदर्शन करने वाला अन्य मॉडल ( $L^*_t = \min_{j \neq M} L_{j,t}$ ) है। "एज" $e_{M,t} = L^*_t - L_{M,t}$ है।
गणना: एज रेशियो, पूल के आकार को ठीक करने के लिए $(M-1)$ द्वारा स्केल किए गए, एज जीत ( $e^+$ ) के योग को एज पछतावे ( $e^-$ ) के योग से विभाजित करके निकाला जाता है।
व्याख्या: एक उच्च एज रेशियो इंगित करता है कि मॉडल बार-बार सीमा (frontier) तक पहुँचता है और वह निर्णायक रूप से ऐसा करता है, जबकि सर्वोत्तम विकल्प न चुनने के पछतावे को भी न्यूनतम करता है।

4. मेटा-एनालिसिस विस्तार

इस ढांचे को लक्ष्यों, क्षितिजों (horizons) और नमूनों (samples) के क्रॉस-सेक्शनल मेटा-एनालिसिस के लिए विस्तारित किया गया है। टाइम-सीरीज रिटर्न्स के बजाय, "रिटर्न्स" को डिज़ाइन स्पेस में प्रदर्शन मेट्रिक्स (जैसे, RMSE) में प्रतिशत सुधार के रूप में परिभाषित किया गया है। यह मॉडल की मजबूती (robustness) के मूल्यांकन की अनुमति देता है: क्या कोई विधि लगातार जीतती है या केवल विशिष्ट क्षेत्रों में सफल होती है और अन्य स्थानों पर विनाशकारी रूप से विफल होती है।

5. डिबोल्ड-मारियानो (DM) से संबंध

शोध पत्र प्रदर्शित करता है कि जब पूर्वानुमान त्रुटियां क्रमिक रूप से असंबद्ध (serially uncorrelated) होती हैं, तो शार्प रेशियो, DM t-सांख्यिकी (स्केल्ड) के साथ मेल खाता है। DM सांख्यिकी का डिनोमिनेटर (लॉन्ग-रन वेरिएंस) निरंतर अंडरपरफॉर्मेंस को क्षणिक विफलताओं की तुलना में अधिक भारी दंड देता है, जो ऑटोकोरिलेशन को ध्यान में रखते हुए एक जोखिम-समायोजित उपाय के रूप में कार्य करता है।

अनुभवजन्य अनुप्रयोग और परिणाम

अनुप्रयोग 1: मैक्रो फोरकास्टिंग (ML/AI बनाम प्रोफेशनल फोरकास्टर्स)

यह अध्ययन अमेरिकी मैक्रोइकॉनॉमिक वेरिएबल्स (GDP, बेरोजगारी, मुद्रास्फीति, हाउसिंग स्टार्ट) का प्री- और पोस्ट-कोविड अवधियों में मूल्यांकन करता है, जिसमें इकोनोमेट्रिक बेंचमार्क, मशीन लर्निंग (ML) मॉडल, एक फाउंडेशन मॉडल (TabPFN), और सर्वे ऑफ प्रोफेशनल फोरकास्टर्स (SPF) की तुलना की गई है।

GDP ग्रोथ: जबकि फ्लेक्सिबल मॉडल (Kernel Ridge, Neural Networks) अक्सर उच्च औसत MSE रिडक्शन प्राप्त करते हैं, SPF उत्कृष्ट जोखिम-समायोजित प्रदर्शन प्रदर्शित करता है। SPF का सॉर्टिनो और ओमेगा रेशियो काफी अधिक है, जो असाधारण रूप से नियंत्रित डाउनसाइड रिस्क को दर्शाता है। SPF शायद ही कभी विनाशकारी विफलताओं का शिकार होता है।
बेरोजगारी (Unemployment): हाइब्रिड बूस्टिंग मॉडल (LGB+) और फाउंडेशन मॉडल (TabPFach) विशिष्ट क्षितिजों पर मजबूत जोखिम-समायोजित प्रोफाइल दिखाते हैं। उल्लेखनीय रूप से, रैंडम फॉरेस्ट्स (Random Forests) परिष्कृत फाउंडेशन मॉडल्स के बराबर जोखिम-समायोजित प्रदर्शन प्राप्त करते हैं, जबकि मानक न्यूरल नेटवर्क उच्च डाउनसाइड वोलैटिलिटी से ग्रस्त होते हैं।
मुद्रास्फीति (Inflation): SPF को औसत रूप से हराना कठिन है। हालांकि, हेमिस्फीयर न्यूरल नेटवर्क (HNN) कच्चे रिटर्न में SPF के बराबर है, लेकिन जोखिम-समायした मेट्रिक्स पर हावी है। महत्वपूर्ण रूप से, HNN एकमात्र ऐसा मॉडल है जो पोस्ट-2021 मुद्रास्फीति उछाल में सकारात्मक औसत रिटर्न बनाए रखता है, जो शासन परिवर्तन (regime change) के प्रति मजबूती प्रदर्शित करता है।
हाउसिंग स्टार्ट्स (Housing Starts): ML मॉडल आम तौर पर ऑटोरेग्रेसिव बेंचमार्क को हराने में संघर्ष करते हैं। SPF औसत रिटर्न में सर्वश्रेष्ठ ML मॉडल्स के बराबर होता है, लेकिन काफी कम डाउनसाइड रिस्क (उच्च सॉर्टिनो रेशियो) के साथ।

मुख्य निष्कर्ष: यह अक्सर संभव है कि औसत सटीकता में पेशेवर पूर्वानुमानकर्ताओं को हराया जा सके, लेकिन जोखिम-समायोजित आधार पर उन्हें हराना बहुत कठिन है। SPF का मूल्य उसकी निरंतरता और विनाशकारी विफलताओं की कमी में निहित है, जो प्रासंगिक निर्णय (contextual judgment) के महत्व को दर्शाता है।

अनुप्रयोग 2: मेटा-एनालिसेस

डेंसिटी फोरकास्टिंग (Goulet Coulombe et al., 2026): पॉइंट और डेंसिटी फोरकास्ट के पुनर्मूल्यांकन में, HNN और BART सबसे मजबूत पॉइंट फोरकास्टर्स के रूप में उभरते हैं। HNN डेंसिटी फोरकास्टिंग (लॉग स्कोर) में निर्णायक रूप से हावी है, जो प्रतिस्पर्धियों जैसे DeepAR की तुलना में बड़े, अधिक स्थिर लाभ और कम विनाशकारी विफलताओं की पेशकश करता है।
M4 प्रतियोगिता: M4 मंथली सीरीज़ में, औसत प्रदर्शन रैंकिंग (MASE/OWA) जोखिम-समायोजित रैंकिंग के साथ व्यापक रूप से संरेखित होती है। जो मॉडल औसत पर अच्छा प्रदर्शन करते हैं, वे अक्सर क्रॉस-सेक्शन में भी मजबूत होते हैं। हालांकि, एज रेशियो प्रकट करता है कि शीर्ष मॉडल (जैसे, Model 118/ES-RNN) कभी-कभी निर्णायक लाभ प्रदान करते हैं जो प्रतिस्पर्धियों के लिए उपलब्ध नहीं होते हैं, न कि केवल मामूली सुधार।

मुख्य योगदान

फ्रेमवर्क इंटीग्रेशन: यह शोध पत्र पूर्वानुमानों का मूल्यांकन करने के लिए जोखिम-समायोजित मेट्रिक्स (शार्प, सॉर्टिनो, ओमेगा, ड्रॉडाउन) का उपयोग करके एक औपचारिक ढांचा स्थापित करता है, जिससे ध्यान "क्या मॉडल औसतन बेहतर है?" से बदलकर "यह कितनी विश्वसनीयता से बेहतर प्रदर्शन करता है?" पर केंद्रित होता है।
एज रेशियो (The Edge Ratio): उपलब्ध मॉडल पूल के सापेक्ष अद्वितीय भविष्य कहनेवाला लाभ को मापने के लिए एक नवीन मीट्रिक पेश करता है, जो केवल अच्छे मॉडलों और उन मॉडलों के बीच अंतर करता है जो अपूरणीय जानकारी प्रदान करते हैं।
पेशेवर निर्णय का पुनर्मूल्यांकन: यह मात्रात्मक साक्ष्य प्रदान करता है कि पेशेवर पूर्वानुमानकर्ता (SPF) इसलिए कठिन से कठिन हैं क्योंकि उनका औसत एरर कम है, बल्कि इसलिए क्योंकि वे सबसे अनुकूल जोखिम प्रोफाइल (कम डाउनसाइड वोलैटिलिटी, उच्च सॉर्टिनो रेशियो) प्रदर्शित करते हैं।
मेटा-एनालिसिस टूलिंग: यह इन मेट्रिक्स को क्रॉस-सेक्शनल डिज़ाइन स्पेस में विस्तारित करता है, जिससे अभ्यासकर्ताओं को विभिन्न लक्ष्यों और क्षितिजों में एक विधि की मजबूती का आकलन करने की अनुमति मिलती है, जिससे उन मॉडलों की पहचान होती जो विशिष्ट क्षेत्रों में "विनाशकारी विफलताओं" के प्रति संवेदनशील हैं।

महत्व और दावे

शोध पत्र का दावा है कि औसत पूर्वानुमान सटीकता और पूर्वानुमान विश्वसनीयता अलग-अलग अवधारणाएं हैं। रिटर्न के रूप में लॉस डिफरेंशियल को मानकर, प्रस्तावित ढांचा उन मॉडलों की छिपी हुई नाजुकता को प्रकट करता जो मानक RMSE मेट्रिक्स के तहत प्रतिस्पर्धी दिखते हैं।

परिचालन प्रासंगिकता: संस्थानों के लिए, एक ऐसा मॉडल जो संकट के दौरान गंभीर रूप से विफल होता है, वह एक ऐसे मॉडल की तुलना में कम आकर्षक जोखिम-प्रतिफल प्रोफ़ाइल प्रदान करता है जो औसत लाभ में 15% बेहतर है लेकिन अत्यधिक विफल होता है।
मॉडल चयन: ढांचा सुझाव देता है कि जबकि मशीन लर्निंग और फाउंडेशन मॉडल्स पारंपरिक बेंचमार्क से बेहतर प्रदर्शन कर सकते हैं, उनका अपनाना उनके डाउनसाइड रिस्क की सावधानीपूर्वक जांच की मांग करता है। ट्री-आधारित मॉडल और HNN जैसे विशिष्ट आर्किटेक्चर विशिष्ट लक्ष्यों के लिए आकर्षक जोखिम प्रोफाइल देने की क्षमता दिखाते हैं।
भविष्य की दिशा: शोध पत्र सुझाव देता है कि यदि जोखिम-समायोजित मेट्रिक्स परिचालन रूप से प्रासंगिक हैं, तो पूर्वानुमान मॉडलों को आदर्श रूप से इन उद्देश्यों (जैसे, सॉर्टिनो रेशियो को अधिकतम करना) के लिए सीधे अनुकूलित किया जाना चाहिए, न कि केवल मानक लॉस फंक्शन्स (जैसे, स्क्वेयर्ड एरर) पर निर्भर रहना चाहिए और बाद में अनुकूल जोखिम गुणों की उम्मीद करनी चाहिए।

शोध पत्र निष्कर्ष निकालता है कि जबकि औसत प्रदर्शन लाभ आवश्यक हैं, वे परिचालन निर्णय लेने के लिए अपर्याप्त हैं; उन लाभों की स्थिरता और विश्वसनीयता, जिसे जोखिम-समायोजित मेट्रिक्स द्वारा कैप्चर किया जाता है, समान रूप से महत्वपूर्ण है।