🤖 machine learning

Beyond Model Ranking: Predictability-Aligned Evaluation for Time Series Forecasting

यह शोध पत्र डेटा की कठिनाई को मापने और यह प्रकट करने के लिए कि मॉडल की प्रभावशीलता पूर्वानुमान कार्य की अंतर्निहित पूर्वानुमेयता पर निर्भर करती है, स्पेक्ट्रल कोहेरेंस (spectral coherence) पर आधारित एक नवीन प्रेडिक्टेबिलिटी-अलाइन्ड मूल्यांकन ढांचे को प्रस्तुत करता है, जिसमें स्पेक्ट्रल कोहेरेंस प्रेडिक्टेबिलिटी (SCP) और लीनियर यूटिलाइजेशन रेशियो (LUR) मेट्रिक्स शामिल हैं, ताकि मानक बेंचमार्क की सीमाओं को दूर किया जा सके।

मूल लेखक: Wanjin Feng, Yuan Yuan, Jingtao Ding, Yong Li

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wanjin Feng, Yuan Yuan, Jingtao Ding, Yong Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कोच हैं जो यह पता लगाने की कोशिश कर रहे हैं कि आपका कौन सा एथलीट सबसे अच्छा धावक है। आमतौर पर, आप केवल उनके दौड़ने के समय को देखते हैं। यदि धावक A 10 सेकंड में और धावक B 12 सेकंड में दौड़ता है, तो आप मान लेते हैं कि A बेहतर है।

लेकिन क्या होगा यदि धावक A एक सपाट, चिकनी ट्रैक पर और हवा के अनुकूल (tailwind) दिशा में दौड़ रहा था, जबकि धावक B बारिश में एक खड़ी, पथरीली पहाड़ी पर चढ़ रहा था? केवल समय पूरी कहानी नहीं बताता। आप बिना यह जाने कि ट्रैक कितना कठिन था, उनकी निष्पक्ष तुलना नहीं कर सकते।

यह बिल्कुल वही समस्या है जिसे "बियॉन्ड मॉडल रैंकिंग" (Beyond Model Ranking) नामक शोध पत्र AI टाइम-सीरीज फोरकास्टिंग (forecasting) की दुनिया में पहचानता है।

समस्या: "लीडरबोर्ड" का जाल

अभी, AI शोधकर्ता पूर्वानुमान लगाने वाले मॉडलों (जो बिजली के उपयोग या शेयर की कीमतों जैसी चीजों की भविष्यवाणी करते हैं) को एक साधारण स्कोरबोर्ड का उपयोग करके आंकते हैं: भविष्यवाणी वास्तविक परिणाम के कितने करीब थी? वे "मीन स्क्वेर्ड एरर" (Mean Squared Error - MSE) नामक मीट्रिक का उपयोग करते हैं।

यह शोध पत्र तर्क देता है कि यह भ्रामक है। यह दो चीजों को मिला देता है:

मॉडल का कौशल (Model's Skill): AI कितना अच्छा है।
कार्य की कठिनाई (Task's Difficulty): डेटा वास्तव में कितना अनुमान लगाने योग्य है।

कभी-कभी एक सरल, "मूर्ख" मॉडल इसलिए बहुत अच्छा दिखता है क्योंकि जिस डेटा पर उसका परीक्षण किया गया था, वह अनुमान लगाना आसान था (जैसे यह भविष्यवाणी करना कि कल सूरज उगेगा)। दूसरी ओर, कभी-कभी एक सुपर-स्मार्ट मॉडल खराब दिखता है क्योंकि उसका परीक्षण अराजक, शोर-शराबे वाले डेटा पर किया गया था जो लगभग असंभव रूप से अनिश्चित है। वर्तमान "लीडरबोर्ड" इस अंतर को छिपा देते हैं, जिससे यह जानना कठिन हो जाता है कि वास्तव में सबसे अच्छा एथलीट कौन है।

समाधान: एक नया नैदानिक उपकरण (Diagnostic Tool)

लेखक मॉडलों के मूल्यांकन के लिए एक नया तरीका प्रस्तावित करते हैं जो धावक को ट्रैक से अलग करता है। वे दो मुख्य उपकरण पेश करते हैं:

1. SCP: "ट्रैक की कठिनाई" मापने वाला मीटर

स्पेक्ट्रल कोहेरेंस प्रेडिक्टेबिलिटी (Spectral Coherence Predictability - SCP) एक तरीका है जिससे मॉडल चलाने से पहले ही यह मापा जा सकता है कि डेटा का कोई विशिष्ट हिस्सा अनुमान लगाना कितना आसान या कठिन है।

उपमा (Analogy): एक रेडियो सिग्नल के बारे में सोचें। कभी-कभी सिग्नल स्पष्ट और मजबूत होता है (अनुमान लगाना आसान)। कभी-कभी यह स्टैटिक और शोर (noise) से भरा होता है (अनुमान लगाना कठिन)।
यह कैसे काम करता है: लेखक डेटा को "फ्रीक्वेंसी डोमेन" में देखते हैं (जैसे रेडियो को अलग-अलग स्टेशनों पर ट्यून करना)। वे गणना करते हैं कि सरल रैखिक गणित (linear math) का उपयोग करके पिछले सिग्नल द्वारा भविष्य के सिग्नल के कितने हिस्से को समझाया जा सकता है।
परिणाम: उन्हें एक स्कोर (0 से 1) मिलता है जो यह बताता है कि उस विशिष्ट डेटा पर किसी भी मॉडल के लिए प्रदर्शन करने की "सैद्धांतिक सीमा" क्या है। यदि स्कोर कम है, तो डेटा स्वाभाविक रूप से अस्त-व्यस्त है। यदि स्कोर अधिक है, तो डेटा बहुत अनुमान लगाने योग्य है।
यह क्यों मायने रखता है: यह आपको एक "लोअर बाउंड" (निचली सीमा) देता है। यदि किसी मॉडल की त्रुटि (error) इस सीमा के करीब है, तो वह अपना सर्वश्रेष्ठ प्रदर्शन कर रहा है। यदि त्रुटि बहुत अधिक है, तो मॉडल कम प्रदर्शन कर रहा है।

2. LUR: "दक्षता" मापने वाला गेज

लीनियर यूटिलाइजेशन रेशियो (Linear Utilization Ratio - LUR) यह मापता है कि एक विशिष्ट मॉडल उपलब्ध जानकारी का कितनी अच्छी तरह उपयोग करता है।

उपमा: कल्पना कीजिए कि आपके पास पानी की एक बाल्टी है (अनुमान लगाने योग्य जानकारी)।
- LUR < 1: मॉडल पानी बिखेर रहा है। यह उन सरल पैटर्न को पकड़ने में विफल हो रहा है जो वहां मौजूद थे।
- LUR ≈ 1: मॉडल सरल, रैखिक (linear) पानी की हर बूंद को पकड़ रहा है। इसने उस सीमा को छू लिया है जो सरल गणित कर सकता है।
- LUR > 1: मॉडल कुछ जादुई कर रहा है। यह उन पैटर्न को ढूंढ रहा है जिन्हें सरल गणित नहीं देख सका (नॉन-लीनियर पैटर्न), प्रभावी रूप से वह "बाल्टी" से अधिक प्राप्त कर रहा है जितना कि "डिफिकल्टी मीटर" ने संभव बताया था।

उन्होंने क्या खोजा

इन उपकरणों का उपयोग करके, लेखकों ने कुछ आश्चर्यजनक बातें पाईं:

डिफिकल्टी ड्रिफ्ट्स (Difficulty Drifts): किसी कार्य की "कठिनाई" स्थिर नहीं होती है। जैसे मौसम बदलता है, वैसे ही टाइम-सीरीज की अनुमान लगाने की क्षमता भी समय के साथ बदलती है। एक डेटासेट एक सप्ताह के लिए अनुमान लगाने में आसान हो सकता है, फिर अचानक अराजक हो सकता है। मानक औसत इसे छिपा देते हैं; उनका टूल इसे देख लेता है।
अलग-अलग कामों के लिए अलग-अलग मॉडल:
- सरल मॉडल (Linear): ये स्प्रिंटर्स की तरह हैं। वे "आसान" संकेतों (कम-आवृत्ति, स्थिर पैटर्न) को पकड़ने में अविश्वसनीय रूप से तेज और कुशल हैं। जब डेटा अनुमान लगाने योग्य होता है, तो वे अक्सर जटिल मॉडलों को पछाड़ देते हैं।
- जटिल मॉडल (Transformers/Deep Learning): ये हाई-टेक गियर वाले मैराथन धावरों की तरह हैं। वे सरल चीजों में थोड़ा संघर्ष करते हैं लेकिन जब डेटा अव्यवस्थित और नॉन-लीनियर हो जाता है, तो वे चमकते हैं। वे उन "छिपे हुए" पैटर्न को खोजने में बेहतर होते हैं जब सरल गणित विफल हो जाता है।
निष्पक्ष तुलना: केवल यह कहने के बजाय कि "मॉडल A, मॉडल B से बेहतर है," यह ढांचा कहता है, "मॉडल A आसान डेटा की भविष्यवाणी करने में बेहतर है, जबकि मॉडल B कठिन डेटा को संभालने में बेहतर है।"

निष्कर्ष (The Bottom Line)

यह शोध पत्र केवल मॉडलों को रैंक नहीं करना चाहता; यह उनका निदान (diagnose) करना चाहता है।

वे हमसे केवल एक संख्या वाले लीडरबोर्ड को देखने के बजाय यह पूछने के लिए कह रहे हैं: "क्या यह मॉडल खराब था, या डेटा ही असंभव था?" और "क्या इस मॉडल ने आसान अवसरों को बर्बाद कर दिया, या इसने कुछ नया खोजा?"

अपने "स्पेक्ट्रल कोहेरेंस प्रेडिक्टेबिलिटी" (कठिनाई मीटर) और "लीनियर यूटिलाइजेशन रेशियो" (दक्षता गेज) का उपयोग करके, हम अंततः इस बारे में एक निष्पक्ष चर्चा कर सकते हैं कि कौन से AI मॉडल वास्तव में सबसे अच्छा काम कर रहे हैं।

तकनीकी सारांश: मॉडल रैंकिंग से परे: टाइम सीरीज़ फोरकास्टिंग के लिए प्रेडिक्टेबिलिटी-अलाइन्ड इवैल्यूएशन

1. समस्या विवरण (Problem Statement)

टाइम सीरीज़ फोरकास्टिंग का क्षेत्र एक गंभीर मूल्यांकन दुविधा का सामना कर रहा है: मानक एग्रीगेट मेट्रिक्स (जैसे, मीन स्क्वेर्ड एरर, MSE) मॉडल की सीमाओं और मूल्यांकन किए जा रहे डेटा इंस्टेंस की अंतर्निसीय कठिनाई को आपस में मिला देते हैं। वर्तमान लीडरबोर्ड अक्सर एग्रीगेट एरर में मामूली सुधार के आधार पर मॉडलों को रैंक करते हैं, जिससे यह छिप जाता है कि त्रुटियाँ क्यों होती हैं। एक परिष्कृत मॉडल एक बेसलाइन से कमतर दिखाई दे सकता है क्योंकि टेस्ट सीक्वेंस नियमित और पूर्वानुमान के लिए आसान है, या इसके विपरीत, एक मॉडल एक ऐसे डेटासेट पर सफल दिखाई दे सकता है जो स्वाभाविक रूप से आसान है।

प्रिडिक्टेबिलिटी (पूर्वानुमान क्षमता) को मापने के उपकरण, जैसे कि एंट्रॉपी-रेट एस्टिमेटर्स और लेम्पेल-ज़िव कॉम्प्लेक्सिटी (Lempel-Ziv complexity), आधुनिक डीप लर्निंग फोरकास्टिंग के लिए अनुपयुक्त हैं क्योंकि वे:

पैराडाइम मिसमैच (Paradigm Mismatch): उन्हें सिम्बोलिक डायनेमिक्स और सिंगल-स्टेप क्लासिफिकेशन (0–1 लॉस) के बजाय मल्टी-होराइजन रिग्रेशन और स्क्वेर्ड एरर के लिए डिज़ाइन किया गया था।
कंप्यूटेशनल लागत (Computational Cost): उनमें अक्सर क्वाड्रेटिक-टू-क्यूबिक कॉम्प्लेक्सिटी होती है, जो बड़े पैमाने पर, उच्च-आयामी (high-dimensional) टाइम सीरीज़ के लिए निषेधात्मक है।
नैदानिक अंतर्दृष्टि का अभाव (Lack of Diagnostic Insight): वे आमतौर पर एक एकल वैश्विक स्कोर प्रदान करते हैं, जो यह बताने में विफल रहते हैं कि मॉडल समय, चैनल या फ्रीक्वेंसी बैंड के माध्यम से कहाँ विफल होता है।

यह शोध पत्र तर्क देता है कि क्षेत्र को एक ऐसे नैदानिक ढांचे (diagnostic framework) की आवश्यकता है जो फोरकास्टिंग उद्देश्यों के साथ संरेखित होकर इंस्टेंस की कठिनाई को मापे, ताकि स्तरित मूल्यांकन (stratified evaluation) को सक्षम किया जा सके और यह पता लगाया जा सके कि मॉडल उपलब्ध जानकारी का उपयोग कहाँ कम कर रहा है।

2. कार्यप्रणाली (Methodology)

लेखक स्पेक्ट्रल कोहेरेंस (Spectral Coherence) पर आधारित एक नैदानिक ढांचे का प्रस्ताव करते हैं, जिसमें दो मुख्य घटक शामिल हैं: स्पेक्ट्रल कोहेरेंस प्रेडिक्टेबिलिटी (SCP) और लीनियर यूटिलाइजेशन रेशियो (LUR)।

2.1 स्पेक्ट्रल कोहेरेंस प्रेडिक्टेबिलिटी (SCP)

SCP, थ्योरेटिकल बेयस रिस्क (अंतर्निसीय प्रेडिक्टेबिलिटी) के लिए एक कंप्यूटेशनल रूप से कुशल, टास्क-अलाइन्ड सरोगेट के रूप में कार्य करता है। यह एक विशिष्ट इंस्टेंस के फोरकास्टिंग के लिए उपलब्ध लीनियरली एक्सप्लोइटेबल (रैखिक रूप से शोषण योग्य) जानकारी की मात्रा को मापता है।

तंत्र (Mechanism): वेल्च के मेथड (Welch's method) के माध्यम से फ्रीक्वेंसी डोमेन में कार्य करते हुए, SCP हिस्ट्री $x$ और फ्यूचर $y$ के बीच स्क्वेर्ड कोहेरेंस $\gamma^2_{xy}(f)$ की गणना करता है।
लीनियर लोअर बाउंड (Linear Lower Bound): यह रेसिडुअल स्पेक्ट्रम (अनव्याख्यायित पावर) को एकत्रित करके और बाउंड्री मीन मिसमैच को संभालने के लिए एक मीन-शिफ्ट टर्म जोड़कर एक रूढ़िवादी लीनियर मीन स्क्वेर्ड एरर लोअर बाउंड ( $MSE_{lb}$ ) व्युत्पन्न करता है:
$MSE_{lb} = \Delta^2 + \sum_{f} \hat{S}_{e}(f)$
जहाँ $\hat{S}_{e}(f) = \hat{S}_{yy}(f)(1 - \gamma^2_{xy}(f))$ है।
प्रेडिक्टेबिलिटी स्कोर: अनिश्चितता की सामान्यीकृत कमी को $P_{xy}$ के रूप में परिभाषित किया गया है:
$P_{xy} = \max\left(0, 1 - \frac{MSE_{lb}}{\widehat{Var}(y)}\right)$
दक्षता (Efficiency): यह विधि FFT का उपयोग करके प्रति सैंपल $O(N \log N)$ समय में कार्य करती है, जो मैचिंग-आधारित कॉम्प्लेक्सिटी एस्टिमेटर्स की तुलना में काफी तेज़ है।

2.2 लीनियर यूटिलाइजेशन रेशियो (LUR)

जबकि SCP इंस्टेंस की कठिनाई को मापता है, LUR यह निदान करता है कि एक विशिष्ट मॉडल लीनियरली प्रेडिक्टेबल स्ट्रक्चर का कितनी प्रभावी ढंग से उपयोग करता है।

तंत्र (Mechanism): LUR मॉडल के प्रेडिक्शन $\hat{y}$ और टारगेट $y$ के बीच पावर-वेटेड कोहेरेंस की तुलना, हिस्ट्री $x$ और टारगेट $y$ के बीच कोहेरेंस से करता है।
परिभाषा (Definition):
$LUR = \frac{P_{model}}{P_{linear}} = \frac{\sum \gamma^2_{y\hat{y}}(f) \hat{S}_{yy}(f)}{\sum \gamma^2_{yx}(f) \hat{S}_{yy}(f)}$
व्याख्या (Interpretation):
- $LUR < 1$: अंडर-यूटिलाइजेशन को दर्शाता है (मॉडल हिस्ट्री में मौजूद लीनियर कोरिलेशन को पकड़ने में विफल रहता है)।
- $LUR \approx 1$ : यह दर्शाता है कि मॉडल ने लीनियर इंफॉर्मेशन सीलिंग को संतृप्त (saturate) कर लिया है।
- $LUR > 1$: यह गैर-रैखिक गतिकी (non-linear dynamics) या ग्लोबल इंडक्टिव बायस के माध्यम से अतिरिक्त प्रेडिक्टिव लाभ प्राप्त करने का सुझाव देता है।
स्तरीकरण (Stratification): यह ढांचा बैंड-वार विश्लेषण (लो/मिड/हाई फ्रीक्वेंसी) की अनुमति देता है, जिससे विभिन्न स्पेक्ट्रल बैंड्स में मॉडल के व्यवहार का सूक्ष्म मूल्यांकन संभव होता है।

3. मुख्य योगदान (Key Contributions)

प्रेडिक्टेबिलिटी-अवेयर डायग्नोस्टिक फ्रेमवर्क: यह पेपर एक व्यवस्थित दृष्टिकोण पेश करता है जो मॉडल प्रदर्शन को इंस्टेंस की कठिनाई से अलग करता है, जो वर्तमान मूल्यांकन प्रोटोकॉल की अस्पष्टता को दूर करता है।
SCP और LUR मेट्रिक्स:
- SCP: एक कंप्यूटेशनल रूप से कुशल ( $O(N \log N)$ ), टास्क-अलाइन्ड इंस्टेंस-डिफिकल्टी रेफरेंस जो एक लीनियर MSE लोअर बाउंड प्रदान करता है।
- LUR: लीनियर स्ट्रक्चर का उपयोग करने में मॉडल की दक्षता को मापने वाला एक फ्रीक्वेंसी-रिजॉल्व्ड डायग्नोस्टिक।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक और वास्तविक दुनिया के बेंचमार्क (ETTh1/2, ETTh1/2, ECL, Weather, Traffic, ILI) पर व्यापक प्रयोगों से सिद्ध होता है कि SCP अच्छी तरह से कैलिब्रेटेड है और विविध स्टेट-ऑफ-द-आर्ट (SOTA) मॉडल्स के वास्तविक फोरकास्टिंग एरर के साथ मजबूती से सह-संबंधित है।

4. प्रयोगात्मक परिणाम (Experimental Results)

कैलिब्रेशन (Calibration): सिंथेटिक सेटिंग्स में, SCP सिग्नल-टू-नॉइज़ रेशियो (SNR) के साथ मोनोटोनिक रूप से बढ़ता है, और $MSE_{lb}$ इष्टतम लीनियर फोरकास्टर्स के एरर को बारीकी से ट्रैक करता है। वास्तविक दुनिया के डेटासेट्स पर, SCP विभिन्न मॉडल्स के बीच नॉर्मलाइज्ड MSE (NMSE) के साथ एक मजबूत विपरीत सहसंबंध (Pearson $R \ge 0.8$ ) दिखाता है।
प्रेडिक्टेबिलिटी ड्रिफ्ट (Predictability Drift): विश्लेषण से पता चलता है कि कार्य की कठिनाई स्थिर नहीं है। "प्रेडिक्टेबिलिटी ड्रिफ्ट" तब होता है जब शोषण योग्य जानकारी की मात्रा समय के साथ और विभिन्न वेरिएबल्स के बीच महत्वपूर्ण रूप से उतार-चढ़ाव करती है। एग्रीगेट टेस्ट-सेट सांख्यिकी भ्रामक हो सकती है क्योंकि वे इन बदलते कठिनाई व्यवस्थाओं (difficulty regimes) पर औसत निकाल देती हैं।
स्तरित मूल्यांकन (Stratified Evaluation):
- फ्रीक्वेंसी बैंड्स: लीनियर मॉडल (जैसे, DLinear) अक्सर हाई-फ्रीक्वेंसी बैंड्स में उच्च LUR दिखाते हैं, जबकि ट्रांसफॉर्मर-आधारित मॉडल (जैसे, iTransformer, PatchTST) लो-फ्रीक्वेंसी, हाई-एनर्जी बैंड्स में उत्कृष्ट होते हैं।
- डिफिकल्टी रिजीम्स: नॉन-लीनियर मॉडल लो-प्रेडिक्टेबिलिटी (कठिन) रिजीम्स में लीनियर बेसलाइन्स से बेहतर प्रदर्शन करते हैं, जबकि लीनियर मॉडल हाई-प्रेडिक्टेबिलिटी (आसान) रिजीम्स में अत्यधिक प्रतिस्पर्धी होते हैं।
मजबूती (Robustness): यह ढांचा विभिन्न वेल्च पैरामीटर्स (विंडो लेंथ, ओवरलैप) और हिस्ट्री विंडो लेंथ के प्रति स्थिर रहता है। यह मल्टीवेरिएट सेटिंग्स और नॉन-लीनियर फीचर स्पेस (कर्नेल मैप्स के माध्यम से) में भी विस्तारित होता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर "लीडरबोर्ड-स्टाइल रैंकिंग" से "प्रेडिक्टेबिलिटी-अवेयर डायग्नोस्टिक्स" की ओर एक प्रतिमान परिवर्तन (paradigm shift) का समर्थन करता है। लेखक दावा करते हैं कि:

निष्पक्ष तुलना: इंस्टेंस की कठिनाई (SCP) के आधार पर मूल्यांकन को स्तरित करके, शोधकर्ता पूरक आर्किटेक्चरल स्ट्रेंथ को उजागर कर सकते हैं जिन्हें एग्रीगेट स्कोर छिपा देते हैं।
कार्रवाई योग्य अंतर्दृष्टि (Actionable Insights): यह ढांचा विशिष्ट विफलता मोड (जैसे, लीनियर सिग्नल्स के अंडर-यूटिलाइजेशन बनाम नॉन-लीनियर ड्रिफ्ट को मॉडल करने में अक्षमता) की पहचान करता है, जो अधिक मजबूत फोरकास्टिंग मॉडल विकसित करने में मार्गदर्शन करता है।
दक्षता: प्रस्तावित मेट्रिक्स जटिल एंट्रॉपी-आधारित तरीकों के लिए एक कठोर, कम-लागत वाला विकल्प प्रदान करते हैं, जिससे बड़े पैमाने के बेंचमार्क के लिए इंस्टेंस-लेवल कठिनाई मूल्यांकन संभव हो जाता है।

लेखक निष्कर्ष निकालते हैं कि केवल एरर मिनिमाइजेशन से आगे बढ़कर डेटा इंस्टेंस की प्रेडिक्टेबिलिटी को समझना टाइम सीरीज़ फोरकास्टिंग मॉडल्स की वास्तविक क्षमताओं को समझने और वैज्ञानिक पुनरावृत्ति के लिए आवश्यक है।