🤖 machine learning

TailedTS: Benchmark Dataset for Heavy-Tailed Time Series Prediction and Periodicity Quantification

यह शोध पत्र TailedTS को प्रस्तुत करता है, जो विकिपीडिया पेज व्यूज़ का एक बड़े पैमाने का बेंचमार्क डेटासेट है, जो भारी-पूंछ (heavy-tailed) और शून्य-स्फीत (zero-inflated) वितरणों द्वारा अभिलक्षित है, जिसे गैर-गाऊसी (non-Gaussian) स्थितियों के तहत समय श्रृंखला पूर्वानुमान मॉडलों का मूल्यांकन करने और उच्च-ट्रैफ़िक वाले डिजिटल प्लेटफार्मों की आवधिकता (periodicity) के बारे में अंतर्दृष्टि प्रकट करने के लिए डिज़ाइन किया गया है।

मूल लेखक: Xinyu Chen, HanQin Cai, Lijun Ding, Jinhua Zhao

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinyu Chen, HanQin Cai, Lijun Ding, Jinhua Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। अधिकांश समय, मौसम अनुमानित होता है: कभी धूप होती है, फिर बादल छा जाते हैं, और फिर शायद हल्की बारिश हो सकती है। आप "औसत" दिनों के आधार पर एक मॉडल बना सकते हैं, और यह काफी अच्छा काम करता है। यह उन पुराने टाइम-सीरीज डेटासेट्स की तरह है जिनका वैज्ञानिक वर्षों से उपयोग करते आए हैं (जैसे बिजली का उपयोग या ट्रैफिक प्रवाह), जो ज्यादातर एक "बेल कर्व" (bell curve) का पालन करते हैं जहाँ चरम घटनाएं दुर्लभ होती हैं।

लेकिन क्या होगा यदि आप कुछ ऐसा भविष्यवाणी करने की कोशिश कर रहे हैं जो एक वायरल इंटरनेट मीम की तरह व्यवहार करता है? अधिकांश समय, कोई इसे नहीं देखता है। फिर, अचानक, कोई सेलिब्रिटी इसके बारे में ट्वीट करता है, और एक घंटे में लाखों लोग पेज पर उमड़ पड़ते हैं। फिर, फिर से सन्नाटा। यह "हेवी-टेल्ड" (heavy-tailed) डेटा है: यह उबाऊ शून्यों और कभी-कभार होने वाले विशाल उछालों से भरा है जो नियमों को तोड़ देते हैं।

यह पेपर TailedTS पेश करता है, जो विशेष रूप से इस तरह के अराजक, "स्पाइकी" (spiky) डेटा पर कंप्यूटर मॉडल्स का परीक्षण करने के लिए बनाया गया एक विशाल नया डेटासेट है। यहाँ बताया गया है कि उन्होंने क्या किया, सरल उपमाओं का उपयोग करते हुए:

1. डेटासेट: वायरल पलों का एक पुस्तकालय

लेखकों ने 2024 के विकिपीडिया पेज व्यूज का उपयोग करके एक विशाल डेटासेट बनाया।

पैमाना (Scale): उन्होंने लगभग 24.7 बिलियन डेटा पॉइंट्स एकत्र किए (जैसे कि एक पूरे साल के लिए हर एक पेज पर हर घंटे आने वाले प्रत्येक एकल आगंतुक को गिनना)।
"हेवी टेल" (The Heavy Tail): इस पुस्तकालय में, कुछ ही पेज (लगभग 5%) ध्यान का अधिकांश हिस्सा (70% से अधिक सभी व्यूज) प्राप्त करते हैं। बाकी लाखों पेजों को बहुत कम व्यूज मिलते हैं।
समस्या: अधिकांश कंप्यूटर मॉडल "शांत" डेटा पर प्रशिक्षित होते हैं। यदि आप यह "वायरल" विकिपीडिया डेटा उनके सामने फेंकते हैं, तो वे भ्रमित हो जाते हैं क्योंकि वे उम्मीद करते हैं कि ट्रैफिक स्थिर रहेगा। उन्हें अचानक होने वाले बड़े उछालों को कैसे संभालना है, यह नहीं पता होता।

2. खोज: लोकप्रिय पेज अराजक होते हैं

शोधकर्ताओं ने एक सरल प्रश्न पूछा: "क्या लोकप्रिय पेज एक अनुमानित शेड्यूल का पालन करते हैं, जैसे कि ट्रेन का समय सारणी?"

उपमा: अब एक शांत मोहल्ले की सड़क के बारे में सोचें (कम लोकप्रिय पेज)। इसमें एक अनुमानित लय होती है: सुबह 8 बजे बच्चे स्कूल जाते हैं, शाम 5 बजे लोग घर लौटते हैं। यह बहुत आवधिक (periodic) है।
निष्कर्ष: अब एक व्यस्त शहर के चौराहे के बारे में सोचें (लोकप्रिय पेज)। यह अराजक है। एक सेलिब्रिटी एक फोटो पोस्ट कर सकता है, या कोई समाचार घटना हो सकती है, जिससे अचानक एक बड़ी भीड़ जमा हो जाती है।
परिणाम: टीम ने पाया कि लोकप्रिय विकिपीडिया पेज वास्तव में शांत पेजों की तुलना में कम अनुमानित होते हैं। वे किसी सख्त दैनिक या साप्ताहिक चक्र का बारीकी से पालन नहीं करते क्योंकि वे लगातार यादृच्छिक (random), वास्तविक दुनिया की घटनाओं के प्रति प्रतिक्रिया दे रहे होते हैं। यह उन लोगों के लिए एक बड़ी बात है जो बड़ी वेबसाइटों के सर्वर ट्रैफिक को प्रबंधित करने की कोशिश कर रहे हैं।

3. समाधान: "स्कोरकार्ड" को बदलना

इन अराजक नंबरों की भविष्यवाणी करने के लिए, शोधकर्ताओं ने "त्रुटि" (मॉडल कितना गलत था) को मापने के विभिन्न तरीकों का परीक्षण किया।

पुराना तरीका (द "स्क्वीकी व्हील"): पारंपरिक मॉडल "लीस्ट स्क्वेयर्स" (ℓ2-norm) नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि एक शिक्षक पेपर ग्रेड कर रहा है जहाँ एक छोटी सी गलती ठीक है, लेकिन यदि एक छात्र एक सवाल पर बहुत ज्यादा गलत हो जाता है, तो शिक्षक चिल्लाता है और पूरे टेस्ट में फेल कर देता है। यह विधि सबसे बड़ी गलतियों (वायरल स्पाइक्स) के प्रति जुनूनी हो जाती है और बाकी सभी के लिए भविष्यवाणी को खराब कर देती है।
नया तरीका (द "टफ कोच"): शोधकर्ताओं ने "रोबस्ट" (Robust) तरीकों का परीक्षण किया (जैसे हबर लॉस या ℓp-norm)। कल्पना कीजिए कि एक कोच कहता है, "ठीक है, तुमने वह एक बड़ा उछाल मिस कर दिया, लेकिन चलो बाकी खेल को देखते हैं।" ये विधियाँ चरम आउटलेयर्स को अनदेखा करती हैं या उनके साथ नरमी से व्यवहार करती हैं, ताकि मॉडल सामान्य पैटर्न को सीख सके बिना पागल हुए।
परिणाम: जब उन्होंने इन "टफ कोच" विधियों का उपयोग किया, तो मॉडल ट्रैफ़िक की भविष्यवाणी करने में बहुत बेहतर हो गए, विशेष रूप से सबसे लोकप्रिय पेजों के लिए। पुराने तरीके बड़े उछालों पर बुरी तरह विफल रहे; नए तरीकों ने उन्हें सहजता से संभाला।

4. यह क्यों मायने रखता है

यह पेपर केवल विकिपीडिया के बारे में नहीं है; यह हमारे AI का तनाव परीक्षण (stress-testing) करने के बारे में है।

बेंचमार्क: उन्होंने यह देखने के लिए एक "तनाव परीक्षण" (बेंचमार्क) बनाया कि क्या AI मॉडल वास्तविक दुनिया की अराजकता को संभाल सकते हैं।
सबक: यदि आप केवल "शांत" डेटा का उपयोग करके एक मॉडल बनाते हैं, तो वास्तविक दुनिया में टकराने पर यह टूट जाएगा, जहाँ वायरल घटनाएं और अत्यधिक अस्थिरता होती है।
मुख्य बात (Takeaway): यदि आप इंटरनेट ट्रैफिक, शेयर बाजार या आपातकालीन कॉल्स जैसी चीजों के भविष्य की भविष्यवाणी करना चाहते हैं, तो हमें यह मानना बंद करना होगा कि सब कुछ एक सुंदर, व्यवस्थित बेल कर्व का पालन करता है। हमें ऐसे मॉडल्स की आवश्यकता है जो "हेवी टेल्स" के लिए तैयार हों—वे दुर्लभ, विशाल घटनाएं जो सब कुछ बदल देती हैं।

संक्षेप में: लेखकों ने हमें एक विशाल, अस्त-व्यस्त विकिपीडिया ट्रैफिक डेटासेट दिया है ताकि यह साबित किया जा सके कि हमारे वर्तमान AI मॉडल वास्तविक दुनिया के लिए बहुत नाजुक हैं। उन्होंने दिखाया कि यह बदलकर कि हम गलतियों को कैसे मापते हैं (चरम आउटलेयर्स को अनदेखा करके), हम बहुत अधिक लचीले और सटीक मॉडल बना सकते हैं जब चीजें पागलपन भरी हो जाती हैं।

तकनीकी सारांश: हेवी-टेल्ड (Heavy-Tailed) टाइम सीरीज़ प्रेडिक्शन के लिए TailedTS बेंचमार्क डेटासेट

समस्या विवरण

टाइम सीरीज़ फोरकास्टिंग (समय श्रृंखला पूर्वानुमान) अर्थशास्त्र, इंजीनियरिंग और पर्यावरण विज्ञान जैसे मशीन लर्निंग अनुप्रयोगों में एक महत्वपूर्ण घटक है। हालांकि, पारंपरिक भविष्य कहने वाले मॉडल मुख्य रूप से अवशेषों (residuals) के लिए गॉसियन (Gaussian) धारणाओं पर निर्भर करते हैं, जिनका वास्तविक दुनिया के अनुभवजन्य डेटासेट में अक्सर उल्लंघन होता है, जहाँ हेवी-टेल्ड (heavy-tailed), जीरो-इन्फ्लेटेड (zero-inflated) और नॉन-गॉसियन व्यवहार देखा जाता है। मौजूदा बेंचमार्क, जैसे कि M-कंपटीशन (M4, M5) और UCI इलेक्ट्रिसिटी डेटासेट, विभिन्न टेम्पोरल डायनेमिक्स को कैप्चर करते हैं लेकिन अक्सर जटिल मानवीय रुचि पैटर्न में निहित अत्यधिक, इवेंट-ड्रिवन अस्थिरता और उच्च-आयामी विरलता (high-dimensional sparsity) को दर्शाने में विफल रहते हैं। विशेष रूप से, ये डेटासेट उन पावर-लॉ डिस्ट्रीब्यूशन (power-law distributions) को पर्याप्त रूप से प्रदर्शित नहीं करते हैं जहाँ घटनाओं का एक बहुत छोटा हिस्सा कुल अवलोकनों का अधिकांश भाग बनाता है, जिससे स्टोकेस्टिक बर्स्ट (stochastic bursts) और चरम आउटलेर्स के विरुद्ध मॉडल की मजबूती (robustness) के मूल्यांकन में एक अंतर पैदा होता है।

कार्यप्रणाली

यह शोध पत्र TailedTS पेश करता है, जो 2024 के दौरान विकिपीडिया के प्रति घंटा पेज व्यू अवलोकनों से प्राप्त एक बड़े पैमाने का बेंचमार्क डेटासेट है। कार्यप्रणाली में तीन प्राथमिक घटक शामिल हैं:

1. डेटासेट निर्माण और संरेखण

डेटासेट में लगभग 24.69 बिलियन डेटा पॉइंट्स शामिल हैं जो प्रति माह लगभग 3 मिलियन अद्वितीय विकिपीडिया पेजों तक फैले हुए हैं। डेटा की गुणवत्ता और बार-बार देखे जाने वाली सामग्री पर ध्यान केंद्रित करने के लिए, लेखकों ने कच्चे डेटा को केवल उन पेजों को शामिल करने के लिए फ़िल्टर किया जो महीने के प्रत्येक दिन 10 व्यूज का न्यूनतम थ्रेशोल्ड बनाए रखते हैं। इस फ़िल्टरिंग के परिणामस्वरूप एक ऐसा डेटासेट प्राप्त हुआ है जहाँ लगभग 5% पेज कुल पेज व्यूज के 70% से अधिक के लिए जिम्मेदार हैं, जो एक स्पष्ट पावर-लॉ डिस्ट्रीब्यूशन का पालन करता है। डेटा को उच्च-दक्षता वाले अपाचे पारके (Apache Parquet) फॉर्मेट में संग्रहीत किया गया है।

2. अवधिता मात्रा निर्धारण ढांचा (Periodicity Quantification Framework)

टाइम सीरीज़ की आवधिक संरचना का विश्लेषण करने के लिए, लेखक स्पर्सिटी (sparsity) और नॉन-नेगेटिविटी (non-negativity) बाधाओं के साथ एक स्पार्स ऑटो-रिग्रेशन फ्रेमवर्क का प्रस्ताव करते हैं। प्रमुख ऑटो-कोरिलेशन (जैसे दैनिक और साप्ताहिक चक्र) को स्वचालित रूप से पहचानने के लिए अनुकूलन समस्या को तैयार किया गया है।

फॉर्मूलेशन: समस्या को कोएफिशिएंट वेक्टर $w_\gamma$ पर $\ell_0$ -नॉर्म बाधा और नॉन-नेगेटिविटी बाधा ( $w_\gamma \in \mathbb{R}^d_+$ ) के अधीन स्क्वेर्ड एरर को कम करने के लिए तैयार किया गया है।
कार्यान्वयन: समस्या को एक मिक्सड-इंटिजर क्वाड्रेटिक प्रोग्रामिंग (MIQP) समस्या के रूप में पुनर्गठित किया गया है, जिसे CPLEX एल्गोरिदम का उपयोग करके हल किया गया है। मॉडल पेज लोकप्रियता की विभिन्न श्रेणियों में सुसंगत सपोर्ट सेट्स (support sets) को मानता है।

3. मजबूत भविष्य कहने वाला मॉडलिंग (Robust Predictive Modeling)

यह शोध पत्र हेवी-टेल्ड नॉइज़ को संबोधित करने के लिए गैर-गॉसियन लॉस फंक्शन्स (loss functions) के एक समूह का उपयोग करके ऑटो-रिग्रेसिव प्रेडिक्शन मॉडल का मूल्यांकन करता है। अनुकूलन उद्देश्य अवशेषों (residuals) पर एक लॉस फंक्शन $\rho(\varepsilon_t)$ के योग को कम करना है। यह अध्ययन तुलना करता है:

$\ell_2$ -नॉर्म लॉस: मानक लीस्ट स्क्वायर्स (गॉसियन धारणा)।
$\ell_1$ -नॉर्म लॉस: लीस्ट एब्सोल्यूट डेविएशन (LAD)।
हुबर लॉस (Huber loss): $\ell_2$ और $\ell_1$ के बीच इंटरपोलेट करता है, जो छोटे अवशेषों पर क्वाड्रेटिक पेनलाइजेशन और बड़े अवशेषों पर लीनियर पेनलाइजेशन लागू करता है।
क्वांटाइल लॉस (Quantile loss): असममित लीनियर पेनल्टी का उपयोग करके कंडीशनल क्वांटाइल्स के अनुमान को सक्षम बनाता है।
$\ell_p$ -नॉर्म लॉस ( $0 < p < 1$ ): अवशेषों को सबलीनियर तरीके से दंडित करके आक्रामक मजबूती प्रदान करता है, हालांकि यह नॉन-कॉन्वेक्स ऑप्टिमाइजेशन चुनौतियों को भी पेश करता है।

मुख्य योगदान

शोध पत्र तीन-स्तरीय योगदान रेखांकित करता है:

बेंचमार्क डेटासेट: TailedTS एक उच्च-आयामी, हेवी-टेल्ड, और जीरो-इन्फ्लेटेड टाइम सीरीज़ डेटासेट प्रदान करता है जिसमें एक लंबी अवधि (2024 में 8,784 प्रति घंटा टाइम स्टेप्स) के दौरान लाखों टाइम सीरीज़ शामिल हैं। यह अनुसंधान समुदाय को नॉन-गॉसियन अवशेषों और स्टोकेस्टिक बर्स्ट के विरुद्ध मॉडलों का मूल्यांकन करने की अनुमति देता है, एक ऐसी स्थिति जहाँ मानक गॉसियन-आधारित एस्टीमेटर अक्सर विफल हो जाते हैं।
अवधिता मात्रा निर्धारण (Periodicity Quantification): लेखक यह प्रकट करने के लिए स्पार्स ऑटो-रिग्रेशन का उपयोग करते हैं कि अधिक बार देखे जाने वाले पेजों में कम देखे जाने वाले समकक्षों की तुलना में काफी कमजोर आवधिक संरचना होती है। यह निष्कर्ष बताता है कि लोकप्रिय पेज विशेष घटनाओं और विसंगतियों (anomalies) के प्रति अधिक संवेदनशील होते हैं, जो उनके उच्च वॉल्यूम के बावजूद उनकी भविष्यवाणी को जटिल बनाता है।
मजबूत भविष्य कहने वाला मॉडलिंग: अध्ययन दर्शाता है कि मानक गॉसियन-आधारित एस्टीमेटर उच्च-वॉल्यूम पेज श्रेणियों पर काफी खराब प्रदर्शन करते हैं। इसके विपरीत, मजबूत विकल्प (हुबर, $\ell_p$ -नॉर्म, और क्वांटाइल लॉस) चरम आउटलेर्स के प्रभाव को कम करके सभी ट्रैफिक स्केल्स पर निरंतर लाभ प्रदान करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने TailedTS डेटासेट और चार बाहरी बेंचमार्क डेटासेट (UCI इलेक्ट्रिसिटी, SF ट्रैफिक, एयर क्वालिटी, और वेदर डेटा) पर व्यापक प्रयोग किए।

सीजनलिटी विश्लेषण: स्पर्सिटी स्तर $\tau=8$ और $\tau=10$ के तहत, दैनिक (24h), द्वि-दैनिक (48h), और साप्ताहिक (168h) चक्रों के लिए प्रमुख ऑटो-कोरिलेशन की पहचान की गई। विश्लेषण ने पुष्टि की कि उच्च-वॉल्यूम पेज श्रेणियों (जैसे $O(10^4)$ व्यूज) में निम्न-वॉल्यूम श्रेणियों की तुलना में कम सीजनलिटी कोएफिशिएंट्स थे, जो उच्च अस्थिरता का संकेत देते हैं।
TailedTS पर प्रेडिक्शन प्रदर्शन:
- उच्च-वॉल्यूम श्रेणियों ( $O(10^4)$ ) के लिए, मानक $\ell_2$ -नॉर्म लॉस ने 1163.08 का RMSE दिया।
- मजबूत एस्टीमेटर्स ने बेसलाइन को काफी पीछे छोड़ दिया: $\ell_p$ -नॉर्म लॉस ने 129.28 का RMSE प्राप्त किया, और हुबर लॉस ने 139.87 प्राप्त किया।
- $\ell_2$ -नॉर्म लॉस ने केवल निम्न-परिमाण वाली श्रेणियों ( $O(10^2)$ ) पर प्रतिस्पर्धी परिणाम दिखाए, लेकिन वॉल्यूम बढ़ने के साथ इसका प्रदर्शन तेजी से गिर गया।
बाहरी बेंचमार्क पर प्रदर्शन: अध्ययन ने लॉग-लॉग हिस्टोग्राम के माध्यम से सत्यापित किया कि मानक बेंचमार्क (UCI इलेक्ट्रिसिटी, SF ट्रैफिक, आदि) में अवशेष भी हेवी-टेल्ड व्यवहार प्रदर्शित करते हैं। नॉन-गॉसियन लॉस फंक्शन्स ने इन डेटासेट्स में लगातार MAPE और RMSE को कम किया। उदाहरण के लिए, UCI इलेक्ट्रिसिटी डेटा पर, $\ell_1$ और हुबर लॉस ने MAPE को $\ell_2$ के 0.095 से घटाकर 0.083 कर दिया, जो लगभग 13% की सापेक्ष कमी है।

महत्व और दावे

यह शोध पत्र TailedTS को टाइम सीरीज़ फोरकास्टिंग मॉडलों के लिए एक कठोर स्ट्रेस टेस्ट के रूप में स्थापित करता है, जो विशेष रूप से उन वर्तमान स्टेट-ऑफ-द-आर्ट (SOTA) विधियों को लक्षित करता है जो गॉसियन धारणाओं पर निर्भर हैं। लेखक दावा करते हैं कि:

मजबूती (Robustness) महत्वपूर्ण है: मानक एस्टीमेटर्स उन डिजिटल ट्रैफिक के लिए अनुपयुक्त हैं जो हेवी-टेल्ड नॉइज़ और अत्यधिक अस्थिरता द्वारा चिह्नित होते हैं।
लॉस फंक्शन का चयन मायने रखता है: लॉस फंक्शन का चुनाव मॉडल के लचीलेपन का प्राथमिक निर्धारक है। परिवहन या जलवायु प्रणालियों में पाए जाने वाले भौतिक बाधाओं से विचलित होने वाले अनियमित, परस्पर जुड़े मानवीय रुचि पैटर्न को कैप्चर करने के लिए मजबूत लॉस (हुबर, $\ell_p$ , क्वांटाइल लॉस) आवश्यक हैं।
स्केलेबिलिटी और सामान्यीकरण: Toth TailedTS को मौजूदा मौसम संबंधी बेंचमार्क के साथ एकीकृत करके, शोधकर्ता GPU-नेटिव फ्रेमवर्क की स्केलेबिलिटी और मजबूत लॉस फंक्शन्स की प्रभावकारिता का बेहतर आकलन कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि मजबूत एस्टीमेटर्स महत्वपूर्ण त्रुटि कमी (error reduction) प्रदान करते हैं, अत्यधिक स्केल और व्यापक जीरो-इन्फ्लेशन की चुनौतियां एक कठिन सीमा बनी हुई हैं। उनका लक्ष्य इस बेंचमार्क को अगली पीढ़ी के डिस्ट्रीब्यूशन-अवेयर मॉडल्स के विकास को उत्प्रेरित करना है जो सैद्धांतिक अनुकूलन और बड़े पैमाने के टाइम सीरीज़ डेटा की हेवी-टेल्ड वास्तविकता के बीच के अंतर को पाट सकें।

सीमाएं: लेखक नोट करते हैं कि यह बेंचमार्क पूरी तरह से विकिपीडिया डेटा से लिया गया है और यह सभी प्रकार के वास्तविक दुनिया के नॉन-स्टेशनैरिटीज (जैसे अचानक होने वाले रिजीम शिफ्ट या एडवरसेरियल मैनिपुलेशन) को कैप्चर नहीं कर सकता है। फलस्वरूप, निकाले गए निष्कर्ष अलग-अलग डेटा जनरेटिंग मैकेनिज्म द्वारा संचालित टाइम सीरीज़ पर पूरी तरह से लागू नहीं हो सकते हैं।