💻 computer science

Towards Principled Test-Time Adaptation for Time Series Forecasting

यह शोध पत्र परिपक्व ग्राउंड ट्रुथ (matured ground truth) पर आधारित टाइम सीरीज़ फोरकास्टिंग के लिए एक सिद्धांत-आधारित टेस्ट-टाइम अडैप्टेशन प्रोटोकॉल प्रस्तावित करता है और फ्रीक्वेंसी-अवेयर कैलिब्रेशन (FAC) का परिचय देता है, जो एक हल्का तरीका है जो फ्रीक्वेंसी डोमेन में सीधे प्रेडिक्शन सुधारों को पैरामीटराइज़ करके प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Haochun Wang, Ruichen Xu, Georgios Kementzidis, Karen Cho, Sebastian Ramirez Villarreal, Yuefan Deng

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haochun Wang, Ruichen Xu, Georgios Kementzidis, Karen Cho, Sebastian Ramirez Villarreal, Yuefan Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Towards Principled Test-Time Adaptation for Time Series Forecasting" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य समस्या: "पुराना" मौसम का पूर्वानुमान

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट वेदर ऐप है। इसे वर्षों के ऐतिहासिक डेटा पर प्रशिक्षित किया गया था ताकि यह मौसम की भविष्यवाणी कर सके। लेकिन मौसम बदलता है। एक दिन, अचानक गर्मी की लहर आती है जिसकी उम्मीद ऐप को नहीं थी। ऐप के पूर्वानुमान खराब होने लगते हैं क्योंकि जो "नियम" उसने सीखे थे, वे अब वास्तविकता से मेल नहीं खाते। इसे डिस्ट्रीब्यूशन शिफ्ट (distribution shift) कहा जाता है।

कंप्यूटर की दुनिया में, यह टाइम सीरीज़ फोरकास्टिंग (TSF) के साथ होता है—जैसे स्टॉक की कीमतें, ऊर्जा का उपयोग, या ट्रैफिक प्रवाह की भविष्यवाणी करना। जब वास्तविक दुनिया का डेटा बदलता है, तो मॉडल के पूर्वानुमान पटरी से उतर जाते हैं।

वर्तमान समाधान: "टेस्ट-टाइम अडैप्टेशन" (TTA)

इसे ठीक करने के लिए, शोधकर्ता टेस्ट-टाइम अडैप्टेशन (TTA) का उपयोग करते हैं। TTA को एक ऐसे मैकेनिक के रूप में सोचें जो कार चलाने के दौरान ही इंजन को ट्यून करता है, इस आधार पर कि अभी सड़क कैसी महसूस हो रही है। पूरी कार को फिर से बनाने (जिसमें बहुत समय लगता है) के बजाय, मैकेनिक छोटे-छोटे समायोजन करता है ताकि कार सुचारू रूप से चलती रहे।

हालाँकि, इस शोध पत्र के लेखकों ने देखा कि वर्तमान "मैकेनिक" (मौजूदा TTA विधियाँ) अव्यवस्थित हैं। वे इस बात के लिए अलग-अलग नियमों का उपयोग करते हैं कि कब और कैसे समायोजन किया जाए, और उनमें से कुछ नियम तार्किक रूप से भ्रमित करने वाले हैं।

शोध पत्र का पहला योगदान: नियमों को साफ करना

लेखकों का तर्क है कि हमें एक "साफ प्रोटोकॉल" (Cleaner Protocol) की आवश्यकता है।

उपमा: "पूरा किया गया होमवर्क" का नियम
कल्पना कीजिए कि आप होमवर्क ग्रेड करने वाले एक शिक्षक हैं।

अव्यवस्थित तरीका (मौजूदा विधियाँ): आप छात्र का निबंध लिखते समय ही उसे ग्रेड करने की कोशिश करते हैं। आप पहला पैराग्राफ देखते हैं, अनुमान लगाते हैं कि बाकी क्या होगा, और उस अनुमान के आधार पर अपने ग्रेडिंग नियम को बदलते हैं। फिर, आप कल के एक छात्र के निबंध को भी देखते हैं जो पूरी तरह से समाप्त हो चुका है। आप अगले छात्र को ग्रेड करने का निर्णय लेने के लिए इन दोनों संकेतों को आपस में मिला देते हैं। यह भ्रमित करने वाला और संभावित रूप से अनुचित है।
साफ तरीका (यह शोध पत्र): आप केवल उन निबंधों को ग्रेड करते हैं जो 100% पूरे हैं। आप छात्र के पूरा पेपर जमा करने का इंतज़ार करते हैं। आप अंतिम परिणाम देखते हैं, देखते हैं कि वे कहाँ गलत थे, और केवल उस पूर्ण, समाप्त कार्य के आधार पर अपने ग्रेडिंग नियम को समायोजित करते हैं। यह आंशिक, अपूर्ण जानकारी के आधार पर अनुकूलित (adapt) करने के भ्रम को दूर करता है।

लेखक इसे "मैच्योर्ड ग्राउंड ट्रुथ" (Matured Ground Truth) कहते हैं। उनका प्रस्ताव है कि अनुकूलन (adaptation) तभी होना चाहिए जब पूर्ण भविष्यवाणी क्षितिज (prediction horizon) को देखा और सत्यापित किया जा चुका हो। यह आंशिक, अधूरी जानकारी के आधार पर अनुकूलित करने के भ्रम को हटा देता है।

शोध पत्र का दूसरा योगदान: "फ्रीक्वेंसी" का निदान

लेखकों ने देखा कि मौजूदा विधियाँ (जैसे TAFAS और PETSA) अपने पूर्वानुमानों को कैसे ठीक करती हैं। उन्होंने फ्रीक्वेंसी डोमेन (frequency domain) में इन सुधारों का विश्लेषण किया।

उपमा: रेडियो ट्यून करना
एक टाइम सीरीज़ (जैसे स्टॉक चार्ट) को एक जटिल ध्वनि के रूप में सोचें जो एक साथ बज रहे कई अलग-अलग संगीत नोट्स (फ्रीक्वेंसी) से बनी है। कुछ नोट्स कम और धीमे होते हैं (लंबे समय के रुझान), और कुछ उच्च और तेज़ होते हैं (अल्पकालिक शोर)।

मौजूदा विधियाँ: जब ये विधियाँ एक गलत भविष्यवाणी को ठीक करने की कोशिश करती हैं, तो वे एक कुंद उपकरण (blunt instrument) की तरह काम करती हैं। वे सब कुछ बहुत तेज़ कर देती हैं या सामान्य रूप से ध्वनि को सुचारू बना देती हैं। वे विशिष्ट गलत नोट्स के बीच अंतर नहीं करती हैं।
निदान: लेखकों ने पाया कि ये मौजूदा सुधार "कमजोर रूप से संरचित" (weakly structured) हैं। वे सुचारू और अस्पष्ट हैं, विशिष्ट समस्याओं को लक्षित नहीं करते हैं।

शोध पत्र का समाधान: फ्रीक्वेंसी-अवेयर कैलिब्रेशन (FAC)

इस निदान के आधार पर, लेखकों ने फ फ्रीक्वेंसी-अवेयर कैलिब्रेशन (FAC) नामक एक नया टूल बनाया।

उपमा: प्रिसिजन इक्वलाइज़र (Precision Equalizer)
एक कुंद उपकरण के बजाय, FAC एक पेशेवर ऑडियो इंजीनियर के इक्वलाइज़र की तरह है।

यह भविष्यवाणी को लेता है और इसे इसके व्यक्तिगत संगीत नोट्स में तोड़ देता है (एक गणितीय उपकरण जिसे FFT कहा जाता है)।
यह प्रत्येक नोट को अलग से देखता है।
यह केवल उन विशिष्ट नोट्स को समायोजित करने के लिए एक सटीक "मास्क" लागू करता है जो सुर से बाहर (off-key) हैं।
यह ध्वनि को वापस जोड़ देता है।

क्योंकि यह "फ्रीक्वेंसी डोमेन" में काम करता है, इसलिए यह बहुत विशिष्ट, लक्षित सुधार कर सकता है। यह हल्का (lightweight) भी है। इसे यह करने के लिए किसी बहुत बड़े, जटिल मस्तिष्क की आवश्यकता नहीं है; इसे बस आवृत्तियों (frequencies) को ट्यून करने के लिए छोटे डायलों के एक सेट की आवश्यकता होती है।

परिणाम: बेहतर और सस्ता

लेखकों ने विभिन्न डेटासेट्स (मौसम, बिजली, विनिमय दर) पर अन्य विधियों के मुकाबले FAC का परीक्षण किया।

प्रदर्शन: FAC ने मौजूदा विधियों के बराबर या उनसे बेहतर प्रदर्शन किया। इसने पूर्वानुमानों में लगातार सुधार किया।
दक्षता: FAC बहुत छोटा है। यह काफी कम "प्रशिक्षण योग्य मापदंडों" (trainable parameters - वे आंतरिक नॉब्स जिन्हें AI समायोजित करता है) का उपयोग करता है।
- उपमा: मौजूदा विधियाँ कार को ट्यून करने के लिए 10 मैकेनिकों की टीम को काम पर रखने जैसी हैं। FAC एक विशेषज्ञ मैकेनिक को नियुक्त करने जैसा है जिसके पास एक विशेष टूलकिट है। काम उतना ही अच्छा होता है, लेकिन इसमें अतिरिक्त बोझ बहुत कम होता है।

सारांश

समस्या: जब वास्तविक दुनिया का डेटा बदलता है, तो AI पूर्वानुमानित करने वाले भ्रमित हो जाते हैं।
समाधान: हमें AI को अपडेट करने के लिए एक साफ नियम की आवश्यकता है। सीखने के लिए केवल पूरी तरह से पूर्ण पिछले पूर्वानुमानों का उपयोग करें, न कि आंशिक अनुमानों का।
उपकरण: लेखकों ने FAC बनाया, एक हल्का एडॉप्टर जो डेटा के विशिष्ट "फ्रीक्वेंसी" (पैटर्न) को ट्यून करके भविष्यवाणियों को ठीक करता है, बजाय इसके कि व्यापक, अस्पष्ट समायोजन किए जाएं।
परिणाम: यह अच्छा काम करता है, सुसंगत है, और पिछले तरीकों की तुलना में बहुत अधिक कुशल है।

तकनीकी सारांश: टाइम सीरीज़ फोरकास्टिंग के लिए सिद्धांतपूर्ण टेस्ट-टाइम अडैप्टेशन की ओर

समस्या विवरण
टाइम सीरीज़ फोरकास्टिंग (TSF) वास्तविक दुनिया में तैनाती के दौरान नॉन-स्टेशनैरिटी के कारण होने वाले डिस्ट्रीब्यूशन शिफ्ट्स के कारण महत्वपूर्ण चुनौतियों का सामना करती है। जबकि टेस्ट-टाइम अडैप्टेशन (TTA) पूर्व-प्रशिक्षित सोर्स फोरकास्टर्स को बदलते डिस्ट्रीब्यूशन के अनुकूल बनाने के लिए एक आशाजनक समाधान के रूप में उभरा है, मौजूदा TSF-TTA विधियों में इस बात के संबंध में एक एकीकृत सूत्रीकरण (unified formulation) का अभाव है कि वे प्रकट किए गए ग्राउंड ट्रुथ टारगेट्स का उपयोग कैसे करती हैं। वर्तमान प्रोटोकॉल विषम (heterogeneous) हैं: कुछ "मिक्स्ड सुपरविजन" का उपयोग करते हैं जिसमें आंशिक रूप से देखे गए ग्राउंड ट्रुथ (POGT) और परिपक्व (matured) ग्राउंड ट्रुथ दोनों शामिल हैं, जबकि अन्य प्रकट किए गए टारगेट्स पर आधारित "स्ट्रीमिंग अडैप्टेशन" का उपयोग करते हैं। लेखक तर्क देते हैं कि इन प्रोटोकॉल में "प्रोटोकॉल क्लीनलीनेस" (protocol cleanliness) की कमी है। विशेष रूप से, POGT का उपयोग करने से यह प्रश्न उठता है कि क्या प्रकट किए गए मानों (values) का उपयोग सुपरविजन सिग्नल के रूप में किया जाना चाहिए या केवल आगामी भविष्यवाणियों के लिए इनपुट कॉन्टेक्स्ट के रूप रूप में। इसके अलावा, स्ट्रीमिंग अडैप्टेशन उन लक्ष्यों के लिए सुपरविजन का उपयोग कर सकता है जो भविष्य के प्रेडिक्शन स्पैन के सापेक्ष अभी तक "परिपक्व" (matured) नहीं हुए हैं, जिससे इवैल्यूएशन लीकेज या अवास्तविक सेटअप की स्थिति उत्पन्न हो सकती है।

कार्यप्रणाली
इन मुद्दों को संबोधित करने के लिए, लेखक एक स्वच्छ अनुकूलन प्रोटोकॉल और एक नया लाइटवेट एडैप्टर प्रस्तावित करते हैं।

सिद्धांतपूर्ण अनुकूलन प्रोटोकॉल (Principled Adaptation Protocol): लेखक केवल परिपक्व ग्राउंड ट्रुथ (matured ground truth) पर आधारित एक अनुकूलन प्रोटोकॉल की वकालत करते हैं। एक मिनी-बैच को तब "परिपक्व" माना जाता है जब उस बैच के भीतर प्रत्येक सैंपल के लिए पूर्ण टारगेट होराइजन पूरी तरह से देखा जा चुका हो। इस प्रोटोकॉल के तहत, अनुकूलन केवल पहले से परिपक्व टारगेट्स द्वारा ट्रिगर किया जाता है, जो अनुकूलन सिग्नल को वर्तमान मिनी-बैच के आंशिक रूप से देखे गए डेटा से अलग करता है। यह सुनिश्चित करता है कि एडैप्टर को अपडेट करने के लिए उपयोग किया जाने वाला सुपरविजन, बाद के रोलिंग विंडोज़ के भविष्य के प्रेडिक्शन स्पैन के साथ ओवरलैप न हो, जिससे एक स्वच्छ और अधिक सिद्धांतपूर्ण सेटिंग प्राप्त होती है।
फ्रीक्वेंसी-अवेयर कैलिब्रेशन (FAC): मौजूदा एडैप्टर्स के फ्रीक्वेंसी-डोमेन डायग्नोसिस से प्रेरित होकर, लेखक FAC का प्रस्ताव करते हैं। लेखक देखते हैं कि मौजूदा विधियाँ (जैसे, TAFAS, PETSA) अक्सर स्मूथ, कमजोर रूप से संरचित स्पेक्ट्रल संशोधनों के साथ प्रेडिक्शन करेक्शन उत्पन्न करती हैं। इसके विपरीत, FAC सीधे फ्रीक्वेंसी डोमेन में प्रेडिक्शन करेक्शन को पैरामीटराइज करता है।
- आर्किटेक्चर: FAC में इनपुट और आउटपुट फ्रीक्वेंसी-डोमेन गेटेड कैलिब्रेशन मॉड्यूल (FreqGCMs) शामिल हैं। प्रत्येक मॉड्यूल सिग्नल (इनपुट या फोरकास्ट) को FFT के माध्यम से फ्रीक्वेंसी डोमेन में बदलता है, एक लर्न करने योग्य कॉम्प्लेक्स एफ़ाइन मास्क (एलिमेंट-वाइज स्केलिंग और फेज शिफ्टिंग) लागू करता है, इनवर्स FFT के माध्यम से करेक्शन को वापस टेम्पोरल डोमेन में मैप करता है, और करेक्शन के परिमाण को नियंत्रित करने के लिए एक हाइपरबोलिक-टैंजेंट गेट लागू करता है।
- पैरामीटराइजेशन: डेंस टेम्पोरल कैलिब्रेशन या लो-रैंक टेम्पोरल एडैप्टर्स के विपरीत, FAC फ्रीक्वेंसी डोमेन में एक एलिमेंट-वाइज कॉम्प्लेक्स एफ़ाइन ट्रांसफॉर्मेशन का उपयोग करता है। यह विशिष्ट फूरियर घटकों (Fourier components) के चयनात्मक समायोजन की अनुमति देता है, जिसके परिणामस्वरूप अधिक स्थानीयकृत स्पेक्ट्रल करेक्शन प्राप्त होते हैं।

प्रमुख योगदान

प्रोटोकॉल का पुनर्मूल्यांकन: लेखक प्रकट किए गए टारगेट्स की भूमिका का पुनर्मूल्यांकन करते हैं, यह प्रदर्शित करते हुए कि केवल परिपक्व ग्राउंड ट्रुथ पर आधारित प्रोटोकॉल, मिक्स्ड या स्ट्रीमिंग सुपरविजन प्रोटोकॉल की तुलना में अधिक स्वच्छ और सिद्धांतपूर्ण है।
फ्रीक्वेंसी-डोमेन डायग्नोसिस: लेखक एक विश्लेषण प्रदान करते हैं जो दिखाता है कि मौजूदा TSF-TTA विधियाँ अक्सर अपने प्रेडिक्शन करेक्शन में सीमित और कमजोर रूप से संरचित स्पेक्ट्रल संशोधन प्रदर्शित करती हैं।
FAC विधि: फ्रीक्वेंसी डोमेन में स्ट्रक्चर्ड स्पेक्ट्रल रेसिडुअल्स को स्पष्ट रूप से मॉडल करने वाले एक लाइटवेट एडैप्टर, फ्रीक्वेंसी-अवेयर कैलिब्रेशन (FAC) का प्रस्ताव।

परिणाम
लेखक छह मल्टीवेरिएट TSF बेंचमार्क डेटासेट्स (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Exchange) पर विभिन्न फोरकास्टिंग होराइजन और पांच सोर्स फोरकास्टर्स (iTransformer, PatchTST, DLinear, OLS, FreTS) के तहत FAC का मूल्यांकन करते हैं।

फोरकास्टिंग प्रदर्शन: प्रस्तावित परिपक्व-ग्राउंड-ट्रुथ-ओनली प्रोटोकॉल के तहत, FAC प्रतिस्पर्धी और सुसंगत प्रदर्शन प्राप्त करता है, जो अक्सर TAFAS और PETSA के बराबर या उनसे बेहतर होता है। परिणाम दर्शाते हैं कि परिपक्व ग्राउंड ट्रुथ एक प्रभावी अनुकूलन सिग्नल है।
पैरामीटर दक्षता: FAC, तुलनात्मक विधियों की तुलना में काफी कम ट्रेन करने योग्य पैरामीटर्स की आवश्यकता रखता है। जहाँ TAFAS सीक्वेंस लेंथ के साथ द्विघात (quadratically) रूप से स्केल करता है ( $O(C(L^2 + H^2))$ ) और PETSA रैंक के साथ रैखिक (linearly) रूप से स्केल करता है ($O(Cr(L + H))$), वहीं FAC बिना किसी रैंक फैक्टर के सीक्वेंस लेंथ और वेरिएबल्स के साथ रैखिक रूप से स्केल करता है ( $O(C(L + H))$ )।
स्पेक्ट्रल व्यवहार: फ्रीक्वेंसी-डोमेन करेक्शन का विश्लेषण दिखाता है कि FAC, TAFAS और PETSA के स्मूथ स्पेक्ट्रा की तुलना में अधिक स्थानीयकृत पीक्स (localized peaks) उत्पन्न करता है, जो इसकी फ्रीक्वेंसी-सिलेक्टिव अडैप्टेशन क्षमता की पुष्टि करता है।

महत्व और सीमाएं
पेपर का दावा है कि यह TSF-TTA के लिए एक स्वच्छ, अधिक सिद्धांतपूर्ण ढांचा स्थापित करके महत्व रखता है, जो मिक्स्ड या स्ट्रीमिंग प्रोटोकॉल की अस्पष्टताओं और संभावित लीकेज मुद्दों से बचता है। यह लाइटवेट और प्रभावी अनुकूलन के लिए डायरेक्ट फ्रीक्वेंसी-डोमेन पैरामीटराइजेशन के लाभ को भी उजागर करता है।

लेखक सीमाओं को स्वीकार करते हैं:

फीडबैक डिले (Feedback Delay): मिनी-बैच स्तर पर परिपक्वता (maturation) की सख्त परिभाषा, विशेष रूप से जब फोरकास्टिंग होराइजन या मिनी-बैच साइज बड़े हों, तो अतिरिक्त फीडबैक डिले पेश कर सकती है।
रनटाइम ओवरहेड: हालांकि FAC, पैरामीटर-एफिशिएंट है, लेकिन FFT/iFFT ऑपरेशंस और टेंसर ट्रांसफॉर्मेशन का कम्प्यूटेशनल ओवरहेड कुछ सेटिंग्स में TAFAS जैसी विधियों की तुलना में उच्च वॉल-क्लॉक रनटाइम का कारण बन सकता है।

सुझाया गया है कि भविष्य के कार्य में अधिक लचीले मैच्योर्ड-सुपरविजन कार्यान्वयन की खोज की जाए जिनके लिए पूरे मिनी-बैच के परिपक्व होने की प्रतीक्षा करने की आवश्यकता न हो और दक्षता में सुधार के लिए कई उपलब्ध परिपक्व मिनी-बैचेस का उपयोग किया जा सके।