TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

टाइम सीरीज़ फोरकास्टिंग (समय श्रृंखला पूर्वानुमान) समय के साथ दर्ज किए गए संख्याओं के एक क्रम को देखकर यह अनुमान लगाने का विज्ञान है कि आगे क्या होगा। यह पेट्रोल की कीमत से लेकर फ्लू के प्रकोप के प्रसार तक सब कुछ भविष्यवाणी करने के पीछे का इंजन है। दशकों से, सबसे सफल विधियों ने लगभग पूरी तरह से संख्याओं पर ही भरोसा किया है, जो भविष्य में उन्हें प्रोजेक्ट करने के लिए अतीत के पैटर्न की तलाश करती हैं। हालाँकि, वास्तविक दुनिया शायद ही कभी केवल संख्याओं का प्रवाह होती है। यह समाचार सुर्खियों, सरकारी नीतियों और अप्रत्याशित घटनाओं से प्रभावित एक जटिल प्रणाली है जो अक्सर डेटा पॉइंट्स के बजाय टेक्स्ट (पाठ) के रूप में दिखाई देती हैं। जबकि मनुष्य आपूर्ति श्रृंखला में व्यवधान के बारे में एक समाचार रिपोर्ट पढ़कर भविष्य की कीमतों के लिए अपनी अपेक्षाओं को समायोजित कर लेते हैं, पारंपरिक कंप्यूटर मॉडल ऐसा करने में संघर्ष करते रहे हैं। वे अक्सर टेक्स्ट को एक अलग, भ्रमित करने वाले स्तर के रूप में देखते हैं जो संख्यात्मक डेटा के सुचारू प्रवाह के साथ संरेखित करना कठिन होता है, जिससे ऐसी भविष्यवाणियां होती हैं जो दुनिया बदलने पर सटीक नहीं बैठतीं।

त्सिंहुआ विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस अंतर को पाटने का एक नया तरीका प्रस्तावित किया है, जिसे 'TiMi' नामक प्रणाली कहा गया है। टेक्स्ट और संख्याओं को एक ही कठोर प्रारूप में जबरदस्ती फिट करने के बजाय, उनका दृष्टिकोण इन दोनों को दो अलग लेकिन सहयोगात्मक मार्गदर्शकों के रूप में देखता है। मुख्य विचार एक 'लार्ज लैंग्वेज मॉडल' (एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो मानव लेखन की विशाल मात्रा पर प्रशिक्षित है) का उपयोग करना है, जो टेक्स्ट को पढ़े और इस बात पर तर्क दे सके कि भविष्य के लिए इसका क्या अर्थ है। यह मॉडल केवल शब्दों को याद नहीं करता; बल्कि यह भविष्य के कारणों का अनुमान लगाने के लिए उनका विश्लेषण करता है, जैसे कि क्या एक नई नीति बिक्री को बढ़ाएगी या घटाएगी। इस तर्क को फिर एक विशेष पूर्वानुमान इंजन (forecasting engine) को भेजा जाता है जो अपनी संख्यात्मक भविष्यवाणियों को परिष्कृत करने के लिए इस अंतर्दight का उपयोग करता है। शोधकर्ताओं ने पाया कि भाषा मॉडल को संख्याओं के लिए एक मार्गदर्शक के रूप में उपयोग करके, न कि उन्हें एक ही अस्त-व्यस्त मिश्रण में मिलाने की कोशिश करके, यह प्रणाली काफी अधिक सटीक पूर्वानुमान लगा सकती है।

शोधकर्ताओं ने कृषि, जलवायु, ऊर्जा और सार्वजनिक स्वास्थ्य जैसे विविध क्षेत्रों को कवर करने वाले सोलह विभिन्न वास्तविक दुनिया के डेटासेट्स पर इस पद्धति का परीक्षण किया। इन परीक्षणों में, यह नई प्रणाली मौजूदा उन्नत मॉडलों को भी लगातार पछाड़ गई, जिन्होंने पहले टेक्स्ट और संख्याओं को संयोजित करने का प्रयास किया था। परिणाम विशेष रूप से उन परिदृश्यों में उल्लेखनीय थे जहाँ टेक्स्ट ने संख्याओं में बदलाव का स्पष्ट कारण प्रदान किया, जैसे कि स्मार्टफोन रिकॉल की रिपोर्ट के कारण बिक्री में भारी गिरावट आना। इन मामलों में, नई प्रणाली ने गिरावट का अनुमान लगाने के लिए टेक्स्ट का सफलतापूर्वक उपयोग किया, जबकि अन्य मॉडल अचानक आए इस बदलाव को पकड़ने में विफल रहे। अध्ययन बताता है कि बेहतर पूर्वानुमान की कुंजी विभिन्न प्रकार के डेटा को एक जैसा बनाने में नहीं है, बल्कि प्रत्येक को वह करने देने में है जिसमें वह सर्वश्रेष्ठ है: टेक्स्ट कहानी और कारण प्रदान करता है, जबकि संख्याएँ रिकॉर्ड और रुझान प्रदान करती हैं।

इसे काम करने के योग्य बनाने के लिए, टीम ने एक मॉड्यूलर सिस्टम डिजाइन किया है जो विशेषज्ञ सलाहकारों के एक सेट की तरह कार्य करता है। सिस्टम का एक हिस्सा पूरी तरह से ऐतिहासिक संख्याओं पर ध्यान केंद्रित करता है, जो डेटा के दीर्घकालिक लय और पैटर्न को सीखता है। दूसरा हिस्सा टेक्स्ट पर ध्यान केंद्रित करता है, जो भविष्य के रुझानों (जैसे कि दृष्टिकोण बढ़ रहा है, घट रहा है या स्थिर है) के बारे में संरचित अंतर्दृष्टि निकालने के लिए लैंग्वेज मॉडल का उपयोग करता है। इन सूचनाओं की दो धाराओं को इस तरह से एक साथ लाया जाता है कि सिस्टम विशिष्ट क्षण के लिए सबसे प्रासंगिक सलाह चुन सके। यदि टेक्स्ट सुझाव देता है कि कोई बड़ी घटना आने वाली है, तो सिस्टम उस अंतर्दृight पर अधिक निर्भर रहता है। यदि टेक्स्ट अस्पष्ट या अप्रासंगिक है, तो सिस्टम ऐतिहासिक पैटर्न पर अधिक भरोसा करता है। यह लचीलापन मॉडल को अव्यवस्थित, वास्तविक दुनिया के डेटा को संभालने की अनुमति देता है जहाँ टेक्स्ट और संख्याएं एक ही समय में या एक ही प्रारूप में नहीं पहुँचते हैं।

शोधकर्ताओं ने यह भी पता लगाया कि यह प्रणाली अनियमित डेटा के साथ कितनी अच्छी तरह काम करती है, जो वास्तविक दुनिया में आम है। कई स्थितियों में, समाचार रिपोर्ट अप्रत्याशित समय पर आ सकती हैं, या कुछ दिनों के लिए डेटा गायब हो सकता है। पारंपरिक मॉडल इन अंतरालों के साथ संघर्ष करते हैं, लेकिन नया सिस्टम इन्हें आसानी से संभाल लेता है। क्योंकि यह संख्याओं और टेक्स्ट को मिलाने से पहले उन्हें अलग-अलग प्रोसेस करता है, इसलिए इसे दोनों के बीच सटीक समय की आवश्यकता नहीं होती है। अनियमित डेटासेट्स पर परीक्षणों में, इस सिस्टम ने मानक तरीकों की तुलना में भविष्यवाणी त्रुटियों को लगभग तीस प्रतिशत तक कम कर दिया। यह मजबूती बताती है कि यह दृष्टिकोण केवल एक सैद्धांतिक सुधार नहीं है, बल्कि एक व्यावहारिक उपकरण है जो वास्तविक अनुप्रयोगों में पाए जाने वाले अपूर्ण और असिंक्रोनस डेटा के साथ काम कर सकता है।

अध्ययन का एक महत्वपूर्ण हिस्सा यह समझना था कि सिस्टम अपने निर्णय कैसे लेता है। शोधकर्ताओं ने पाया कि सिस्टम स्वाभाविक रूप से समान प्रकार के डेटा रुझानों को एक साथ समूहित करता है। उदाहरण के लिए, जब सिस्टम से एक मजबूत बढ़ते हुए रुझान वाले डेटासेट के भविष्य की भविष्यवाणी करने के लिए कहा गया, तो इसने लगातार अपने आंतरिक तर्क के एक विशिष्ट भाग पर भरोसा किया। जब रुझान नीचे की ओर था, तो इसने दूसरे भाग पर स्विच कर दिया। यह व्यवहार इंगित करता है कि सिस्टम केवल अनुमान नहीं लगा रहा है; यह विशेषज्ञता हासिल करना सीख रहा है, और भविष्य के विभिन्न परिदृश्यों को संभालने के लिए अपने मस्तिष्क के भीतर अलग-अलग "विशेषज्ञों" को नियुक्त कर रहा है। इसके अलावा, अध्ययन ने दिखाया कि टेक्स्ट की गुणवत्ता मायने रखती है। जब शोधकर्ताओं ने सिस्टम में शोर युक्त या अप्रासंगिक टेक्स्ट डाला, तो सिस्टम का प्रदर्शन केवल थोड़ा ही गिरा, जिससे सिद्ध हुआ कि यह शोर को छान सकता है और मुख्य संकेत (signal) पर ध्यान केंद्रित कर सकता है।

निष्कर्ष इस प्रचलित विचार को चुनौती देते हैं कि टेक्स्ट और संख्याओं को मिलाने का सबसे अच्छा तरीका उन्हें एक एकल, एकीकृत प्रतिनिधित्व में मिला देना है। पिछले प्रयासों ने अक्सर टेक्स्ट को एक संख्यात्मक कोड में अनुवाद करने की कोशिश की जिसे सीधे टाइम सीरीज़ डेटा के साथ मिलाया जा सके, एक ऐसी प्रक्रिया जिसने अक्सर टेक्स्ट के अर्थ को कमज़ोर कर दिया। नया दृष्टिकोण इस संलयन (fusion) के बजाय एक निर्देशित बातचीत (guided interaction) को प्राथमिकता देता है। टेक्स्ट को कारण संबंधी तर्क के स्रोत के रूप में और संख्याओं को भविष्यवाणी के विषय के रूप में बनाए रखकर, सिस्टम दोनों की अनूठी शक्तियों को सुरक्षित रखता है। शोधकर्ताओं ने प्रदर्शित किया कि यह पद्धति इन्फ्लुएंजा के मामलों को ट्रैक करने से लेकर ट्रैफिक वॉल्यूम की भविष्यवाणी करने तक, विभिन्न डोमेन में काम करती है, जो यह सुझाव देती है कि टेक्स्ट को पढ़ने और उस पर तर्क करने की क्षमता पूर्वानुमान के लिए एक सार्वभौमिक संपत्ति है।

अंततः, यह कार्य टाइम सीरीज़ विश्लेषण में आर्टिफिशियल इंटेलिजेंस के लिए एक स्पष्ट मार्ग प्रदान करता है। यह दिखाता है कि पूर्वानुमान का भविष्य केवल बड़े, अधिक जटिल मॉडल बनाने में नहीं है जो एक साथ सब कुछ करने की कोशिश करते हैं, बल्कि ऐसे सिस्टम डिजाइन करने में है जो जानते हैं कि विभिन्न प्रकार की जानकारी को कैसे सुनना है। एक लैंग्वेज मॉडल को समाचार पढ़ने और एक फोरकास्टिंग मॉडल को संख्याओं पर नज़र रखने देकर, और फिर उन्हें मिलकर काम करने देने से, सिस्टम उस स्तर की सटीकता और अनुकूलन क्षमता प्राप्त करता है जो अकेले उनमें से कोई भी नहीं पा सकता था। परिणाम बताते हैं कि जटिल प्रणालियों के भविष्य की भविष्यवाणी करने वाले किसी भी व्यक्ति के लिए, संख्याओं के पीछे की कहानी उतनी ही महत्वपूर्ण है जितनी कि स्वयं संख्याएँ।