Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data

तकनीकी सारांश: Chat-TS: टाइम-सीरीज और प्राकृतिक भाषा डेटा पर मल्टी-मोडल रीजनिंग को बेहतर बनाना

समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग स्वास्थ्य सेवा, वित्त और परिवहन जैसे डोमेन में तेजी से किया जा रहा है, जहाँ टाइम-सीरीज डेटा मौलिक है। हालाँकि, वर्तमान LLMs में टाइम-सीरीज डेटा और संबंधित टेक्स्ट कंटेंट को एक साथ एकीकृत करने वाली रीजनिंग करने की क्षमता का अभाव है। मौजूदा दृष्टिकोण अक्सर टाइम-सीरीज को टेक्स्ट फॉर्मेट में बदलते हैं या उन्हें मॉडल वेट्स में एम्बेड करते हैं, जो अक्सर मॉडल की अंतर्निहित नेचुरल लैंग्वेज अंडरस्टैंडिंग (NLU) और रीजनिंग क्षमताओं से समझौता करते हैं। इसके अलावा, यह क्षेत्र मल्टीमॉडल ट्रेनिंग डेटा की कमी और टाइम-सीरीज रीजनिंग के मूल्यांकन के लिए बड़े पैमाने के बेंचमार्क के अभाव से जूझ रहा है।

कार्यप्रणाली (Methodology)

लेखक Chat-TS का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे LLMs को उनकी मूल भाषा क्षमताओं को कम किए बिना टाइम-सीरीज और टेक्स्ट डेटा पर तर्क (reasoning) करने में सक्षम बनाने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली तीन प्राथमिक घटकों से मिलकर बनी है:

1. डिस्क्रीट टोकेनाइजेशन के माध्यम से शब्दावली विस्तार (Vocabulary Expansion)

टाइम-सीरीज रिप्रेजेंटेशन को टेक्स्ट एम्बेडिंग्स से मैप करने के लिए कनेक्टर्स का उपयोग करने के बजाय, Chat-TS LLM की शब्दावली का विस्तार करता है ताकि इसमें टाइम-सीरीज टोकन शामिल किए जा सकें।

• टोकेनाइज़र (Tokenizer): निरंतर संख्यात्मक टाइम-सीरीज मानों को डिस्क्रीट टोकन में बदलने के लिए एक लाइटवेट डिस्क्रीट टोकेनाइज़र पेश किया गया है। यह नॉर्मलाइज्ड टाइम-सीरीज रेंज $[-s, s]$ को $K-1$ बिन्स (जहाँ $K=8192$) में क्वांटाइज करता है और चैनल एंड्स को मार्क करने के लिए एक विशेष टोकन का उपयोग करता है।
• लाभ: यह दृष्टिकोण जटिल एनकोडर-डिकोडर आर्किटेक्चर को प्रशिक्षित करने की आवश्यकता के बिना टाइम-सीरीज डेटा का लगभग पूर्ण पुनर्निर्माण (reconstruction) करने की अनुमति देता है (विशेष रूप से 1,000 पॉइंट्स से कम के सीक्वेंस के लिए), जो आउट-ऑफ-डिस्ट्रीब्यूशन समस्याओं से ग्रस्त हो सकते हैं।

2. ट्रेनिंग रणनीति (Training Strategy)

फ्रेमवर्क NLU क्षमताओं को बनाए रखते हुए टाइम-सीरीज रीजनिंग कौशल प्राप्त करने के लिए एक दो-चरणीय प्रशिक्षण रणनीति का उपयोग करता है:

• चरण 1 (प्री-ट्रेनिंग): मॉडल को टाइम-सीरीज टोकन पर प्री-ट्रेन किया जाता है। दो इनिशियलाइजेशन विधियों का अन्वेषण किया गया है: मीन इनिशियलाइजेशन (मौजूदा टेक्स्ट टोकन के औसत के रूप में नए एम्बेडिंग्स सेट करना) और टाइम-सीरीज प्री-ट्रेनिंग (केवल एम्बेडिंग और फाइनल लीनियर लेयर्स को अनफ्रीज करना)।
• चरण 2 (इंस्ट्रक्शन ट्यूनिंग): एक डुअल-डेटासेट रणनीति का उपयोग किया जाता है। मॉडल को निम्नलिखित के संयोजन पर फाइन-ट्यून किया जाता है:
  • TS-Instruct: एक मल्टीमॉडल डेटासेट जो टाइम-सीरीज डेटा को टेक्स्ट निर्देशों के साथ जोड़ता है।
  • Open-Orca: शुद्ध प्राकृतिक भाषा निर्देश डेटा का एक बड़ा कॉर्पस।
    यह इंटरलीविंग सुनिश्चित करती है कि मॉडल अपनी सामान्य भाषा तर्क शक्ति को बनाए रखते हुए टाइम-सीरीज से जुड़े निर्देशों का पालन करना सीखता है।

3. डेटा क्यूरेशन (Dataset Curation)

डेटा की कमी को दूर करने के लिए, लेखक तीन नए डेटासेट्स प्रदान करते हैं:

• TS Instruct Training Dataset: GPT-4o-mini का उपयोग करके बनाया गया एक विविध मल्टीमॉडल डेटासेट, जो वास्तविक दुनिया की टाइम-सीरीज (LOTSA और Time-Series Classification Archive से) को सिंथेटिक कन्वर्सेशनल निर्देशों के साथ जोड़ता है, जिसमें रीजनिंग, क्लासिफिकेशन, निर्णय लेना और गणितीय विश्लेषण शामिल हैं।
• TS Instruct QA Gold Benchmark: मानव-सत्यापित 1,056 बहुविकल्पीय प्रश्नों का एक सेट, जिसे मल्टीमॉडल रीजनिंग क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
• TS Instruct Quantitative Probing Set: मात्रात्मक मूल्यांकन के लिए एक सबसेट जिसमें गणित और निर्णय लेने वाले कार्य शामिल हैं।

मुख्य योगदान

1. नए डेटासेट्स: TS Instruct Training Dataset और TS Instruct QA Gold Benchmark का रिलीज मल्टीमॉडल टाइम-सीरीज ट्रेनिंग और मूल्यांकन के संबंध में साहित्य में एक महत्वपूर्ण अंतर को भरता है।
2. आर्किटेक्चर: एक नया दृष्टिकोण जो टाइम-सीरीज टोकन को सीधे LLM की शब्दावली में एकीकृत करता है, जिससे मध्यवर्ती कनेक्टर्स की आवश्यकता समाप्त हो जाती है और मॉडल की मूल टेक्स्ट-जेनरेशन और रीजनिंग क्षमताओं को संरक्षित किया जाता है।
3. प्रदर्शन: प्रस्तावित विधि मौजूदा स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर मजबूत नेचुरल लैंग्वेज प्रवीणता बनाए रखते हुए मल्टीमॉडल रीजनिंग कार्यों में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करती है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Llama 3.1-8B मॉडल को बेस के रूप में उपयोग करके किए गए थे।

• टाइम-सीरीज रीजनिंग: TS Instruct QA Gold Benchmark पर, Chat-TS ने 67.22% का स्कोर प्राप्त किया, जो बेस Llama 3.1-8B (54.22%) और Phi-3-medium-4k (64.64%) जैसे अन्य बेसलाइन्स से बेहतर प्रदर्शन करता है। यह मौजूदा स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर लगभग 13% का औसत सुधार है।
• सामान्यीकरण (Generalization): जब MCQ2TS डेटासेट (एक सिंथेटिक डेटासेट जिसमें ट्रेनिंग डेटा से अलग काउंटर-फैक्टुअल रीजनिंग टास्क हैं) पर परीक्षण किया गया, तो Chat-TS बेस मॉडल के 36.5% से सुधरकर 47.6% हो गया, जो दर्शाता है कि प्रदर्शन में वृद्धि डेटा कंटैमिनेशन के कारण नहीं है।
• NLU का संरक्षण: MMLU-Pro, Big-Bench-Hard, और GPQA बेंचमार्क पर एब्लेशन अध्ययन ने दिखाया कि सभी Chat-TS वेरिएंट्स ने बेस Llama 3.1-8B मॉडल के भीतर ±2% के भीतर प्रदर्शन बनाए रखा। यह पुष्टि करता है कि टाइम-सीरीज रीजनिंग को एकीकृत करने से मॉडल की नेचुरल लैंग्वेज क्षमताओं में गिरावट नहीं आती है।
• एब्लेशन विश्लेषण: केवल टाइम-सीरीज डेटा पर प्रशिक्षित मॉडल (बिना इंटरलीव्ड टेक्स्ट के) इंस्ट्रक्शन फॉलोइंग में संघर्ष करते हैं। सबसे अच्छा प्रदर्शन उन मॉडल्स द्वारा प्राप्त किया गया जिन्हें Open-Orca टेक्स्ट डेटा और TS-Instruct मल्टीमॉडल डेटा (PreOrcaTS) के मिश्रण के साथ प्रशिक्षित किया गया था, जो मोडैलिटीज को इंटरलीव करने की आवश्यकता को उजागर करता है।

महत्व और सीमाएं

पेपर का दावा है कि Chat-TS मल्टीमॉडल रीजनिंग के लिए एक मजबूत बेसलाइन स्थापित करता है, यह प्रदर्शित करता है कि LLMs को उनकी बुनियादी भाषा कौशल से समझौता किए बिना टाइम-सीरीज विश्लेषण के लिए प्रभावी ढंग से बढ़ाया जा सकता है। यह कार्य ओपन-सोर्स मॉडल्स, डेटासेट्स और कोड द्वारा समर्थित, टेक्स्ट और टाइम-सीरीज को संभालने के लिए एक एकीकृत फ्रेमवर्क प्रदान करता है।

लेखक विशिष्ट सीमाओं को स्वीकार करते हैं:

• टाइम-सीरीज जेनरेशन: मॉडल वर्तमान में सटीक टाइम-सीरीज फोरकास्टिंग और जेनरेशन में संघर्ष करते हैं, जो मौसम या वित्तीय भविष्यवाणी जैसे क्षेत्रों में अनुप्रयोगों को सीमित करता है।
• जीरो-शॉट क्लासिफिकेशन: जीरो-शॉट टाइम-सीरीज क्लासिफिकेशन पर प्रदर्शन कमजोर है, जो अक्सर अनुमान लगाने या दोहराने में परिणत होता है।
• स्केलिंग: एक्सेसिबिलिटी के लिए प्रयोग एक 8B पैरामीटर मॉडल तक सीमित थे; लेखक सुझाव देते हैं कि डेटा वॉल्यूम और मॉडल साइज को बढ़ाने से संभवतः और सुधार होगा।

पेपर निष्कर्ष निकालता है कि जबकि Chat-TS टाइम-सीरीज रीजनिंग में स्टेट-ऑफ-द-आर्ट को आगे बढ़ाता है, भविष्य के कार्यों को टाइम-सीरीज डोमेन में मल्टीमॉडल LLMs की क्षमता को पूरी तरह से साकार करने के लिए जेनरेशन क्षमताओं और क्लासिफिकेशन मजबूती को संबोधित करना चाहिए।