💬 NLP

Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting

यह शोध पत्र TempoWave को प्रस्तुत करता है, जो एक नवीन मल्टी-वेवलेट डिजिट एम्बेडिंग इंटरफेस है जो स्केलर टाइम सीरीज़ अवलोकनों को ट्रांसफार्मर-अनुकूल निरूपणों में मैप करता है ताकि लार्ज लैंग्वेज मॉडल्स में संख्यात्मक मिसअलाइनमेंट (numerical misalignment) को दूर किया जा सके, जिससे संदर्भ-जागरूक टाइम सीरीज़ पूर्वानुमान में अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

प्रकाशित 2026-06-26

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, सुशिक्षित लाइब्रेरियन (लार्ज लैंग्वेज मॉडल, या LLM) है जो कहानियों, समाचारों और मानवीय बातचीत को समझने में माहिर है। आप इस लाइब्रेरियन से संख्याओं की एक लंबी सूची के आधार पर भविष्य के मौसम या स्टॉक की कीमतों की भविष्यवाणी करने के लिए कहना चाहते हैं।

समस्या क्या है? लाइब्रेरियन केवल "शब्दों" में बात करता है। वे स्वाभाविक रूप से 24.5 या -0.3849 जैसी कच्ची संख्याओं (raw numbers) को नहीं समझते। यदि आप उन्हें संख्याएँ खिलाने की कोशिश करते हैं, तो वे अक्सर उन्हें छोटे, भ्रमित करने वाले टुकड़ों में तोड़ देते हैं (जैसे "2026" को अलग-अलग शब्दों "20" और "26" के रूप में देखना)। इस कारण लाइब्रेरियन वास्तविक मान (value) का ट्रैक खो देता है, जिससे उनके अनुमान अविश्वसनीय हो जाते हैं।

समाधान: TempoWave
इस शोध के लेखकों ने एक विशेष अनुवादक बनाया है जिसे TempoWave कहा जाता है। इसे एक "यूनिवर्सल अडैप्टर" के रूप में सोचें जो सीधे लाइब्रेरियन के मस्तिष्क में प्लग हो जाता है, जिससे वे संख्याओं को शब्दों में बदलकर बोझिल बनाने के बजाय उन्हें सीधे समझने में सक्षम होते हैं।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. "अंक-दर-अंक" (Digit-by-Digit) अनुवादक

लाइब्रेरियन को 3.14 जैसी पूरी संख्या देने के बजाय, TempoWave इसे इसके व्यक्तिगत अंकों में तोड़ देता है: 3, ., 1, 4|

पुराना तरीका: लाइब्रेरियन "3" और "1" और "4" को आपस में बिना किसी संबंध वाले यादृच्छिक प्रतीकों के रूप में देखता है।
TempoWave का तरीका: यह प्रत्येक अंक को एक विशेष "आईडी कार्ड" देता है जो वेवलेट्स (Wavelets) नामक एक गणितीय उपकरण का उपयोग करके उसके आकार और माप का वर्णन करता है।

2. "वेवलेट" (Wavelet) उपमा: एक सिम्फनी को सुनना

कल्पना कीजिए कि आप एक सिम्फनी (Symphony) सुन रहे हैं।

मानक संख्याएँ: यदि आप केवल शीट संगीत (sheet music) को देखते हैं, तो आप केवल नोट्स देखते हैं।
वेवलेट्स: TempoWave एक सुपर-लिसनर की तरह है जो संगीत को विभिन्न परतों में तोड़ देता है: गहरी बास (वैश्विक रुझान/global trends), मध्यम रेंज की मेलोडी (मध्यम परिवर्तन), और उच्च-पिच वाले सिम्बल्स (छोटे, त्वरित उतार-चढ़ाव)।

जब TempoWave किसी अंक को देखता है, तो वह केवल एक प्रतीक नहीं देखता; यह वेवलेट्स की इन विभिन्न परतों का उपयोग करके उस अंक का एक "साउंडप्रिंट" (soundprint) बनाता है। यह सुनिश्चित करता है कि लाइब्रेरियन न केवल यह समझता है कि संख्या क्या है, बल्कि यह भी कि वह आसपास की संख्याओं के साथ कैसे संबंधित है। एक 3 स्पष्ट रूप से 4 से अलग है, और 3.1, 3.2 के करीब है।

3. यह क्यों महत्वपूर्ण है: "क्रम" (Order) को बनाए रखना

पुराने तरीके में, लाइब्रेरियन यह सोच सकता है कि 19 और 20 बहुत अलग हैं क्योंकि वे पूरी तरह से अलग शब्दों की तरह दिखते हैं। लेकिन वास्तव में, वे पड़ोसी हैं।

समस्या: मानक तरीके संख्याओं के "पड़ोस" (neighborhood) को तोड़ देते हैं।
समाधान: TempoWave उस पड़ोस को बरकरार रखता है। यह सुनिश्चित करता है कि यदि आप किसी संख्या को थोड़ा सा बदलते हैं (जैसे 10.0 को 10.1 में बदलना), तो लाइब्रेरियन का आंतरिक प्रतिनिधित्व केवल थोड़ा ही बदलता है, ठीक वैसे ही जैसे वास्तविक दुनिया में होता है। सटीक पूर्वानुमान के लिए यह अत्यंत महत्वपूर्ण है।

4. परिणाम: एक स्मार्ट लाइब्रेरियन

शोधकर्ताओं ने इस नए अडैप्टर का परीक्षण पांच अलग-अलग वास्तविक दुनिया के परिदृश्यों (जैसे बिजली का उपयोग, यातायात प्रवाह और बिटकॉइन की कीमतें) पर किया, जहाँ लाइब्रेरियन के पास अतिरिक्त संदर्भ (जैसे समाचार सुर्खियाँ या मौसम रिपोर्ट) भी उपलब्ध थे।

परिणाम: TempoWave से लैस लाइब्रेरियन पुराने, बोझिल संख्या विधियों का उपयोग करने वाले लाइब्रेरियनों की तुलना में काफी बेहतर भविष्यवाणियां करने में सक्षम रहा:
- विशेष रूप से केवल संख्याओं के लिए डिज़ाइन किए गए "मैथ-ओनली" रोबोट्स की तुलना में भी।
मुख्य निष्कर्ष: लाइब्रेरियन को संख्याओं को शब्दों की तरह केवल "पढ़ने" के बजाय, उन संख्याओं की संरचना को "सुनने" (उन वेवलेट परतों का उपयोग करके) का तरीका देने से, भविष्यवाणियां बहुत अधिक सटीक और विश्वसनीय हो गईं।

संक्षेप में: यह शोध दिखाता है कि यदि आप चाहते हैं कि कोई AI संख्याओं के मामले में अच्छा हो, तो आपको उसे उन्हें एक किताब की तरह पढ़ने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, आपको उसे एक विशेष इंटरफ़ेस (TempoWave) देना चाहिए जो संख्याओं को एक समृद्ध, बहु-स्तरीय भाषा में अनुवादित करे जिसे AI वास्तव में समझ सके, जिससे मूल्यों के बीच के नाजुक संबंधों को सुरक्षित रखा जा सके।

तकनीकी सारांश: TempoWave – टाइम सीरीज़ फोरकास्टिंग के लिए मल्टी-वेवलेट नंबर एम्बेडिंग्स

1. समस्या विवरण

टाइम सीरीज़ फोरकास्टिंग में लार्ज लैंग्वेज मॉडल्स (LLMs) का एकीकरण एक मौलिक आर्किटेक्चरल विसंगति का सामना करता है। LLMs डिस्क्रीट टोकन प्रेडिक्शन (discrete token prediction) के लिए अनुकूलित हैं, जबकि टाइम सीरीज़ फोरकास्टिंग को निरंतर संख्यात्मक मानों (continuous numerical values) के सटीक मॉडलिंग की आवश्यकता होती है। मानक भाषा-उन्मुख टोकेनाइजेशन विधियाँ (जैसे, "2026" को "20" और "26" में तोड़ना) संख्याओं को ऐसे सब-टोकन्स में खंडित कर देती हैं जो उनकी परिमाण (magnitude) से बंधे नहीं होते हैं। यह विखंडन क्रमिक संबंधों (ordinal relations) को तोड़ देता है, टेम्पोरल प्रक्रियाओं की अंतर्निहित निरंतरता को अस्पष्ट कर देता है, और संख्यात्मक रूप से दूर स्थित मानों के बीच अस्वाभाविक समानताएं उत्पन्न करता है। फलस्वरूप, वास्तविक-मान वाले अनुक्रमों (real-valued sequences) और डिस्क्रीट टोकन के बीच का ट्रांसलेशन लेयर एक प्रमुख बाधा बन जाता है, जो अक्सर अविश्वसनीय संख्यात्मक व्यवहार की ओर ले जाता है, भले ही मॉडल उच्च-स्तरीय टेम्पोरल पैटर्न को पकड़ रहा हो।

इस अंतर को पाटने के प्रयास—जैसे कि विशेष फाउंडेशन मॉडल्स, एजेंटिक सिस्टम जो LLMs को टूल्स के साथ जोड़ते हैं, या पैचिंग और क्वांटाइजेशन जैसे इनपुट अनुकूलन—अक्सर संख्यात्मक निष्ठा (numerical faithfulness) से समझौता करते हैं, सूक्ष्म विविधताओं को धुंधला कर देते हैं, या बाहरी घटकों पर निर्भर होते हैं जो एंड-टू-एंड डिफरेंशिएबिलिटी को कम करते हैं। मानक ट्रांसफॉर्मर इनपुट स्पेस के भीतर निरंतर संख्यात्मक मानों को एक सिद्धांतपूर्ण, सूचना-संरक्षण तरीके से प्रस्तुत करने में एक निरंतर अंतराल बना हुआ है।

2. कार्यप्रणाली: TempoWave

लेखक TempoWave (मल्टी-वेवलेट नंबर एम्बेडिंग) प्रस्तावित करते हैं, जो एक प्लग-एंड-प्ले टेम्पोरल वेवलेट डिजिट इंटरफेस है जिसे स्केलर ऑब्जर्वेशन्स को मल्टी-वेवलेट, मल्टी-स्केल कोएफिशिएंट्स से निर्मित डेंस वेक्टर एम्बेडिंग्स में मैप करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र

डिजिट-लेवल टोकेनाइजेशन: पूरे नंबरों को टोकेनाइज करने के बजाय, इनपुट टाइम सीरीज़ वैल्यूज को फिक्स्ड-प्रिसिजन स्ट्रिंग्स (जैसे, $V.FFFF $) में रेंडर किया जाता है। प्रत्येक अंक ($ d \in {0, \dots, 9}$) को एक व्यक्तिगत टोकन माना जाता है।
वेवलेट-आधारित एम्बेडिंग निर्माण:
- सिग्नल रिप्रेजेंटेशन: प्रत्येक अंक $d$ को $\tilde{d} \in [0, 1]$ तक नॉर्मलाइज किया जाता है और एक फिक्स्ड ग्रिड पर एक डिस्क्रीट इम्पल्स (क्रोनेकर डेल्टा) के रूप में दर्शाया जाता है।
- मल्टी-वेवलेट कोएफिशिएंट्स: डिजिट सिग्नल को कई स्केल्स $S$ पर एक पूर्व-निर्धारित वेवलेट परिवार $\Psi$ (जैसे, Haar, db4, Morlet) पर प्रोजेक्ट किया जाता है। एक वेवलेट $\psi_i$ और स्केल $s_j$ पर अंक $d$ के लिए वेवलेट कोएफिशिएंट, डिजिट सिग्नल और सैम्पल्ड वेवलेट के इनर प्रोडक्ट के रूप में कंप्यूट किया जाता है: $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$ ।
- एम्बेडिंग जनरेशन: इन कोएफिशिएंट्स को एक फीचर वेक्टर $\phi(d)$ में कॉन्कैटिनेट किया जाता है और एक फिक्स्ड अलाइनमेंट फंक्शन $g(\cdot)$ के माध्यम से LLM के एम्बेडिंग डायमेंशन $D$ में मैप किया जाता है। यह एक डिजिट एम्बेडिंग $E(d) \in \mathbb{R}^D$ उत्पन्न करता है।
एकीकरण: इनपुट सीक्वेंस में डिजिट पोजीशंस के लिए मानक टोकन एम्बेडिंग्स को इन कंप्यूटेड $E(d)$ वेक्टर्स द्वारा ओवरराइड कर दिया जाता है, जबकि टेक्स्ट और कॉन्टेक्स्ट टोकन मानक एम्बेडिंग्स बनाए रखते हैं। LLM बैकबोन अपरिवर्तित रहता है और इसे भविष्य के न्यूमेरिक टोकन की भविष्यवाणी करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षित किया जाता है।

डिज़ाइन सिद्धांत

स्ट्रक्चरल फेथफुलनेस (संरचनात्मक निष्ठा): कच्चे स्केलर मैग्नीट्यूड के बजाय स्ट्रक्चर्ड मल्टी-स्केल पैटर्न के माध्यम से अंकों को एनकोड करके, TempoWave सुनिश्चित करता है कि संख्यात्मक पहचान सापेक्ष पैटर्न द्वारा निर्धारित होती है। यह एम्बेडिंग्स को उन नॉर्मलाइजेशन लेयर्स (जैसे, LayerNorm, RMSNorm) के प्रति मजबूत बनाता है जो आमतौर पर ट्रांसफॉर्मर्स में उपयोग की जाती हैं, जो एम्बेडिंग्स को रीस्केल और री-सेंटर करती हैं।
मोनोटोनिक नेबरहुड कंसिस्टेंसी: मल्टी-वेवलेट निर्माण एक परिमित डिजिट कोडबुक को प्रेरित करता है जिसमें बेहतर सेपरेबिलिटी होती है। सैद्धांतिक विश्लेषण सुझाव देता है कि वेवलेट-स्केल पेयर्स के माध्यम से कोएफिशिएंट्स को कॉन्कैटिनेट करने से डिजिट एम्बेडिंग्स के बीच पेयरवाइज डिस्टेंस बढ़ता है, जिससे मजबूत निकटतम-पड़ोसी रिकवरेबिलिटी सुनिश्चित होती है और संख्यात्मक क्रम को संरक्षित किया जाता है।

3. प्रमुख योगदान

एक वेवलेट-आधारित न्यूमेरिक इंटरफेस: TempoWave संख्याओं के लिए भाषा-उन्मुख टोकेनाइजेशन पर निर्भर रहने के बजाय, सीधे मल्टी-वेवलेट, मल्टी-स्केल कोएफिशिएंट्स से निर्मित डेंस वेक्टर एम्बेडिंग्स के माध्यम से टाइम सीरीज़ वैल्यूज को मैप करने में सक्षम बनाता है।
फेथफुल और स्टेबल रिप्रेजेंटेशन: विधि संख्यात्मक निष्ठा और स्थिरता से संबंधित गुणों को स्थापित करती है, जिसमें मानों के बीच बेहतर सेपरेबिलिटी और सामान्य नॉर्मलाइजेशन ऑपरेशंस के प्रति मजबूती शामिल है।
डायग्नोस्टिक्स के साथ व्यापक मूल्यांकन: लेखक विविध बेंचमार्क्स पर व्यापक प्रयोग प्रदान करते हैं और डायग्नोस्टिक विश्लेषण (जैसे, मोनोटोनिक नेबरहुड कंसिस्टेंसी की जांच करना) पेश करते हैं ताकि यह समझाया जा सके कि एम्बेडिंग इंटरफेस मॉडल के भीतर संख्यात्मक नेबरहुड्स को कैसे नया आकार देता है।

4. प्रयोगात्मक परिणाम

लेखकों ने पांच कॉन्टेक्स्ट-एनरिच्ड फोरकास्टिंग बेंचमार्क्स पर TempoWave का मूल्यांकन किया:

डेटासेट्स: AUL (ऑस्ट्रेलिया बिजली), BIT (बिटकॉइन), MSPG (मेलबर्न सोलर पावर), PTF (पेरिस ट्रैफिक फ्लो), और LEU (लंदन बिजली उपयोग)। ये डेटासेट्स ऐतिहासिक टाइम सीरीज़ को टेक्स्टुअल या इवेंट-आधारित कॉन्टेक्स्ट (जैसे, समाचार, मौसम, तिथियां) के साथ जोड़ते हैं।
बेसलाइन्स: तुलना में मानक LLM टोकेनाइजेशन, वैकल्पिक एम्बेडिंग इंटरफेस (जैसे, फूरियर-आधारित FoNE), विशेष टाइम-सीरीज मॉडल्स (DLinear, Autoformer, TimesNet), और टाइम-सीरीज फाउंडेशन मॉडल्स (Chronos, Moirai) शामिल थे।
प्रदर्शन:
- TempoWave ने पांच डेटासेट्स के 10 में से 7 रिपोर्ट किए गए मेट्रिक्स (RMSE और MAE) पर एक नया स्टेट-ऑफ-द-आर्ट (SOTA) प्राप्त किया।
- इसने सभी मेट्रिक्स में टॉप-2 में स्थान प्राप्त किया।
- पिछले सर्वश्रेष्ठ मेथड की तुलना में, TempoWave ने औसतन 7.0% रिलेटिव इम्प्रूवमेंट इन MAE दिया, जिसमें LEU (14.4%) और AUL (11.2%) पर महत्वपूर्ण लाभ देखा गया।
- इसने फूरियर-आधारित इंटरफेस की तुलना में नॉन-स्टेशनरी, इवेंट-ड्रिवन डेटासेट्स (जैसे, बिटकॉइन) पर बेहतर मजबूती प्रदर्शित की।
एब्लेशन स्टडीज:
- कॉन्टेक्स्ट: रिच कॉन्टेक्स्टुअल इंफॉर्मेशन (Catch22 फीचर्स, सिचुएशनल कॉन्टेक्स्ट) को शामिल करने से प्रदर्शन में लगातार सुधार हुआ, जिसमें फुल-कॉन्टेक्स्ट सेटिंग ने सबसे अच्छे परिणाम दिए।
- एम्बेडिंग अलाइनमेंट: टोकन ID डिफरेंस डिस्ट्रीब्यूशन के विश्लेषण ने दिखाया कि TempoWave शून्य के आसपास एक स्मूथ, यूनिमोडल डिस्ट्रीब्यूशन उत्पन्न करता है, जो मजबूत लोकल प्रॉक्सिमिटी और अंडरलाइंग टाइम सीरीज़ डायनेमिक्स के साथ अलाइनमेंट को दर्शाता है। इसके विपरीत, बेसलाइन्स ने फ्लैट डिस्ट्रीब्यूशन या विसंगत स्पाइक्स दिखाए, जो कमजोर अलाइनमेंट या ओवरफिटिंग का संकेत देते हैं।

5. महत्व और दावे

पेपर का तर्क है कि न्यूमेरिक इंटरफेस LLM-आधारित टाइम सीरीज़ फोरकास्टिंग में एक प्रमुख बाधा है। TempoWave को पेश करके, लेखक प्रदर्शित करते हैं कि सिद्धांतपूर्ण मल्टी-रेज़ोल्यूशन एम्बेडिंग्स LLM की कॉन्टेक्स्टुअल रीजनिंग क्षमताओं को सटीक संख्यात्मक फोरकास्टिंग के साथ बेहतर ढंग से जोड़ सकते हैं।

इस कार्य का महत्व यहाँ निहित है:

संख्यात्मक संरचना को संरक्षित करना: यह एक ऐसा तरीका प्रदान करता है जो निरंतर मानों को प्रस्तुत करता है जो डिस्क्रीट ट्रांसफॉर्मर आर्किटेक्चर के भीतर क्रमिक संबंधों और मल्टी-स्केल टेम्पोरल स्ट्रक्चर (लोकल फ्लक्चुएशन और ग्लोबल ट्रेंड्स) का सम्मान करता है।
मजबूती (Robustness): यह नॉर्मलाइजेशन और डिस्ट्रीब्यूशन शिफ्ट के तहत LLMs में संख्यात्मक तर्क की नाजुकता को संबोधित करता है।
सामान्यीकरण (Generalizability): यह दिखाता है कि मानक LLM बैकबोन्स, जब एक संख्यात्मक रूप से आधारित इंटरफेस से लैस होते हैं, तो विशेष टाइम-सीरीज मॉडल्स को मात दे सकते हैं, विशेष रूप से उन परिदृश्यों में जिनमें विषम टेक्स्टुअल सिग्नल्स (कॉन्टेक्स्ट-अवेयर फोरकास्टिंग) का एकीकरण आवश्यक है।

लेखक निष्कर्ष निकालते हैं कि जबकि चुनौतियां बनी हुई हैं, TempoWave अधिक निष्ठावान और विश्वसनीय LLM-आधारित फोरकास्टिंग के लिए एक मार्ग प्रदान करता है, जो यह सुझाव देता है कि भविष्य का कार्य डिस्क्रीटीकरण (discretization) पर निर्भर नॉन-कॉन्टेक्स्टुअल पाइपलाइन्स में इसकी प्रयोज्यता का पता लगाने के लिए खोज कर सकता है।