🤖 machine learning

Fast Exact Nearest-Neighbor Learning for High-Frequency Financial Time Series

यह शोध पत्र प्रदर्शित करता है कि एक Mojo-आधारित सटीक SIMD k-d ट्री का कार्यान्वयन उच्च-आवृत्ति वाले वित्तीय समय श्रृंखला (high-frequency financial time series) के लिए गति और स्केलेबिलिटी में मौजूदा scikit-learn विधियों से काफी बेहतर प्रदर्शन करता है, जो सटीकता से समझौता किए बिना वास्तविक समय में निकटतम-पड़ोसी शिक्षण (nearest-neighbor learning) और बेहतर डेरिवेटिव प्राइसिंग मॉडल को सक्षम बनाता है।

मूल लेखक: Henry Han, Diane Li

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Henry Han, Diane Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "भूसे के ढेर में सुई" की दुविधा

कल्पना कीजिए कि आप एक वित्तीय ट्रेडर (financial trader) हैं। हर सेकंड, आपको वर्तमान बाज़ार के आधार पर निर्णय लेने की आवश्यकता होती है। ऐसा करने के लिए, आप अपने "मेमोरी बैंक" को देखते हैं—जो इस बात का एक विशाल इतिहास है कि अतीत में बाज़ार कैसा व्यवहार करता था। आप इतिहास के उन सटीक क्षणों को खोजना चाहते हैं जो आज के समय के सबसे अधिक समान दिखते हैं ताकि यह अनुमान लगाया जा सके कि आगे क्या होगा।

समस्या यह है कि यह "मेमोरी बैंक" बहुत बड़ा होता जा रहा है (लाखों डेटा पॉइंट्स)।

पुराना तरीका (Python/Scikit-learn): कल्पना कीजिए कि आप एक लाइब्रेरी में एक विशिष्ट पुस्तक खोजने की कोशिश कर रहे हैं, जहाँ आप हर एक गलियारे में जाते हैं, एक-एक करके हर किताब की जाँच करते हैं। यह सटीक है, लेकिन यह अविश्वसनीय रूप से धीमा है। जैसे-जैसे लाइब्रेरी बढ़ती है, आप और भी धीमे होते जाते हैं।
"तेज़" तरीका (C++): कल्पना कीजिए कि आप उसी खोज को करने के लिए सुपर-फास्ट धावकों की एक टीम को काम पर रखते हैं। वे तेज़ हैं, लेकिन वे आपके शोधकर्ताओं की भाषा नहीं बोलते। आपको अपने विचारों को उनकी भाषा में अनुवाद करना पड़ता है, जो धीमा, महंगा और त्रुटियों से भरा होता है।

समाधान: Mojo

लेखक Mojo पेश करते हैं, जो एक नया प्रोग्रामिंग लैंग्वेज है और यह एक "सुपर-चार्ज्ड पायथन" की तरह है। यह शोधकर्ताओं की भाषा (लिखने में आसान) भी बोलता है और इसमें सुपर-फास्ट धावकों जैसी गति भी है।

उन्होंने इस वित्तीय इतिहास को खोजने का एक स्मार्ट तरीका बनाने के लिए Mojo का उपयोग किया। हर एक किताब (डेटा पॉइंट) की जाँच करने के बजाय, उन्होंने एक स्मार्ट फाइलिंग सिस्टम (एक "k-d tree") बनाया जो उन्हें लाइब्रेरी के उन बड़े हिस्सों को छोड़ने में मदद करता है जिनमें निश्चित रूप से उत्तर नहीं है।

उन्होंने इसे तेज़ कैसे बनाया (तीन तरकीबें)

पेपर बताता है कि उन्होंने न केवल एक स्मार्ट फाइलिंग सिस्टम का उपयोग किया; बल्कि इसे अत्यधिक तेज़ बनाने के लिए उन्होंने इसे तीन विशिष्ट तरीकों से अनुकूलित (optimize) किया:

"स्मार्ट स्प्लिट" (वेरिएंस-आधारित विभाजन):
- उदाहरण: कपड़ों के एक बिखरे हुए ढेर को छाँटने की कल्पना करें। केवल "शर्ट बनाम पैंट" के आधार पर विभाजित करने के बजाय, आप ढेर को देखते हैं और पूछते हैं, "कौन सी विशेषता इन वस्तुओं को सबसे अधिक अलग करती है?" शायद आप पहले "रंग" के आधार पर विभाजित करते हैं क्योंकि इससे सबसे साफ समूह बनते हैं।
- पेपर में: एल्गोरिदम वित्तीय डेटा को देखता है और उस विशिष्ट विशेषता (जैसे अस्थिरता या मूल्य गति/price momentum) को पाता है जो सबसे अधिक बदलती है। यह डेटा को वहीं विभाजित करता है, जिससे अधिक सटीक और आसानी से खोजने योग्य समूह बनते हैं।
"फ्लैट फ्लोर" (कंटीगुअस फ्लैट-बफर स्टोरेज):
- उदाहरण: कल्पना कीजिए कि आपकी किताबें एक ऐसी लाइब्रेरी में रखी हैं जहाँ कुछ डिब्बे में हैं, कुछ शेल्फ पर हैं और कुछ बेसमेंट में हैं, और आपको उन्हें लेने के लिए इधर-उधर भागना पड़ता है। यह धीमा है। अब, कल्पना कीजिए कि सभी किताबें एक ही लंबी पंक्ति में एक ही शेल्फ पर बिल्कुल सही ढंग से रखी गई हैं। आप एक ही सहज गति में उन्हें उठा सकते हैं।
- पेपर में: उन्होंने डेटा को मेमोरी के एक निरंतर ब्लॉक (continuous block) में स्टोर किया। यह कंप्यूटर के "प्रीफेचर" (मस्तिष्क का वह हिस्सा जो अनुमान लगाता है कि आपको आगे क्या चाहिए) को बिना समय बर्बाद किए कुशलतापूर्वक डेटा प्राप्त करने की अनुमति देता है।
"सुपर-रीडर" (SIMD वेक्टराइजेशन):
- उदाहरण: कल्पना कीजिए कि आप संख्याओं की एक सूची पढ़ रहे हैं। एक सामान्य व्यक्ति एक बार में एक संख्या पढ़ता है। एक "सुपर-रीडर" (SIMD) एक साथ आठ संख्याएँ पढ़ सकता है और एक ही पल में उन सभी पर गणितीय गणना कर सकता है।
- पेपर में: उन्होंने कंप्यूटर को एक साथ आठ वित्तीय डेटा पॉइंट्स की तुलना करने के लिए प्रोग्राम किया। यह "आज" की तुलना "कल" से करने के गणित को अविश्वसनीय रूप से तेज़ बना देता है।

परिणाम: गति बनाम सटीकता

टीम ने वास्तविक वित्तीय डेटा (स्टॉक्स, ETFs और करेंसी) पर दो प्रकार के कंप्यूटर चिप्स (Intel x86 और Apple M3) पर इसका परीक्षण किया।

गति:
- मानक कंप्यूटरों (x86) पर, उनकी नई विधि मानक पायथन टूल (scikit-learn) की तुलना में 17 से 21 गुना तेज़ थी।
- Apple कंप्यूटरों (ARM64) पर, यह मानक टूल की तुलना में 28 से 43 गुना तेज़ थी।
- महत्वपूर्ण बिंदु: उन्होंने केवल अनुमान नहीं लगाया। उन्होंने धीमे तरीके के समान ही सटीक उत्तर पाया, बस बहुत तेज़ी से।
"क्यों" (ARM64 का आश्चर्य):
- Apple चिप्स पर, मानक "ब्रूट फोर्स" तरीका (सब कुछ चेक करना) आश्चर्यजनक रूप से धीमा था क्योंकि चिप का "सुपर-रीडर" (SIMD) उम्मीद से कम चौड़ा था। हालाँकि, क्योंकि लेखकों के "स्मार्ट फाइलिंग सिस्टम" (k-d tree) ने कई अनावश्यक चेकों को छोड़ दिया, इसलिए इससे कोई फर्क नहीं पड़ा। यह अभी भी बहुत बड़े अंतर से सबसे तेज़ तरीका बना हुआ था।

वास्तविक दुनिया का लाभ: बेहतर भविष्यवाणियाँ

पेपर केवल गति तक ही सीमित नहीं रहा। उन्होंने दिखाया कि तेज़ होने से आप अधिक काम कर सकते हैं।

उन्होंने "इम्प्लाइड वोलेटिलिटी" (स्टॉक ऑप्शंस के लिए जोखिम का एक माप) की भविष्यवाणी करने के लिए एक मॉडल को प्रशिक्षित किया।
क्योंकि उनका सिस्टम इतना तेज़ था, वे मानक पायथन सिस्टम की तुलना में समान समय में 10 गुना अधिक डेटा पर मॉडल को प्रशिक्षित कर सके।
परिणाम: अधिक डेटा का उपयोग करके, मॉडल 8% अधिक सटीक हो गया। यह साबित करता है कि गति केवल कम प्रतीक्षा करने के बारे में नहीं है; यह बेहतर सीखने के बारे में है।

सारांश

पेपर का तर्क है कि आधुनिक वित्त में डेटा की विशाल मात्रा को संभालने के लिए, हम केवल धीमे, आसान टूल्स (Python) या कठिन, तेज़ टूल्स (C++) का उपयोग नहीं कर सकते। हमें एक मध्य मार्ग की आवश्यकता है।

Mojo वह मध्य मार्ग प्रदान करता है। एक स्मार्ट सर्च एल्गोरिदम, डेटा स्टोर करने के एक व्यवस्थित तरीके और एक "सुपर-रीडिंग" गणित इंजन को जोड़कर, उन्होंने एक ऐसा सिस्टम बनाया है जो है:

सटीक (Exact): यह अनुमान नहीं लगाता; यह वास्तविक उत्तर खोजता है।
तेज़ (Fast): यह वर्तमान मानक टूल्स की तुलना में 17x से 43x तेज़ है।
स्केलेबल (Scalable): जैसे-जैसे डेटा बढ़ता है, यह और भी शक्तिशाली होता जाता है, जिससे वित्तीय मॉडल बड़े इतिहास से सीख सकते हैं और बेहतर भविष्यवाणियाँ कर सकते हैं।

तकनीकी सारांश: उच्च-आवृत्ति वित्तीय समय श्रृंखला (High-Frequency Financial Time Series) के लिए तीव्र सटीक निकटतम-पड़ोसी शिक्षण (Fast Exact Nearest-Neighbor Learning)

समस्या विवरण
वित्तीय AI एक स्केलिंग युग में प्रवेश कर रहा है जहाँ मॉडलों को वास्तविक समय के व्यापार (trading), जोखिम प्रबंधन और डेरिवेटिव मूल्य निर्धारण (derivative pricing) का समर्थन करने के लिए विशाल ऐतिहासिक कॉर्पोरा (इक्विटी, ETF, FX, ऑप्शंस) को ग्रहण करना आवश्यक है। वर्तमान स्टैक में एक महत्वपूर्ण बाधा मौजूद है: जबकि पायथन-आधारित उपकरण (NumPy, scikit-learn) लचीलापन प्रदान करते हैं, वे इंटरप्रेटर ओवरहेड, मेमोरी-बैंडविड्थ संतृप्ति (memory-bandwidth saturation) और खराब कैश लोकैलिटी (cache locality) से ग्रस्त होते हैं, जब सैकड़ों हजारों ऐतिहासिक अवस्थाओं (states) को क्वेरी किया जाता है। इसके विपरीत, C++ और FPGA समाधान गति तो प्रदान करते हैं लेकिन एक "रिसर्च-टू-प्रोडक्शन" अंतराल पैदा करते हैं क्योंकि इनके लिए अलग कोडबेस और मैनुअल अनुकूलन की आवश्यकता होती है। संबोधित की जाने वाली विशिष्ट चुनौती सटीक निकटतम-पड़ोसी (KNN) अनुमान (inference) है, जहाँ उच्च-आवृत्ति समय श्रृंखला के लिए ब्रूट-फोर्स सर्च की रैखिक लागत ( $O(n \cdot d)$ ) वास्तविक समय के लेटेंसी बजट के लिए निषेधात्मक हो जाती है, फिर भी अनुमानित विधियाँ (जैसे HNSW) उस सटीकता का त्याग करती हैं जो कुछ वित्तीय अनुप्रयोगों के लिए आवश्यक है।

कार्यप्रणाली (Methodology)
लेखक एक Mojo SIMD k-d ट्री का प्रस्ताव करते हैं जिसे विशेष रूप से वित्तीय समय-श्रृंखला कॉर्पोरा के लिए डिज़ाइन किया गया है। Mojo, एक संकलित (compiled) सिस्टम लैंग्वेज है जो पायथन-अनुकूल सिंटैक्स प्रदान करती है, जो पायथन इकोसिस्टम को छोड़े बिना एल्गोरिदम, मेमोरी लेआउट और हार्डवेयर के सह-डिज़ाइन (co-design) को सक्षम बनाती है। कार्यप्रणाली तीन मुख्य अनुकूलनों को एकीकृत करती है:

विचरण-आधारित विभाजन (Variance-Based Splitting): मानक माध्य-आधारित (median-based) विभाजनों के विपरीत, ट्री उस आयाम (dimension) के आधार पर विभाजन अक्ष चुनता है जिसमें अधिकतम विचरण होता है ( $j^* = \arg\max \text{Var}(\{x_{i,j}\})$ )। यह सबसे अधिक विभेदक वित्तीय विशेषताओं (रिटर्न, अस्थिरता, मोमेंटम) पर प्रारंभिक छंटाई (pruning) को केंद्रित करता है, जिससे सघन उप-क्षेत्र (subregions) बनते हैं।
सतत फ्लैट-बफर स्टोरेज (Contiguous Flat-Buffer Storage): प्रशिक्षण वेक्टरों को एक क्रमबद्ध (permuted) सरणी द्वारा अनुक्रमित एक रो-मेजर फ्लैट बफर ( $X \in \mathbb{R}^{n \times d}$ ) में संग्रहीत किया जाता है। लीफ नोड्स (leaf nodes) को पूर्णांक ऑफसेट्स द्वारा परिभाषित किया जाता है, जिससे उम्मीदवारों को निरंतर मेमोरी ब्लॉक के रूप में पढ़ा जा सकता है। यह पॉइंटर-चेज़िंग ओवरहेड को समाप्त करता है और कैश-लाइन संरेखण (cache-line alignment) सुनिश्चित करता है।
कंपाइल-टाइम वेक्टरकृत कर्नेल (Compile-Time Vectorized Kernels): दूरी गणनाएँ SIMD (Single Instruction, Multiple Data) वेक्टरों का उपयोग करती हैं। कर्नेल को विशिष्ट आयामों (जैसे, $d=16$ या $d=24$ ) और SIMD चौड़ाई के लिए comptime (कंपाइल-टाइम) पर विशिष्ट बनाया जाता है, जो पूरी तरह से अनरोल्ड (unrolled), स्केलर-मुक्त कोड उत्पन्न करता है। स्क्वेर्ड यूक्लिडियन दूरी को समानांतर रजिस्टर-चौड़ाई ब्लॉकों में विभाजित किया जाता है।

इस प्रणाली का मूल्यांकन आठ वित्तीय डेटासेट्स (अमेरिकी इक्विटी, ETF, FX) पर दो हार्डवेयर आर्किटेक्चर: x86 (Intel/AMD) और ARM64 (Apple M3) पर किया गया। तुलना scikit-learn के ब्रूट-फोर्स और k-d ट्री कार्यान्वयन, साथ ही Mojo के अपने SIMD ब्रूट-फोर्स दृष्टिकोण के विरुद्ध की गई।

प्रमुख योगदान

Mojo SIMD k-d ट्री कार्यान्वयन: बड़े वित्तीय डेटासेट्स पर सटीक KNN के लिए विचरण-आधारित छंटाई, फ्लैट-बफर मेमोरी लेआउट और कंपाइल-टाइम वेक्टरकृत दूरी कर्नेल को संयोजित करने वाला एक नवीन कार्यान्वयन।
सैद्धांतिक रनटाइम विश्लेषण: एक प्रमाण जो दर्शाता है कि मानक छंटाई धारणाओं के तहत, फिक्स्ड-स्टॉक, बड़े- $n$ , मध्यम-आयामी शासन (regime) में, Mojo k-d ट्री एसिंगोटिक रूप से (asymptotically) Mojo SIMD ब्रूट फोर्स और scikit-learn के k-d ट्री दोनों पर हावी है।
फाइनेंस-हार्डवेयर सह-डिज़ाइन: एक मानकीकृत फीचर इंजीनियरिंग दृष्टिकोण जहाँ OHLCV-व्युत्पन्न विशेषताओं को SIMD चौड़ाई (16 और 24 float32 मान जो क्रमशः 2 और 3 रजिस्टर चौड़ाई के अनुरूप हैं) के साथ संरेखित किया गया है, जो वित्तीय व्याख्यात्मकता को बनाए रखते हुए थ्रूपुट को अधिकतम करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध परिसंपत्ति वर्गों और हार्डवेयर प्लेटफार्मों पर व्यापक बेंचमार्क, जो विल्कोक्सन साइन्ड-रैंक टेस्ट (Wilcoxon signed-rank tests) के माध्यम से सांख्यिकीय महत्व की पुष्टि करते हैं।
स्केलेबिलिटी प्रदर्शन: इंप्लाइड-वोलैटिलिटी (implied-volatility) मूल्य निर्धारण के लिए एक्स्ट्रा ट्रीज़ (Extra Trees) का उपयोग करते हुए एक माध्यमिक प्रयोग, जो दिखाता है कि थ्रूपुट लाभ सीधे भविष्यवाणी सटीकता में सुधार करने के लिए 10 $\times$ अधिक डेटा पर प्रशिक्षण की अनुमति देता है।

परिणाम

x86 ( $d=16$ ) पर स्पीडअप: Mojo k-d ट्री ने 143K से 277K नमूनों के डेटासेट्स में scikit-learn के k-d टी से 17.5–21.6 $\times$ और scikit-learn के ब्रूट फोर्स से 1.2–1.3 $\times$ की गति से अधिक तेज प्रदर्शन किया।

ARM64 ( $d=24$ ) पर स्पीडअप: विधि ने Apple M3 पर scikit-learn के ब्रूट फोर्स की तुलना में 28.1–43.5 $\times$ स्पीडअप प्राप्त किया। उल्लेखनीय रूप से, ARM64 पर, Mojo SIMD ब्रूट-फोर्स कर्नेल k-d ट्री की तुलना में 780–1549 $\times$ धीमा था, क्योंकि कंपाइल-टाइम SIMD चौड़ाई (x86 256-बिट रजिस्टरों के लिए अनुकूलित) और नेटिव 128-बिट ARM रजिस्टरों के बीच बेमेल था। हालांकि, k-d ट्री के एल्गोरिथमिक प्रूनिंग ( $O(n^{1-1/d})$ ) ने इसे इस हार्डवेयर-विशिष्ट दंड से सुरक्षित रखा, जिससे भारी लाभ बना रहा।

स्केलिंग एक्सपोनेंट्स: रनटाइम जटिलता $T(n) = Cn^\alpha$ के अनुभवजन्य फिटिंग ने Mojo k-d ट्री (केवल क्वेरी) के लिए 1.755 का एक्सपोनेंट प्राप्त किया, जबकि ब्रूट फोर्स के लिए यह 1.885 और scikit-learn के k-d ट्री के लिए 2.320 था। यह उप-द्विघाती (sub-quadratic) स्केलिंग की पुष्टि करता है जो डेटासेट का आकार बढ़ने के साथ और अधिक विस्तृत होती जाती है।

भविष्यवाणी गुणवत्ता: एक्स्ट्रा ट्रीज़ प्रयोग में, 200,000 नमूनों पर प्रशिक्षण लेने से पुट इंप्लाइड वोलैटिलिटी (IV) RMSE में 8.0% (0.361 से 0.333 तक) की कमी आई। कॉल और पुट को अलग करने से RMSE में 27–31% की और कमी आई।

सांख्यिकीय महत्व: एक विल्कोक्सन साइन्ड-रैंक टेस्ट ने पुष्टि की कि Mojo k-d ट्री सभी आठ डेटासेट्स पर scikit-learn के k-d ट्री से स्पष्ट रूप से तेज़ है ( $p < 0.01$ ), जिसमें 10.8 $\times$ का ज्यामितीय माध्य स्पीडअप (95% CI: [5.94 $\times$ , 16.62 $\times$ ]) देखा गया।

महत्व और दावे
यह पेपर बड़े पैमाने पर वित्तीय AI इन्फरेंस दक्षता के प्रथम ओपन-सोर्स, पायथन-संगत, सिस्टम-स्तरीय अध्ययन होने का दावा करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि कैसे एल्गोरिदम, मेमोरी लेआउट, हार्डवेयर और भाषा के बीच सह-डिज़ाइन सटीक होने या पायथन संगतता को त्याग बिना परिचालन रूप से सार्थक त्वरण प्रदान कर सकता है।

लेखक तर्क देते हैं कि Mojo, पायथन अनुसंधान के लचीलेपन और C++ उत्पादन प्रणालियों के प्रदर्शन के बीच के अंतर को पाटता है। एक एकल कोडबेस को सक्षम करके जो लगभग C++ थ्रूपुट (एक विशिष्ट तुलना में अनुकूलित C++ गति का लगभग 60%) प्राप्त करता है और साथ ही मानक पायथन लाइब्रेरी की तुलना में 10 $\times$ स्पीडअप प्रदान करता है, यह कार्य Mojo को एक स्केलेबल, प्रोडक्शन-रेडी स्टैक के रूप में स्थापित करता है। परिणाम बताते हैं कि जैसे-जैसे वित्तीय डेटा का वॉल्यूम टिक-लेवल स्केल की ओर बढ़ेगा, इस दृष्टिकोण का उप-द्विघाती स्केलिंग वास्तविक समय की लेटेंसी बाधाओं को बनाए रखने के लिए तेजी से महत्वपूर्ण हो जाएगा। यह भी दावा किया गया है कि इसके सिद्धांत अन्य डेटा-गहन क्षेत्रों में लागू किए जा सकते हैं जिन्हें सटीक निकटतम-पड़ोसी रिट्रीवल की आवश्यकता होती है, जैसे कि जीनोमिक्स और साइबर सुरक्षा।