कल्पना कीजिए कि आप एक जासूस हैं जो एक व्यस्त शहर की सड़क की घंटों लंबी रिकॉर्डिंग में एक विशिष्ट, दोहराए जाने वाले स्वर (sound) को खोजने की कोशिश कर रहे हैं। आप जानते हैं कि वह ध्वनि बार-बार होती है, लेकिन आपको यह नहीं पता कि वह कितनी देर तक चलती है। क्या यह एक छोटा, तीखा "बीप" है? एक लंबा, खिंचा हुआ "हम्म" है? या एक मध्यम-लंबाई का "चर्प" (chirp) है? यदि आप पूरी रिकॉर्डिंग को बार-बार सुनने की कोशिश करते हैं, तो पहले यह अनुमान लगाकर कि यह एक बीप है, फिर यह मानकर कि यह एक हम्म है, और फिर यह मानकर कि यह एक चर्प है, तो आप वहीं उम्र भर बैठे रह जाएंगे। यह टाइम सीरीज़ (time series) के साथ काम करने वाले डेटा वैज्ञानिकों का दैनिक संघर्ष है—संख्याओं की ऐसी सूचियाँ जो समय के साथ बदलती रहती हैं, जैसे दिल की धड़कनें, शेयर की कीमतें, या भूकंप के झटके। वे 'मोटिफ्स' (motifs) खोजना चाहते हैं: वे छिपे हुए, दोहराए जाने वाले पैटर्न जो एक कहानी बताते हैं। पेचीदा बात यह है कि उन्हें अक्सर पहले से ही यह नहीं पता होता कि उस पैटर्न की "अवधि" (duration) (यानी वह कितने सेकंड या कितने डेटा पॉइंट्स तक चलता है) क्या है। इसे हल करने के लिए, उन्हें आमतौर पर हर संभावित लंबाई की जांच करनी पड़ती है, जो बिल्कुल वैसा ही है जैसे एक घास के ढेर में सुई खोजने के लिए हर एक तिनके को बार-बार एक-एक करके चेक करना।

यहाँ प्रवेश होता है Panache का, जो एक नए तरीके के रूप में एक सुपर-स्मार्ट, 'वन-पास' (one-pass) जासूस की तरह काम करता है। टेप को रोकने और अलग-अलग लंबाई जांचने के लिए पीछे जाकर रिवाइंड करने के बजाय, Panache रिकॉर्डिंग को केवल एक बार सुनता है। जैसे-जैसे ध्वनि प्रवाहित होती है, यह तुरंत हर संभव लंबाई के लिए दोहराए जाने वाले पैटर्न का पता लगा लेता है। यह इसे एक "स्पेक्ट्रल फिंगरप्रिंट" (spectral fingerprint) में बदलकर करता है—जो लहरों के केवल आयतन (volume) के बजाय उनके आकार पर आधारित एक अद्वितीय हस्ताक्षर है। यदि दो ध्वनियाँ समान दिखती हैं, तो उनके फिंगप्रिंट मिल जाते हैं, और Panache को आगे की जांच करने का संकेत मिलता है। यदि वे मेल नहीं खाते, तो यह उन्हें तुरंत अनदेखा कर देता है। परिणाम? यह पुराने, धीमे तरीकों के समान ही पैटर्न खोजता है, लेकिन बहुत कम समय में। परीक्षणों में, जबकि अन्य तरीकों को एक विशाल डेटासेट का विश्लेषण करने में घंटों लग गए, Panache ने इसे मिनटों में पूरा कर लिया, जिससे यह सिद्ध हुआ कि सही उत्तर पाने के लिए आपको काम को दोहराने की आवश्यकता नहीं है।

समस्या: "गोल्डिलॉक्स" विंडो (The "Goldilocks" Window)

टाइम-सीरीज डेटा की दुनिया में, एक "मोटिफ" एक पैटर्न है जो दोहराया जाता है। लेकिन एक पैटर्न केवल एक आकार नहीं है; यह एक आकार और एक अवधि का संयोजन है। कल्पना कीजिए कि आप एक वीडियो में एक विशिष्ट डांस मूव खोजने की कोशिश कर रहे हैं। यदि आप बहुत छोटी विंडो देखते हैं, तो आप केवल पैर का थपथपाना देखेंगे। यदि आप बहुत लंबी विंडो देखते हैं, तो आप पैर के थपथपाने के साथ अगले मूव, बैकग्राउंड और डांसर की पोशाक को भी देख लेंगे। आपको "गोल्डिलॉक्स" विंडो चाहिए: बिल्कुल सही लंबाई वाली, जो पूरे मूव को स्पष्ट रूप से दिखा सके।

समस्या यह है कि एक्सप्लोरेटरी डेटा एनालिसिस में, हमें अक्सर यह नहीं पता होता कि वह "बिल्कुल सही" लंबाई क्या है। हमें 10 पॉइंट्स से लेकर 1,000 पॉइंट्स तक की लंबाई की जांच करने की आवश्यकता हो सकती है। इसे करने का पुराना तरीका, जिसे Pan Matrix Profile (PMP) कहा जाता है, एक बहुत ही मेहनती लेकिन अविश्वसनीय रूप से धीमे लाइब्रेरियन की तरह था। हर लंबाई के लिए सबसे अच्छा मिलान खोजने के लिए, लाइब्रेरियन को लंबाई 10 के लिए एक अलग, विशाल खोज चलानी पड़ती थी, फिर 11 के लिए फिर से शुरू करना पड़ता था, फिर 12 के लिए, और इसी तरह। यदि आपको जांचने के लिए 50 अलग-अलग लंबाई थीं, तो लाइब्रेरियन को पूरी किताब 50 बार पढ़नी पड़ती थी। इसे "क्वाड्रेटिक सेल्फ-जॉइन्स" (quadratic self-joins) करना कहा जाता है, जो एक फैंसी तरीका है यह कहने का कि "डेटा के हर हिस्से की तुलना दूसरे हर हिस्से से, बार-बार की जा रही है।" यह काम करता है, लेकिन जैसे-जैसे डेटा बड़ा होता जाता है, यह कष्टदायक रूप से धीमा हो जाता है।

Panache का समाधान: एक पास, सभी लंबाई (One Pass, All Lengths)

इस पेपर के लेखक, तेज सानिभ राणा ने Panache पेश किया है, जो इस "पैन मैट्रिक्स प्रोफाइल" के काम को एक ही पास में करने वाला पहला एल्गोरिदम है। टेप को 50 बार रिवाइंड करने के बजाय, Panache डेटा स्ट्रीम को ठीक एक बार पढ़ता है। जैसे ही कोई नया नंबर आता है, यह उन सभी अलग-अलग लंबाई के लिए अपने आंतरिक स्टेट (internal state) को एक साथ अपडेट करता है जिनकी यह परवाह करता है।

यह यह जादू कैसे करता है? यह गणित के बारे में एक चतुर अवलोकन पर निर्भर करता है। जब आप डेटा के एक टुकड़े को "नॉर्मलाइज़" (normalize) करते हैं (जिसका अर्थ है इसे इस तरह समायोजित करना कि इसका औसत शून्य हो और मानक विचलन एक हो, प्रभावी रूप से वॉल्यूम को हटाकर केवल आकार पर ध्यान केंद्रित करना), तो एक अद्भुत चीज़ होती है। डेटा के गणितीय "स्पेक्ट्रम" (इसका फूरियर ट्रांसफॉर्म) का एकमात्र हिस्सा जो बदलता है, वह है DC घटक (औसत)। बाकी का स्पेक्ट्रम—जो लहर के वास्तविक आकार का वर्णन करता है—औसत के बावजूद बिल्कुल वैसा ही रहता है।

Panache इस तथ्य का उपयोग एक स्लाइडिंग स्पेक्ट्रल स्टेट (sliding spectral state) बनाए रखने के लिए करता है। जैसे ही डेटा की विंडो एक कदम आगे बढ़ती है, एल्गोरिदम पूरे आकार की दोबारा गणना शुरू से नहीं करता है। इसके बजाय, यह एक "स्लाइडिंग DFT" (डिस्क्रीट फूरियर ट्रांसफॉर्म) रिकरेंस का उपयोग करता है। इसे सामग्री के एक कन्वेयर बेल्ट की तरह समझें। जब एक नई सामग्री आती है, तो आप पूरी रेसिपी फेंककर फिर से शुरू नहीं करते; आप बस पीछे से पुरानी सामग्री को हटाते हैं और सामने से नई सामग्री जोड़ते हैं, और गणित को थोड़ा समायोजित करते हैं। यह Panache को हर विंडो लंबाई के लिए आकार का एक अद्यतित (up-to-date) "फिंगरप्रिंट" बनाए रखने की अनुमति देता है।

जासूस का टूलकिट: हैशिंग और रिजेक्शन (Hashing and Rejection)

एक बार जब Panache के पास ये स्पेक्ट्रल फिंगरप्रिंट आ जाते हैं, तो इसे यह पता लगाना होता है कि कौन से आपस में मेल खाते हैं। यह हर फिंगरप्रिंट की तुलना दूसरे हर फिंगरप्रिंट से नहीं कर सकता, अन्यथा यह अभी भी बहुत धीमा होगा। इसलिए, यह एक लोकैलिटी-सेंसिटिव हैश (LSH) का उपयोग करता है। एक विशाल फाइलिंग कैबिनेट की कल्पना करें जहाँ समान फिंगरप्रिंट स्वचालित रूप से एक ही दराज में व्यवस्थित हो जाते हैं। यदि दो विंडोज़ के आकार समान हैं, तो उनके हैश (डिजिटल सिग्नेचर) बहुत करीब होंगे, और वे एक ही बाकेट (bucket) में गिरेंगे।

हालाँकि, केवल इसलिए कि दो चीजें एक ही बाकेट में हैं, इसका मतलब यह नहीं है कि वे एक सटीक मिलान हैं। प्रत्येक बाकेट में मौजूद जोड़ों पर महंगे, सटीक गणना करने से बचने के लिए, Panache एक पार्सवल लोअर बाउंड (Parseval lower bound) का उपयोग करता है। यह एक गणितीय सुरक्षा जाल है। यह केवल अपने स्पेक्ट्रल फिंगरप्रिंट के आधार पर दो आकारों के बीच "न्यूनतम संभव दूरी" की गणना करता है। यदि यह न्यूनतम दूरी पहले से ही मिलान के लिए बहुत अधिक है, तो Panache उस जोड़ी को बिना किसी और काम के खारिज कर देता है। यह एक क्लब के बाउंसर की तरह है जो आईडी चेक करता है; यदि आईडी नकली दिखती है, तो वे चेहरा देखने के लिए आपको अंदर भी नहीं आने देते। यह चरण "लगभग मिलान" वाले अधिकांश मामलों को खारिज कर देता है, जिससे बहुत अधिक समय बचता है।

"एंकर" रणनीति (The "Anchor" Strategy)

इन ट्रिक्स के बावजूद, हर एक संभव लंबाई (मान लीजिए 10 से 1,000 तक) को मेमोरी में रखना बहुत अधिक होगा। इसलिए, Panache एंकर लेंथ्स (Anchor Lengths) की रणनीति का उपयोग करता है। हर एक लंबाई के लिए पूर्ण, सक्रिय खोज चलाने के बजाय, यह केवल चुनिटे हुए कुछ लेंथ्स (एंकर) के लिए सक्रिय खोज चलाता है, जो मील के पत्थरों की तरह अंतराल पर रखे गए हैं।

पेपर का तर्क है कि मोटिफ्स "चिपचिपे" (sticky) होते हैं। यदि लंबाई 20 पर एक पैटर्न एक अच्छा मिलान है, तो इसकी बहुत अधिक संभावना है कि यह लंबाई 19 या 21 पर भी एक अच्छा मिलान होगा। इसलिए, Panache एंकर लेंथ्स पर मिलान पाता है और फिर उनके बीच की लंबाई पर एक त्वरित, स्थानीय जांच करता है। इसका मतलब है कि इसे हर एक लंबाई के लिए भारी काम नहीं करना पड़ता, फिर भी यह उत्तर ढूंढ लेता है क्योंकि "अच्छी" लंबाई एक साथ क्लस्टर में होती हैं।

परिणाम: गति और सटीकता (Speed and Accuracy)

लेखकों ने वास्तविक दुनिया के डेटा (जिसमें हार्टबीट्स (ECG), भूकंप और स्टॉक मार्केट डेटा शामिल हैं) के 17 अलग-अलग कॉन्फ़िगरेशन पर Panache का परीक्षण किया। उन्होंने मौजूदा सर्वोत्तम तरीकों के साथ इसकी तुलना की, जिसमें शक्तिशाली GPU (ग्राफिक्स कार्ड का उपयोग करने वाले कंप्यूटिंग के उच्च स्तर) भी शामिल थे।

परिणाम चौंकाने वाले थे। Wafer नामक एक डेटासेट पर, जिसमें 5 मिलियन डेटा पॉइंट्स और 51 अलग-अलग लंबाई थी:

• सबसे तेज़ मौजूदा CPU विधि ने 7.95 घंटे लिए।
• एक टॉप-टियर GPU विधि (H100 पर Scamp) ने 38.3 मिनट लिए।
• Panache ने प्रारंभिक स्कैन को 2.9 मिनट में पूरा किया और अंतिम सटीक मोटिफ्स को 6.0 मिनट में जारी किया।

Panache द्वारा टेस्ट किए गए हर CPU और GPU बेसलाइन से तेज़ था। इससे भी महत्वपूर्ण बात यह है कि इसने सटीकता से समझौता नहीं किया। इसने उन शीर्ष-20 मोटिफ्स का 100% रिकवरी किया, जिन्हें सटीक, धीमे तरीकों ने पाया था। इसने जो भी पैटर्न रिपोर्ट किया, वह एक वैध पड़ोसी का सटीक अंतर (exact distance) था, न कि केवल एक अनुमान।

यह क्यों मायने रखता है

पेपर निष्कर्ष निकालता है कि Panache डेटा माइनिंग की एक लंबे समय से चली आ रही समस्या को हल करता है: स्ट्रीमिंग, रियल-टाइम फैशन में अज्ञात लंबाई के दोहराए जाने वाले पैटर्न को सटीकता से कैसे खोजा जाए। एक दोहराव वाले, धीमे "रिवाइंड और सर्च" दृष्टिकोण के बजाय, एक सिंगल, स्मार्ट पास का उपयोग करके जो स्पेक्ट्रल फिंगरप्रिंट और गणितीय शॉर्टकट का उपयोग करता है, Panache मिनटों के बजाय घंटों में विशाल डेटा स्ट्रीम का विश्लेषण करना संभव बनाता है। यह साबित करता है कि आप अपनी मर्जी की चीज़ पा सकते हैं: आप पुराने तरीकों के सटीक, कठोर परिणाम प्राप्त कर सकते हैं और साथ ही आधुनिक स्ट्रीमिंग एल्गोरिदम की गति भी पा सकते हैं। एकमात्र ट्रेड-ऑफ मेमोरी है; क्योंकि यह त्वरित लुकअप करने के लिए बहुत सारा डेटा RAM में रखता है, इसे कुछ सरल तरीकों की तुलना में अधिक मेमोरी की आवश्यकता होती है, लेकिन यह जो गति प्रदान करता है, उसके लिए लेखक इसे एक वाजिब कीमत मानते हैं।