🤖 machine learning

Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

यह शोध पत्र वित्तीय समय श्रृंखला डेटा (financial time series data) में कुशल, कम-विलंबता वाले वास्तविक समय के आउटलियर डिटेक्शन को सक्षम करने के लिए PYNQ-Z2 FPGA पर कार्यान्वित एक अनुकूलित ट्रांसफार्मर न्यूरल नेटवर्क आर्किटेक्चर का प्रस्ताव और प्रदर्शन करता है।

मूल लेखक: Ilia Sobakinskikh, Paul Alexander Bilokon

प्रकाशित 2026-07-28

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ilia Sobakinskikh, Paul Alexander Bilokon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भीड़भाड़ वाले शहर में एक चोर को पकड़ने की कोशिश कर रहे हैं। वह शहर संख्याओं की एक नदी है, जो लगातार बह रही है—जैसे शेयरों की कीमतें, सर्वर का तापमान, या टैक्सी लाइन में लोगों की संख्या। ज्यादातर समय, यह नदी सुचारू रूप से बहती है, लेकिन कभी-कभी एक विशाल चट्टान—एक "ग्लिच" (glitch) या "आउटलायर" (outlier)—धारा में कूद जाती है, जिससे एक ऐसा उछाल आता है जो नीचे की ओर सब कुछ बर्बाद कर सकता है। वित्त और डेटा विज्ञान की दुनिया में, ये उछाल खतरनाक होते हैं; वे कंप्यूटर को गलत निर्णय लेने के लिए धोखा दे सकते हैं। लंबे समय तक, इन उछालों को पकड़ना धीमा था, जैसे हाथ से घास के ढेर में सुई खोजने की कोशिश करना। लेकिन हाल ही में, वैज्ञानिकों ने एक सुपर-स्मार्ट जासूस बनाया है जिसे "ट्रांसफॉर्मर" (Transformer) कहा जाता है। एक ट्रांसफॉर्मर को एक जीनियस लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जो एक साथ लाखों किताबें पढ़ सकता है और तुरंत याद रख सकता है कि पेज एक की कहानी पेज एक हजार से कैसे जुड़ती है। यह लाइब्रेरियन अजीब पैटर्न पहचानने में अद्भुत है, लेकिन एक समस्या है: लाइब्रेरियन इतना भारी और धीमा है कि वह वास्तविक समय (real-time) में चोर को पकड़ने के लिए पर्याप्त तेज़ नहीं दौड़ सकता।

यहाँ एंट्री होती है FPGA की, जो एक कस्टम-बिल्ट, सुपर-फास्ट रेस कार इंजन की तरह है जिसे आप चलते-फिरते पुनर्गठित (reconfigure) कर सकते हैं। मुख्य सवाल जिसका यह पेपर समाधान करता है वह यह है: क्या हम अपने इस जीनियस, भारी लाइब्रेरियन (ट्रांसफॉर्मर) को इस रेस कार (FPGA) चलाना सिखा सकते हैं ताकि वे खराब डेटा को तुरंत पकड़ सकें? लेखक, इलिया सोबकिंस्की और पॉल अलेक्जेंडर बिलोकोन ने यह देखने की कोशिश की कि क्या वे इस विशाल मस्तिष्क को एक छोटे, पुनर्गठित चिप के भीतर फिट करने के लिए सिकोड़ सकते हैं बिना उसकी बुद्धिमत्ता खोए। वे यह साबित करना चाहते थे कि इन वित्तीय ग्लिच को खोजने के लिए आपको एक विशाल सुपरकंप्यूटर की आवश्यकता नहीं है; आप इसे एक छोटे बोर्ड पर कर सकते हैं, इतना तेज़ कि आपदा होने से पहले ही उसे रोका जा सके।

ग्लिच को पकड़ने की दौड़

लेखकों ने "एनोमली डिटेक्शन" (anomaly detection) की समस्या से शुरुआत की। सरल शब्दों में, यह केवल एक सूची में अजीब नंबरों को खोजना है। उन्होंने "पॉइंट एनोमलीज" (point anomalies) पर ध्यान केंद्रित किया, जो स्टॉक की कीमतों में अचानक उछाल की तरह हैं—सोचिए कि एक स्टॉक अचानक $100 से$ 101 हो जाता है जब उसे नहीं होना चाहिए। इन्हें पकड़ने के लिए, उन्होंने "ट्रांसफॉर्मर" नामक एक विशिष्ट प्रकार के AI का उपयोग किया। पुराने AI मॉडल जो डेटा को एक समय में एक कदम करके पढ़ते हैं (जैसे एक किताब को शब्द दर शब्द पढ़ना), उनके विपरीत ट्रांसफॉर्मर एक बार में पूरी तस्वीर देखते हैं, यह समझते हुए कि आज की कीमत कई सप्ताह पहले की कीमत से कैसे संबंधित है।

हालाँकि, इन ट्रांसफॉर्मर्स को चलाना आमतौर पर धीमा और महंगा होता है। लेखकों ने उन्हें एक FPGA पर चलाने का निर्णय लिया, विशेष रूप से PYNQ-Z2 नामक बोर्ड पर। इसे सफल बनाने के लिए, उन्हें चिप को प्रोग्राम करने के तरीके में बहुत चतुर होना पड़ा। उन्होंने ट्रांसफॉर्मर के भीतर गणित को एक फैक्ट्री असेंबली लाइन की तरह माना। एक गणना के पूरा होने का इंतज़ार करने के बजाय, उन्होंने "पाइपलाइनिंग" (pipelining) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि एक कार वॉश में पहली कार अभी भी साबुन से धोई जा रही है जबकि दूसरी कार पहले से ही रिंस (rinse) चक्र के नीचे है; यह लाइन को तेज़ी से चलता रहता है। उन्होंने "अनरोलिंग" (unrolling) का भी उपयोग किया, जो एक ही काम को दस बार करने के बजाय दस श्रमिकों द्वारा एक ही समय में एक ही कार्य करने जैसा है।

परिणाम: गति बनाम बुद्धिमत्ता

टीम ने अपने AI जासूस के दो संस्करणों का परीक्षण किया। पहला था "वैनिला ट्रांसफॉर्मर" (Vanilla Transformer), मानक, भारी संस्करण। दूसरा था "लीनियर ट्रांसफॉर्मर" (Linear Transformer), एक हल्का, तेज़ संस्करण जो भारी गणित को छोड़ देता है। उन्होंने इन मॉडलों को FPGA पर चलाया और उनकी तुलना एक मानक कंप्यूटर प्रोसेसर (CPU) से की।

परिणाम दो अलग-अलग समझौतों (trade-offs) की कहानी थे। मानक ट्रांसफॉर्मर, जब FPGA के लिए अनुकूलित (optimized) किया गया, तो अविश्वसनीय रूप से तेज़ हो गया। यह डेटा को केवल 37.14 माइक्रोसेकंड (यानी 0.000037 सेकंड!) में प्रोसेस कर सकता था। इन विशेष अनुकूलनों के बिना, उसी कार्य में 347.45 माइक्रोसेकंड लगे, जो दस गुना धीमा है। लीनियर ट्रांसफॉर्मर और भी तेज़ था, जिसने 29.86 माइक्रोसेकंड का समय लिया।

लेकिन गति की एक कीमत थी। उस गति को पाने के लिए, चिप को बहुत अधिक मेहनत करनी पड़ी। अनुकूलित ट्रांसफॉर्मर ने उपलब्ध "LUTs" (चिप के भीतर छोटे लॉजिक स्विच) का 90% और "FFs" (मेमोरी बिट्स) का 30% उपयोग किया, जबकि धीमे, अन-ऑप्टिमाइज्ड संस्करण ने क्रमशः केवल 10% और 2% का उपयोग किया। यह एक साइकिल को मोटरसाइकिल में अपग्रेड करने जैसा है: आप बहुत तेज़ चलते हैं, लेकिन आपको एक बहुत बड़े इंजन और अधिक ईंधन की आवश्यकता होती है।

क्या जासूस ने अपना काम किया?

गति अच्छी है, लेकिन क्या जासूस अभी भी बुद्धिमान है? लेखों ने अपने मॉडलों का वास्तविक दुनिया के डेटा पर परीक्षण किया, जिसमें न्यूयॉर्क शहर की टैक्सी की मांग, सर्वर प्रदर्शन लॉग और हाई-फ्रीक्वेंसी स्टॉक की कीमतें शामिल थीं। उन्होंने अपने AI की तुलना एक साधारण "लीनियर रिग्रेशन" (Linear Regression) मॉडल से की, जो एक ऐसे जासूस की तरह है जो केवल हाल के नंबर को देखता है और उसके आधार पर अनुमान लगाता है।

परिणामों ने दिखाया कि ट्रांसफॉर्मर्स आम तौर पर सरल मॉडल की तुलना में विसंगतियों (anomalies) को पकड़ने में बहुत बेहतर थे। KPI डेटासेट (सर्वर लॉग) पर, मानक ट्रांसफॉर्मर ने ट्रेनिंग डेटा पर 0.98 और वैलिडेशन डेटा पर 0.97 की सटीकता हासिल की, जिसका F1 स्कोर (गलत चीज़ों को पकड़ने और बिना वजह घबराने के बीच का संतुलन) क्रमशः 0.71 और 0.76 था। लीनियर ट्रांसफॉर्मर थोड़ा कम सटीक था लेकिन फिर भी मजबूत था। हालाँकि, स्टॉक मार्केट डेटा (FI2010) पर, मॉडल थोड़ा संघर्ष करते दिखे, जहाँ F1 स्कोर गिरकर 0.06 और 0.09 हो गया, जो बताता है कि हालांकि वे तेज़ हैं, लेकिन वे हर प्रकार के डेटा में हर एक ग्लिच को पकड़ने में पूर्ण नहीं हैं।

दिलचस्प बात यह है कि लेखकों ने पाया कि कुछ विशेषताएं जिन्हें ट्रांसफॉर्मर्स के लिए आवश्यक माना जाता है, जैसे "पोजीशनल एनकोडिंग" (संख्याओं का क्रम बताने का एक तरीका), वास्तव में उनके विशिष्ट सेटअप में ट्रेनिंग को अस्थिर और खराब बना रही थीं। उन्हें इन विशेषताओं को ठीक से काम करने के लिए बंद करना पड़ा।

निष्कर्ष

यह पेपर यह दावा नहीं करता है कि इसने एनोमली डिटेक्शन के रहस्य को हमेशा के लिए सुलझा लिया है। इसके बजाय, यह सुझाव देता है कि हम इन शक्तिशाली AI मॉडलों को छोटे, तेज़ चिप्स में फिट होने के लिए सफलतापूर्वक सिकोड़ सकते हैं। लेखकों ने दिखाया कि पाइपलाइनिंग और अनरोलिंग जैसी चतुर प्रोग्रामिंग तकनीकों का उपयोग करके, आप एक ट्रांसफॉर्मर को FPGA पर 10 गुना तेज़ चला सकते हैं। हालाँकि इस गति की चिप के संसाधनों के मामले में भारी लागत है, लेकिन यह साबित करता है कि बिना किसी विशाल डेटा सेंटर की आवश्यकता के वास्तविक समय में, उच्च-गति वाला एनोमली डिटेक्शन संभव है। यह एक प्रमाण है कि वित्तीय ग्लिच को पकड़ने का भविष्य किसी विशाल सर्वर रूम में नहीं, बल्कि बिजली की गति से डेटा के माध्यम से दौड़ते एक छोटे, पुनर्गठित चिप में हो सकता है।

तकनीकी सारांश: FPGAs पर रियल-टाइम आउटलेयर डिटेक्शन के लिए ट्रांसफॉर्मर न्यूरल नेटवर्क का अनुकूलन

समस्या विवरण
वित्तीय समय-श्रृंखला डेटा (financial time-series data), जैसे कि परिसंपत्ति की कीमतें (asset prices), तेजी से अधिक मात्रा में बढ़ रही हैं लेकिन अक्सर त्रुटियों और आउटलेयर्स (outliers) से दूषित होती हैं। ये विसंगतियाँ (anomalies) डाउनस्ट्रीम प्रोसेसिंग कार्यों को अप्रभावी या हानिकारक बना देती हैं। जबकि डीप लर्निंग मॉडल, विशेष रूप से ट्रांसफॉर्मर, विसंगति का पता लगाने (anomaly detection) के लिए लॉन्ग-रेंज डिपेंडेंसीज को कैप्चर करने में श्रेष्ठ प्रदर्शन प्रदर्शित करते हैं, उनकी कम्प्यूटेशनल जटिलता वास्तविक समय (real-time) के अनुप्रयोगों के लिए एक चुनौती पेश करती है। एक ऐसे डेटा-क्लीनिंग तरीके की महत्वपूर्ण आवश्यकता है जो उच्च सटीकता के साथ कम इन्फरेंस लेटेंसी (inference latency) को संतुलित कर सके। यह कार्य कम से कम लेटेंसी के साथ रियल-टाइम विसंगति का पता लगाने के लिए फील्ड-प्रोग्रामेबल गेट एरेज़ (FPGAs) पर ट्रांसफॉर्मर आर्किटेक्चर को तैनात करने की चुनौती को संबोधित करता है।

कार्यप्रणाली (Methodology)
यह अध्ययन एक PYNX-Z2 FPGA बोर्ड पर दो ट्रांसफॉर्मर-आधारित आर्किटेक्चर के कार्यान्वयन और अनुकूलन का प्रस्ताव करता है: एक "वैनिला" (Vanilla) ट्रांसफॉर्मर एनकोडर और एक लीनियर अटेंशन ट्रांसफॉर्मर।

मॉडल आर्किटेक्चर:
- वैनिला ट्रांसफॉर्मर: यह मल्टी-हेड सेल्फ-अटेंशन और फीड-फॉरवर्ड नेटवर्क के साथ मानक एनकोडर आर्किटेक्चर का उपयोग करता है। विशिष्ट डेटासेट्स पर प्रशिक्षण स्थिरता और प्रदर्शन में सुधार के लिए पोजीशनल एनकोडिंग और लेयर नॉर्मलाइजेशन को प्रयोगात्मक रूप से अक्षम (disabled) कर दिया गया था।
- लीनियर ट्रांसफॉर्मर: यह कम्प्यूटेशनल जटिलता को $O(N^2)$ से $O(N)$ तक कम करने के लिए लीनियर अटेंशन मैकेनिज्म (एक फीचर मैप $\phi(x) = \text{elu}(x) + 1$ का उपयोग करके) को लागू करता है, जो सॉफ्टमैक्स ऑपरेशन को समाप्त करता है।
FPGA अनुकूलन रणनीति:
लेखकों ने एल्गोरिदम विवरण और हार्डवेयर कार्यान्वयन के बीच के अंतर को पाटने के लिए C++ के साथ हाई-लेवल सिंथेसिस (HLS) का उपयोग किया। ट्रांसफॉर्मर ब्लॉक्स के भीतर मैट्रिक्स गुणन और लूप्स पर लागू प्रमुख अनुकूलन में शामिल हैं:
- लूप पाइपलाइनिंग (Loop Pipelining): थ्रूपुट में सुधार के लिए इनर लूप्स पर लागू किया गया, जिससे नए इटरेशन को पिछले इटरेशन के पूरा होने से पहले ही शुरू होने की अनुमति मिलती है।
- लूप अनरोलिंग (Loop Unrolling): ReLU एक्टिवेशन जैसे ऑपरेशन्स के लिए उपयोग किया गया ताकि इटरेशन्स को समानांतर (parallel) में निष्पादित किया जा सके।
- एरे पार्टीशनिंग (Array Partitioning): समानांतर मेमोरी एक्सेस को सक्षम करने और बॉटलनेक्स से बचने के लिए नियोजित किया गया (साइक्लिक, ब्लॉक, या कम्पलीट), हालांकि इससे रिसोर्स यूटिलाइजेशन (LUTs और FFs) बढ़ जाता है।
- न्यूमेरिकल स्टेबिलिटी (Numerical Stability): ओवरफ्लो को रोकने के लिए सॉफ्टमैक्स फंक्शन पर एक मैक्स-सबट्रैक्शन तकनीक लागू की गई।
- डेटा टाइप्स: सिंगल-प्रिसिजन float को सटीकता से समझौता किए बिना मॉडल को FPGA के रिसोर्स कंस्ट्रेंट्स के भीतर फिट करने के लिए double के ऊपर चुना गया।
प्रायोगिक सेटअप:
- डेटासेट्स: मॉडल्स का मूल्यांकन न्युमेरेंटा एनोमली बेंचमार्क (NAB) का उपयोग करके NYC टैक्सी डिमांड डेटा, KPI एनोमली डिटेक्शन डेटासेट (KPI AIOS), और FI2010 हाई-फ्रीक्वेंसी लिमिट ऑर्डर बुक डेटासेट (सिंथेटिक आउटलेयर्स इंजेक्ट करने के साथ) पर किया गया।
- बेसलाइन्स: प्रदर्शन की तुलना हैंडक्राफ्टेड फीचर्स वाले एक साधारण लीनियर रिग्रेशन मॉडल से की गई।
- प्रशिक्षण: ग्रेडिएंट एक्सप्लोजन को कम करने के लिए लर्निंग रेट फाइंडिंग और ग्रेडिएंट क्लिपिंग के साथ एडम (Adam) ऑप्टिमाइज़र का उपयोग करके मॉडल्स को प्रशिक्षित किया गया। क्लास इम्बैलेंस को बाइनरी क्रॉस-एन्ट्रॉपी लॉस फंक्शन में पॉजिटिव (विसंगति) सैंपल्स को नेगेटिव सैंपल्स की तुलना में पांच गुना अधिक वेट देकर संबोधित किया गया।

प्रमुख योगदान
पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

एक FPGA बोर्ड पर वैनिला ट्रांसफॉर्मर आर्किटेक्चर का सफल कार्यान्वयन।
उसी FPGA हार्डवेयर पर लीनियर अटेंशन ट्रांसफॉर्मर का कार्यान्वयन।
विशिष्ट HLS अनुकूलन के तहत इन आर्किटेक्चर के लिए लेटेंसी और रिसोर्स यूटिलाइजेशन के बीच के ट्रेड-ऑफ का विस्तृत विश्लेषण।
कई डेटासेट्स पर विसंगति का पता लगाने के कार्यों में प्रस्तावित आर्किटेक्चर की सटीकता का लीनियर बेसलाइन के विरुद्ध तुलनात्मक विश्लेषण।

परिणाम

इन्फरेंस प्रदर्शन: अनुकूलित FPGA कार्यान्वयन ने गैर-अनुकूलित संस्करणों की तुलना में लेटेंसी को काफी कम कर दिया।
- वैनिला ट्रांसफॉर्मर ने अनुकूलन के साथ 3,714 क्लॉक साइकल (~~37.14 $\mu$ s) की लेटेंसी प्राप्त की, जबकि बिना अनुकूलन के यह 34,745 साइकल (~~347.45 $\mu$ s) थी। इसके लिए 90% LUT यूटिलाइजेशन और 30% FF यूटिलाइजेशन की आवश्यकता थी।
- लीनियर ट्रांसफॉर्मर ने अनुकूलन के साथ 2,986 क्लॉक साइकल (~~29.86 $\mu$ s) की लेटेंसी प्राप्त की, जबकि बिना अनुकूलन के यह 68,894 साइकल (~~688.94 $\mu$ s) थी। इसके लिए 99% LUT यूटिलाइजेशन और 43% FF यूटिलाइजेशन की आवश्यकता थी।
सटीकता:
- KPI डेटासेट पर, ट्रांसफॉर्मर मॉडल्स ने F1 स्कोर (0.71–0.76 बनाम 0.12–0.25) में लीनियर रिग्रेशन बेसलाइन को काफी पीछे छोड़ दिया।
- NAB डेटासेट पर, ट्रांसफॉर्मर ने 0.23–0.47 का F1 प्राप्त किया, जबकि लीनियर रिग्रेशन बेसलाइन 0.16–0.33 के F1 के साथ संघर्ष करती रही।
- FI2010 डेटासेट पर, ट्रांसफॉर्मर मॉडल्स ने बेसलाइन (0.14–0.16) की तुलना में उच्च सटीकता (0.80–0.84) दिखाई, हालांकि प्रिसिजन और रिकॉल सभी मॉडल्स के लिए कम रहे, जो विशिष्ट विसंगति इंजेक्शन कार्य की कठिनाई को दर्शाता है।
- सामान्य तौर पर, वैनिला ट्रांसफॉर्मर और लीनियर ट्रांसफॉर्मर तुलनीय प्रदर्शन दिखाते हैं, जिसमें वैनिला मॉडल अक्सर KPI डेटासेट पर थोड़ी अधिक प्रिसिजन प्राप्त करता है।

महत्व और दावे
लेखक विनम्रतापूर्वक दावा करते हैं कि इस कार्य का प्राथमिक महत्व यह प्रदर्शित करना है कि विसंगति का पता लगाने के लिए रियल-टाइम प्रोसेसिंग को न्यूनतम लेटेंसी के लिए FPGA पर कुशलतापूर्वक कैसे लागू किया जा सकता है, न कि अन्य सभी विसंगति का पता लगाने के तरीकों पर ट्रांसफॉर्मर की श्रेष्ठता को सिद्ध करना। यह कार्य रेखांकित करता है कि:

ट्रांसफॉर्मर न्यूनतम ट्यूनिंग के साथ विसंगति का पता लगाने के लिए "आउट ऑफ द बॉक्स प्रदर्शन" प्राप्त कर सकते हैं।
FPGA पुनर्गठन क्षमता (reconfigurability) ट्रांसफॉर्मर गणनाओं के महत्वपूर्ण त्वरण (acceleration) की अनुमति देती है, जिससे रियल-टाइम प्रोसेसिंग संभव हो जाती है।
रिसोर्स यूटिलाइजेशन (LUTs/FFs) और लेटेंसी के बीच एक स्पष्ट ट्रेड-ऑफ है, जहाँ आक्रामक अनुकूलन (पाइपलाइनिंग और पार्टीशनिंग) उच्च रिसोर्स खपत की कीमत पर इन्फरेंस समय को नाटकीय रूप से कम कर देता है।

पेपर निष्कर्ष निकालता है कि हालांकि विशेष आर्किटेक्चर मौजूद हैं, वैनिला और लीनियर ट्रांसफॉर्मर आर्किटेक्चर वित्तीय समय-श्रृंखला सफाई (financial time-series cleaning) के लिए FPGA पर तैनाती के लिए व्यवहार्य उम्मीदवार हैं, जो प्रदर्शन और गति के बीच एक संतुलन प्रदान करते हैं। भविष्य के कार्य का सुझाव दिया गया है लेकिन सामान्य विचारों के अलावा विस्तृत नहीं किया गया है।

ग्लिच को पकड़ने की दौड़

परिणाम: गति बनाम बुद्धिमत्ता

क्या जासूस ने अपना काम किया?

निष्कर्ष

इसी तरह के और पेपर