🤖 machine learning

GDformer: Going Beyond Subsequence Isolation for Multivariate Time Series Anomaly Detection

यह शोध पत्र GDformer प्रस्तुत करता है, जो एक नवीन अनसुपरवाइज्ड विसंगति पहचान (anomaly detection) फ्रेमवर्क है जो वैश्विक प्रतिनिधित्व और सहसंबंध भार (correlation weights) पर आधारित एक एकीकृत, श्रृंखला-स्तरीय पहचान मानदंड स्थापित करके पृथक उप-अनुक्रम विश्लेषण की सीमाओं को दूर करने के लिए एक ग्लोबल डिक्शनरी-एन्हांस्ड ट्रांसफॉर्मर का लाभ उठाता है, जिससे कई वास्तविक दुनिया के बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Qingxiang Liu, Xiaoliang Luo, Chenghao Liu, Sheng Sun, Di Yao, Lvchun Wang, Wei Yu, Yuxuan Liang

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qingxiang Liu, Xiaoliang Luo, Chenghao Liu, Sheng Sun, Di Yao, Lvchun Wang, Wei Yu, Yuxuan Liang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुरक्षा गार्ड हैं जो सैकड़ों सेंसरों से भरे एक विशाल कंट्रोल रूम की निगरानी कर रहे हैं। ये सेंसर तापमान और दबाव से लेकर गति और वोल्टेज तक सब कुछ ट्रैक करते हैं। आपका काम यह पता लगाना है कि कब कुछ गलत हो रहा है (एक "असंगति" या anomaly) इससे पहले कि वह किसी बड़ी आपदा का कारण बन जाए।

समस्या यह है कि डेटा बहुत अधिक है। यह संख्याओं की एक निरंतर, अराजक धारा है। यदि आप केवल डेटा के एक छोटे, अलग टुकड़े (जैसे 10 सेकंड का क्लिप) को देखने की कोशिश करते हैं, तो आप बड़ी तस्वीर को 놓 सकते हैं। आप सोच सकते हैं कि अचानक आया उछाल सामान्य है क्योंकि वह उस छोटे क्लिप में ठीक लग रहा है, भले ही वह वास्तव में सिस्टम-व्यापी विफलता का संकेत हो।

यही वह समस्या है जिसे GDformer पेपर हल करने की कोशिश करता है। यह इसे कैसे करता है, इसका सरल विवरण यहाँ दिया गया है:

पुराना तरीका: "आंखों पर पट्टी बांधा हुआ" जासूस

इन त्रुटियों को पकड़ने के लिए अधिकांश मौजूदा AI तरीके एक ऐसे जासूस की तरह काम करते हैं जो आंखों पर पट्टी बांधे हुए है और उसे एक बार में केवल एक छोटा कमरा देखने की अनुमति है।

वे डेटा की पूरी टाइमलाइन को छोटे, अलग-अलग टुकड़ों (subsequences) में काट देते हैं।
वे प्रत्येक टुकड़े का अलग से विश्लेषण करते हैं ताकि यह देखा जा सके कि क्या वह अजीब लग रहा है।
खामी: क्योंकि वे इतने छोटे टुकड़ों को देख रहे हैं, वे "ग्लोबल" संदर्भ (global context) को मिस कर देते हैं। एक कमरे में आया अजीब उछाल सामान्य लग सकता है यदि आपको यह नहीं पता कि बाकी 99 कमरों में क्या हो रहा है। इससे गलत अलार्म (यह सोचना कि सामान्य चीजें खराब हैं) या छूटे हुए अलार्म (यह सोचना कि खराब चीजें सामान्य हैं) की स्थिति पैदा होती है।

नया तरीका: "ग्लोबल डिक्शनरी" वाला लाइब्रेरियन

लेखक GDformer नामक एक नया मॉडल प्रस्तावित करते हैं। अलग-थलग कमरों को देखने के बजाय, यह मॉडल एक "सामान्य स्थिति" के मास्टर कैटलॉग वाले लाइब्रेरियन की तरह काम करता है।

यह कैसे काम करता है, इसकी रचनात्मक उपमा यहाँ दी गई है:

ग्लोबल डिक्शनरी (द मास्टर कैटलॉग):
कल्पना कीजिए कि AI एक विशेष "डिक्शनरी" बनाता है जिसमें की (Key) और वैल्यू (Value) वेक्टर्स होते हैं। इन्हें "पूरी तरह से सामान्य" पैटर्न के संग्रह के रूप में सोचें जिन्हें सिस्टम ने न केवल एक छोटे हिस्से से, बल्कि सभी डेटा से सीखा है। यह पूरी इमारत के लिए "स्वस्थ" दिखने के मास्टर लिस्ट रखने जैसा है, न कि केवल एक कमरे के लिए।
क्रॉस-अटेंशन (तुलना):
जब एक नया डेटा पॉइंट आता है, तो केवल अपने पड़ोसियों को देखने के बजाय, AI पूछता है: "यह विशिष्ट क्षण 'मास्टर कैटलॉग' के सामान्य व्यवहार से कितना मेल खाता है?"

यह उस ग्लोबल डिक्शनरी के विरुद्ध वर्तमान डेटा पॉइंट की तुलना करने के लिए क्रॉस-अटेंशन (Cross-Attention) नामक एक तंत्र का उपयोग करता है।
यदि डेटा पॉइंट "मास्टर कैटलॉग" से अच्छी तरह मेल खाता है, तो इसे उच्च स्कोर मिलता है (यह सामान्य है)।
यदि यह वैश्विक पैटर्न से मेल नहीं खाता है, तो इसे कम स्कोर मिलता है (यह एक असंगति है)।

प्रोटोटाइप्स (एक "आदर्श" सामान्य):
इसे और भी सटीक बनाने के लिए, AI प्रोटोटाइप्स (Prototypes) बनाता है। कल्पना कीजिए कि ये सामान्य व्यवहार के "आदर्शित" संस्करण हैं। AI एक डेटा पॉइंट और ग्लोबल डिक्शनरी के बीच के संबंध के विशिष्ट आकार को पहचानना सीखता है।

सामान्य बिंदु (Normal points) इन प्रोटोटाइप्स के बहुत समान दिखेंगे।
असंगति वाले बिंदु (Anomaly points) बहुत अलग दिखेंगे।
AI बस वर्तमान बिंदु और इन "आदर्श सामान्य" के बीच की दूरी को मापता है। यदि दूरी बहुत अधिक है, तो यह एक अलर्ट है।

यह बेहतर क्यों है

कोई ब्लाइंड स्पॉट नहीं: क्योंकि AI "ग्लोबल डिक्शनरी" का उपयोग करता है, यह पूरे डेटा का संदर्भ समझता है, न कि केवल एक छोटे टुकड़े का। यह जानता है कि पूरे सिस्टम के लिए एक "सामान्य दिन" कैसा दिखता है।
तेज़ और हल्का: पारंपरिक तरीके हर एक डेटा पॉइंट की तुलना हर दूसरे डेटा पॉइंट से करने की कोशिश करते हैं (जो एक लाइब्रेरी की हर किताब की तुलना दूसरी किताब से करने जैसा है)। इसमें बहुत समय लगता है और बहुत मेमोरी खर्च होती है। GDformer डेटा पॉइंट्स की तुलना केवल छोटी "डिक्शनरी" (कैटलॉग) से करता है, जो बहुत तेज़ है और कम कंप्यूटर पावर का उपयोग करता है।
कम गलतियाँ: पेपर दिखाता है कि यह विधि पुराने "आंखों पर पट्टी बांधे हुए" तरीकों की तुलना में वास्तविक समस्याओं को अधिक पकड़ती है और कम गलत अलार्म देती है।

निष्कर्ष

पेपर का दावा है कि डेटा के अलग-थलग, छोटे टुकड़ों को देखने के बजाय और पूरी तस्वीर को समझने के लिए "ग्लोबल डिक्शनरी" बनाने से, GDformer वर्तमान अत्याधुनिक तरीकों की तुलना में अधिक सटीकता, गति और कम गलतियों के साथ सिस्टम की खराबी का पता लगा सकता है। यह अनिवार्य रूप से AI को डेटा के "वॉर्म्स-आई व्यू" (कीड़े की दृष्टि) के बजाय "बर्ड्स-आई व्यू" (पक्षी की दृष्टि/ऊपर से व्यापक दृष्टि) प्रदान करता है।

तकनीकी सारांश: बहुभिन्नरूपी समय श्रृंखला विसंगति पहचान (Multivariate Time Series Anomaly Detection) के लिए GDformer

1. समस्या विवरण

बहुभिन्नरूपी समय श्रृंखला (MTS) विसंगति पहचान वास्तविक दुनिया के सिस्टम (जैसे, औद्योगिक सेंसर, सर्वर मेट्रिक्स) की विश्वसनीयता बनाए रखने के लिए महत्वपूर्ण है। हालाँकि, मौजूदा डीप लर्निंग दृष्टिकोण सबसीक्वेंस आइसोलेशन (subsequence isolation) रणनीति के कारण महत्वपूर्ण सीमाओं का सामना करते हैं। वर्तमान विधियाँ आमतौर पर लंबी समय श्रृंखलाओं को गैर-अतिव्यापी (non-overlapping), अलग किए गए सबसीक्वेंस में विभाजित करती हैं ताकि सबसीक्वेंस-स्तर के टेम्पोरल ज्ञान को सीखा जा सके। यह दृष्टिकोण निम्नलिखित समस्याओं से ग्रस्त है:

सीमित क्षितिज (Limited Horizon): मॉडल के पास सीरीज़-स्तरीय संदर्भ (series-level context) तक पहुँच नहीं होती है, जिससे प्रतिनिधित्व वैश्विक रूप से सूचनात्मक नहीं रह जाता है।
असंगत मानदंड (Inconsistent Criteria): सबसीक्वेंस की विषमता (उतार-चढ़ाव, विसंगति घनत्व) के कारण, अलग किए गए खंडों से प्राप्त पॉइंट-वाइज विसंगति स्कोर अत्यधिक परिवर्तनशील होते हैं। पूरे सीरीज़ के लिए एक एकीकृत पहचान थ्रेशोल्ड स्थापित करने के लिए इन स्कोरों को जोड़ने से अक्सर फॉल्स पॉजिटिव और फॉल्स नेगेटिव उत्पन्न होते हैं।
स्केलेबिलिटी संबंधी मुद्दे: वैश्विक संदर्भ को कैप्चर करने के लिए पूरी सीरीज़ पर सेल्फ-अटेंशन लागू करने से $O(n^2)$ समय और स्थान जटिलता (complexity) आती है, जो लंबी अनुक्रमों के लिए गणनात्मक रूप से निषेधात्मक है।

यह शोध पत्र MTS विसंगति पहचान को एक अनसुपरवाइज्ड लर्निंग समस्या के रूप में फ्रेम करता है, जिसका लक्ष्य प्रशिक्षण के दौरान विसंगति लेबल तक पहुँच के बिना एक संक्षिप्त, एकीकृत पहचान मानदंड प्राप्त करना है।

2. कार्यप्रणाली: GDformer

लेखक GDformer (ग्लोबल डिक्शनरी-एनहैंस्ड ट्रांसफॉर्मर) प्रस्तावित करते हैं, जो एक ऐसा मॉडल है जिसे पूरे सीरीज़ में सभी सामान्य बिंदुओं द्वारा साझा किए जाने वाले ग्लोबल रिप्रेजेंटेशन विकसित करने के लिए डिज़ाइन किया गया है, जो सबसीक्वेंस आइसोलेशन से आगे बढ़ता है।

2.1 मुख्य आर्किटेक्चर

GDformer मानक सेल्फ-अटेंशन मैकेनिज्म को डिक्शनरी-आधारित क्रॉस-अटेंशन (Dictionary-Based Cross-Attention) मैकेनिज्म से बदल देता है।

ग्लोबल डिक्शनरी (Global Dictionary): इनपुट सीक्वेंस से कीज़ ( $K$ ) और वैल्यूज़ ( $V$ ) प्राप्त करने के बजाय (जो संदर्भ को सबसीक्वेंस तक सीमित करता है), GDformer एक डिक्शनरी में संग्रहीत होने वाले लर्न करने योग्य (learnable), ग्लोबल $K$ और $V$ वेक्टर्स पेश करता है। ये वेक्टर्स पूरे डेटासेट में सामान्य बिंदुओं के साझा टेम्पोरल रिप्रेजेंटेशन को कैप्चर करने के लिए प्रशिक्षण के दौरान पुनरावृत्ति (iteratively) से अपडेट किए जाते हैं।
क्रॉस-अटेंशन (Cross-Attention): क्वेरी ( $Q$ ) इनपुट टेम्पोरल टोकन से प्राप्त होती है, जबकि $K$ और $V$ ग्लोबल डिक्शनरी से आते हैं। अटेंशन मैप ( $M$ ) एक विशिष्ट समय बिंदु और ग्लोबल नॉर्मल रिप्रेजेंटेशन के बीच सहसंबंध भार (correlation weights) को दर्शाता है।
दक्षता (Efficiency): आकार $N$ (जहाँ $N \ll T$ , सीक्वेंस की लंबाई) की डिक्शनरी का उपयोग करके, जटिलता $O(T^2)$ से घटकर $O(TN)$ हो जाती है, जिससे मेमोरी और कंप्यूटेशनल दक्षता में काफी सुधार होता है।

2.2 समानता मूल्यांकन और प्रोटोटाइप्स (Similarity Evaluation and Prototypes)

एक मजबूत पहचान मानदंड प्राप्त करने के लिए, GDformer प्रोटोटाइप्स (Prototypes) पेश करता है:

प्रोटोटाइप लर्निंग: सामान्य बिंदुओं और ग्लोबल डिक्शनरी के बीच सहसंबंध भार के वितरण पैटर्न को कैप्चर करने के लिए $P$ प्रोटोटाइप्स पेश किए गए हैं।
समानता विसंगति (Similarity Discrepancy): मॉडल दिए गए बिंदु के अटेंशन मैप और इन प्रोटोटाइप्स के बीच समानता की गणना करता है।
- सामान्य बिंदु (Normal Points): उनका अटेंशन वेट डिस्ट्रीब्यूशन सीखे गए प्रोटोटाइप्स के साथ निकटता से संरेखित होता है।
- विसंगत बिंदु (Anomalous Points): उनका डिस्ट्रीब्यूशन प्रोटोटाइप्स से काफी विचलित होता है।
लॉस फंक्शन: प्रशिक्षण उद्देश्य एक रिकंस्ट्रक्शन लॉस ( $L_c$ ) और एक समानता विसंगति लॉस ( $L_s$ ) को जोड़ता है। कुल लॉस को इस प्रकार तैयार किया गया है:
$L_{total} = L_c - \lambda L_s$
जहाँ $L_s$ सभी लेयर्स में समानता स्कोर को एकत्रित करता है। ऋणात्मक चिह्न मॉडल को सामान्य बिंदुओं और प्रोटोटाइप्स के बीच समानता को अधिकतम करने के लिए प्रोत्साहित करता है, जिससे एक संक्षिप्त निर्णय सीमा (decision boundary) बनती है।

2.3 इन्फरेंस (Inference)

इन्फरेंस के दौरान, एक बिंदु के लिए विसंगति स्कोर प्रोटोटाइप्स के साथ नकारात्मक समानता से प्राप्त किया जाता है। कम समानता (उच्च विसंगति) वाले बिंदुओं को विसंगति के रूप में चिह्नित किया जाता है। पूरी सीरीज़ में एक एकीकृत थ्रेशोल्ड लागू किया जाता है, जिससे सबसीक्वेंस-विशिष्ट थ्रेशोल्ड की आवश्यकता समाप्त हो जाती है।

3. प्रमुख योगदान

ग्लोबल डिक्शनरी-एनहैंस्ड ट्रांसफॉर्मर: लेखक GDformer का प्रस्ताव करते हैं, जो एक डिक्शनरी-आधारित क्रॉस-अटेंशन मैकेनिज्म का उपयोग करता है ताकि सभी सामान्य बिंदुओं द्वारा साझा किए जाने वाले ग्लोबल रिप्रेजेंटेशन को सीखा जा सके, जो प्रभावी रूप से सबसीक्वेंस आइसोलेशन की क्षितिज सीमाओं को दूर करता है।
प्रोटोटाइप-आधारित समानता मानदंड: सामान्य बिंदु-ग्लोबल सहसंबंध पैटर्न को कैप्चर करने के लिए प्रोटोटाइप्स का परिचय सामान्य और असामान्य बिंदुओं के बीच एक विशिष्ट समानता विसंगति को सक्षम बनाता है, जिससे एक संक्षिप्त और एकीकृत पहचान सीमा मिलती है।
दक्षता और स्केलेबिलिटी: यह विधि अनुक्रम की लंबाई से अटेंशन मैकेनिज्म को अलग करके मानक ट्रांसफॉर्मर-आधारित दृष्टिकोणों (जैसे, AnomalyTrans, DCdetector) की तुलना में कंप्यूटेशनल जटिलता और मेमोरी फुटप्रिंट को काफी कम करती है।
ट्रांसफरेबिलिटी (Transferability): ग्लोबल डिक्शनरी और प्रोटोटाइप्स विभिन्न डेटासेट्स में ट्रांसफरेबिलिटी प्रदर्शित करते हैं, जो यह सुझाव देते हैं कि विभिन्न डोमेन में साझा सामान्य टेम्पोरल पैटर्न मौजूद हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने छह लोकप्रिय बेंचमार्क डेटासेट्स: MSL, SMAP, SWaT, PSM, GECCO, और ASD पर GDformer का मूल्यांकन किया।

प्रदर्शन: GDformer ने स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया, छह में से पांच डेटासेट्स पर उच्चतम F1 स्कोर सुरक्षित किया और शेष एक पर दूसरा सर्वश्रेष्ठ रहा। इसने कई मेट्रिक्स (Point-Adjustment F1, Range-AUC, और VUS मेट्रिक्स) पर AnomalyTrans, DCdetector, MEMTO, और ModernTCN सहित मजबूत बेसलाइन्स को पछाड़ दिया।
दक्षता: GDformer ने बेहतर दक्षता प्रदर्शित की। AnomalyTrans और DCdetector की तुलना में, इसने क्रमशः औसत प्रशिक्षण समय में 88.8% और 94.7% की कमी हासिल की, जबकि काफी कम मेमोरी फुटप्रिंट (जैसे, AnomalyTrans के ~16 GB बनाम ~4.5 GB) बनाए रखा।
एब्लेशन स्टडीज (Ablation Studies):
- सेल्फ-अटेंशन को डिक्शनरी-आधारित क्रॉस-अटेंशन से बदलने से F1 स्कोर में ~5.87% का सुधार हुआ।
- केवल रिकंस्ट्रक्शन एरर के बजाय समानता-आधारित मानदंड को पेश करने से F1 स्कोर में ~9.11% का सुधार हुआ।
- मल्टी-लेयर कॉम्बिनेशन ने सिंगल-लेयर अप्रोच की तुलना में बेहतर परिणाम दिए।
केस स्टडीज: विज़ुअलाइज़ेशन ने दिखाया कि जबकि बेसलाइन्स (AnomalyTrans, DCdetector) विशिष्ट पॉइंट विसंगतियों का पता लगाने में विफल रहे या सबसीक्वेंस विषमता के कारण फॉल्स पॉजिटिव उत्पन्न किए, GDformer ने अपने एकीकृत सीरीज़-लेवल मानदंड का उपयोग करके लगातार विसंगतियों का पता लगाया।

5. महत्व और दावे

यह शोध पत्र इस मौलिक सीमा को संबोधित करने का दावा करता है जिसका सामना मौजूदा डीप लर्निंग विधियाँ कर रही हैं: अलग किए गए सबसीक्वेंस पर निर्भरता जो ग्लोबल, सीरीज़-लेवल ज्ञान सीखने से रोकती है। ग्लोबल डिक्शनरी-एनहैंस्ड क्रॉस-अटेंशन की ओर शिफ्ट होकर, मॉडल यह सुनिश्चित करता है कि पूरी टाइम सीरीज़ में एक एकीकृत पहचान मानदंड बना रहे।

लेखक इस बात पर जोर देते हैं कि समानता-आधारित पहचान मानदंड, जो पॉइंट-ग्लोबल सहसंबंधों और सीखे गए प्रोटोटाइप्स के बीच विसंगति से प्राप्त होता है, पारंपरिक रिकंस्ट्रक्शन एरर या सांख्यिकीय विचलन विधियों (जैसे KL/JS डायवर्जेंस) की तुलना में अधिक संक्षिप्त और प्रभावी निर्णय सीमा प्रदान करता है। इसके अलावा, ग्लोबल डिक्शनरी की देखी गई ट्रांसफरेबिलिटी टाइम सीरीज़ विसंगति पहचान के लिए फाउंडेशन मॉडल्स बनाने की दिशा में एक मार्ग सुझाती है, जो विभिन्न डोमेन में सामान्यीकरण करने में सक्षम हैं।

लेखक निष्कर्ष निकालते हैं कि GDformer प्रभावी और कुशल दोनों है, जो इस परिकल्पना की पुष्टि करता है कि बहुभिन्नरूपी समय श्रृंखला विसंगति पहचान के लिए आइसोलेटेड सबसीक्वेंस विश्लेषण की तुलना में ग्लोबल नॉर्मल रिप्रेजेंटेशन को विकसित करना श्रेष्ठ है।