🤖 machine learning

SLeDGe: Semi-Supervised Learning on Data Streams with Graph Structure Learning

यह शोध पत्र SLeDGe का प्रस्ताव करता है, जो डेटा स्ट्रीम्स के लिए एक अर्ध-पर्यवेक्षित (semi-supervised) शिक्षण विधि है जो सख्त मेमोरी और लेबल बाधाओं के तहत एक भविष्य कहनेवाला मॉडल और एक अनुकूलन योग्य ग्राफ संरचना को संयुक्त रूप से सीखता है, जो प्रभावी रूप से विकसित होते नमूना संबंधों को कैप्चर करता है और 12 डेटासेट्स में अत्याधुनिक प्रतिस्पर्धियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Heechan Moon, Kijung Shin

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Heechan Moon, Kijung Shin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक हलचल भरे न्यूज़रूम का संचालन कर रहे हैं जहाँ सूचना (डेटा) बिना रुके आ रही है, जैसे कि ब्रेकिंग न्यूज़ की कोई तेज़ धार। आपका काम इस समाचार को श्रेणियों (जैसे "खेल", "राजनीति", या "मनोरंजन") में छाँटना है। लेकिन आपके पास दो बड़ी समस्याएँ हैं:

आपके पास बहुत कम समय और स्थान है: आप आने वाले हर लेख को हमेशा के लिए नहीं रख सकते; आपकी फाइलिंग कैबिनेट बहुत छोटी है।
आपके पास बहुत कम विशेषज्ञ हैं: केवल बहुत कम लेख ही ऐसे आते हैं जिनके साथ यह लेबल लगा होता है कि वे किस श्रेणी के हैं। अधिकांश तो बस खाली कागज़ के टुकड़े हैं।

यह सेमी-सुपरवाइज्ड लर्निंग ऑन डेटा स्ट्रीम्स (Semi-Supervised Learning on Data Streams) की चुनौती है। यह पेपर SLeDGe नामक एक नई विधि पेश करता है जो इसे हल करती है।

SLeDGe कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

1. दो विशेष फाइलिंग कैबिनेट (मेमोरी)

अधिकांश पुराने तरीके या तो "समान" वस्तुओं की एक स्थिर सूची रखने की कोशिश करते हैं या हर नए लेख को एक अजनबी की तरह देखते हैं। SLeDGe अधिक स्मार्ट है। यह अपनी मेमोरी में दो छोटी, विशेष फाइलिंग कैबिनेट बनाए रखता है:

"एक्सपर्ट" कैबिनेट (लेबल वाली मेमोरी): इसमें कुछ ऐसे लेख रखे जाते हैं जिनमें लेबल होते हैं। SLeDGe इन्हें विशेषज्ञ प्रोटोटाइप की तरह मानता है। यदि कोई नया लेख मौजूदा विशेषज्ञ के बहुत समान दिखता है, तो यह नई जानकारी को दर्शाने के लिए उस विशेषज्ञ की फ़ाइल को तेज़ी से अपडेट करता है। यह एक शिक्षक की तरह है जो एक नए, स्पष्ट उदाहरण के आधार पर अपनी पाठ योजना को अपडेट करता है।
"स्टूडेंट" कैबिनेट (बिना लेबल वाली मेमोरी): इसमें बिना लेबल वाले लेख रखे जाते हैं। SLeDGe यहाँ अधिक सतर्क रहता है। यह इन फाइलों को धीरे-धीरे अपडेट करता है, नई जानकारी को पहले से मौजूद जानकारी के साथ मिलाता है। यह एक छात्र के नोट्स लेने जैसा है; वे केवल एक नई बात सुनने मात्र से अपनी पूरी नोटबुक को नहीं मिटा देते; वे धीरे-धीरे अपनी समझ को बढ़ाते हैं।

यह क्यों मायने रखता है: यह संतुलन सिस्टम को पुराने, विश्वसनीय पैटर्न को भूले बिना (स्थिरता) नई चीजें तेज़ी से सीखने (प्लास्टिसिटी) की अनुमति देता है।

2. डायनेमिक मैप (ग्राफ स्ट्रक्चर लर्निंग)

पारंपरिक तरीके समान वस्तुओं को जोड़ने के लिए एक निश्चित मानचित्र का उपयोग करते हैं। एक ऐसे मानचित्र की कल्पना करें जहाँ "सेब" हमेशा "संतरे" से जुड़े होते हैं क्योंकि दोनों फल हैं, भले ही संदर्भ बदल जाए। यह कठोर और अक्सर गलत होता है।

SLeDGe एक जीवंत, सांस लेता हुआ मानचित्र बनाता है।

जैसे-जैसे नया डेटा आता है, SLeDGe अपनी कैबिनेट में मौजूद लेखों को जोड़ने वाली रेखाओं को लगातार फिर से खींचता है।
यह पूछता है: "अभी के समय में वास्तव में कौन किससे संबंधित है?"
यह केवल सबसे मजबूत, महत्वपूर्ण कनेक्शनों को रखता है और कमजोर, शोर वाले कनेक्शनों को हटा देता है (जैसे कि एक डगमगाते पुल को हटाना)।

इसे ग्राफ स्ट्रक्चर लर्निंग (Graph Structure Learning) कहा जाता है। अनुमान लगाने के बजाय, यह डेटा के प्रवाह के साथ संबंधों को सीखता है।

3. लेबल रिले रेस (प्रोपैगेशन)

एक बार जब मानचित्र बन जाता है, तो SLeDGe "लेबल" की मशाल (बैटन) को आगे बढ़ाने के लिए इसका उपयोग करता है।

कल्पना कीजिए कि आपके पास एक लेख है जिस पर "खेल" का लेबल लगा है।
क्योंकि SLeDG का लाइव मैप दिखाता है कि यह "खेल" वाला लेख एक पास के बिना लेबल वाले लेख से मजबूती से जुड़ा हुआ है, इसलिए यह विश्वास के साथ अनुमान लगाता है कि वह बिना लेबल वाला लेख भी "खेल" का ही है।
यह फिर उस अनुमान का उपयोग अन्य लेखों को लेबल करने के लिए करता है जो उससे जुड़े हुए हैं।
यह एक चेन रिएक्शन (श्रृंखला अभिक्रिया) बनाता है, जिससे सिस्टम केवल कुछ लेबल वाले लेखों का उपयोग करके हजारों बिना लेबल वाले लेखों से सीख पाता है।

4. हल्का संस्करण (SLeDGe-L)

मुख्य SLeDGe विधि शक्तिशाली है लेकिन यदि फाइलिंग कैबिनेट बहुत भर जाए तो यह भारी हो सकती है (क्योंकि सबके लिए मानचित्र बनाना समय लेने वाला होता है)।

लेखकों ने एक SLeDGe-L (लाइट) संस्करण बनाया है।
इसे एक "स्पीड रन" मोड के रूप में सोचें। सभी के बीच संबंध की जाँच करने के बजाय, यह केवल "एक्सपर्ट्स" (लेबल वाले आइटम) और बाकी के बीच संबंध की जाँच करता है।
यह इसे बहुत तेज़ और स्केलेबल बनाता है, जैसे कि एक डिलीवरी ड्राइवर जो हर घर के बजाय केवल मुख्य केंद्रों पर रुकता है, फिर भी अपना काम पूरा कर लेता है।

परिणाम: यह क्यों जीतता है

लेखकों ने 12 अलग-अलग डेटासेट्स (वेब पेजों से लेकर छवियों और सेंसर डेटा तक) पर SLeDGe का परीक्षण किया।

स्कोर: जब उनके पास केवल 0.1% डेटा लेबल वाला था (बेसिकली 1,000 वस्तुओं के लिए एक लेबल), तब SLeDGe मौजूदा सर्वोत्तम तरीकों की तुलना में 31.7% अधिक सटीक था।
थोड़े अधिक लेबल के साथ (1%): यह प्रतिस्पर्धा से अभी भी 14.8% बेहतर था।

संक्षेप में

SLeDGe एक अत्यधिक कुशल न्यूज़रूम मैनेजर की तरह है जो:

"एक्सपर्ट्स" और "स्टूडेंट्स" की एक छोटी, चुनिंदा सूची रखता है।
वर्तमान घटनाओं के आधार पर कौन किसे जानता है, इसका एक मानचित्र लगातार फिर से बनाता है।
उस मानचित्र का उपयोग करके कुछ लेबल वाले विशेषज्ञों से कई बिना लेबल वाले छात्रों तक ज्ञान फैलाता है।
यह सब वह बिना मेमोरी या समय समाप्त किए करता है, भले ही समाचार कभी न रुकें।

पेपर का दावा है कि यह दृष्टिकोण बहुत कम लेबल के साथ निरंतर डेटा स्ट्रीम के शोर-शराबे को संभालने में पिछले तरीकों की तुलना में काफी बेहतर है।

तकनीकी सारांश: SLeDGe – ग्राफ संरचना शिक्षण के साथ डेटा स्ट्रीम पर अर्ध-पर्यवेक्षित शिक्षण (Semi-Supervised Learning)

1. समस्या की परिभाषा

यह शोध पत्र डेटा स्ट्रीम पर अर्ध-पर्यवेक्षित शिक्षण (Semi-Supervised Learning - SSL) की चुनौती को संबोधित करता है। इस सेटिंग में, डेटा एक उच्च मात्रा में क्रमिक रूप से ( $D = \{x_t\}_{t=1}^T$ ) आता है, और शिक्षार्थी को दो सख्त बाधाओं के तहत कार्य करना होता है:

मेमोरी संबंधी बाधाएं: सिस्टम की एक निश्चित, सीमित मेमोरी क्षमता ( $M$ ) होती है और वह स्ट्रीम के संपूर्ण इतिहास को संग्रहीत नहीं कर सकता है।
लेबल की कमी: आने वाले नमूनों का केवल एक बहुत छोटा हिस्सा ही लेबल ( $y_t$ ) के साथ देखा जाता है, जिससे पारंपरिक पर्यवेक्षित शिक्षण (supervised learning) अव्यावहारिक हो जाता है।

स्ट्रीम के लिए मौजूदा SSL विधियाँ अक्सर विफल हो जाती हैं क्योंकि वे या तो नमूनों को स्वतंत्र रूप से मानती हैं, या निश्चित समानता नियमों (heuristics) पर निर्भर करती हैं (जो विकसित होते संबंधों को कैप्चर नहीं कर सकते), या स्थिर ऑफलाइन डेटासेट मान लेती हैं। मुख्य समस्या यह है कि सीमित लेबल पर्यवेक्षण को अनलेबल नमूनों तक प्रभावी ढंग से कैसे प्रसारित किया जाए, जबकि समय के साथ डेटा वितरण और संबंधों के निरंतर विकास के अनुकूल भी रहा जा जाए।

2. कार्यप्रणाली: SLeDGe

लेखक SLeDGe (Semi-supervised Learning on Data Stream with Graph structure learning) प्रस्तावित करते हैं, जो एक प्रेडिक्टिव मॉडल और एक अनुकूली ग्राफ संरचना को संयुक्त रूप से सीखता है। यह विधि प्रत्येक इनकमिंग सैंपल $x_t$ के लिए तीन निरंतर चरणों में कार्य करती है:

A. द्वैत-मेमोरी अपडेट तंत्र (Dual-Memory Update Mechanism)

त्वरित अनुकूलन (plasticity) की आवश्यकता और ऐतिहासिक निरंतरता (stability) को बनाए रखने के बीच संतुलन बनाने के लिए, SLeDGe दो अलग-अलग कॉम्पैक्ट मेमोरी बफ़र्स बनाए रखता है:

लेबल वाली मेमोरी ( $M_L$ ): यह प्लास्टिसिटी (plasticity) के लिए अनुकूलित है। यह प्रत्येक क्लास के प्रोटोटाइप को संग्रहीत करती है। जब एक नया लेबल वाला सैंपल आता है, तो यह या तो एक खाली स्लॉट को भरता है या सबसे समान मौजूदा प्रोटोटाइप को एक भारित संयोजन (weighted combination) के माध्यम से अपडेट करता है। अपडेट वेट $\alpha$ गतिशील है, जो नए इनपुट को प्राथमिकता देता है ताकि नवीन विशेषताओं का तेजी से एकीकरण किया जा सके।
अनलेबल मेमोरी ( $M_U$ ): यह स्थिरता (stability) के लिए अनुकूलित है। यह प्रतिनिधि अनलेबल प्रोटोटाइप को संग्रहीत करती है। यहाँ अपडेट के लिए एक वेट $\beta$ का उपयोग किया जाता है जो मौजूदा प्रोटोटाइप को प्राथमिकता देता है, जो अनलेबल डेटा की अनिश्चितता को दर्शाता है और सूचना के क्रमिक संचय को सुनिश्चित करता है।

B. गतिशील ग्राफ संरचना शिक्षण (Dynamic Graph Structure Learning - GSL)

एक निश्चित ग्राफ या स्थिर समानता मेट्रिक्स का उपयोग करने के बजाय, SLeDGe संयुक्त मेमोरी ( $M_L \cup M_U$ ) और वर्तमान सैंपल $x_t$ पर प्रत्येक टाइम स्टेप पर गतिशील रूप से एक ग्राफ बनाता है।

एम्बेडिंग ( $f_E$ ): एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) इनपुट फीचर्स को एक लेटेंट स्पेस में मैप करता है।
स्कोरिंग ( $f_S$ ): एक स्कोरिंग फंक्शन (कोसाइन सिमिलैरिटी) मेमोरी के सभी नोड्स और वर्तमान सैंपल के बीच युग्मवार रिलेशनल वेट्स की गणना करता है, जिससे एक डेंस एडजेसेंसी मैट्रिक्स बनता है।
प्रूनिंग ( $f_P$ ): दक्षता सुनिश्चित करने के लिए, डेंस मैट्रिक्स को केवल प्रति नोड टॉप- $k$ कनेक्शन रखने के लिए प्रून (छंटनी) किया जाता है, जिससे एक स्पार्स एडजेसेंसी मैट्रिक्स $A_t$ प्राप्त होता है।
वर्गीकरण ( $f_B$ ): एक ग्राफ कनवल्शनल नेटवर्क (GCN) जैसा बैकबोन सीखे गए ग्राफ स्ट्रक्चर $A_t$ के माध्यम से पर्यवेक्षण को प्रसारित करता है और भविष्यवाणियां उत्पन्न करता है।

C. मॉडल अनुकूलन (Model Optimization)

मॉडल को एक मिश्रित लॉस फंक्शन का उपयोग करके अपडेट किया जाता है:

पर्यवेक्षित हानि (Supervised Loss - $L_L$ ): लेबल वाली मेमोरी पर गणना की गई क्रॉस-एन्ट्रॉपी हानि, जिसे हालिया नमूनों को प्राथमिकता देने के लिए एक टेम्पोरल डिके फैक्टर द्वारा भारित किया जाता है।
संरचनात्मक नियमितीकरण (Structural Regularization - $L_{reg}$ ): एक टर्म जो इनपुट स्पेस और लेटेंट स्पेस में युग्मवार समानता के बीच निरंतरता को प्रोत्साहित करता है। यह गतिशील ग्राफ अनुमान को स्थिर करता है, जिससे ग्राफ संरचना के अनियमित होने से रोका जा जाता है।

D. लाइटवेट वेरिएंट: SLeDGe-L

जब मेमोरी का आकार $M$ बड़ा हो, तो पूर्ण ग्राफ निर्माण की द्विघातीय समय जटिलता ( $O(M^2)$ ) को संबोधित करने के लिए, लेखक SLeDGe-L प्रस्तावित करते हैं। यह वेरिएंट क्लास-सेंट्रिक दृष्टिकोण तक ग्राफ स्कोरिंग को सीमित करता है, जो केवल लेबल किए गए प्रोटोटाइप और सभी मेमोरी नमूनों के बीच समानता की गणना करता है। यह जटिलता को $M$ के सापेक्ष रैखिक ( $O(c \cdot M)$ ) में कम कर देता है, जहाँ $c$ क्लासेज की संख्या है।

3. मुख्य योगदान

अनुकूली ग्राफ संरचना: पूर्ववर्ती स्ट्रीम SSL विधियों के विपरीत, जो निश्चित ग्राफ पर निर्भर करती हैं, SLeDGe एक गतिशील ग्राफ टोपोलॉजी सीखता है जो डेटा स्ट्रीम के साथ विकसित होता है, और समय के साथ बदलने वाले इंटर-सैंपल डिपेंडेंसीज को कैप्चर करता है।
द्वि-रणनीति मेमोरी प्रबंधन: लेबल वाली (प्लास्टिसिटी-केंद्रित) और अनलेबल (स्थिरता-केंद्रित) मेमोरी के लिए अलग-अलग अपडेट रणनीतियों का परिचय नई विशेषताओं के अनुकूलन और ऐतिहासिक ज्ञान के संरक्षण के बीच संतुलन बनाने की अनुमति देता है।
बाधाओं के तहत दक्षता: फ्रेमवर्क को सख्त मेमोरी बजट और अत्यधिक लेबल की कमी (0.1% लेबल तक कम) के तहत काम करने के लिए डिज़ाइन किया गया है, जो स्पार्स ग्राफ प्रूनिंग और एक लाइटवेट वेरिएंट (SLeDGe-L) के माध्यम से अपनी कम्प्यूटेशनल दक्षता बनाए रखता है।
संरचनात्मक नियमितीकरण: निरंतरता नियमितीकरण टर्म का समावेश यह सुनिश्चित करता है कि सीखा गया ग्राफ स्ट्रक्चर स्ट्रीमिंग प्रक्रिया के दौरान स्थिर और सार्थक बना रहे।

4. प्रयोगात्मक परिणाम

लेखकों ने वेब, इमेज और टैबुलर डोमेन के 12 डेटासेट्स पर SLeDGe का मूल्यांकन किया।

प्रदर्शन: SLeDGe ने सभी डेटासेट्स पर स्टेट-ऑफ-द-आर्ट प्रतिस्पर्धियों (TLP, ReSSL, HDSSL) को पछाड़ दिया।
- 0.1% लेबल्स के साथ, इसने सबसे मजबूत बेसलाइन पर औसतन 31.7% सापेक्ष सटीकता लाभ प्राप्त किया।
- 1.0% लेबल्स के साथ, इसने औसतन 14.8% सापेक्ष सटीकता लाभ प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि मेमोरी मॉड्यूल और डायनेमिक ग्राफ स्ट्रक्चर दोनों ही महत्वपूर्ण हैं। डायनेमिक ग्राफ को हटाने (एक स्टैटिक k-NN ग्राफ पर वापस जाने) से प्रदर्शन में काफी गिरावट आई, जो विकसित होते संबंधों को सीखने की आवश्यकता को प्रमाणित करता है।
स्केलेबिलिटी: विधि डेटा स्ट्रीम के आकार के संबंध में रैखिक स्केलिंग (प्रति सैंपल निरंतर समय) प्रदर्शित करती है। SLeDGe-L ने पूर्ण संस्करण की तुलना में मेमोरी बफर आकार के संबंध में बेहतर स्केलेबिलिटी दिखाई, जो इसके सैद्धांतिक जटिलता विश्लेषण की पुष्टि करती है।
गति: एक डीप लर्निंग मॉडल होने के बावजूद, SLeDGe क्लस्टर-आधारित विधियों के मुकाबले रनिंग टाइम में प्रतिस्पर्धी था, विशेष रूप से उच्च-आयामी डेटा पर जहाँ इसने एम्बेडिंग-लेवल कंप्यूटेशन का लाभ उठाया।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि SLeDGe उन स्थितियों में ग्राफ स्ट्रक्चर लर्निंग (GSL) को सक्षम करके साहित्य में एक महत्वपूर्ण अंतर को भरता है जहाँ मेमोरी और लेबल्स गंभीर रूप से सीमित हैं। लेखक तर्क देते हैं कि मौजूदा विधियाँ विफल हो जाती हैं क्योंकि वे यह मॉडल नहीं कर सकतीं कि नमूनों के बीच संबंध समय के साथ कैसे विकसित होते हैं। प्रेडिक्टिव मॉडल और ग्राफ स्ट्रक्चर को संयुक्त रूप से सीखकर, SLeDGe सीमित पर्यवेक्षण को अनलेबल डेटा तक प्रभावी ढंग से प्रसारित करता है, जिससे पूरे डेटा इतिहास को संग्रहीत किए बिना पर्याप्त सटीकता सुधार प्राप्त होता है। यह कार्य इस बात पर जोर देता है कि नॉन-स्टेशनरी डेटा स्ट्रीम वातावरण में डायनेमिक ग्राफ अनुमान, स्टैटिक सिमिलैरिटी मेजर्स की तुलना में श्रेष्ठ है।