🤖 machine learning

\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

यह शोधपत्र DRIFT प्रस्तुत करता है, जो एक टास्क-फ्री कंटीन्यूअस ग्राफ लर्निंग बेंचमार्क है जो एक एकीकृत टाइम-वेरिंग मिश्रण फॉर्मूलेशन के माध्यम से निरंतर वितरण परिवर्तनों को मॉडल करता है, जिससे यह पता चलता है कि डिस्क्रीट टास्क बाउंड्रीज़ पर निर्भर मौजूदा विधियाँ वास्तविक गैर-स्थिर वातावरणों में प्रदर्शन में महत्वपूर्ण गिरावट का सामना करती हैं।

मूल लेखक: Guiquan Sun, Xikun Zhang, Jingchao Ni, Dongjin Song

प्रकाशित 2026-05-14

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Guiquan Sun, Xikun Zhang, Jingchao Ni, Dongjin Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को विभिन्न प्रकार के जानवरों को पहचानना सिखा रहे हैं।

पुराना तरीका (कार्य-आधारित शिक्षण - Task-Based Learning):
पारंपरिक कक्षा में, शिक्षक कहता है, "ठीक है, अगले एक घंटे के लिए, हम केवल बिल्लियों का अध्ययन कर रहे हैं। यहाँ बिल्लियों की 100 तस्वीरें हैं। इन्हें याद कर लो।" फिर, शिक्षक हथौड़ा मारकर कहता है, "समय समाप्त! अब, अगले एक घंटे के लिए, हम केवल कुत्तों का अध्ययन कर रहे हैं। यहाँ कुत्तों की 100 तस्वीरें हैं। इन्हें याद कर लो।"
छात्र को ठीक पता होता है कि "बिल्ली" का पाठ कब समाप्त होता है और "कुत्ते" का पाठ कब शुरू होता है। वे मानसिक रूप से बिल्ली की किताब को शेल्फ पर रख सकते हैं और कुत्ते की किताब खोल सकते हैं। वर्तमान में अधिकांश AI ग्राफ लर्निंग सिस्टम इसी तरह काम करते हैं। वे यह मान लेते हैं कि दुनिया स्पष्ट, साफ चरणों में बदलती है।

वास्तविक दुनिया (कार्य-मुक्त शिक्षण - Task-Free Learning):
लेकिन वास्तविक जीवन में, दुनिया घंटी वाले क्लासरूम की तरह काम नहीं करती है। कल्पना कीजिए कि एक चिड़ियाघर है जहाँ जानवर लगातार प्रवास (migrate) कर रहे हैं।

सुबह 9:00 बजे, आप ज्यादातर बिल्लियाँ देखते हैं।
सुबह 9:15 बजे, कुछ कुत्ते अंदर आते हैं और कुछ बिल्लियाँ बाहर जाती हैं।
सुबह 9:30 बजे, यह 50/50 का मिश्रण है।
सुबह 10:00 बजे तक, ज्यादातर कुत्ते होते हैं, लेकिन कुछ बिल्लियाँ अभी भी वहीं मौजूद होती हैं।

वहाँ कोई घंटी नहीं है। कोई "बिल्ली का पाठ" या "कुत्ते का पाठ" नहीं है। छात्र बस जानवरों का एक निरंतर, बदलता हुआ प्रवाह देखता है। उन्हें यह समझे बिना यह समझना होगा कि वे अभी क्या देख रहे हैं कि "बिल्ली" का चरण आधिकारिक तौर पर कब समाप्त हुआ।

समस्या:
शोधकर्ताओं (सन, झांग, नी और सॉन्ग) ने पाया कि "पुराने तरीके" (स्पष्ट सीमाओं और अलग-अलग पाठों) में प्रशिक्षित अधिकांश AI सिस्टम वास्तविक दुनिया में पूरी तरह विफल हो जाते हैं। जब सीमाएं धुंधली होती हैं, तो ये AI मॉडल भ्रमित हो जाते हैं, कुत्तों के बारे में सीखने के दौरान बिल्लियों के बारे में जो सीखा था उसे भूल जाते हैं, और बहुत खराब प्रदर्शन करते हैं। वे गुप्त रूप से शिक्षक पर निर्भर थे जो उन्हें बताता था, "ठीक है, अब विषय बदलें!"

समाधान: DRIFT
इसे ठीक करने के लिए, लेखकों ने DRIFT नामक एक नया परीक्षण मैदान बनाया। DRIFT को इस अस्त-व्यस्त, वास्तविक दुनिया के चिड़ियाघर के सिम्युलेटर के रूप में समझें।

यह कैसे काम करता है: कठिन बदलावों के बजाय, DRIFT कार्यों को मिलाने के लिए एक "गौसियन कर्व" (एक चिकनी पहाड़ी का आकार) का उपयोग करता है। यह एक ऐसी दुनिया का अनुकरण करता है जहाँ एक विषय धीरे-धीरे फीका पड़ता है और दूसरा धीरे-धीरे उभरता है, जिससे एक कठोर कट के बजाय एक सहज संक्रमण (transition) पैदा होता है।
स्पेक्ट्रम: DRIFT किसी भी चीज़ का अनुकरण कर सकता है—"कठोर स्विच" (पुराने क्लासरूम की तरह) से लेकर "स्मूथ ड्रिफ्ट" (वास्तविक चिड़ियाघर की तरह) तक—जिससे शोधकर्ता ठीक से परीक्षण कर सकते हैं कि एक AI कितना भ्रम झेल सकता है।

उन्होंने क्या पाया:
जब उन्होंने DRIFT पर लोकप्रिय AI विधियों का परीक्षण किया:

वे क्रैश हो गए: वे तरीके जो "पुराने तरीके" में बहुत अच्छा काम करते थे, सीमाओं के गायब होने पर उनका प्रदर्शन काफी गिर गया।
वे धोखाधड़ी कर रहे थे: यह पता चला कि कई स्मार्ट AI मॉडल सीमाओं का उपयोग करके अपने ज्ञान को व्यवस्थित करने के लिए अप्रत्यक्ष रूप से "धोखाधड़ी" कर रहे थे। उन सीमाओं के बिना, उन्हें नहीं पता था कि अपने विचारों को कैसे व्यवस्थित किया जाए।
ट्रेड-ऑफ (समझौता): दिलचस्प बात यह है कि जब संक्रमण बहुत ही सहज (बहुत अधिक मिश्रण) होता है, तो AI वास्तव में नई चीज़ें तेज़ी से सीखता है (क्योंकि वह लगातार पुराने और नए डेटा का मिश्रण देखता है), लेकिन वह पुरानी चीज़ों को बहुत तेज़ी से भूल जाता है। यह अनुकूलन (adapting) और याद रखने (remembering) के बीच एक खींचतान है।

निष्कर्ष:
यह पेपर तर्क देता है कि हमें यह मानना बंद करना होगा कि दुनिया साफ, अलग अध्यायों में बदलती है। ऐसी AI बनाने के लिए जो वास्तविक जीवन (जैसे सोशल नेटवर्क, वित्तीय बाजार, या अनुशंसा प्रणाली) में काम कर सके, हमें इसे डेटा के एक निरंतर, बदलते प्रवाह से सीखना सिखाना होगा जहाँ "विषय" हमेशा बदल रहा होता है और "घंटी" कभी नहीं बजती।

संक्षेप में: पेपर कहता है, "अपनी AI को घंटी वाले क्लासरूम में प्रशिक्षित करना बंद करें। इसे वास्तविक दुनिया को संभालने का पता नहीं है, जहाँ सब कुछ आपस में मिल जाता है।" उन्होंने यह परीक्षण करने के लिए एक नया उपकरण (DRIFT) प्रदान किया है कि क्या AI वास्तव में उस धुंधलेपन को संभाल सकता है।

तकनीकी सारांश: DRIFT: निरंतर वितरण बदलावों के साथ कार्य-मुक्त निरंतर ग्राफ लर्निंग के लिए एक बेंचमार्क

समस्या विवरण
कंटीन्यूअल ग्राफ लर्निंग (CGL) का उद्देश्य मॉडलों को गतिशील रूप से विकसित होते ग्राफ से सीखना सक्षम बनाना है, जबकि कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) को कम करना है। हालांकि, मौजूदा CGL अनुसंधान मुख्य रूप से एक कार्य-आधारित सूत्रीकरण (task-based formulation) पर निर्भर करता है, जहाँ डेटा स्ट्रीम को कृत्रिम रूप से ज्ञात सीमाओं और अचानक वितरण बदलावों वाले अलग-अलग कार्यों में विभाजित किया जाता है। लेखक तर्क देते हैं कि ये धारणाएँ वास्तविक दुनिया के वातावरण (जैसे, अनुशंसा प्रणाली, साइटेशन नेटवर्क और नॉलेज ग्राफ) में शायद ही कभी लागू होती हैं, जहाँ डेटा वितरण निरंतर विकसित होता है, कार्य की पहचान अवलोकनीय नहीं होती है, और संक्रमण क्रमिक न कि तात्कालिक होता है। फलस्वरूप, यह स्पष्ट नहीं है कि वर्तमान CGL विधियाँ यथार्थवादी, गैर-स्थिर स्ट्रीमिंग सेटिंग्स में सामान्यीकरण (generalize) कर सकती हैं या नहीं।

कार्यप्रणाली (Methodology)
इस अंतराल को दूर करने के लिए, लेखक निरंतर ग्राफ लर्निंग के लिए एक कार्य-मुक्त परिप्रेक्ष्य (task-free perspective) प्रस्तावित करते हैं, जिसमें एक एकीकृत सूत्रीकरण और एक नया बेंचमार्क, DRIFT पेश किया गया है।

एकीकृत सूत्रीकरण (Unified Formulation): डेटा स्ट्रीम को अलग-थलग कार्यों के अनुक्रम के बजाय विलुप्त (latent) कार्यों के वितरण के एक समय-परिवर्तनीय मिश्रण के रूप में मॉडल किया गया है। किसी भी समय चरण $t$ पर, वितरण $D_t$ को इस प्रकार परिभाषित किया गया है:
$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$
जहाँ $D_k$ एक विलुप्त कार्य वितरण है और $\alpha_k(t)$ एक मिश्रण गुणांक (mixing coefficient) है। कार्य-आधारित सेटिंग्स के विपरीत जहाँ $\alpha_k(t) \in \{0, 1\}$ , कार्य-मुक्त सेटिंग $\alpha_k(t) \in [0, 1]$ की अनुमति देती है, जिससे निरंतर ओवरलैप संभव होता है।
गौसियन पैरामीटराइजेशन (Gaussian Parameterization): यथार्थवादी संक्रमण गतिकी (transition dynamics) को सिम्युलेट करने के लिए, लेखक मिश्रण गुणांकों $\alpha_k(t)$ को $\mu_k$ (कार्य $k$ की अस्थायी स्थिति) के चारों ओर केंद्रित एक गौसियन कर्नेल का उपयोग करके पैरामीटराइज़ करते हैं:
$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$
पैरामीटर $\sigma$ अस्थायी ओवरलैप की डिग्री को नियंत्रित करता है। छोटा $\sigma$ कठिन कार्य स्विच (hard task switches) को रिकवर करता है, जबकि बड़ा $\sigma$ सुचारू, वैश्विक रूप से मिश्रित वितरणों को प्रेरित करता है। यह बेंचमार्क को एक एकल ढांचे के भीतर कठिन संक्रमणों से लेकर पूर्णतः निरंतर ड्रिफ्ट तक के स्पेक्ट्रम को कवर करने की अनुमति देता है।
बेंचमार्क निर्माण (DRIFT):
- डेटासेट: चार मानक ग्राफ डेटासेट्स (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) को क्लास-इन्क्रीमेंटल स्प्लिट्स का उपयोग करके विलुप्त कार्यों में विभाजित किया गया है।
- सैंपलिंग: मिश्रण गुणांकों $\alpha_k(t)$ के अनुसार सभी विलुप्त कार्यों से इंस्टेंस को सैंपल करके मिनी-बैच बनाए जाते हैं, जिसमें विथ-रिप्लेसमेंट या विदाउट-रिप्लेसमेंट रणनीतियों का उपयोग किया जाता है।
- मूल्यांकन: चूंकि स्पष्ट कार्य सीमाएँ उपलब्ध नहीं हैं, इसलिए बेंचमार्क स्ट्रीम पर प्रदर्शन को मापने के लिए एरिया अंडर द एक्यूरेसी कर्व (AAUC) और एक संशोधित एवरेज फॉरगेटिंग (AFs) मीट्रिक का उपयोग करता है जो स्पष्ट कार्य विभाजन पर निर्भर नहीं है।

प्रमुख योगदान

C1: मौजूदा कार्य-आधारित CGL सूत्रीकरणों की सीमाओं की पहचान और यह तर्क कि CGL का अध्ययन कार्य-मुक्त स्ट्रीमिंग सेटिंग्स के तहत किया जाना चाहिए।
C2: समय-परिवर्तनीय मिश्रण वितरण के रूप में कार्य संक्रमणों को मॉडल करने वाला एक एकीकृत सूत्रीकरण।
C3: गौसियन मिक्सिंग कर्व्स के माध्यम से संक्रमण गतिकी के निरंतर स्पेक्ट्रम को कवर करने वाला DRIFT बेंचमार्क का प्रस्ताव।
C4: अनुभवजन्य प्रदर्शन (Empirical demonstration) कि मौजूदा CGL विधियाँ यथार्थवादी गैर-स्थिर सेटिंग्स में काफी खराब प्रदर्शन करती हैं जहाँ कार्य की पहचान उपलब्ध नहीं होती है।

प्रायोगिक परिणाम
लेखकों ने चार डेटासेट्स पर विभिन्न संक्रमण सुगमता ( $\sigma$ ) के तहत प्रतिनिधि CGL विधियों (रिहर्सल-आधारित, रेगुलाइजेशन-आधारित, और ग्राफ-विशिष्ट) का मूल्यांकन किया।

प्रदर्शन गिरावट (Performance Degradation): जब स्पष्ट कार्य संरचना हटा दी जाती है, तो मौजूदा विधियाँ पर्याप्त प्रदर्शन गिरावट का सामना करती हैं। उदाहरण के लिए, Arxiv-CL डेटासेट पर, सर्वश्रेष्ठ कार्य-मुक्त विधि ने केवल 34.9% AAUC प्राप्त किया, जबकि जॉइंट ट्रेनिंग का ऊपरी स्तर 71.6% था, जो लगभग 37 प्रतिशत अंकों का अंतर छोड़ता है।
लाभ का संकुचन (Contraction of Advantage): जैसे-जैसे संक्रमण अधिक सुचारू होते हैं, "बेयर" (Bare) बेसलाइन (बिना CL रणनीतियों के ऑनलाइन प्रशिक्षण) पर निरंतर लर्निंग विधियों का सापेक्ष लाभ कम हो जाता है। Arxiv-CL पर, कठिन संक्रमणों के तहत +43.3% के सुधार से गिरकर उच्च-ओवरलैप गौसियन मिक्सिंग के तहत केवल +5.5% रह गया।
कार्य-निर्भर मान्यताओं की विफलता: वे विधियाँ जो स्पष्ट रूप से कार्य सीमाओं पर निर्भर हैं (जैसे, MAS*, SSM, SEM), सुचारू संक्रमणों के तहत विनाशकारी रूप से विफल हो जाती हैं। MAS*, जो लॉस-आधारित शिफ्ट डिटेक्शन पर निर्भर है, कठिन संक्रमणों के तहत प्रतिस्पर्धी प्रदर्शन करता है, लेकिन गौसियन मिक्सिंग के तहत बेसलाइन के स्तर तक गिर जाता है क्योंकि शिफ्ट सिग्नल अविश्वसनीय हो जाते हैं।
अनुकूलन-विस्मृति ट्रेड-ऑफ (Adaptation-Forgetting Trade-off): बढ़ा हुआ ओवरलैप (उच्च $\sigma$ ) अप्रत्यक्ष रिहर्सल (मिश्रित बैचों) के कारण ऑनलाइन अनुकूलन (उच्च AAUC) में सुधार करता है, लेकिन साथ ही विस्मृति (खराब AFs) को भी बढ़ाता है क्योंकि किसी भी एकल विलुप्त वितरण के लिए प्रभावी प्रशिक्षण संकेत कमजोर हो जाता है।
मजबूती (Robustness): रिप्ले-आधारित विधियाँ (जैसे, ER, A-GEM) और विविधता-संचालित DMSG विधि अधिक स्थिरता प्रदर्शित करती हैं, हालांकि DMSG ने विभिन्न ओवरलैप स्तरों के तहत सबसे स्थिर विस्मृति व्यवहार दिखाया।

महत्व और दावे
लेखक दावा करते हैं कि देखा गया प्रदर्शन गिरावट यह संकेत देती है कि कई मौजूदा CGL दृष्टिकोण स्पष्ट रूप से अवास्तविक सीमा मान्यताओं पर निर्भर हैं और वास्तविक दुनिया के स्ट्रीमिंग वातावरण में अच्छी तरह से सामान्यीकरण नहीं करते हैं। यह कार्य "ओपन-वर्ल्ड ग्राफ सेटिंग्स" की ओर एक कदम के रूप में DRIFT को प्रस्तुत करता है, यह नोट करते हुए कि वर्तमान विधियाँ मौलिक रूप से कार्य-विभाजित संरचनाओं से जुड़ी हुई हैं। वे निष्कर्ष निकालते हैं कि भविष्य के अनुसंधान को सीमा-निर्भर सूत्रीकरणों से आगे बढ़कर ऐसी तकनीकें विकसित करने की आवश्यकता है जो स्पष्ट रूप से निरंतर वितरण ड्रिफ्ट और ओवरलैपिंग कार्य संरचनाओं को ध्यान में रखें। लेख इसकी सीमाओं को स्वीकार करता है, जिसमें नोड वर्गीकरण तक इसका सीमित होना, स्थिर डेटासेट्स पर सिंथेटिक स्ट्रीमिंग प्रोटोकॉल का उपयोग, और ड्रिफ्ट को मॉडल करने के लिए विशिष्ट रूप से गौसियन डायनेमिक्स का उपयोग शामिल है, जो यह सुझाव देता है कि अधिक जटिल वास्तविक दुनिया के ड्रिफ्ट पैटर्न का अभी भी अन्वेषण किया जाना बाकी है।

इसी तरह के और पेपर