🤖 machine learning

Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

यह शोध पत्र नॉलेज ग्राफ एम्बेडिंग्स के निरंतर शिक्षण (continual learning) के लिए एक नवीन सूचित प्रारंभिक रणनीति (informed initialization strategy) प्रस्तावित करता है जो भविष्य कहनेवाला प्रदर्शन को बढ़ाने, विनाशकारी विस्मृति (catastrophic forgetting) को कम करने और बार-बार अपडेट होने वाले ग्राफों के लिए प्रशिक्षण को त्वरित करने के लिए स्कीमा और पूर्व एम्बेडिंग्स का लाभ उठाता है।

मूल लेखक: Gerard Pons, Besim Bilalli, Anna Queralt

प्रकाशित 2026-05-29

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Gerard Pons, Besim Bilalli, Anna Queralt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: एक लाइब्रेरी को अपडेट रखना

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से स्मार्ट लाइब्रेरी (Knowledge Graph) है जो फिल्मों, अभिनेताओं और शैलियों (genres) के बारे में सब कुछ जानती है। कंप्यूटर के लिए इस लाइब्रेरी को उपयोगी बनाने के लिए, लाइब्रेरियन हर किताब और अभिनेता को एक विशाल 3D स्पेस में एक अद्वितीय "पता" या निर्देशांक (coordinate) में बदल देते हैं। इसे Knowledge Graph Embedding (KGE) कहा जाता है।

अब, कल्पना कीजिए कि हर हफ्ते एक नई फिल्म आती है। लाइब्रेरी को इस नई फिल्म को शामिल करने के लिए अपने मानचित्र (map) को अपडेट करने की आवश्यकता है और उन मौजूदा अभिनेताओं के स्थानों को भी समायोजित करने की आवश्यकता है जो अब इस नई फिल्म में हैं।

समस्या यह है कि यदि आप बस नई फिल्म के पते को मानचित्र में किसी यादृच्छिक (random) स्थान पर डाल देते हैं, तो दो बुरी चीजें होती हैं:

सही जगह खोजने में बहुत समय लगता है: कंप्यूटर को यह समझने के लिए बहुत लंबे समय तक भटकना पड़ता है कि नई फिल्म वास्तव में कहाँ होनी चाहिए।
यह पुराने मानचित्र को बिगाड़ देता है: जब कंप्यूटर नई फिल्म के स्थान को ठीक करने के लिए भटक रहा होता है और कोशिश कर रहा होता है, तो वह गलती से पुराने अभिनेताओं से टकरा जाता है, जिससे वे अपने सही स्थानों से बाहर धकेल दिए जाते हैं। लाइब्रेरी वह भूलने लगती है जो वह पहले जानती थी। इसे Catastrophic Forgetting कहा जाता है।

समाधान: नई किताबों को एक "स्मार्ट शुरुआत" देना

इस पेपर के लेखक Informed Initialization नामक एक चतुर तरकीब का प्रस्ताव करते हैं।

नई फिल्म को कहाँ रखना है इसका अनुमान लगाने (random initialization) के बजाय, वे लाइब्रेरी की कैटलॉग प्रणाली (Schema) को देखते हैं।

यदि एक नई फिल्म एक "Sci-Fi" फिल्म है, तो लाइब्रेरियन देखते हैं कि मानचित्र पर अन्य सभी Sci-Fi फिल्में वर्तमान में कहाँ स्थित हैं।
वे नई फिल्म को उस Sci-Fi क्लस्टर के बिल्कुल बीच में रखते हैं, जिसमें थोड़ी सी यादृच्छिक हलचल (wiggle room) दी जाती है ताकि वह किसी दूसरी फिल्म के ठीक ऊपर न आ जाए।

उपमा (Analogy):
इसे एक नए पड़ोस में रहने जाने जैसा समझें।

Random Initialization: आप शहर में किसी यादृच्छिक घर पर पहुँचते हैं और हर दरवाजे पर दस्तक देकर अपना पता खोजने की कोशिश करते हैं। खोज के दौरान आप गलती से पड़ोसी का फूलों का गमला गिरा सकते हैं (पुराने ज्ञान को भूल जाना) जबकि आप ढूँढ रहे होते हैं।
Informed Initialization: आप अपने लीज (lease) पर पता देखते हैं, देखते हैं कि आप "गार्डन डिस्ट्रिक्ट" में हैं, और सीधे उस पड़ोस के केंद्र में चलते हैं। आप तुरंत जानते हैं कि आप कहाँ के हैं। आप पड़ोसियों को परेशान नहीं करते, और आप तुरंत बस जाते हैं।

शोध पत्र ने क्या पाया

शोधकर्ताओं ने अलग-अलग प्रकार के कंप्यूटर लर्निंग मॉडल्स का उपयोग करके इस "स्मार्ट स्टार्ट" विधि का पुराने "रैंडम गेस" (Random Guess) तरीके के साथ परीक्षण किया। यहाँ हुआ:

तेज़ सीखना: क्योंकि नए एंटिटीज (entities) सही पड़ोस में शुरू हुए थे, इसलिए कंप्यूटर को भटकना नहीं पड़ा। इसने नई जानकारी बहुत तेज़ी से सीखी, जिसे सही करने के लिए कम "चरणों" (epochs) की आवश्यकता पड़ी।
बेहतर मेमोरी: क्योंकि कंप्यूटर को नए स्थानों को खोजने के लिए बड़े, घबराहट भरे समायोजन (adjustments) नहीं करने पड़े, इसलिए उसने गलती से पुराने अभिनेताओं को अपनी जगह से बाहर नहीं धकेला। लाइब्रेरी अपने पुराने तथ्यों को बहुत बेहतर तरीके से याद रख पाई।
हर जगह काम करता है: यह ट्रिक काम करती रही, चाहे लाइब्रेरी किसी भी तरह के "मानचित्र" (मॉडल) का उपयोग कर रही हो। चाहे मानचित्र सरल हो या जटिल, "स्मार्ट स्टार्ट" के साथ शुरू करना हमेशा रैंडम गेस से बेहतर था।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर तर्क देता है कि जब आप लगातार नॉलेज ग्राफ को अपडेट कर रहे हों, तो आपको केवल यह अनुमान नहीं लगाना चाहिए कि नई चीजें कहाँ जाएँगी। मौजूदा श्रेणियों (जैसे "Sci-Fi" या "Comedy") का उपयोग करके नई वस्तुओं को एक तार्किक शुरुआती स्थिति देने से, आप समय बचाते हैं, तेज़ी से सीखते हैं, और अपने पुराने ज्ञान को मिटने से सुरक्षित रखते हैं।

संक्षेप में: यह अनुमान न लगाएं कि नई चीजें कहाँ जाएँगी; उन्हें तुरंत सही पड़ोस तक पहुँचाने के लिए मौजूदा मानचित्र का उपयोग करें।

तकनीकी सारांश: सूचित प्रारंभिककरण (Informed Initialization) के माध्यम से नॉलेज ग्राफ एम्बेडिंग्स के निरंतर शिक्षण (Continual Learning) में सुधार

समस्या विवरण
नॉलेज ग्राफ्स (KGs) गतिशील संरचनाएं हैं जो नए ट्रिपल्स (triples) के जुड़ने से अक्सर विकसित होती रहती हैं। रिकमेंडर सिस्टम जैसे परिदृश्यों में, ये अपडेट अक्सर छोटे और बार-बार होने वाले होते हैं, जिससे यह आवश्यक हो जाता है कि नॉलेज ग्राफ एम्बेडिंग्स (KGEs) पूर्ण पुन: प्रशिक्षण (full retraining) की आवश्यकता के बिना अनुकूलित हों। निरंतर शिक्षण (CL) तकनीकें नए एंटिटी एम्बेडिंग्स को सीखने के साथ-साथ मौजूदा एम्बेडिंग्स को अपडेट करके इसे संबोधित करती हैं। हालाँकि, वर्तमान CL विधियों में एक महत्वपूर्ण बाधा नए एम्बेडिंग्स का प्रारंभिककरण (initialization) है।

मानक अभ्यास, जो स्टैटिक ट्रेनिंग से विरासत में मिला है, नए एंटिटी एम्बेडिंग्स को रैंडम तरीके से इनिशियलाइज़ करता है (जैसे कि Xavier या He initialization)। यह दृष्टिकोण दो महत्वपूर्ण समस्याएं प्रस्तुत करता है:

प्रशिक्षण दक्षता (Training Efficiency): रैंडम इनिशियलाइजेशन नए एम्बेडिंग्स को उनके इष्टतम स्थानों (optimal positions) से बहुत दूर रखता है, जिससे अभिसरण (convergence) के लिए अधिक ट्रेनिंग एपोच और समय की आवश्यकता होती है।
विनाशकारी विस्मृति (Catastrophic Forgetting): जब नए ट्रिपल्स में पहले से मौजूद एंटिटीज शामिल होती हैं, तो खराब तरीके से इनिशियलाइज़ किए गए नए एम्बेडिंग्स के कारण होने वाला बड़ा ट्रेनिंग लॉस, ऑप्टिमाइज़ेशन के दौरान पूरे ट्रिपल के महत्वपूर्ण समायोजन को मजबूर करता है। यह पहले से सीखे गए प्रतिनिधित्वों को बाधित करता है, जिससे पुराने ज्ञान की हानि होती है (विनाशकारी विस्मृति)।

मौजूदा CL-विशिष्ट इनिशियलाइजेशन विधियां (जैसे LKGE या incDE में) विशिष्ट ट्रांसलेशनल मॉडल्स (जैसे TransE) के ज्यामितीय प्रतिबंधों के आधार पर नए पदों का अनुमान लगाने का प्रयास करती हैं। हालाँकि, ये दृष्टिकोण अक्सर मॉडल-विशिष्ट होते हैं, जो उन इनवर्टिबल स्कोरिंग फंक्शन्स पर निर्भर करते हैं जो कई आधुनिक KGE मॉडल्स (जैसे कि सिमेंटिक मैचिंग मॉडल्स या ConvE जैसे न्यूरल नेटवर्क-आधारित मॉडल्स) के लिए मौजूद नहीं हैं, जिससे वे कई आर्किटेक्चरों के लिए अनुपयुक्त हो जाते हैं।

कार्यप्रणाली (Methodology)
लेखक निरंतर शिक्षण परिदृश्यों में नए एंटिटी एम्बेडिंग्स के लिए एक मॉडल-अज्ञेयवादी (model-agnostic), स्कीमा-आधारित सूचित प्रारंभिककरण रणनीति का प्रस्ताव करते हैं। यह विधि KG स्कीमा (एंटिटी क्लासेस) और पहले से सीखे गए एम्बेडिंग्स के वितरण का लाभ उठाकर प्रारंभिक प्रतिनिधित्व उत्पन्न करती है।

मुख्य एल्गोरिदम इस प्रकार है:

क्लास सेंट्रॉइड्स (Class Centroids): KG स्कीमा में परिभाषित प्रत्येक एंटिटी क्लास $c$ के लिए, एक सेंट्रॉइड एम्बेडिंग $v_c$ की गणना उस क्लास के सभी मौजूदा एंटिटीज के एम्बेडिंग्स के माध्य (mean) के रूप में की जाती है।
इंट्रा-क्लास वेरिएशन (Intra-class Variation): प्रत्येक क्लास के भीतर एम्बेडिंग्स के मानक विचलन (standard deviation) $\sigma_c$ की गणना क्लास के भीतर की विविधता को पकड़ने के लिए की जाती है।
प्रारंभिककरण (Initialization): एक नया एंटिटी $e$ जो क्लासेज के एक सेट $C_e$ से संबंधित है, उसके लिए प्रारंभिक एम्बेडिंग की गणना उसकी क्लासेज के सेंट्रॉइड्स के औसत के रूप में की जाती है, जिसे एक स्टोकेस्टिक परटर्बेशन (stochastic perturbation) के साथ बढ़ाया जाता है:
$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$
जहाँ $\gamma$ परटर्बेशन के परिमाण को नियंत्रित करने वाला एक हाइपरपैरामीटर है, $\mathbf{r}_c$ एक रैंडम वेक्टर है, और $\odot$ एलिमेंट-वाइज मल्टीप्लिकेशन को दर्शाता है।

यह दृष्टिकोण सुनिश्चित करता है कि नए एंटिटीज अपनी क्लास मेंबरशिप से प्राप्त लेटेंट सिमेंटिक जानकारी के साथ शुरू हों, जिससे वे अपने संभावित अंतिम प्रतिनिधित्वों के करीब पहुँच सकें। स्टोकेस्टिक घटक यह सुनिश्चित करता है कि समान क्लास मेंबरशिप वाली एंटिटीज को समान एम्बेडिंग्स न मिलें। एक बार इनिशियलाइज़ होने के बाद, नए ट्रिपल्स का उपयोग करके एम्बेडिंग्स को अपडेट करने के लिए किसी भी मानक निरंतर शिक्षण तकनीक (जैसे फाइन-ट्यूनिंग, EWC, रीहर्सल) को लागू किया जा सकता है।

प्रमुख योगदान

सूचित प्रारंभिककरण रणनीति: KGEs के निरंतर शिक्षण के लिए एक नवीन विधि जो KG स्कीमा और मौजूदा एम्बेडिंग्स का उपयोग करती है, जो किसी भी आर्किटेक्चरल संशोधन के बिना विविध KGE मॉडल्स पर लागू की जा सकती है।
दक्षता और प्रदर्शन का अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि प्रस्तावित रणनीति रैंडम और मॉडल-विशिष्ट इनिशियलाइजेशन बेसलाइन की तुलना में प्रशिक्षण समय (एपोच) को काफी कम करती है और भविष्य कहनेवाला प्रदर्शन (predictive performance) में सुधार करती है।
नए मूल्यांकन मेट्रिक्स: KGE निरंतर शिक्षण में ज्ञान प्रतिधारण (knowledge retention) और अधिग्रहण (acquisition) को मापने के लिए अनुकूलित मेट्रिक्स ( $\Omega_{base}$ और $\Omega_{new}$ ) का परिचय, जो न्यूरल नेटवर्क में इंक्रीमेंटल टास्क लर्निंग से प्राप्त किए गए हैं।
व्यापक मूल्यांकन: विभिन्न निरंतर शिक्षण एल्गोरिदम (Fine-tuning, EWC, EMR, LKGE, incDE) और KGE मॉडल परिवारों (ट्रांसलेशनल और सिमेंटिक मैचिंग) पर विधि का व्यापक मूल्यांकन।

प्रायोगिक परिणाम
लेखकों ने FB15K-237 से प्राप्त तीन डेटासेट्स (FBinc-S, FBinc-M, FBinc-L) पर अपने दृष्टिकोण का मूल्यांकन किया, जिसमें विभिन्न आकारों के इंक्रीमेंटल अपडेट शामिल हैं। मुख्य निष्कर्ष इस प्रकार हैं:

प्रदर्शन लाभ: स्कीमा-आधारित इनिशियलाइजेशन ने लगातार रैंडम इनिशियलाइजेशन को पीछे छोड़ा और कई मामलों में मॉडल-विशिष्ट इनिशियलाइजेशन से भी बेहतर प्रदर्शन किया। इसने ज्ञान प्रतिधारण ( $\Omega_{base}$ ) और नए ज्ञान अधिग्रहण ( $\Omega_{new}$ ) दोनों में सुधार किया। उदाहरण के लिए, फाइन-ट्यूनिंग और EMR जैसे नॉन-रेगुलराइज्ड तरीकों में, स्कीमा इनिशियलाइजेशन ने छोटे डेटासेट्स पर ज्ञान प्रतिधारण में 30% तक और नए ज्ञान अधिग्रहण में 65% तक की वृद्धि की।
प्रशिक्षण त्वरण (Training Acceleration): सूचित प्रारंभिककरण ने अभिसरण (convergence) तक पहुँचने के लिए आवश्यक एपोच की संख्या को काफी कम कर दिया। रैंडम इनिशियलाइजेशन की तुलना में, अधिकांश विधियों में अभिसरण का समय 2.16 से 2.67 के कारक से कम हो गया।
मॉडल-अज्ञेयवाद (Model Agnosticism): यह विधि ट्रांसलेशनल मॉडल्स (TransH, RotatE, TransR) और सिमेंटिक मैचिंग मॉडल्स (DistMult, HolE, ProjE) दोनों में प्रभावी साबित हुई। रैंडम इनिशियलाइजेशन के तहत विनाशकारी विस्मृति के प्रति संवेदनशील मॉडल्स (जैसे RotatE, TransR) में, स्कीमा इनिशियलाइजेशन ने इन प्रभावों को कम किया।
कंप्यूटेशनल लागत: इनिशियलाइजेशन की प्रक्रिया स्वयं कंप्यूटेशनल रूप से नगण्य है (एक एकल ट्रेनिंग एपोच की तुलना में कई गुना तेज़) और कुशलतापूर्वक स्केल करती है, क्योंकि इसके लिए केवल अपडेट के बीच क्लास सेंट्रॉइड्स और स्टैंडर्ड डेविएशन बनाए रखने की आवश्यकता होती है।

महत्व और दावे
पेपर का दावा है कि सूचित प्रारंभिककरण (informed initialization) KGEs के लिए निरंतर शिक्षण में एक मौलिक, फिर भी अक्सर अनदेखा किया जाने वाला चरण है। एक सिमेंटिक रूप से आधारित शुरुआती बिंदु प्रदान करके, यह विधि:

ज्ञान अधिग्रहण को तेज करती है: नई जानकारी तेजी से सीखी जाती है, जिससे इंक्रीमेंटल अपडेट की कंप्यूटेशनल लागत कम हो जाती है।
विनाशकारी विस्मृति को कम करती है: इष्टतम स्थितियों से प्रारंभिक दूरी को कम करके, यह विधि नए ट्रिपल्स के ऑप्टिमाइज़ेशन के दौरान मौजूदा एम्बेडिंग्स के लिए आवश्यक विघटनकारी समायोजन को कम करती है।
सामान्यीकरण क्षमता को बढ़ाती है: पिछले CL-विशिष्ट तरीकों के विपरीत, यह दृष्टिकोण विशिष्ट KGE मॉडल्स के ज्यामितीय प्रतिबंधों से बंधा नहीं है, जो इसे मौजूदा निरंतर शिक्षण पाइपलाइनों के लिए एक बहुमुखी प्लग-इन बनाता है।

लेखक निष्कर्ष निकालते हैं कि यह रणनीति डाउनस्ट्रीम कार्यों के भविष्य कहनेवाला प्रदर्शन में सुधार करती है और निरंतर शिक्षण की दक्षता को बढ़ाती है, जिससे यह गतिशील नॉलेज ग्राफ के प्रबंधन के लिए एक मूल्यवान उपकरण बन जाता है।

बड़ी तस्वीर: एक लाइब्रेरी को अपडेट रखना

समाधान: नई किताबों को एक "स्मार्ट शुरुआत" देना

शोध पत्र ने क्या पाया

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर