💻 computer science

Short-Term-to-Long-Term Memory Transfer for Knowledge Graphs under Partial Observability

यह शोध पत्र एक न्यूरो-सिंबोलिक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) ढांचे का प्रस्ताव करता है जो आंशिक दृश्यता के तहत नॉलेज ग्राफ के लिए अल्पकालिक-से-दीर्घकालिक स्मृति हस्तांतरण को स्पष्ट रूप से मॉडल करता है, जिससे एजेंट प्रतीकात्मक ट्रिपल्स (सिंबोलिक ट्रिपल्स) को चुनिंदा रूप से बनाए रखने या त्यागने के लिए व्याख्या योग्य नीतियां सीखने में सक्षम होते हैं ताकि वे रूमकेजी (RoomKG) बेंचमार्क पर मौजूदा बेसलाइन से बेहतर प्रदर्शन कर सकें।

मूल लेखक: Taewoon Kim, Vincent François-Lavet, Michael Cochez

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taewoon Kim, Vincent François-Lavet, Michael Cochez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अंधेरी भूलभुलैया (जिसे "RoomKG" वातावरण कहा गया है) में घूम रहे हैं। आप केवल उसी कमरे को देख सकते हैं जिसमें आप खड़े हैं, और उसके ठीक बगल की कुछ चीज़ों को। आप पूरे मानचित्र को नहीं देख सकते। आपका लक्ष्य ऐसे सवालों के जवाब देना है जैसे, "लाल कुर्सी कहाँ है?" या "जॉन कहाँ है?"

सफल होने के लिए, आपको एक याददाश्त (मेमोरी) की आवश्यकता है। लेकिन यहाँ एक पेंच है: आपका मस्तिष्क (या आपके रोबोट का कंप्यूटर) एक दीर्घकालिक स्मृति (long-term memory) रखता है जो बहुत छोटी और भरी हुई है। आप एक बार में केवल 128 तथ्य ही रख सकते हैं। इस बीच, आपकी आँखें हर सेकंड आपको उस कमरे के बारे में नई जानकारी का सैलाब (अल्पकालिक स्मृति) देती हैं जिसे आपने अभी देखा है।

समस्या:
यदि आप वह सब कुछ याद रखने की कोशिश करते हैं जो आप देखते हैं, तो आपकी दीर्घकालिक स्मृति तुरंत भर जाएगी, और आपको नए, बेकार कचरे के लिए महत्वपूर्ण चीजों को भूलना पड़ेगा। यदि आप कुछ भी याद नहीं रखते, तो आप खो जाएंगे। अधिकांश रोबोट या तो सब कुछ याद रखने की कोशिश करते हैं (और असफल होते हैं) या एक "ब्लैक बॉक्स" न्यूरल नेटवर्क का उपयोग करते हैं जो चीजों को इस तरह याद रखता है जिसे इंसान समझ नहीं सकते।

समाधान:
यह शोध पत्र आपकी स्मृति के लिए एक स्मार्ट "बाउंसर" (bouncer) पेश करता है। यह याद रखने की कोशिश करने के बजाय कि सब कुछ अंधाधुंध बचाया जाए या किसी जादुई ब्लैक बॉक्स का उपयोग किया जाए, रोबोट हर एक तथ्य के लिए एक विशिष्ट निर्णय लेना सीखता है जिसे वह देखता है: "रखो" (Keep it) या "छोड़ दो" (Drop it)।

यह शोध पत्र इसे सरल अवधारणाओं का उपयोग करके इस प्रकार समझाता है:

1. "बाउंसर" का रूपक (Analogy)

अपनी अल्पकालिक स्मृति को एक वीआईपी क्लब (आपकी दीर्घकालिक स्मृति) में प्रवेश करने के लिए कतार में खड़े लोगों के रूप में सोचें। क्लब की एक सख्त सीमा 128 लोगों की है।

पुराना तरीका: बाउंसर तब तक सभी को अंदर आने देता है जब तक क्लब भर नहीं जाता, फिर सबसे पुराने व्यक्ति को बाहर निकाल देता है (First-In-First-Out)। या, बाउंसर बस अंदाज़ा लगाता है।
इस शोध पत्र का तरीका: बाउंसर एक स्मार्ट एआई (AI) है। जैसे ही प्रत्येक व्यक्ति (एक तथ्य, जैसे "जॉन किचन में है") कदम आगे बढ़ाता है, बाउंसर पूछता है: "क्या यह भविष्य के लिए महत्वपूर्ण है?"
- यदि तथ्य यह है कि "मैं किचन में हूँ" (यह जानने के लिए महत्वपूर्ण कि आप कहाँ हैं), तो बाउंसर कहता है "रखो" (KEEP)।
- यदि तथ्य यह है कि "उत्तर की ओर की दीवार नीली है" (शायद उपयोगी हो, शायद नहीं), तो बाउंसर कुछ अधिक महत्वपूर्ण चीज़ के लिए जगह बचाने के लिए कह सकता है "छोड़ दो" (DROP)।

2. बाउंसर कैसे सीखता है

बाउंसर को शुरुआत में नियम पता नहीं होते। वह खेल को कई बार खेलकर सीखता है।

पुरस्कार (Reward): रोबोट को केवल तभी अंक मिलते हैं जब वह खेल के अंत में एक प्रश्न का सही उत्तर देता है।
सबक: यदि रोबोट सही उत्तर देता है, तो वह महसूस करता है, "अरे, किचन और कुर्सी के बारे में उन विशिष्ट तथ्यों को रखने से मुझे जीतने में मदद मिली!" यदि वह विफल होता है, तो उसे एहसास होता है, "मुझे दीवार के रंग के बारे में उन तथ्यों को नहीं रखना चाहिए था।"
ट्रिक: कतार में लोगों की संख्या हर सेकंड बदलती रहती है। कभी लाइन में 3 तथ्य होते हैं, कभी 10। इस शोध पत्र ने एक विशेष गणितीय विधि (एक "पर-आइटम क्यू-लर्निंग" सिस्टम) का आविष्कार किया है जो बाउंसर को बिना भ्रमित हुए लोगों की किसी भी संख्या के लिए निर्णय लेने की अनुमति देता है।

3. बाउंसर ने वास्तव में क्या सीखा?

शोधकर्ताओं ने क्रिया में बाउंसर को देखते हुए पाया कि इसने कुछ बहुत ही मानवीय रणनीतियाँ सीखी हैं:

यह कभी नहीं भूलता कि वह कहाँ है: यह लगभग हमेशा इस तथ्य को रखता है "मैं कमरे X में हूँ।" इसके बिना, रोबट पूरी तरह से खो जाएगा।
यह याद रखता है कि आपसे क्या पूछा गया है: यदि खेल "जॉन" के बारे में पूछता है, तो बाउंसर सुनिश्चित करता है कि वह इस तथ्य को रखे "जॉन प्लेरूम में है।"
यह शोर (noise) को अनदेखा करता है: यह दिशाओं (जैसे "उत्तर में एक दीवार है") या कमरे के रैंडम कनेक्शन के बारे में तथ्यों को अक्सर छोड़ देता है। इसे एहसास हुआ कि ये विवरण मेमोरी में भीड़ बढ़ाते हैं और वे वस्तुओं और लोगों के बारे में जानने जितने महत्वपूर्ण नहीं हैं।

4. यह क्यों मायने रखता है

यह शोध पत्र दिखाता है कि यह "स्मार्ट बाउंसर" दो अन्य सामान्य दृष्टिकोणों से बेहतर है:

"कठोर नियम" वाला रोबोट: एक रोबोट जो सरल, पूर्व-लिखित नियमों का उपयोग करता है (जैसे "हमेशा अंतिम 5 चीजें रखें")। स्मार्ट बाउंसर इससे बेहतर है क्योंकि यह स्थिति के अनुसार ढल जाता है।
"ब्लैक बॉक्स" वाला रोबोट: एक रोबोट जो छिपे हुए, अस्पष्ट तरीके से सब कुछ याद रखने के लिए एक जटिल न्यूरल नेटवर्क का उपयोग करता है। स्मार्ट बाउंसर इससे भी बेहतर है, लेकिन एक बड़े बोनस के साथ: हम देख सकते हैं कि उसने वास्तव में क्या रखने का निर्णय लिया और क्यों।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक ऐसा रोबोट बनाने के बारे में नहीं है जो सब कुछ कर सके। यह यह साबित करने के बारे में है कि यदि आप एक रोबोट को छोटी स्मृति देते हैं और उसे यह सिखाते हैं कि वह क्या सहेजना है, इस बारे में चयनात्मक (selective) बने, तो वह अंधेरे में पहेलियों को हल करने में बहुत स्मार्ट हो जाता है। यह मेमोरी मैनेजमेंट को एक अनुमान लगाने वाले खेल से बदलकर एक सीखी गई कुशलता में बदल देता है, और क्योंकि निर्णय सरल "रखो/छोड़ो" नियमों द्वारा लिए जाते हैं, हम वास्तव में रोबोट के मस्तिष्क को देख सकते हैं और कह सकते हैं, "आह, इसीलिए इसने कुर्सी को याद रखा!"

तकनीकी सारांश: आंशिक अवलोकनशीलता (Partial Observability) के तहत नॉलेज ग्राफ के लिए अल्पकालिक-से-दीर्घकालिक मेमोरी ट्रांसफर

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं (POMDPs) के तहत सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में अल्पकालिक-से-दीर्घकालिक मेमोरी ट्रांसफर की चुनौती को संबोधित करता है। विशेष रूप से, यह उन वातावरणों पर केंद्रित है जहाँ अवलोकन कच्चे संवेदी डेटा के बजाय स्पष्ट प्रतीकात्मक ट्रिपल्स (Resource Description Framework, या RDF) के रूप में होते हैं।

RoomKG बेंचमार्क में, एजेंट एक आंशिक रूप से अवलोकन योग्य दुनिया में कार्य करता है जहाँ पूर्ण अवस्था (full state) छिपी होती है। प्रत्येक चरण में, एजेंट दुनिया के एक स्थानीय प्रेरित सबग्राफ (observed triples का एक सेट) को प्राप्त करता है। मुख्य समस्या यह तय करने की है कि इन देखे गए तथ्यों में से किसे क्षमता-सीमित दीर्घकालिक मेमोरी में स्थानांतरित किया जाना चाहिए और किसे छोड़ दिया जाना चाहिए। इसे एक न्यूरो-सिंबोलिक निर्णय समस्या के रूप में फ्रेम किया गया है: शॉर्ट-टर्म बफर में मौजूद प्रत्येक देखे गए ट्रिपल के लिए, एजेंट को दीर्घकालिक स्टोरेज में डालने से पहले एक स्पष्ट बाइनरी "रखें" (keep) या "छोड़ें" (drop) का निर्णय लेना होता है।

एक प्राथमिक तकनीकी चुनौती परिवर्तनीय कार्डिनैलिटी (variable cardinality) है: प्रत्येक टाइम स्टेप पर देखे गए तथ्यों की संख्या ( $n_t$ ) बदलती रहती है, जिसका अर्थ है कि निर्णय स्थान (decision space) का आयाम (dimensionality) स्थिर नहीं है। मानक RL एक्शन स्पेस आमतौर पर निश्चित आकार के होते हैं, जिससे इनका सीधा अनुप्रयोग कठिन हो जाता है। इसके अलावा, यह शोध पत्र अन्य घटकों (प्रश्न उत्तर, अन्वेषण, और मेमोरी इविक्शन) को स्थिर रखकर इस ट्रांसफर मैकेनिज्म को अलग करता है ताकि प्रदर्शन में अंतर केवल ट्रांसफर पॉलिसी के कारण ही हो।

कार्यप्रणाली (Methodology)

लेखक एक प्रति-आइटम Q-लर्निंग (per-item Q-learning) दृष्टिकोण प्रस्तावित करते हैं जिसे परिवर्तनीय आकार के शॉर्ट-टर्म मेमोरी सेट्स को संभालने के लिए डिज़ाइन किया गया है।

1. प्रति-आइटम Q-वैल्यू पैरामीट्राइजेशन (Per-Item Q-Value Parameterization)

शॉर्ट-टर्म आइटम्स के सेट को एक एकल कॉम्बिनेटोरियल एक्शन (जिसके परिणामस्वरूप $2^{n_t}$ एक्शन होते) के रूप में मानने के बजाय, यह विधि एक साझा-पैरामीटर फंक्शन $Q_\theta$ का उपयोग करती है।

इनपुट: वर्तमान सिंबोलिक मेमोरी स्टेट $M_t$ को एक ग्राफ $G_t$ में परिवर्तित किया जाता है जिसमें एंटिटीज, रिलेशंस और टेम्पोरल एनोटेशन होते हैं।
एनकोडिंग: एक ग्राफ न्यूरल नेटवर्क (GNN) एनकोडर $G_t$ को प्रोसेस करके नोड एम्बेडिंग्स उत्पन्न करता है। प्रत्येक शॉर्ट-टर्म आइटम $m_{t,i} = (u, r, v, \xi)$ के लिए, रिप्रेजेंटेशन $z_{t,i}$ हेड ( $u$ ) और टेल ( $v$ ) नोड्स के एम्बेडिंग्स को जोड़ने (concatenate) से बनता है। यह व्यवस्था GNN के मैसेज पासिंग के माध्यम से पड़ोसी ट्रिपल्स से संदर्भ (context) को निहित रूप से कैप्चर करने की अनुमति देती है।
आउटपुट: एक छोटा मल्टी-लेयर पर्सेप्ट्रॉन (MLP) हेड $z_{t,i}$ को दो एक्शन्स $\{0, 1\}$ (ड्रॉप या कीप) के Q-वैल्यू वेक्टर्स में मैप करता है।
आर्किटेक्चर वेरिएंट्स: अध्ययन विभिन्न GNN बैकबोन (GCN, R-GCN, StarE-GNN) और पॉलिसी मोड्स (Local vs. Global, Short-Term-only vs. Full-context) का मूल्यांकन करता है।

2. परिवर्तनीय-कार्डिनैलिटी मिलान के साथ टेम्पोरल-डिफरेंस (TD) लर्निंग

मानक ऑफ-पॉलिसी TD लर्निंग यह मानती है कि ट्रांजिशन फिक्स्ड-डायमेंशनल होते हैं। चरणों के बीच आइटम्स की परिवर्तनशील संख्या ( $n_t$ ) को संभालने के लिए, लेखक एक स्टोकेस्टिक मैचिंग रणनीति पेश करते हैं:

ट्रांजिशन्स को $(M_t, a_t, r_t, M_{t+1}, d_t)$ के रूप में स्टोर किया जाता है।
ट्रेनिंग के दौरान, एक मिनी-बैच सैंपल किया जाता है। ट्रांजिशन में क्रमिक चरणों के जोड़े के लिए, एल्गोरिदम न्यूनतम लंबाई $\ell_b = \min(n_b, n'_{b})$ तक इंडेक्स-वार आइटम्स को मैच करता है।
प्रत्येक मैच किए गए इंडेक्स $j$ के लिए TD टारगेट $y_{b,j}$ को अगले स्टेप के मैक्स Q-वैल्यू का उपयोग करके कंप्यूट किया जाता है।
लॉस इन मैच किए गए इंडेक्सों पर मीन स्क्वेर्ड TD एरर है, जिसे $\ell_t$ द्वारा नॉर्मलाइज किया जाता है। यह मॉडल को बिना किसी आर्टिफिशियल सीक्वेंस सेमेंटिक्स या फिक्स्ड एक्शन डायमेंशन के, डेंस सुपरविजन से सीखने की अनुमति देता है।

3. ट्रेनिंग प्रोटोकॉल

सिस्टम को $\epsilon$ -greedy एक्शन सिलेक्शन के साथ मानक ऑफ-पॉलिसी DQN तकनीकों (Mnih et al., 2015) का उपयोग करके प्रशिक्षित किया जाता है। रिवॉर्ड सिग्नल डाउनस्ट्रीम टास्क (क्वेश्चन-आन्सरिंग करेक्टनेस) से आता है, जिसका अर्थ है कि ट्रांसफर पॉलिसी भविष्य के QA प्रदर्शन को अधिकतम करने के लिए डिलेड क्रेडिट असाइनमेंट के माध्यम से सीखती है।

मुख्य योगदान (Key Contributions)

RL समस्या के रूप में ट्रांसफर का औपचारिक रूप देना: यह पेपर शॉर्ट-टर्म-टू-लॉन्ग-टर्म मेमोरी ट्रांसफर को एक न्यूरो-सिंबोलिक RL समस्या के रूप में औपचारिक रूप देता है जहाँ प्रत्येक देखे गए तथ्य को एक स्पष्ट 'कीप/ड्रॉप' निर्णय प्राप्त होता है। यह ट्रांसफर मैकेनिज्म को अन्य पॉलिसी घटकों से अलग करता है।
परिवर्तनीय कार्डिनैलिटी के लिए प्रति-आइटम Q-लर्निंग: लेखक परिवर्तनीय-कार्डिनैलिटी मेमोरी निर्णयों के लिए एक व्यावहारिक वैल्यू-बेस्ड ट्रेनिंग रेसिपी पेश करते हैं। साझा पैरामीटर्स और स्टोकेस्टिक इंडेक्स-वाइज मैचिंग का उपयोग करके, वे लेटेंट मेमोरी कंप्रेशन के बिना बदलते आकार के सेट्स पर सीखना सक्षम बनाते हैं।
RoomKG पर अनुभवजन्य सत्यापन: अध्ययन नियंत्रित प्रमाण प्रदान करता है कि प्रस्तावित विधि (GCN एनकोडर + Local-STM पॉलिसी) ने निम्नलिखित को काफी पीछे छोड़ दिया:
- टेम्पोरल एनोटेशन वाले सिंबोलिक बेसलाइन्स (जैसे Novel-Only, Random-Transfer)।
- हिस्ट्री-बेस्ड न्यूरल बेसलाइन्स (LSTM, Transformer)।
- प्रस्तावित विधि के एब्लेशन (जैसे Global पॉलिसी या फुल-कॉन्टेक्स्ट इनपुट का प्रदर्शन लोकल शॉर्ट-टर्म-ओनली पॉलिसी से खराब रहा)।

परिणाम (Results)

128 की लॉन्ग-टर्म मेमोरी कैपेसिटी के साथ RoomKG बेंचमार्क पर:

प्रदर्शन: सर्वश्रेष्ठ कॉन्फ़िगरेशन (GCN एनकोडर + Local-STM पॉलिसी) ने 38.92 ± 3.09 का टेस्ट QA स्कोर प्राप्त किया। इसने सबसे मजबूत सिंबोलिक बेसलाइन (Novel-Only: 31.96) और न्यूरल हिस्ट्री-बेस्ड बेसलाइन्स (Transformer: 11.80; LSTM: 7.60) को काफी पीछे छोड़ दिया।
एब्लेशन अंतर्दृष्टि:
- Local vs. Global: प्रति-आइटम लोकल निर्णय (Local-STM), पूल्ड ग्लोबल निर्णयों (Global-STM) से कहीं बेहतर थे, जो बताता है कि तथ्य-विशिष्ट संदर्भ महत्वपूर्ण है।
- इनपुट स्कोप: केवल शॉर्ट-टर्म मेमोरी (STM) का उपयोग करना फुल मेमोरी कॉन्टेक्स्ट (Full) की तुलना में अधिक प्रभावी था, जो दर्शाता है कि ट्रांसफर निर्णय ग्लोबल स्टेट के बजाय तत्काल अवलोकन की प्रासंगिकता पर निर्भर करता है।
- एनकोडर का चुनाव: स्टैंडर्ड GCNs ने अधिक जटिल रिलेशनल एनकोडर्स (R-GCN, StarE-GNN) से बेहतर प्रदर्शन किया, जो बताता है कि इस विशिष्ट ट्रांसफर कार्य के लिए सरल स्ट्रक्चरल एनकोडिंग पर्याप्त है।
व्यवहार संबंधी विश्लेषण:
- पॉलिसी ने नेविगेशन-क्रिटिकल फैक्ट्स (जैसे एजेंट की वर्तमान लोकेशन) को लगभग पूर्ण रिटेंशन (100 में से 98 बार) के साथ सुरक्षित रखना सीखा।
- इसने क्वेरी-रेलेवेंट ऑब्जेक्ट लोकेशंस (60 में से 58 बार) को बनाए रखा, जबकि कई डायरेक्शनल मैप लिंक्स (जैसे north/south/east/west edges) को छोड़ दिया, उन्हें क्षमता बाधाओं के तहत कम मूल्यवान या शोर (noisy) माना।
- कुल 'कीप रेट' लगभग 40% था, जो फिक्स्ड ह्यूरिस्टिक्स के बजाय एडेप्टिव फ़िल्टरिंग को प्रदर्शित करता है।

महत्व और दावे (Significance and Claims)

यह पेपर खुद को एक व्यापक बेंचमार्क स्वीप के बजाय एक केंद्रित मैकेनिज्म-वैलिडेशन स्टडी के रूप में प्रस्तुत करता है। इसका प्राथमिक महत्व इस बात में है कि:

स्पष्ट, व्याख्या योग्य निर्णय: लेटेंट-मेमोरी अप्रोच (जैसे DRDRQ, DMN) के विपरीत, जहाँ स्टेट अपडेट अस्पष्ट होते हैं, यह विधि सिंबोलिक ट्रिपल्स के लिए स्पष्ट, निरीक्षण योग्य 'कीप/ड्रॉप' निर्णय प्रदान करती है।
सीमाओं के तहत प्रभावशीलता: सीखा गया ट्रांसफर निर्णय POMDPs में मेमोरी प्रेशर को प्रभावी ढंग से प्रबंधित कर सकता है, जो मेमोरी क्षमता सीमित होने पर एंड-टू-एंड सीक्वेंस मॉडल्स और फिक्स्ड सिंबोलिक ह्यूरिस्टिक्स दोनों से बेहतर प्रदर्शन करता है।
व्यावहारिकता: प्रस्तावित प्रति-आइटम Q-लर्निंग स्टोकेस्टिक मैचिंग के साथ परिवर्तनीय-कार्डिनलिटी निर्णय समस्याओं के लिए एक व्यवहार्य ट्रेनिंग रेसिपी प्रदान करती है।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं: मूल्यांकन RoomKG वातावरण और एक विशिष्ट मेमोरी क्षमता तक सीमित है; वेरिएबल को आइसोलेट करने के लिए नॉन-ट्रांसफर घटकों को फिक्स्ड रखा गया था; और TD मैचिंग रणनीति एक व्यावहारिक ह्यूरिस्टिक है न कि सेट-आधारित एलाइनमेंट के लिए पूर्ण रूप से सैद्धांतिक समाधान। भविष्य के कार्यों के लिए व्यापक वातावरण और तथ्य-स्तर की व्याख्यात्मकता को बनाए रखते हुए संयुक्त एंड-टू-एंड ट्रेनिंग का सुझाव दिया गया है।