Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability

कल्पना कीजिए कि आप एक विशाल, बदलते हुए भूलभुलैया (maze) को सुलझाने की कोशिश कर रहे हैं, लेकिन आप केवल उसी छोटे से कमरे को देख सकते हैं जिसमें आप अभी खड़े हैं। आप पूरे मानचित्र को नहीं देख सकते, और आप हर उस मोड़ को याद नहीं रख सकते जो आपने पहले लिया है क्योंकि आपके मस्तिष्क की जानकारी रखने की एक सीमा है। यह "पार्शियल ऑब्जर्वेबिलिटी" (आंशिक दृश्यता) की दुनिया में आर्टिफिशियल इंटेलिजेंस (AI) की चुनौती है। इन भूलभुलैया में रास्ता खोजने के लिए, AI एजेंटों को यह तय करने के एक तरीके की आवश्यकता होती है कि उन्हें क्या याद रखना है, क्या फेंक देना है, और जब उन्हें ज़रूरत हो तो सही जानकारी कैसे ढूँढनी है। यदि वे बहुत अधिक याद रखते हैं, तो वे अभिभूत (overwhelmed) हो जाते हैं; यदि वे बहुत अधिक भूल जाते हैं, तो वे खो जाते हैं। वैज्ञानिकों के लिए बड़ा सवाल यह है: हम एक ऐसा AI कैसे बनाएं जो अपनी याददाश्त को प्रबंधित करने में इतना स्मार्ट हो कि वह एक ऐसे 'ब्लैक बॉक्स' में न बदल जाए जिसे कोई समझ न सके?

यहीं पर शोध पत्र "न्यूरो-सिंबोलिक मेटा-पॉलिसीज़ फॉर टेम्पोरल नॉलेज-ग्राफ मेमोरी अंडर पार्शियल ऑब्जर्वेबिलिटी" काम आता है। शोधकर्ताओं, तावून किम, विन्सेंट फ्रांकोइस-लावेट और माइकल कोचेज़ ने इस समस्या को हल करने के लिए एक हाइब्रिड सिस्टम बनाया है जो एक बहुत ही व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह काम करता है जिसके पास एक बहुत ही सहज अंतर्ज्ञान (gut feeling) भी है। उन्होंने एक ऐसा AI बनाया जो केवल अनुमान नहीं लगाता; यह जानकारी को स्टोर करने के लिए एक संरचित "नॉलेज ग्राफ" (सोचिए एक विशाल, आपस में जुड़ी हुई तथ्यों की वेब) का उपयोग करता है। लेकिन यहाँ ट्विस्ट यह है: AI को मनमाने ढंग से निर्णय लेने देने के बजाय, उन्होंने इसे एक "मेटा-पוליसी" सिखाई। यह एक सिद्ध रणनीतियों के मेनू देने जैसा है—जैसे "सबसे नई चीज़ याद रखो," "उस चीज़ को याद रखो जिसका आपने सबसे अधिक बार उपयोग किया," या "सबसे पुरानी चीज़ को भूल जाओ"—और AI को यह सीखने दिया कि किसी दिए गए क्षण में कौन सी रणनीति चुननी है। इसका परिणाम एक ऐसा सिस्टम है जो अनुकूलन योग्य (adaptable) है (यह सीखता है कि क्या काम करता है) और पारदर्शी (transparent) भी है (हम देख सकते हैं कि इसने कौन सा नियम चुना और क्यों)।

समस्या: खराब याददाश्त वाला AI

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको दरवाजा खोलने के लिए एक छिपी हुई चाबी ढूँढनी है। गेम की दुनिया विशाल है, लेकिन आप केवल उसी कमरे को देख सकते हैं जिसमें आप वर्तमान में हैं। जैसे-जैसे आप घूमते हैं, आप सुराग इकट्ठा करते हैं: "चाबी रसोई में थी," या "दरवाजा उत्तर की ओर है।" लेकिन आपका बैकपैक (आपकी याददाश्त) केवल 512 आइटम रख सकता है। यदि आप 513वां आइटम उठाते हैं, तो आपको कुछ और छोड़ना होगा।

यदि आप गलत चीज़ छोड़ देते हैं, तो आप भूल सकते हैं कि चाबी कहाँ है और गेम हार सकते हैं। यदि आप सब कुछ रखते हैं, तो आपका बैकपैक बहुत भारी हो जाता है, और आप हिल नहीं पाते। अतीत में, वैज्ञानिकों ने इसे हल करने के दो मुख्य तरीके आजमाए। एक तरीका था सख्त, पूर्व-लिखित नियमों का उपयोग करना (जैसे "हमेशा सबसे पुराना आइटम छोड़ दें")। यह विश्वसनीय है लेकिन कठोर है; यदि गेम बदलता है तो यह अनुकूल नहीं होता। दूसरा तरीका एक "ब्लैक बॉक्स" न्यूरल नेटवर्क का उपयोग करना था, जहाँ AI अपने आप सब कुछ याद करना सीखता है। यह लचीला है, लेकिन यह एक जादू के खेल जैसा है: आप जानते हैं कि उत्तर सही है, लेकिन आपके पास कोई अंदाजा नहीं है कि AI ने उस विशिष्ट तथ्य को रखने और दूसरे को छोड़ने का निर्णय कैसे लिया। यदि यह गलती करता है, तो इसे समझना या ठीक करना कठिन है।

समाधान: मेनू के साथ स्मार्ट लाइब्रेरियन

लेखकों ने एक नया दृष्टिकोण पेश किया जिसे "न्यूरो-सिंबोलिक मेटा-पॉलिसी" कहा जाता है। आइए इसे एक सरल कहानी से समझते हैं।

कल्पना कीजिए कि आपका AI एजेंट एक ऐसे पुस्तकालय में लाइब्रेरियन है जिसे लगातार पुनर्व्यवस्थित किया जा रहा है। पुस्तकालय "टेम्पोरल नॉलेज ग्राफ" है। पुस्तकालय में हर किताब (तथ्य) पर तीन जानकारियों के साथ एक लेबल है: इसे कब जोड़ा गया, इसे आखिरी बार कब पढ़ा गया, और इसे कितनी बार उधार लिया गया। यह "सिंबोलिक" हिस्सा है—तथ्य स्पष्ट, लेबल वाले और व्यवस्थित हैं।

अब, लाइब्रेरियन को हर सेकंड यह तय करने की आवश्यकता है कि क्या करना है। अनुमान लगाने के बजाय, लाइब्रेरियन के पास तीन प्रकार के निर्णय लेने का एक मेनू है:

1. प्रश्न उत्तर (Question Answering): "लाल चाबी कहाँ है?" लाइब्रेरियन चाबी के बारे में सबसे नई नोट, सबसे हाल ही में उपयोग किए गए नोट, या सबसे अधिक बार उपयोग किए गए नोट को खोजने का विकल्प चुन सकता है।
2. अन्वेषण (Exploration): "मुझे आगे कहाँ जाना चाहिए?" लाइब्रेरियन सबसे नए मैप, सबसे अधिक देखे गए मैप, या सबसे अधिक उपयोग किए गए मैप के आधार पर अन्वेषण करने का विकल्प चुन सकता है।
3. भूलना (Forgetting): "मेरी शेल्फ भर गई है! मैं क्या फेंक दूँ?" लाइब्रेरियन सबसे पुराने आइटम, सबसे कम हाल ही में उपयोग किए गए आइटम, या सबसे कम बार उपयोग किए गए आइटम को फेंकने का विकल्प चुन सकता है।

सिस्टम का "न्यूरो" हिस्सा लाइब्रेरियन का मस्तिष्क है। यह वर्तमान स्थिति (आप जिस कमरे में हैं, जो प्रश्न आप पूछ रहे हैं) को देखता है और एक विशेष प्रकार के ब्रेन नेटवर्क (ग्राफ न्यूरल नेटवर्क) का उपयोग करके प्रत्येक विकल्प को स्कोर देता है। यह अनुभव और त्रुटि (trial and error) के माध्यम से सीखता है कि सर्वोत्तम स्कोर प्राप्त करने के लिए मेनू से कौन सा आइटम चुनना है।

प्रयोग: रूमKG गेम

इसका परीक्षण करने के लिए, शोधकर्ताओं ने "रूमKG" नामक एक बेंचमार्क का उपयोग किया। यह 49 कमरों वाला एक ग्रिड वर्ल्ड है, जो बिस्तर, लैंप और लोगों जैसी वस्तुओं से भरा है। AI को इस दुनिया में नेविगेट करना होता है, "लैंप कहाँ है?" जैसे प्रश्नों के उत्तर देने होते हैं, और 512 आइटम की सीमा के तहत अपनी याददाश्त बनाए रखते हुए घूमना होता है।

उन्होंने अपने नए "स्मार्ट लाइब्रेरियन" का परीक्षण दो अन्य प्रकार के खिलाड़ियों के मुकाबले किया:

• द रूल-फॉलोअर (नियम का पालन करने वाला): एक AI जो केवल निश्चित नियमों (जैसे "हमेशा सबसे पुराना आइटम भूल जाओ") का उपयोग करता है।
• द ब्लैक बॉक्स (ब्लैक बॉक्स): एक AI जो बिना किसी स्पष्ट नियम के शुरू से सब कुछ सीखने की कोशिश करता है।

परिणाम: अनुकूलन क्षमता और स्पष्टता का मिलन

परिणाम काफी स्पष्ट थे। "ब्लैक बॉक्स" AI काफी संघर्ष करता है, और अन्य की तुलना में बहुत कम स्कोर करता है। ऐसा लगता है कि सीमित मेमोरी के साथ एक साथ संपूर्ण जटिल एक्शन स्पेस (245 संभावनाओं में से एक कमरा और दिशा चुनना) को सीखना उसके लिए बहुत कठिन था।

"रूल-फॉलोअर" ने अच्छा प्रदर्शन किया, जिससे यह सिद्ध हुआ कि मेमोरी सिस्टम का बुनियादी ढांचा सही था। हालाँकि, "स्मार्ट लाइब्रेरियन" (न्यूरो-सिंबोलिक मेटा-पॉलिसी) ने सबसे अच्छा प्रदर्शन किया। विशेष रूप से, वह संस्करण जिसने "क्वालीफायर-अवेयर" एनकोडर (StarE-GNN) का उपयोग किया, उसने उच्चतम स्कोर प्राप्त किया।

जो इसे विशेष बनाता है वह यह है कि AI केवल भाग्यशाली नहीं था। क्योंकि सिस्टम "न्यूरो-सिंबोलिक" है, हम वास्तव में लाइब्रेरियन की विचार प्रक्रिया को देख सकते हैं। शोधकर्ता देख सकते थे कि गेम की शुरुआत में, AI ने "सबसे हाल ही में उपयोग किए गए" तथ्यों को देखने को प्राथमिकता दी क्योंकि वे संभवतः अभी भी प्रासंगिक थे। लेकिन जैसे-जैसे गेम आगे बढ़ा और दुनिया बदली, AI ने "सबसे नए" तथ्यों को देखने की ओर स्विच करना सीख लिया। इसने जो कुछ भी हो रहा था उसके आधार पर अपनी रणनीति को गतिशील रूप से बदला, जो कि कठोर नियम-अनुयायी नहीं कर सकते थे।

यह क्यों महत्वपूर्ण है

इस शोध पत्र का सबसे रोमांचक हिस्सा केवल यह नहीं है कि AI ने उच्च स्कोर प्राप्त किया। बल्कि यह है कि इसने पूरी तरह से पारदर्शी रहते हुए ऐसा किया। कई AI सिस्टम में, यदि आप पूछते हैं, "आपने उस तथ्य को क्यों भुला दिया?" तो उत्तर आमतौर जाता है, "क्योंकि गणित ने ऐसा कहा था।" इस सिस्टम में, उत्तर है, "मैंने 'सबसे कम बार उपयोग किए गए' नियम को चुना क्योंकि मैंने गणना की कि उस तथ्य की आवश्यकता शायद ही कभी पड़ती है।"

लेखक सुझाव देते हैं कि यह दृष्टिकोण एक 'स्वीट स्पॉट' (आदर्श स्थिति) प्रदान करता है: एक सीखने वाले AI की अनुकूलन क्षमता और एक नियम-आधारित प्रणाली की स्पष्टता का संयोजन। उन्होंने दिखाया कि एक AI को हर बार शून्य से नया उपकरण बनाने के बजाय, ज्ञात रणनीतियों के टूलबॉक्स से सही "उपकरण" चुनना सिखाकर, आप समझ को खोए बिना बेहतर प्रदर्शन प्राप्त कर सकते हैं।

हालाँकि इसका परीक्षण 512 की मेमोरी सीमा के साथ एक विशिष्ट गेम वातावरण में किया गया था, लेकिन विचार यह है कि इस "मेटा-पॉलिसी" दृष्टिकोण को अन्य स्थितियों में भी लागू किया जा सकता है जहाँ एक AI को समय के साथ बहुत सारी जानकारी प्रबंधित करने की आवश्यकता होती है। यह साबित करता है कि आपको प्रदर्शन के लिए समझ का त्याग करने की आवश्यकता नहीं है; आप एक ऐसा AI रख सकते हैं जो स्मार्ट भी है और समझाने योग्य (explainable) भी।