Graph Machine: Exploring Edge Mechanisms as an Inductive Bias
यह शोधपत्र Graph Machine को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जिसमें एज-ऑगमेंटेड अटेंशन (edge-augmented attention) और एज-सेंट्रिक रेफरल (edge-centric referral) जैसे स्पष्ट एज-आधारित तंत्र शामिल हैं, जो रिलेशनल ग्राफ के गतिशील और डिफरेंशिएबल निर्माण को सक्षम करके सुडोकू रीजनिंग (Sudoku reasoning) में ट्रांसफॉर्मर बेसलाइन से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, सोचने के दो तरीकों के बीच एक निरंतर तनाव बना रहता है। एक तरीका यह है कि किसी समस्या को देखें और तुरंत उन पैटर्नों को पहचान लें जो चीजों के दिखने के आधार पर बनते हैं। यदि कोई कंप्यूटर कार की तस्वीर देखता है, तो वह उस दृश्य विशेषता को उन लाखों अन्य कारों से मिलाता है जिन्हें उसने पहले देखा है। आधुनिक प्रणालियाँ अक्सर इसी तरह काम करती हैं, जो समानताओं की एक व्यापक, वैश्विक खोज पर निर्भर करती हैं। दूसरा तरीका तर्क की एक श्रृंखला का पालन करना है, कदम दर कदम, यह समझना कि सूचना का एक टुकड़ा दूसरे से कैसे जुड़ता है। इस तरह मनुष्य पहेलियाँ सुलझाते हैं: हम केवल टुकड़ों को नहीं देखते; हम उन नियमों को समझते हैं जो उन्हें आपस में बांधते हैं। वर्षों तक, सबसे शक्तिशाली एआई मॉडल पहले दृष्टिकोण में अविश्वसनीय रूप से कुशल रहे हैं, जो बिजली की गति से पैटर्न पहचान सकते हैं, लेकिन वे तब संघर्ष करते हैं जब किसी कार्य के लिए सतही समानताओं को छोड़कर, एक छिपे हुए तार्किक पथ का अनुसरण करने की आवश्यकता होती है। वे कठिन परिश्रम करने के बजाय, हिस्सों के बीच के संबंधों के माध्यम से तर्क करने के बजाय, सबसे स्पष्ट सुराग पकड़कर शॉर्टकट लेने की प्रवृत्ति रखते हैं।
एक शोधकर्ता ने एक नए प्रकार की मशीन बनाने के उद्देश्य से कार्य शुरू किया जो खुद को कठिन काम करने के लिए मजबूर कर सके। वे एक ऐसा आर्किटेक्चर बनाना चाहते थे जो न केवल व्यक्तिगत वस्तुओं की विशेषताओं को देखे, बल्कि उनके बीच के कनेक्शनों को भी सक्रिय रूप से प्रबंधित करे। इसका परीक्षण करने के लिए, उन्होंने तर्क का एक क्लासिक परीक्षण चुना: सुडोकू। एक मानक सुडोकू पहेली में, लक्ष्य एक ग्रिड को इस तरह भरना है कि प्रत्येक पंक्ति, कॉलम और छोटे बॉक्स में बिना दोहराव के एक से नौ तक की संख्याएँ हों। एक कंप्यूटर के लिए चुनौती केवल उन संख्याओं को देखना नहीं है जो पहले से वहां मौजूद हैं, बल्कि उन अदृश्य नियमों को समझना है जो एक विशिष्ट खाली वर्ग को उसकी पंक्ति, कॉलम और बॉक्स के प्रत्येक अन्य वर्ग से जोड़ते हैं। शोधकर्ता ने परिकल्पना की कि यदि वे अपने मॉडल को इन कनेक्शनों को स्पष्ट रूप से प्रबंधित करने के लिए एक विशिष्ट उपकरण देते हैं, तो यह केवल वर्गों की सामग्री को देखने वाले मॉडलों की तुलना में बेहतर ढंग से तर्क करना सीख जाएगा।
उनके कार्य का परिणाम एक नया डिज़ाइन है जिसे वे 'ग्राफ मशीन' कहते हैं। मानक एआई मॉडल के विपरीत, जो डेटा के प्रत्येक टुकड़े को एक अलग बिंदु मानते हैं और फिर अनुमान लगाते हैं कि कौन से बिंदु संबंधित हैं, ग्राफ मशीन स्वयं कनेक्शनों को ही एक जीवित, बदलते हुए तंत्र के हिस्से के रूप में मानती है। कल्पना कीजिए कि लोगों से भरा एक कमरा है, जहाँ प्रत्येक व्यक्ति उन लोगों के नामों की एक सूची रखता है जिन्हें वह जानता है। एक मानक मॉडल में, हर कोई अपना नाम चिल्लाता है, और समूह यह समझने की कोशिश करता है कि कौन किससे बात कर रहा है, इसके आधार पर कि उनकी आवाजें कितनी समान हैं। ग्राफ मशीन में, लोग एक दूसरी सूची भी रखते हैं: उनके दोस्तों के जानने वालों की सूची। वे एक दोस्त से पूछ सकते हैं, "तुम किसे जानते हो?" और फिर तुरंत उस दूसरे व्यक्ति तक पहुँच सकते हैं। पतों या संदर्भों (रेफरल्स) को पास करने की यह क्षमता मशीन को संबंधों का एक ऐसा मानचित्र बनाने की अनुमति देती है जो सोचते समय बढ़ता और बदलता जाता है।
शोधकर्ता ने इस मशीन को दो मुख्य गियरों के साथ बनाया। पहला गियर मशीन को सही चीजों पर ध्यान केंद्रित करने में मदद करता है। यह एक सेल की सामग्री (जैसे संख्या 5) और उसके कनेक्शन (जैसे यह तथ्य कि यह उसी पंक्ति में एक 7 के साथ है) दोनों को देखता है। यह अगले स्थान को तय करने के लिए सूचना के इन दो स्रोतों को जोड़ता है। दूसरा, अधिक अनूठा गियर, रेफरल सिस्टम है। यहीं पर मशीन अपने कनेक्शनों के मानचित्र को सक्रिय रूप से फिर से लिखती है। यदि किसी सेल को उसी पंक्ति में दूर स्थित किसी संख्या के बारे में जानने की आवश्यकता है, तो उसे जानकारी के धीरे-धीरे आगे बढ़ने का इंतजार नहीं करना पड़ता। इसके बजाय, वह एक पड़ोसी से पूछ सकती है, "तुम इस दिशा में किसे जानते हो?" और उस उत्तर का उपयोग करके दूर स्थित सेल के साथ एक नया, सीधा लिंक बनाने के लिए कर सकती है। यह मशीन को ग्रिड के पार कूदने, कुछ ही चरणों में तर्क की जटिल संरचनाएं बनाने की अनुमति देता है।
यह देखने के लिए कि क्या यह डिज़ाइन वास्तव में काम करता है, शोधकर्ता ने तीन मिलियन सुडोकू पहेलियों के डेटासेट का उपयोग करके नियंत्रित प्रयोगों की एक श्रृंखला चलाई। उन्होंने सेटअप को बहुत सरल रखा, मॉडल को केवल सबसे बुनियादी जानकारी दी: एक सेल में संख्या और उसके ठीक बगल के चार सेल्स में संख्याएँ। उन्होंने मॉडलों को पंक्तियों, कॉलम या बॉक्स के बारे में नहीं बताया; मॉडलों को ये नियम स्वयं खोजने थे। उन्होंने अपनी ग्राफ मशीन की तुलना केवल पैटर्न मिलान पर निर्भर रहने वाले मानक मॉडलों से की। मानक मॉडल, भले ही उन्हें बहुत बड़ा बनाया गया हो और ग्रिड के लेआउट के बारे में अतिरिक्त संकेत दिए गए हों, पहेलियों को लगातार हल करने में संघर्ष करते रहे। वे अक्सर सतही सुरागों पर अटक जाते थे। हालाँकि, ग्राफ मशीन ने उच्च सटीकता के साथ पहेलियों को हल किया। इसने केवल उत्तरों को याद नहीं किया; इसने खेल के तर्क का निर्माण करना सीख लिया।
जब शोधकर्ता ने मशीन के भीतर झाँका कि वह कैसे सोच रही है, तो उन्हें कुछ उल्लेखनीय मिला। प्रसंस्करण के शुरुआती चरणों में, मशीन ने सुडोकू ग्रिड के अपने आंतरिक मानचित्र का निर्माण करना शुरू कर दिया। इसने तत्काल पड़ोसियों के साथ सरल कनेक्शनों से शुरुआत की। फिर, अपने रेफरल तंत्र के माध्यम से, इसने बड़े आकार बनाने के लिए अपने पड़ोसियों को जोड़ने का तरीका सीखा। इसने सीखा कि कैसे एक सेल को उसकी पूरी पंक्ति से, और फिर पूरे कॉलम से, और अंततः विशिष्ट बॉक्स से जोड़ा जाए। इसने एक पैटर्न का पालन करके ऐसा किया जिसमें इसकी पहुंच दोगुनी हो गई—पहले एक कदम दूर से जुड़ना, फिर दो, फिर चार—प्रभावी रूप से शून्य से पहेली की ज्यामिति की पूर्ण समझ का निर्माण किया। मशीन ने पाया कि पंक्ति या कॉलम के मध्य सेल छोरों तक पहुँचने का सबसे कुशल तरीका हैं, और इसने इस अंतर्दृष्टि का उपयोग अपने आंतरिक मानचित्र को बनाने के लिए किया।
अध्ययन सुझाव देता है कि एआई मॉडलों को अपने स्वयं के कनेक्शनों को स्पष्ट रूप से प्रबंधित करने और अपडेट करने का तरीका देने से तर्क करने का एक शक्तिशाली उपकरण मिलता है। ग्राफ मशीन ने सिद्ध किया कि जब एक मॉडल को पते पास करने और अपने संबंधों के मानचित्र को संशोधित करने की अनुमति दी जाती है, तो वह उन समस्याओं को हल कर सकता है जो केवल पैटर्न पहचान पर निर्भर मॉडलों को उलझा देती हैं। शोधकर्ता ने पाया कि मशीन की सफलता सीधे तौर पर इन 'एज मैकेनिज्म' (किनारे के तंत्र) से आई थी: जब उन्होंने कनेक्शनों को अपडेट करने की क्षमता को हटा दिया, तो प्रदर्शन नाटकीय रूप से गिर गया। उन्होंने यह भी देखा कि मशीन ने स्वाभाविक रूप से अपने काम को विभाजित किया: प्रणाली का एक हिस्सा संख्याओं की सामग्री पर ध्यान केंद्रित करता था, जबकि दूसरा पूरी तरह से उनके बीच के संबंधों पर ध्यान केंद्रित करता था, और इन दोनों ने पहेली को सुलझाने के लिए मिलकर काम किया।
हालाँकि परिणाम उत्साहजनक हैं, शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह तो बस शुरुआत है। वर्तमान ग्राफ मशीन कम्प्यूटेशनल रूप से महंगी है, जिसे चलाने के लिए महत्वपूर्ण शक्ति की आवश्यकता होती है क्योंकि इसे प्रत्येक चरण के लिए इन जटिल कनेक्शनों की गणना करनी पड़ती है। वे यह भी बताते हैं कि सुडोकू, हालांकि एक अच्छा परीक्षण है, एक बहुत ही नियमित और अनुमानित खेल है। वास्तविक परीक्षण यह होगा कि क्या यह दृष्टिकोण अधिक अराजक, अमूर्त समस्याओं पर काम करता है जहाँ नियम निश्चित नहीं होते हैं और संबंध देखना कठिन होता है। फिलहाल, यह कार्य एक मजबूत प्रदर्शन के रूप में खड़ा है कि कनेक्शनों को ट्रेस करने की ओर एक विशिष्ट, अंतर्निहित झुकाव (बायस) जोड़ने से मशीनों को सरल पैटर्न मिलान से आगे बढ़कर दुनिया की छिपी हुई संरचनाओं के माध्यम से तर्क करने में मदद मिल सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।