Graph Neural Networks are Heuristics
यह शोध पत्र यह प्रदर्शित करता है कि ग्राफ न्यूरल नेटवर्क, यूक्लिडियन ट्रैवलिंग सेल्समैन प्रॉब्लम के लिए तेज़, सीखे हुए ह्यूरिस्टिक्स (heuristics) के रूप में कार्य कर सकते हैं, जो एकल फॉरवर्ड पास में पूर्ण टूर उत्पन्न करने के लिए अनसुपरवाइज्ड ट्रेनिंग का उपयोग करते हैं, और बिना लेबल, रिवॉर्ड या अनुक्रमिक डिकोडिंग पर निर्भर हुए पारंपरिक ग्रीडी बेसलाइन से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: बिना किसी नियम पुस्तिका के पहेलियाँ सुलझाना सीखना
कल्पना कीजिए कि आप एक विशाल पहेली को हल करने की कोशिश कर रहे हैं: ट्रैवलिंग सेल्समैन प्रॉब्लम (TSP)। आपके पास 100, 200, या यहाँ तक कि 500 शहरों का एक नक्शा है, और आपको सबसे छोटा संभव मार्ग खोजना है जिसमें हर शहर में ठीक एक बार जाया जाए और वापस घर लौटा जाए।
परंपरागत रूप से, मनुष्य इसे दो तरीकों से हल करते हैं:
- "परफेक्ट" तरीका: एक सुपर-कंप्यूटर का उपयोग करके हर एक संभावित मार्ग की जाँच करना। यह सबसे अच्छा उत्तर सुनिश्चित करता है लेकिन इसमें बहुत समय लगता है (जैसे किसी लाइब्रेरी की हर किताब को तब तक पढ़ना जब तक कि उसमें लिखा कोई एक विशिष्ट वाक्य न मिल जाए)।
- "काफी अच्छा" तरीका (Heuristics): हाथ से बनाए गए नियमों का एक सेट उपयोग करना, जैसे "हमेशा अगले शहर के लिए निकटतम शहर पर जाएँ।" यह तेज़ है, लेकिन यह अक्सर औसत दर्जे के मार्ग की ओर ले जाता है क्योंकि यह स्थानीय बाधाओं (local traps) में फंस जाता है।
पेपर का दावा:
लेखक, यिमेंग मिन और कार्ला गोम्स (कॉर्नेल यूनिवर्सिटी), तर्क देते हैं कि ग्राफ न्यूरल नेटवर्क (GNNs) को केवल इन पुराने नियमों को निर्देशित करने वाले "सहायक" होने की आवश्यकता नहीं है। इसके बजाय, GNN स्वयं सबसे स्मार्ट नियम-निर्माता बन सकता है।
उन्होंने एक ऐसा सिस्टम बनाया है जो TSP को हल करना सीखता है—बिना सही उत्तरों को सिखाए (कोई लेबल नहीं), बिना पुरस्कार पाने के लिए अनुमान लगाने के खेल के (कोई रीइन्फोर्समेंट लर्निंग नहीं), और बिना अपने काम की बाद में जाँच किए या गलतियों को सुधारे (कोई सर्च या लोकल इम्प्रूवमेंट नहीं)। यह पूरी तरह से समस्या के आकार (shape) को देखकर सीखता है।
यह कैसे काम करता है: "वन-शॉट" कलाकार
ज्यादातर AI मॉडल जो पहेलियाँ सुलझाते हैं, वे एक धीमे चित्रकार की तरह काम करते हैं, जो एक बार में एक ब्रशस्ट्रोक जोड़ते हैं (अगला शहर तय करना, फिर अगला, फिर अगला)। यह पेपर एक नॉन-ऑटोरिग्रेसिव (Non-Autoregressive) मॉडल का उपयोग करता है।
उपमा: इंस्टेंट मोज़ेक (Instant Mosaic)
कल्पना कीजिए कि आपके पास शहरों का प्रतिनिधित्व करने वाले टाइल्स का एक बॉक्स है।
- पुराना AI: एक टाइल उठाता है, उसे रखता है, दूसरा उठाता है, उसे उसके बगल में रखता है, और इसी तरह। यह चरण-दर-चरण पथ बनाता है।
- इस पेपर का AI: एक ही झटके में पूरे टाइल्स के बॉक्स को देखता है और उन्हें तुरंत एक पूर्ण, तैयार मोज़ेक में जोड़ देता है। यह पथ का निर्माण नहीं करता; यह एक ही बार में पूरी तस्वीर देख लेता है।
सीक्रेट सॉस: एक एकल मॉडल के लिए तीन तरकीबें
चूंकि AI को अनुमान लगाने के बाद अपनी गलतियों को "खोजने" या "सुधारने" की अनुमति नहीं है, तो यह इतना अच्छा कैसे होता है? लेखकों ने मॉडल को मजबूत और विविध बनाने के लिए तीन चतुर तरकीबों का उपयोग किया:
सिमेट्री-अवेयर विजन (The "Rotating Map" Trick):
यदि आप शहरों के नक्शे को घुमाते हैं, तो सबसे छोटा मार्ग नहीं बदलता; वह बस अलग दिखता है। लेखकों ने AI को यह समझने के लिए प्रशिक्षित किया कि मार्ग का आकार मायने रखता है, न कि विशिष्ट निर्देशांक (coordinates)। उन्होंने AI को नक्शे को देखने का एक विशेष "आंतरिक" तरीका दिया (जैसे केंद्र के सापेक्ष कंपास और रूलर का उपयोग करना) ताकि वह इस बात से भ्रमित न हो कि नक्शा मेज पर कहाँ रखा गया है।नियंत्रित अराजकता (The "Dropout" Trick):
आमतौर पर, जब आप एक AI को प्रशिक्षित करते हैं, तो आप इसके कुछ न्यूरॉन्स को बेतरतीब ढंग से बंद कर देते हैं (जिसे "ड्रॉपआउट" कहा जाता है) ताकि यह ट्रेनिंग डेटा को रटने से बचे। लेखकों ने इस "ऑफ" स्विच को पहेली सुलझाते समय भी सक्रिय रखा।
- उपमा: कल्पना कीजिए कि आप एक शेफ से एक ही व्यंजन 10 बार बनाने के लिए कहते हैं। आमतौर पर, वे इसे बिल्कुल एक ही तरह से बनाएंगे। लेकिन यहाँ, शेफ थोड़ा विचलित है या हर बार नमक का थोड़ा अलग चुटकी भर उपयोग करता है। यह हर बार 10 थोड़े अलग संस्करण बनाता है। AI इस "विक्षेप" (distraction) के साथ पहेली को 10 बार चलाता है, जिससे 10 अलग-अलग मार्ग उत्पन्न होते हैं। फिर आप बस सबसे अच्छे वाले को चुन लेते हैं। यह 10 अलग-अलग शेफ को प्रशिक्षित किए बिना विविधता पैदा करता है।
- स्नैपशॉट एनसेम्बलिंग (The "Time-Travel" Trick):
मॉडल को प्रशिक्षित करते समय, यह समय के साथ बदलता है। लेखकों ने प्रशिक्षण के विभिन्न क्षणों पर मॉडल को सहेजा (जैसे हर महीने के अंत में छात्र की फोटो लेना)।
- उपमा: केवल छात्र के अंतिम परीक्षा स्कोर का उपयोग करने के बजाय, वे सितंबर, अक्टूबर, नवंबर और दिसंबर के छात्र के प्रदर्शन का उपयोग करते हैं। कभी-कभी, मॉडल का "सितंबर" वाला संस्करण किसी विशिष्ट प्रकार की पहेली के लिए "दिसंबर" वाले संस्करण से बेहतर होता है। इन "स्नैपशॉट्स" को मिलाकर, वे एक ही प्रशिक्षण सत्र से विशेषज्ञों की एक टीम प्राप्त करते हैं, जो सभी मुफ्त में मिलकर काम कर रहे हैं।
परिणाम: तेज़ और आश्चर्यजनक रूप से अच्छा
पेपर ने इसे 100, 200 और 500 शहरों के नक्शों पर टेस्ट किया।
- गति: यह अविश्वसनीय रूप से तेज़ है। एक आधुनिक कंप्यूटर चिप (GPU) पर, यह पहेली को मिलीसेकंड में हल करता है। यह एक इंसान के पलक झपकने से भी तेज़ है।
- गुणवत्ता:
- यह मानक "निकटतम पड़ोसी" (nearest neighbor) वाली 'ग्रीडी' विधि को बड़े अंतर से पीछे छोड़ देता है।
- यह बहुत धीमी, जटिल विधियों के बराबर है जो सर्च और रिफाइनमेंट का उपयोग करती हैं।
- यह "परफेक्ट" गणितीय उत्तर (जो सुपर-स्लो कॉनकोर्ड सॉल्वर द्वारा पाया जाता है) के लगभग 4% से 12% के भीतर आता है, जो कि एक ऐसी चीज़ के लिए बड़ी उपलब्धि है जो सर्च या सुधार नहीं करती।
निचोड़
पेपर निष्कर्ष निकालता है कि ग्राफ न्यूरल नेटवर्क केवल सहायक नहीं हैं; वे स्वयं ही ह्यूरिस्टिक्स (heuristics) हैं।
एक इंजीनियर द्वारा किसी समस्या को हल करने के लिए जटिल नियमों को लिखने के बजाय, हम एक न्यूरल नेटवर्क को प्रशिक्षित कर सकते हैं कि वह समस्या की संरचना को "महसूस" करे और एक ही, बिजली जैसी तेज़ नज़र में उच्च-गुणवत्ता वाला समाधान दे। AI सीधे डेटा से समाधान के "व्याकरण" को सीखता है, यह साबित करते हुए कि आपको नियमों को प्रोग्राम करने की आवश्यकता नहीं है यदि आप कंप्यूटर को खेल की संरचना को समझना सिखा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।