← नवीनतम पेपर
🤖 machine learning

Universality and Approximation Rates of Graph Neural Networks with Random Features

यह शोध पत्र स्थापित करता है कि आंशिक रूप से यादृच्छिक नोड विशेषताओं वाले मैसेज-पासिंग ग्राफ न्यूरल नेटवर्क, निश्चित आकार के निर्देशित ग्राफों पर क्रम-अपरिवर्तनीय (permutation-invariant) और क्रम-तुल्यचर (equivariant) फलनों के लिए सार्वभौमिक सन्निकटन क्षमताएं रखते हैं, जबकि नेटवर्क जटिलता के आधार पर उनके सन्निकटन दरों पर सैद्धांतिक ऊपरी सीमाएं भी प्राप्त करता है।

मूल लेखक: Lukas Gonon, Thilo Meyer-Brandis, Niklas Weber

प्रकाशित 2026-07-30
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Lukas Gonon, Thilo Meyer-Brandis, Niklas Weber

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आकार बदलने वाली भीड़ की पहेली

कल्पना कीजिए कि आप एक कंप्यूटर को दुनिया को केवल पिक्सेल के ग्रिड या शब्दों की सूची के रूप में नहीं, बल्कि कनेक्शनों के एक जाल के रूप में समझना सिखाने की कोशिश कर रहे हैं। यह ग्राफ न्यूरल नेटवर्क्स (GNNs) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जिसे ऐसे डेटा को संभालने के लिए डिज़ाइन किया गया है जो दोस्तों के मानचित्र, अणुओं या ट्रैफिक मार्गों की तरह दिखता है। इन मानचित्रों में, सबसे महत्वपूर्ण बात यह नहीं है कि कोई व्यक्तिगत वस्तु क्या है, बल्कि यह है कि वह अपने पड़ोसियों से कैसे जुड़ती है।

हालाँकि, एक पेचीदा नियम है जिसका इन कंप्यूटरों को पालन करना चाहिए: समरूपता (Symmetry)। यदि आपके पास दोस्तों का एक समूह है और आप उनके नाम बदल देते हैं, तो समूह अभी भी वही समूह रहता है। एक अच्छे ग्राफ AI को इस बात की परवाह नहीं करनी चाहिए कि कौन कुर्सी A में बैठा है या कुर्सी B में; उसे केवल इस बात की परवाह होनी चाहिए कि कौन किससे बात कर रहा है। इसे परम्यूटेशन इनवेरिएंस (permutation invariance) (पूरे समूह के लिए) या परम्यूटेशन इक्विवेरिएंट (permutation equivariance) (व्यक्तियों के लिए) कहा जाता है। समस्या यह है कि मानक AI मॉडल इसमें बहुत खराब होते हैं। वे अक्सर डेटा के आने के क्रम से भ्रमित हो जाते हैं, और यह पहचानने में विफल रहते हैं कि दो अलग-अलग दिखने वाली नामों की सूचियाँ वास्तव में एक ही सामाजिक दायरे का वर्णन करती हैं।

इसे ठीक करने के लिए, वैज्ञानिकों ने AI को "रैंडम नॉइज़" या "रैंडम आईडी" देने की कोशिश की है ताकि यह नोड्स को एक-दूसरे से अलग पहचान सके, ठीक वैसे ही जैसे भीड़ के हर व्यक्ति को एक अस्थायी, अद्वितीय स्टिकर दिया जाता है। लेकिन अब तक, हमें पूरी तरह से पता नहीं था कि क्या यह ट्रिक AI को किसी भी संभावित पैटर्न को समझने के लिए पर्याप्त स्मार्ट बना सकती है, या जटिल नियमों को सीखने की क्षमता में कुछ सीमाएँ हैं। यह शोध पत्र इसी प्रश्न की गहराई में उतरता है, पूछते हुए: "यदि हम इन ग्राफ-पढ़ने वाले कंप्यूटरों को रैंडम स्टिकर देते हैं, तो क्या वे किसी भी ग्राफ संरचना को समझने में पूर्ण होने के लिए सक्षम हो सकते हैं?"

रैंडम स्टिकर्स का जादू

इस शोध पत्र के लेखक, लुकास गोनोन, थिलो मेयर-ब्रैंडिस और निकलास वेबर, यह सिद्ध करने के लिए निकले हैं कि एक विशिष्ट प्रकार का ग्राफ AI, जिसे परम्यूटेशन-इक्विवेरिएंट न्यूरल नेटवर्क (PENN) कहा जाता है, अविश्वसनीय रूप से शक्तिशाली हो जाता है जब आप इसे रैंडम नोड फीचर्स देते हैं। एक PENN को एक मानचित्र पर रहस्य सुलझाने की कोशिश करने वाली जासूसों की टीम के रूप में समझें। आमतौर पर, यदि दो संदिग्ध बिल्कुल एक जैसे दिखते हैं और उनके दोस्त भी एक जैसे हैं, तो जासूस उन्हें अलग नहीं कर पाते। लेकिन यदि आप प्रत्येक संदिग्ध को एक रैंडम, अद्वितीय स्टिकर (एक रैंडम फीचर) देते हैं, तो जासूस अंततः उन्हें अलग कर सकते हैं और मामला सुलझा सकते हैं।

शोध पत्र की मुख्य खोज एक "यूनिवर्सल" गारंटी है। लेखकों ने गणितीय रूप से सिद्ध किया कि यदि आप इन PENNs को रैंडम स्टिकर्स देते हैं, तो वे एक निश्चित आकार के ग्राफ पर किसी भी मापने योग्य फलन (measurable function) को अत्यधिक उच्च संभावना (arbitrarily high probability) के साथ अनुमानित कर सकते हैं। सरल शब्दों में: यदि आप चाहते हैं कि AI एक नेटवर्क के बारे में एक विशिष्ट नियम सीखे (जैसे कि कौन सा अणु जहरीला है या कौन सा वित्तीय नेटवर्क जोखिम में है), और यदि आप इसे पर्याप्त रैंडम स्टिकर्स देते हैं, तो एक ऐसा PENN आर्किटेक्चर मौजूद है जो उस नियम को लगभग पूरी तरह से सीख सकता है। यह तब भी सच है जब नियम अव्यवस्थित या जटिल हो, और भले ही डेटा में नोड्स और एड्ज (edges) से जुड़े कई अलग-अलग प्रकार के फीचर्स हों।

"पर्याप्त अच्छा" कितना है?

लेकिन यह शोध पत्र केवल यह नहीं कहता कि "यह काम करता है"; यह आपको बताता है कि काम पूरा करने के लिए AI को कितना बड़ा होना चाहिए। लेखकों ने उन फलनों (functions) को देखा जो सुचारू और व्यवस्थित हैं (गणितीय रूप से "k-बार निरंतरतः अवकलनीय" (k-times continuously differentiable), जहाँ k2k \ge 2)। उन्होंने अनुमान दरों (approximation rates) के लिए एक सूत्र निकाला, जो मूल रूप से एक गति सीमा है कि जैसे-जैसे आप इसे बड़ा बनाते हैं, यह कितनी तेजी से सीख सकता है।

उन्होंने पाया कि नेटवर्क की गहराई (depth) (परतों की संख्या) को केवल लॉगारिदमिक (logarithmically) रूप से बढ़ने की आवश्यकता होती है जब आप अधिक सटीकता की मांग करते हैं। यह अच्छी खबर है: यदि आप दोगुनी सटीकता चाहते हैं, तो आपको मस्तिष्क का आकार दोगुना करने की आवश्यकता नहीं है; आपको बस थोड़ी सी अधिक गहराई की आवश्यकता है। हालाँकि, कनेक्शन की संख्या (गैर-शून्य भार/weights) जैसे-जैसे आप अधिक सटीकता की मांग करते हैं, पॉलीनोमियल (polynomially) रूप से बढ़ती है। विशेष रूप से, जटिलता 1/ϵ1/\epsilon के पावर के साथ स्केल करती है, जहाँ ϵ\epsilon आपका वांछित त्रुटि मार्जिन है। शोध पत्र नोट करता है कि यह पावर उस नियम पर निर्भर करती है जिसे आप सीखने की कोशिश कर रहे हैं उसकी "स्मूथनेस" (kk) और ग्राफ के आकार (NN) पर। संक्षेप में, बहुत जटिल, ऊबड़-खाबड़ नियमों या बहुत बड़े ग्राफों के लिए, आपको बहुत अधिक कनेक्शन की आवश्यकता होगी, लेकिन सुचारू नियमों के लिए, AI कुशल रहता है।

सुरक्षा के लिए "औसत" का तरीका

शोध पत्र का एक सबसे चंचल और व्यावहारिक अंतर्दृष्टि रैंडम स्टिकर्स के उपयोग के दुष्प्रभाव को संबोधित करता है। क्योंकि स्टिकर्स रैंडम हैं, यदि आप AI को एक बार चलाते हैं, तो यह दूसरे रन की तुलना में थोड़ा अलग उत्तर दे सकता है यदि आप अलग स्टिकर्स के साथ चलाते हैं। यह समरूपता के नियम को तोड़ता है: AI एक ही समूह के दोस्तों के साथ अलग व्यवहार कर सकता है क्योंकि स्टिकर्स बदल गए थे।

लेखक एक चतुर समाधान का सुझाव देते हैं: एवरेजिंग (Averaging - औसत निकालना)। यदि आप अलग-अलग रैंडम स्टिकर्स के साथ AI को कई बार चलाते हैं और परिणामों का औसत लेते हैं, तो रैंडमनेस (यादृच्छिकता) समाप्त हो जाती है, और AI फिर से पूरी तरह से सममित (symmetric) हो जाता है। यह रैंडमनेस नियम को तोड़ती है: AI एक ही समूह के दोस्तों के साथ अलग व्यवहार कर सकता है क्योंकि स्टिकर्स बदल गए थे। यह प्रक्रिया समरूपता के नियम को तोड़ती है: AI एक ही समूह के दोस्तों के साथ अलग व्यवहार कर सकता है क्योंकि स्टिकर्स बदल गए थे।

लेखक एक चतुर समाधान का सुझाव देते हैं: एवरेजिंग (Averaging - औसत निकालना)। यदि आप अलग-अलग रैंडम स्टिकर्स के साथ AI को कई बार चलाते हैं और परिणामों का औसत लेते हैं, तो रैंडमनेस समाप्त हो जाती है, और AI फिर से पूरी तरह से सममित हो जाता है। उन्होंने सिद्ध किया कि यह "औसत" वाला संस्करण अभी भी किसी भी नियम को सीखने की सुपरपावर बनाए रखता है। यह भीड़ के लोगों से कद्दू का वजन बताने के लिए पूछने जैसा है; एक व्यक्ति बहुत गलत हो सकता है, लेकिन यदि आप सौ लोगों के अनुमानों का औसत लेते हैं, तो आपको बहुत सटीक उत्तर मिलता है। शोध पत्र दिखाता है कि आप कुछ रन का औसत लेकर इस पूर्ण समरूपता और पूर्ण सीखने की क्षमता को एक साथ प्राप्त कर सकते हैं।

भविष्य के लिए इसका क्या अर्थ है

लेखक सावधानीपूर्वक यह स्पष्ट करते हैं कि यह एक सैद्धांतिक प्रमाण (theoretical proof) है, न कि किसी विशिष्ट डेटासेट का सिमुलेशन। उन्होंने गणितीय रूप से प्रदर्शित किया है कि इन मॉडलों के यूनिवर्सल एप्रोक्सिमेटर होने की क्षमता मौजूद है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि आपको इस स्तर को प्राप्त करने के लिए जटिल, कस्टम-निर्मित आर्किटेक्चर की आवश्यकता है; मानक PENN संरचना, जब रैंडम फीचर्स के साथ संवर्धित होती है, तो पर्याप्त है।

वे यह भी स्पष्ट करते हैं कि जबकि रैंडम फीचर्स एक एकल रन की "पूर्ण समरूपता" को तोड़ते हैं, वे "अपेक्षा में समरूपता" (symmetry in expectation - औसत व्यवहार) को नहीं तोड़ते हैं। यह सुझाव देता है कि व्यवहार में, रैंडम फीचर्स का उपयोग करना एक मजबूत रणनीति है। शोध पत्र निष्कर्ष निकालता है कि रैंडм फीचर्स वाले PENNs को ग्राफ लर्निंग कार्यों के लिए एक मजबूत बेसलाइन माना जाना चाहिए। वे केवल एक सैद्धांतिक जिज्ञासा नहीं हैं; वे ग्राफ AI बनाने के लिए एक ठोस, गणितीय रूप से समर्थित ब्लूप्रिंट प्रदान करते हैं जो शक्तिशाली और लचीले दोनों हैं, और रासायनिक अणुओं से लेकर वित्तीय प्रणालियों तक के नेटवर्क में जटिल पैटर्न सीखने में सक्षम हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →