Fractal Graph Contrastive Learning

तकनीकी सारांश: फ्रैक्टल ग्राफ कंट्रास्टिव लर्निंग (FractalGCL)

समस्या विवरण
ग्राफ कंट्रास्टिव लर्निंग (GCL) स्व-पर्यवेक्षित शिक्षण (self-supervised learning) के लिए सकारात्मक युग्म (positive pairs) बनाने हेतु अर्थपूर्ण रूप से सुसंगत ग्राफ संवर्द्धन (augmentations) उत्पन्न करने पर निर्भर करता है। हालाँकि, मौजूदा विधियाँ मुख्य रूप से स्थानीय गड़बड़ी (जैसे कि रैंडम नोड/एज डिलीशन, या एट्रिब्यूट मास्किंग) या निश्चित टोपोलॉजिकल बाधाओं का उपयोग करती हैं। लेखक तर्क देते हैं कि ये दृष्टिकोण वैश्विक संरचनात्मक निरंतरता (global structural consistency) पर सीमित नियंत्रण प्रदान करते हैं, और अक्सर यह सुनिश्चित करने में विफल रहते हैं कि संवर्धित दृश्य (augmented views) मूल ग्राफ के अंतर्निहित वैश्विक गुणों को बनाए रखें। वैश्विक समानता को लागू करने के लिए एक सिद्धांत-आधारित तंत्र की कमी उच्च-गुणवत्ता वाले ग्राफ प्रतिनिधित्व सीखने में एक बाधा उत्पन्न करती है, विशेष रूप से उन ग्राफों के लिए जो जटिल, बहु-स्तरीय (multi-scale) संरचनाएं प्रदर्शित करते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र FractalGCL प्रस्तावित करता है, जो वैश्विक निरंतरता की चुनौती को हल करने के लिए फ्रैक्टल ज्यामिति (fractal geometry) पर आधारित एक ढांचा है। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. पुनर्सामान्यीकरण-आधारित संवर्द्धन (Renormalisation-Based Augmentation):
   रैंडम स्थानीय गड़बड़ी के बजाय, FractalGCL ग्राफ पुनर्सामान्यीकरण (graph renormalisation) के माध्यम से सकारात्मक दृश्य उत्पन्न करता है। इस प्रक्रिया में एक त्रिज्या बाधा (radius constraint) के आधार पर ग्राफ के शीर्षों (vertices) को विलगित (disjoint), जुड़े हुए "बक्सों" (supervertices) में विभाजित करना शामिल है। प्रत्येक बॉक्स को एक एकल सुपरवर्टेक्स में सिकोड़ दिया जाता है, और सुपरवर्टेक्स के बीच किनारे (edges) तब बनते हैं यदि मूल ग्राफ में उनके घटक शीर्षों के बीच कोई किनारा मौजूद था।

   • सैद्धांतिक आधार: लेखक प्रमेय 3.2 का हवाला देते हैं, जो बताता है कि सीमित पुनर्सामान्यीकरण अनंत-व्यास सीमा (infinite-diameter limit) में बॉक्स-काउंटिंग आयाम (फ्रैक्टल आयाम) को सुरक्षित रखता है। यह सुनिश्चित करता है कि संवर्धित दृश्य $R(G)$, मूल ग्राफ $G$ के प्रति एक मोटे स्तर (coarse scale) पर संरचनात्मक समानता बनाए रखता है।
   • इनपुट निर्माण: एनकोडर को दिया जाने वाला संवर्धित दृश्य विलगित संघ (disjoint union) $A(G) = G \sqcup R(G)$ है, जिससे मॉडल सूक्ष्म-स्तरीय स्थानीय संरचनाओं और मोटे-स्तरीय पुनर्सामान्यीकृत संरचनाओं दोनों को एक साथ संसाधित कर सकता है।

2. फ्रैक्टल-आयाम-जागरूक कंट्रास्टिव लॉस (Fractal-Dimension-Aware Contrastive Loss):
   यह ढांचा एक नया लॉस फंक्शन पेश करता है जो एंकर ग्राफ और उसके संवर्धित दृश्य के बीच परिमित-पैमाने (finite-scale) के बॉक्स-काउंटिंग आयाम में विसंगतियों को स्पष्ट रूप से दंडित करता है।

   • यह लॉस मानक कंट्रास्टिव लॉजिट्स में एक पद जोड़कर उन्हें संशोधित करता है जो $|\hat{d}_{B}(G_i) - \hat{d}_{B}(R(G_i))|$ के समानुपाती है, जहाँ $\hat{d}_{B}$ अनुमानित बॉक्स आयाम है।
   • सकारात्मक युग्म (Positive Pairs): यदि पुनर्सामान्यीकृत दृश्य आयाम में एंकर से महत्वपूर्ण विचलन करता है, तो समानता स्कोर को दंडित किया जाता है, जिससे अविश्वसनीय संवर्द्धनों को हतोत्साहित किया जाता है।
   • नकारात्मक युग्म (Negative Pairs): नकारात्मक युग्मों के बीच प्रतिकर्षण बल (repulsion force) को एंकर और नकारात्मक नमूने के पुनर्सामान्यीकृत दृश्य के बीच बॉक्स-काउंटिंग विसंगति के आधार पर पुन: भारित (reweighted) किया जाता है। वे ग्राफ जिनके ज्यामितीय गुण काफी भिन्न होते हैं, उन्हें अधिक मजबूत प्रतिकर्षण प्राप्त होता है।

3. दक्षता के लिए गॉसियन सरोगेट (Gaussian Surrogate for Efficiency):
   प्रत्येक पुनर्सामान्यीकृत ग्राफ के लिए बॉक्स-काउंटिंग आयाम की गणना करना कम्प्यूटेशनल रूप से महंगा है ($O(|V|^3)$ वर्स्ट-केस परिदृश्य में)। विधि को व्यावहारिक बनाने के लिए, लेखक एक व्यास-नियंत्रित गॉसियन सरोगेट व्युत्पन्न करते हैं।

   • वे सिद्ध करते हैं (प्रस्ताव 3.5) कि पुनर्सामान्यीकरण विसंगति $\Delta(G) = \hat{d}_{B}(G) - \hat{d}_{B}(R(G))$ को ग्राफ व्यास और रिग्रेशन अनिश्चितता द्वारा नियंत्रित एक गॉसियन वितरण $N(0, \sigma^2)$ द्वारा अनुमानित किया जा सकता है।
   • यह सरोगेट प्रशिक्षण के दौरान बार-बार बॉक्स-काउंटिंग रिग्रेशन करने से बचता है, जिससे रनटाइम लगभग 61% कम हो जाता है।
   • सुरक्षित फॉलबैक (Safe Fallback): एक गेटिंग तंत्र फ्रैक्टल सुधार को अक्षम (भार $\alpha=0$ सेट करके) कर देता है यदि ग्राफ का व्यास छोटा ($\le 9$) है या यदि बॉक्स-काउंटिंग फिट कमजोर ($R^2 < 0.9$) है, जिससे यह सुनिश्चित होता है कि जब फ्रैक्टल धारणाएं लागू न हों, तो मॉडल मानक GCL व्यवहार पर वापस आ जाए।

प्रमुख योगदान

• GCL में फ्रैक्टल ज्यामिति: यह शोध पत्र उन पहले कार्यों में से एक है जो ग्राफ प्रतिनिधित्व शिक्षण में एक गणितीय रूप से कठोर फ्रैक्टल दृष्टिकोण को सम्मिलित करता है, यह प्रदर्शित करते हुए कि वैश्विक, स्केल-मुक्त संरचनात्मक गुण कंट्रास्टिव लर्निंग के लिए एक शक्तिशाली संकेत हैं।
• सिद्धांत-संचालित आर्किटेक्चर: पुनर्सामान्यीकरण-आधारित संवर्द्धन और आयाम-जागरूक लॉस फंक्शन का एकीकरण हीयुरिस्टिक (heuristic) स्थानीय गड़बड़ी के मुकाबले एक सिद्धांत-आधारित विकल्प प्रदान करता है।
• कुशल कार्यान्वयन: गॉसियन सरोगेट का व्युत्पन्न इस पद्धति को एक सैद्धांतिक रूप से सुदृढ़ लेकिन कम्प्यूटेशनल रूप से अत्यधिक महंगी विधि से एक व्यावहारिक उपकरण में बदल देता है, जो प्रदर्शन से समझौता किए बिना महत्वपूर्ण गति प्राप्त करता है।
• मजबूती तंत्र (Robustness Mechanism): ऑब्जेक्टिव-स्तर का फॉलबैक यह सुनिश्चित करता है कि विधि उन ग्राफों पर प्रदर्शन खराब न करे जिनमें स्पष्ट फ्रैक्टल स्केलिंग की कमी है या जो विश्वसनीय आयाम अनुमान के लिए बहुत छोटे हैं।

प्रायोगिक परिणाम
लेखक तीन अलग-अलग सेटिंग्स में FractalGCL का मूल्यांकन करते हैं:

1. फ्रोजन प्रीट्रेनिंग (MalNet-Tiny): FractalGCL एक प्रभावी फ्रोजन प्रीट्रेनिंग टूल के रूप में कार्य करता है। जब इसे डाउनस्ट्रीम क्लासिफायर (जैसे SAGE, JK-SAGE) के साथ जोड़ा जाता है, तो यह बेसलाइन की तुलना में सटीकता में सुधार करता है, जिसमें सबसे बड़ी वृद्धि SAGE-small मॉडल पर 1.20 प्रतिशत अंक है।
2. मानक बेंचमार्क (TUDataset): पांच डेटासेट्स (NCI1, MUTAG, PROTEINS, D&D, REDDIT-M5K) पर, FractalGCL उच्चतम औसत सटीकता (76.93%) प्राप्त करता है, जो अगले सर्वश्रेष्ठ विधि (GradGCL) से 1.29 प्रतिशत अंक बेहतर है। यह सभी पांच व्यक्तिगत डेटासेट्स पर प्रथम स्थान पर है। प्रदर्शन का अंतर D&D डेटासेट पर विशेष रूप से अधिक है, जो मजबूत फ्रैक्टल विशेषताएं प्रदर्शित करता है।
3. वास्तविक दुनिया का अनुप्रयोग (Urban Traffic): शिकागो, सैन फ्रांसिस्को और न्यूयॉर्क के सड़क नेटवर्क का उपयोग करके ट्रैफिक-सेफ्टी वर्गीकरण कार्यों पर मूल्यांकन करते हुए, FractalGCL 61.76% की औसत सटीकता प्राप्त करता है, जो अगले सर्वश्रेष्ठ बेसलाइन से 4.51 प्रतिशत अंक अधिक है।

महत्व और दावे
शोध पत्र का दावा है कि FractalGCL यह प्रदर्शित करता है कि वैश्विक संरचनात्मक निरंतरता, जिसे फ्रैक्टल ज्यामिति के माध्यम से औपचारिक रूप दिया गया है, ग्राफ प्रतिनिधित्व शिक्षण में एक महत्वपूर्ण लेकिन अक्सर अनदेखा किया जाने वाला कारक है। स्थानीय गड़बड़ी से आगे बढ़कर बहु-स्तरीय स्व-समानता (multi-scale self-similarity) को लागू करके, यह विधि सीखे गए एम्बेडिंग्स की गुणवत्ता को बढ़ाती है।

लेखक विनम्रतापूर्वक नोट करते हैं कि विधि की प्रभावकारिता सार्थक परिमित-पैमाने (finite-scale) की फ्रैक्टल संरचना की उपस्थिति पर निर्भर करती है। वे स्वीकार करते हैं कि कमजोर फ्रैक्टल स्केलिंग या बहुत छोटे व्यास वाले ग्राफों के लिए, फ्रैक्टल सुधार कम सूचनात्मक हो सकता है, यही कारण है कि प्रस्तावित फॉलबैक तंत्र आवश्यक है। यह कार्य फ्रैक्टल ज्यामिति को न केवल एक सैद्धांतिक जिज्ञासा के रूप में, बल्कि मजबूत ग्राफ कंट्रास्टिव लर्निंग उद्देश्यों को डिजाइन करने के लिए एक व्यावहारिक, स्केलेबल प्रायर (prior) के रूप में स्थापित करता है।