🤖 machine learning

Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification

यह शोध पत्र 'ट्रांसडक्टिव शार्पनिंग' (Transductive Sharpening) को प्रस्तुत करता है, जो एक ऐसा प्रशिक्षण उद्देश्य है जो अनलेबल नोड्स पर प्रेडिक्शन एंट्रॉपी (prediction entropy) को कम करके और लेबल वाले नोड्स पर इस प्रभाव को संतुलित करके सेमी-सुपरवाइज्ड नोड वर्गीकरण में सुधार करता है, जिससे अंतर्निहित आर्किटेक्चर को संशोधित किए बिना प्रदर्शन को बढ़ाने के लिए अनलेबल प्रेडिक्शन्स का लाभ उठाया जा सके।

मूल लेखक: Brown Zaz, Mar Gonzàlez I Català, Ferran Hernandez Caralt, Moshe Eliasof, Pietro Liò

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Brown Zaz, Mar Gonzàlez I Català, Ferran Hernandez Caralt, Moshe Eliasof, Pietro Liò

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कक्षा में एक शिक्षक हैं जो छात्रों (ग्राफ के नोड्स) से भरी हुई है। आप उन्हें एक विषय पढ़ाना चाहते हैं, लेकिन आपके पास केवल कुछ छात्रों के लिए उत्तर कुंजियाँ (answer keys) हैं (लेबल किए गए नोड्स)। बाकी की कक्षा के पास कोई उत्तर कुंजी नहीं है (अनलेबल किए गए नोड्स)।

मानक तरीके से पढ़ाने में (स्टैंडर्ड सुपरवइज्ड लर्निंग), आप केवल उन्हीं छात्रों के काम की जाँच करते हैं जिनके पास उत्तर कुंजियाँ हैं। आप बिना कुंजी वाले छात्रों के काम को अनदेखा कर देते हैं, भले ही वे उसी कमरे में बैठे हों, लेक्चर सुन रहे हों और समस्याओं को हल करने की कोशिश कर रहे हों। आप उनके उत्तरों को फेंक देते हैं क्योंकि आप सत्यापित नहीं कर सकते कि वे सही हैं या गलत।

समस्या:
इस शोध पत्र के लेखकों ने कुछ दिलचस्प देखा: भले ही आपके पास पूरी कक्षा के लिए उत्तर कुंजियाँ नहीं हैं, फिर भी बिना कुंजी वाले छात्र अनुमान लगा रहे हैं। कभी-कभी, कुछ पाठों के बाद, ये अनुमान बहुत आत्मविश्वासी हो जाते हैं। यह शोध पत्र पूछता है: इन आत्मविश्वासी अनुमानों को क्यों फेंक दिया जाए? क्या हम इनका उपयोग पूरी कक्षा को बेहतर तरीके से सीखने में मदद करने के लिए कर सकते हैं?

समाधान: "ट्रांसडक्टिव शार्पनिंग" (Transductive Sharpening)
लेखक एक नई शिक्षण रणनीति प्रस्तावित करते हैं जिसे ट्रांसडक्टिव शार्पनिंग (TS) कहा जाता है। इसे एक विशेष ग्रेडिंग नियम के रूप में सोचें जो छात्रों के आत्मविश्वास के प्रति शिक्षक की प्रतिक्रिया को बदल देता है।

यह इस प्रकार काम करता है:

"शार्पनिंग" (अनलेबल किए गए छात्रों के लिए):
कल्पना कीजिए कि बिना उत्तर कुंजी वाले छात्र वर्तमान में बहुत हिचकिचाहट के साथ अनुमान लगा रहे हैं। वे कह रहे हैं, "मुझे लगता है कि यह A हो सकता है, या शायद B, या शायद C..." समान संभावना के साथ।
नया नियम कहता है: "यदि आप अनुमान लगाने जा रहे हैं, तो अधिक आत्मविश्वास के साथ अनुमान लगाएं!"
शिक्षक इन छात्रों को प्रोत्साहित करता है कि वे अपनी पेंसिल छीलें (sharpen करें) और एक निश्चित उत्तर पर टिके रहें। यदि कोई छात्र 80% आश्वस्त है कि यह "A" है, तो शिक्षक कहता है, "बहुत अच्छा, और भी आश्वस्त बनो! 95% आश्वस्त बनो!" यह छात्र को डगमगाना बंद करने और एक निर्णायक भविष्यवाणी करने के लिए मजबूर करता है। इसे एन्ट्रॉपी को कम करना (minimizing entropy) (भ्रम को कम करना) कहा जाता है।
"काउंटर-बैलेंस" (लेबल किए गए छात्रों के लिए):
अब, उन छात्रों को देखें जिनके पास उत्तर कुंजियाँ हैं। यदि शिक्षक केवल सभी को अत्यधिक आत्मविश्वासी होने के लिए कहता, तो कुंजी वाले छात्र बहुत अधिक आत्मविश्वासी हो सकते थे, भले ही वे गलत हों। वे अवधारणा को सीखने के बजाय विशिष्ट उत्तरों को रटने लग सकते हैं।
इसे रोकने के लिए, शिक्षक एक काउंटर-नियम जोड़ता है: "तुम उत्तर कुंजी वाले छात्र, बहुत ज्यादा घमंडी मत बनो। विनम्र रहो और थोड़ा संदेह बनाए रखो।"
यह 防止 (रोकता) है कि "अच्छे" छात्र ओवरफिटिंग (परीक्षा रटने के बजाय विषय को रटना) न करें। इसे एन्ट्रॉपी को अधिकतम करना (maximizing entropy) (थोड़ी अनिश्चितता बनाए रखना) कहा जाता है।

जादुई तत्व (लॉस फंक्शन):
गणितीय शब्दों में, शोध पत्र एक नया "स्कोरकार्ड" (लॉस फंक्शन) पेश करता है जो इन दो नियमों को जोड़ता है। यह एक दंड (penalty) जोड़ता है यदि अनलेबल छात्र बहुत अधिक भ्रमित हैं, लेकिन यह एक दंड भी जोड़ता है यदि लेबल किए गए छात्र बहुत अधिक अहंकारी हैं।

लेखकों ने पाया कि एक विशिष्ट प्रकार के गणित (जिसे त्सालिस एन्ट्रॉपी/Tsallis entropy कहा जाता है, जो अनिश्चितता के लिए उपयोग किए जाने वाले सामान्य गणित का एक स्मूथ और स्थिर संस्करण है) का उपयोग करना सबसे अच्छा काम करता है। यह एक ऐसे रूलर की तरह है जो बहुत जोर से दबाने पर टूटता नहीं है; यह सीखने की प्रक्रिया को स्थिर रखता है।

उन्होंने क्या पाया:
लेखकों ने विभिन्न प्रकार के ग्राफ्स (जैसे सोशल नेटवर्क, साइटेशन नेटवर्क और रासायनिक संरचनाएं) पर इस "नए ग्रेडिंग नियम" का परीक्षण किया, जिसमें मानक AI मॉडल (जैसे GCNs और GATs) का उपयोग किया गया।

यह हर जगह काम करता है: ठीक वैसे ही जैसे किसी खेल में नया नियम जोड़ने से खेल अधिक मजेदार हो सकता है, इस नियम को जोड़ने से उनके द्वारा टेस्ट किए गए लगभग हर मॉडल के प्रदर्शन में सुधार हुआ।
किसी नए हार्डवेयर की आवश्यकता नहीं है: उन्हें कोई नई, अधिक जटिल मशीन बनाने की आवश्यकता नहीं पड़ी। उन्होंने केवल "खेल के नियम" (ट्रेनिंग ऑब्जेक्टिव) को बदला।
एक सेटिंग सबके लिए फिट है: उन्होंने पाया कि "कॉन्फिडेंस नियम" का एक एकल, मध्यम सेटिंग वाला सेटअप लगभग सभी अलग-अलग डेटासेट्स पर अच्छी तरह काम करता है। आपको हर एक समस्या के लिए इसे बिल्कुल सटीक रूप से ट्यून करने की आवश्यकता नहीं है।

निष्कर्ष:
यह शोध पत्र तर्क देता है कि ग्राफ लर्निंग की दुनिया में, हम सूचना के एक बड़े स्रोत को अनदेखा कर रहे हैं: उन छात्रों के आत्मविश्वासी अनुमान जिन्हें हमारे पास उत्तर कुंजियाँ नहीं हैं। बस उन छात्रों को "अधिक आत्मविश्वासी होने" के लिए कहने और कुंजी वाले छात्रों को "विनम्र रहने" के लिए कहने से, पूरी कक्षा बेहतर, तेज़ और अधिक सटीक रूप से सीखती है।

यह एक सरल बदलाव है जो "बर्बाद" अनुमानों को एक शक्तिशाली सीखने के उपकरण में बदल देता है।

तकनीकी सारांश: ग्राफ ट्रांसडक्टिव शार्पनिंग (Graph Transductive Sharpening)

समस्या विवरण (Problem Statement)

नोड वर्गीकरण (node classification) के ट्रांसडक्टिव सेटिंग में, प्रशिक्षण के दौरान पूर्ण ग्राफ संरचना और नोड फीचर्स देखे जाते हैं, लेकिन लेबल केवल नोड्स के एक उपसमुच्चय ( $V_L$ ) के लिए उपलब्ध होते हैं। जबकि ग्राफ न्यूरल नेटवर्क (GNNs) ने वास्तुशिल्प नवाचारों (जैसे, मैसेज-पासिंग स्कीम्स, ट्रांसफॉर्मर) के माध्यम से महत्वपूर्ण प्रगति की है, प्रशिक्षण उद्देश्यों (training objectives) के डिज़ाइन पर तुलनात्मक रूप से कम ध्यान दिया गया है। मानक सुपर्वائز्ड ट्रेनिंग केवल लेबल वाले नोड्स पर क्रॉस-एन्ट्रॉपी लॉस को कम करती है, जिससे प्रत्येक प्रशिक्षण चरण के दौरान अनलेबल नोड्स ( $V_U$ ) के लिए उत्पन्न भविष्यवाणियों (predictions) को त्याग दिया जाता है। यह शोध पत्र यह तर्क देता है कि ये अनलेबल-नोड भविष्यवाणियाँ उपयोगी प्रशिक्षण संकेत (training signals) रखती हैं जो वर्तमान में कम उपयोग की जा रही हैं क्योंकि मानक उद्देश्य बिना ग्राउंड-ट्रुथ लेबल के उनका मूल्यांकन नहीं कर सकते।

कार्यप्रणाली: ट्रांसडक्टिव शार्पनिंग (TS)

लेखक ट्रांसडक्टिव शार्पनिंग (TS) का प्रस्ताव करते हैं, जो एक लॉस-लेवल संशोधन है जो बिना किसी आर्किटेक्चरल बदलाव के अनलेबल नोड्स पर भविष्यवाणियों का लाभ उठाता है। यह विधि क्रॉस-एन्ट्रॉसी लॉस के लेबल-डिपेंडेंट एलाइनमेंट टर्म और लेबल-इंडिपेंडेंट एंट्रॉपी टर्म के अपघटन (decomposition) पर आधारित है।

मुख्य उद्देश्य

TS ऑब्जेक्टिव मानक सुपर्वائز्ड लॉस ( $L_{sup}$ ) को उन टर्म्स के साथ संवर्धित करता है जो ग्राफ में भविष्यवाणियों की अनिश्चितता (entropy) को नियंत्रित करते हैं:

$L_{TS} = L_{sup} + \lambda \cdot \frac{1}{|V_U|} \sum_{v \in V_U} R(p_v) - \lambda \cdot \frac{1}{|V_L|} \sum_{v \in V_L} R(p_v)$

जहाँ:

$p_v$ नोड $v$ के लिए प्रेडिक्टिव प्रोबेबिलिटी डिस्ट्रीब्यूशन है।
$R(p)$ अनिश्चितता मापने वाला एक फंक्शन है।
$\lambda$ एक स्केलर हाइपरपैरामीटर है जो शार्पनिंग की शक्ति को नियंत्रित करता है।

कार्यान्वयन विवरण (Implementation Details)

अनसर्टेनिटी फंक्शन ( $R$ ): लेखक शैनन एंट्रॉपी (Shannon entropy) के बजाय $q=2$ के साथ टैलिस एंट्रॉपी (Tsallis entropy) (जो गिनी इम्प्योरिटी, $S_2(p) = 1 - \sum p_i^2$ के समान है) का चयन करते हैं। टैलिस एंट्रॉपी के क्वाड्रेटिक फॉर्म का यह चुनाव इसलिए किया गया है क्योंकि यह $p$ के सापेक्ष लीनियर ग्रेडिएंट प्रदान करता है। यह स्थिर प्रशिक्षण गतिशीलता सुनिश्चित करता है और प्रोबेबिलिटी सिम्प्लेक्स बाउंड्री के पास शैनन एंट्रॉपी के लॉगरिदमिक ग्रेडिएंट्स से जुड़ी अत्यधिक आक्रामक अपडेट या डिजेनरेट वन-हॉट समाधानों को रोकता है।
सिमेट्रिक मैकेनिज्म (Symmetric Mechanism):
- अनलेबल नोड्स पर ( $V_U$ ): यह टर्म अनिश्चितता को कम करता है (कॉन्फिडेंस को बढ़ाता है), जिससे मॉडल को अपने स्वयं के विश्वसनीय भविष्यवाणियों को एक लर्निंग सिग्नल के रूप में उपयोग करने के लिए प्रोत्साहित किया जाता है।
- लेबल वाले नोड्स पर ( $V_L$ ): यह टर्म अनिश्चितता को बढ़ाता है (ओवरकॉन्फिडेंस को रोकता है), जो ट्रेनिंग लेबल्स के प्रति ओवरफिटिंग को रोकने के लिए एक रेगुलराइज़र के रूप में कार्य करता है।
हाइपरपैरामीटर: यह विधि एक एकल स्केलर हाइपरपैरामीटर, $\lambda$ पेश करती है। लेखक प्रदर्शित करते हैं कि $\lambda = 0.25$ का एक रूढ़िवादी, यूनिवर्सल सेटिंग विविध डेटासेट्स और आर्किटेक्चर पर प्रतिस्पर्धी प्रदर्शन करती है, जिसके लिए प्रति-डेटासेट ट्यूनिंग की आवश्यकता नहीं होती है।

मुख्य योगदान (Key Contributions)

ट्रांसडक्टिव शार्पनिंग (TS) का परिचय: एक सरल, आर्किटेक्चर-अज्ञेयवादी (architecture-agnostic) लॉस मॉडिफिकेशन जो अनलेबल नोड्स पर भविष्यवाणियों को ट्रांसडक्टिव नोड क्लासिफिकेशन के लिए प्रत्यक्ष प्रशिक्षण संकेतों में बदल देता है।
परफॉरमेंस-कॉम्प्लेक्सिटी ट्रेड-ऑफ: TS 13 नोड-क्लासिफिकेशन बेंचमार्क पर मानक GNN (GCN, GraphSAGE, GAT) और MLP बेसलाइन्स के प्रदर्शन में सुधार करता है, जबकि केवल एक हाइपरपैरामीटर जोड़ता है और बैकबोन आर्किटेक्चर में कोई बदलाव नहीं करता है।
शार्पनिंग कोएफिशिएंट ( $\lambda$ ) का विश्लेषण: लेखक दिखाते हैं कि TS सकारात्मक $\lambda$ मानों की एक रेंज में प्रभावी है। वे पहचानते हैं कि मध्यम शार्पनिंग (जैसे, $\lambda \in [0, 0.5]$ ) सबसे विश्वसनीय लाभ देती है, जबकि अत्यधिक शार्पनिंग मॉडल को गलत भविष्यवाणियों के प्रति बहुत मजबूती से प्रतिबद्ध होने के लिए मजबूर कर सकती है।
मैकेनिस्टिक इनसाइट (Mechanistic Insight): अनुभवजन्य विश्लेषण (Empirical analysis) प्रकट करता है कि TS सफलतापूर्वक प्रेडिक्टिव कॉन्फिडेंस को अनलेबल नोड्स की ओर पुनर्वितरित करता है, जिससे सुपर्वائز्ड बेसलाइन की तुलना में लेबल वाले और अनलेबल नोड्स के बीच एक बड़ा एंट्रॉपी गैप बनता है।

प्रयोगात्मक परिणाम (Experimental Results)

यह शोध पत्र GCN, GraphSAGE, GAT और MLP बैकबोन का उपयोग करके 13 डेटासेट्स (Cora, CiteSeer, PubMed और विभिन्न हेटेरोफिलस ग्राफ सहित) पर TS का मूल्यांकन करता है।

निरंतर सुधार: TS लगातार सुपर्वائز्ड बेसलाइन्स के प्रदर्शन में सुधार करता है या उनके बराबर रहता है। उदाहरण के लिए, Cora डेटासेट पर, GCN की सटीकता 84.54% से बढ़कर 85.74% (+1.20) हो गई, और MLP की सटीकता 60.96% से बढ़कर 64.48% (+3.52) हो गई।
MLP बनाम GNN: हालांकि TS MLPs में सुधार करता है (यह दर्शाता है कि सिग्नल केवल ग्राफ मैसेज पासिंग तक सीमित नहीं है), MLP+TS का प्रदर्शन GNN के प्रदर्शन से नीचे रहता है, जो पुष्टि करता है कि TS मैसेज पासिंग के लाभों को प्रतिस्थापित नहीं करता है।
यूनिवर्सल हाइपरपैरामीटर: सभी डेटासेट्स और आर्किटेक्चर पर लागू $\lambda = 0.25$ का फिक्स्ड मान, प्रति-डेटासेट ट्यूनिंग के लाभ को बनाए रखता है और शायद ही कभी महत्वपूर्ण प्रदर्शन गिरावट का कारण बनता है।
एब्लेशन स्टडीज (Ablation Studies):
- लेबल वाले नोड सुधार टर्म (Labeled-node correction term/ $V_L$ पर एंट्रॉपी मैक्सिमाइजेशन) को हटाने से आमतौर पर प्रदर्शन में गिरावट आती है, जो अनलेबल नोड्स पर शार्पनिंग को $V_L$ पर रेगुलराइजेशन के साथ संतुलित करने के महत्व को रेखांकित करता है।
- एसिमेट्रिक कॉन्फ़िगरेशन (असमान $\lambda$ का उपयोग) सिमेट्रिक फॉर्मूलेशन की तुलना में व्यवस्थित सुधार नहीं देते हैं।
- प्रशिक्षण के दौरान $\lambda$ को डायनेमिक रूप से मेटा-लर्निंग करना फिक्स्ड, वैलिडेशन-सिलेक्टेड कांस्टेंट की तुलना में खराब प्रदर्शन करता है, जो सुझाव देता है कि अतिरिक्त जटिलता अस्थिरता पैदा करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि ट्रांसडक्टिव शार्पनिंग एक मजबूत परफॉरमेंस-कॉम्प्लेक्सिटी ट्रेड-ऑफ प्रदान करता है। आर्किटेक्चर के बजाय प्रशिक्षण उद्देश्य को बदलकर, लेखक प्रदर्शित करते हैं कि वे भविष्यवाणियाँ जिन्हें ट्रांसडक्टिव लर्निंग के दौरान (लेबल की कमी के कारण) त्याग दिया जाता है, एक उपयोगी और कम उपयोग किया गया सिग्नल प्रदान करती हैं।

इसका महत्व इसकी सरलता और व्यापकता में निहित है:

इसके लिए मौजूदा GNN पाइपलाइनों में कोई आर्किटेक्चरल बदलाव की आवश्यकता नहीं है।
इसमें नगण्य कंप्यूटेशनल ओवरहेड शामिल है।
यह प्रशिक्षण के दौरान पूर्ण ग्राफ संरचना से मूल्य निकालने के लिए एक सामान्य मार्ग प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका कार्य ट्रांसडक्टिव नोड क्लासिफिकेशन पर केंद्रित है, लेकिन कॉन्फिडेंस-आधारित उद्देश्यों के माध्यम से अनलेबल भविष्यवाणियों का लाभ उठाने का सिद्धांत अन्य सेटिंग्स, जैसे लिंक प्रेडिक्शन या टेम्पोरल नोड क्लासिफिकेशन में भी विस्तारित हो सकता है, जो मॉडल की जटिलता को बढ़ाए बिना सीखने के एल्गोरिदम को बेहतर बनाने का एक हल्का तरीका प्रदान करता है।