🤖 machine learning

GNN-as-Judge: Unleashing the Power of LLMs for Graph Learning with GNN Feedback

यह शोध पत्र "GNN-as-Judge" का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो टेक्स्ट-एट्रीब्यूटेड ग्राफ्स पर फ्यू-शॉट सेमी-सुपरवाइज्ड लर्निंग को बेहतर बनाने के लिए ग्राफ न्यूरल नेटवर्क्स का लाभ उठाकर विश्वसनीय सूडो-लेबल्स (pseudo-labels) उत्पन्न करता है और लार्ज लैंग्वेज मॉडल्स की फाइन-ट्यूनिंग के दौरान शोर (noise) को कम करता है।

मूल लेखक: Ruiyao Xu, Kaize Ding

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruiyao Xu, Kaize Ding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "GNN-AS-JUDGE" पेपर का सरल भाषा, रचनात्मक उपमाओं और रूपकों का उपयोग करके दिया गया स्पष्टीकरण है।

बड़ी तस्वीर: एक जासूस और एक लाइब्रेरियन

कल्पive कि आप एक विशाल पुस्तकालय (Graph) में एक रहस्य सुलझाने की कोशिश कर रहे हैं। किताबें (nodes) अलमारियों और गलियारों (edges) से जुड़ी हुई हैं। प्रत्येक पुस्तक के अंदर एक लंबी, जटिल कहानी लिखी है (Text)।

आपका लक्ष्य यह पता लगाना है कि प्रत्येक पुस्तक किस शैली (genre) की है (जैसे, मिस्ट्री, साइंस-फिक्शन, जीवनी)। हालाँकि, एक पेंच है: आपके पास केवल कुछ ही किताबें हैं जिनके स्पाइन (spine) पर उनकी शैली के लेबल पहले से लिखे हुए हैं। बाकी बिना लेबल वाली हैं। यह "लो-रिसोर्स" (Low-Resource) समस्या है।

आपकी मदद के लिए दो विशेषज्ञ हैं:

लाइब्रेरियन (The LLM): इस विशेषज्ञ ने लाखों किताबें पढ़ी हैं। वे किताबों के अंदर की कहानियों को समझने में माहिर हैं। यदि आप उन्हें एक पन्ने का टेक्स्ट दिखाते हैं, तो वे शैली का सटीक अनुमान लगा सकते हैं। लेकिन, उन्हें यह नहीं पता कि पुस्तकालय कैसे व्यवस्थित है। उन्हें यह नहीं पता कि एक ही शेल्फ पर रखी किताबें आमतौर पर एक ही शैली की होती हैं।
जासूस (The GNN): इस विशेषज्ञ ने एक भी किताब नहीं पढ़ी है। वे केवल अलमारियों और गलियारों को देखते हैं। वे जानते हैं कि यदि कोई किताब तीन "मिस्ट्री" किताबों के बगल में रखी है, तो वह भी शायद "मिस्ट्री" ही होगी। वे लेआउट में पैटर्न पहचानने में माहिर हैं, लेकिन वे कहानियाँ नहीं पढ़ सकते।

समस्या: वे अकेले संघर्ष क्यों करते हैं

लाइब्रेरियन की गलती: यदि आप लाइब्रेरियन से बिना लेबल वाली किताबों की शैली का अनुमान लगाने के लिए कहते हैं, तो वे टेक्स्ट के आधार पर इसे सही कर सकते हैं। लेकिन क्योंकि उन्हें लाइब्रेरी का लेआउट नहीं पता, वे उन किताबों के लिए गलत अनुमान लगा सकते हैं जो दिखने में समान हैं लेकिन अलग-अलग सेक्शन में हैं। साथ ही, वे "आत्मविश्वास" के साथ गलत अनुमान (hallucinations) भी लगा सकते हैं।
जासूस की गलती: यदि आप जासूस से पूछते हैं, तो वे पड़ोसियों के आधार पर अनुमान लगाएंगे। लेकिन यदि पड़ोसी भी बिना लेबल वाले हैं या लेआउट पेचीदा है, तो वे पूरी शेल्फ पर गलत शैली फैला सकते हैं।

चुनौती: आपको लाइब्रेरियन को जासूस के नक्शे का उपयोग करना सिखाना है, लेकिन आपके पास उन्हें ठीक से प्रशिक्षित करने के लिए पर्याप्त लेबल वाली किताबें नहीं हैं। यदि आप केवल लाइब्रेरियन को अनुमान लगाने देते हैं और फिर उन्हें उनके अपने अनुमानों से सिखाते हैं, तो वे अपनी ही गलतियों को सीख सकते हैं।

समाधान: GNN-as-Judge

लेखकों ने एक नया सिस्टम प्रस्तावित किया है जिसे GNN-as-Judge कहा जाता है। इसे एक सहयोगात्मक प्रशिक्षण शिविर (Collaborative Training Camp) के रूप में सोचें जहाँ जासूस एक सख्त जज के रूप में लाइब्रेरियन को सीखने में मदद करता है।

यह शिविर तीन चरणों में कैसे काम करता है, यहाँ दिया गया है:

चरण 1: सही छात्रों का चयन (Influence-Guided Selection)

आप लाइब्रेरियन को हर बिना लेबल वाली किताब के बारे में नहीं सिखा सकते; बहुत अधिक किताबें हैं। आपको सबसे महत्वपूर्ण किताबें चुननी होंगी।

उपमा: कल्पना करें कि जासूस पुस्तकालय में घूमता है और उन किताबों की ओर इशारा करता है जो उन कुछ लेबल वाली किताबों से सबसे अधिक "प्रभावित" (influenced) हैं जो आपके पास पहले से मौजूद हैं। ये वे किताबें हैं जो ज्ञात शैलियों के बिल्कुल बगल में बैठी हैं।
क्रिया: सिस्टम पहले इन "प्रभावशाली" किताबों को चुनता है। सीखने के लिए ये सबसे अच्छे उम्मीदवार हैं क्योंकि जासूस का नक्शा उन्हें एक मजबूत संकेत देता है कि उन्हें क्या होना चाहिए।

चरण 2: "सहमत या असहमत" का खेल (Collaborative Labeling)

अब, लाइब्रेरियन और जासूस दोनों चयनित किताबों को देखते हैं और शैली का अनुमान लगाते हैं।

"आसान" किताबें (सहमति): कभी-कभी, लाइब्रेरियन और जासूस दोनों "साइंस-फिक्शन" का अनुमान लगाते हैं।
- उपमा: यह दो विशेषज्ञों के एक साथ सिर हिलाकर सहमति देने जैसा है। हम इस पर बहुत आश्वस्त हैं कि यह सही है। हम इसे एक गोल्ड स्टैंडर्ड (Gold Standard) तथ्य मानते हैं।
"कठिन" किताबें (असहमति): कभी-कभी, लाइब्रेरियन कहता है "साइंस-फिक्शन" लेकिन जासूस कहता है "मिस्ट्री"।
- उपमा: यह एक बहस है! लाइब्रेरियन गलत हो सकता है क्योंकि वह शेल्फ लेआउट को अनदेखा कर रहा है। जासूस सही हो सकता है क्योंकि वह पैटर्न देख रहा है।
- जज की भूमिका: सिस्टम जासूस के "कॉन्फिडेंस स्कोर" का उपयोग यह तय करने के लिए करता है कि कौन सही होने की संभावना रखता है। यदि जासूस "मिस्ट्री" लेबल के बारे में बहुत आश्वस्त है, तो हम इस विशिष्ट पुस्तक के लिए लाइब्रेरियन के बजाय जासूस पर भरोसा करते हैं। यह हमें उन "कठिन" उदाहरणों को खोजने में मदद करता है जिन्हें लाइब्रेरियन आमतौर पर गलत करता है।

चरण 3: विशेष प्रशिक्षण (Weakly-Supervised Fine-Tuning)

अब हम इन दो समूहों की किताबों का उपयोग करके लाइब्रेरियन को सिखाते हैं, लेकिन हम उन्हें अलग तरह से देखते हैं।

"आसान" (सहमति) किताबों के लिए: हम इंस्ट्रक्शन ट्यूनिंग (Instruction Tuning) का उपयोग करते हैं।
- उपमा: यह एक शिक्षक के कहने जैसा है, "तुमने इसे सही किया! इस नियम को याद रखो।" हम सही उत्तर को सुदृढ़ करते हैं।
"कठिन" (असहमति) किताबों के लिए: हम प्रेफरेंस ट्यूनिंग (Preference Tuning) का उपयोग करते हैं।
- उपमा: यह चतुर हिस्सा है। केवल यह कहने के बजाय कि "तुम गलत हो, उत्तर मिस्ट्री है," हम कहते हैं, "देखो, जासूस को लगता है कि यह मिस्ट्री है, और तुम्हें लगता है कि यह साइंस-फिक्शन है। साक्ष्य (शेल्फ) के आधार पर, जासूस का उत्तर बेहतर है।"
- हम लाइब्रेरियन को आँख बंद करके उत्तर रटने के लिए मजबूर नहीं करते हैं। हम उन्हें अपने शुरुआती अनुमान के बजाय जासूस के तर्क को पसंद (prefer) करना सिखाते हैं। यह लाइब्रेरियन को यह सीखने में मदद करता है कि वे कहाँ गलत थे, बिना शोर वाले डेटा (noisy data) से भ्रमित हुए।

यह एक बड़ी बात क्यों है

यह "लो डेटा" समस्या को हल करता है: यह तब भी काम करता है जब आपके पास लेबल वाली किताबों की बहुत कम संख्या (प्रति शैली 3 से 10) हो।
यह लाइब्रेरियन को खुद से झूठ बोलने से रोकता है: जासूस को जज के रूप में उपयोग करके, सिस्टम लाइब्रेरियन के आत्मविश्वासी लेकिन गलत अनुमानों को फ़िल्टर करता है।
यह गलतियों से सीखता है: अधिकांश सिस्टम केवल वही सीखते हैं जो वे सही पाते हैं। यह सिस्टम विशेष रूप से उन "कठिन" असहमतियों को लक्षित करता है ताकि लाइब्रेरियन को उसकी कमियों को सुधारने के लिए सिखाया जा सके।

परिणाम

प्रयोगों में, इस "सहयोगात्मक शिविर" (GNN-as-Judge) ने सभी अन्य तरीकों को पछाड़ दिया। इसने लाइब्रेरियन को एक सुपर-एक्सपर्ट में बदल दिया जो कहानियाँ भी पढ़ सकता है और लाइब्रेरी लेआउट को भी समझ सकता है, भले ही उन्होंने बहुत कम जानकारी के साथ शुरुआत की हो।

संक्षेप में: यह एक टीम-अप है जहाँ एक टेक्स्ट-विशेषज्ञ (LLM) और एक स्ट्रक्चर-विशेषज्ञ (GNN) "शैली का अनुमान लगाने" का खेल खेलते हैं, और स्ट्रक्चर-एक्सपर्ट एक रेफरी के रूप में टेक्स्ट-एक्सपर्ट को सुधारता है, जिससे वे अकेले रहने की तुलना में बहुत अधिक स्मार्ट बन जाते हैं।

यहाँ शोध पत्र "GNN-AS-JUDGE: UNLEASHING THE POWER OF LLMS FOR GRAPH LEARNING WITH GNN FEEDBACK" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेक्स्ट-एटट्रिब्यूटेड ग्राफ्स (TAGs) पर फ्यू-शॉट सेमी-सुपरवाइज्ड नोड क्लासिफिकेशन की चुनौती को संबोधित करता है।

संदर्भ: TAGs में टेक्स्ट फीचर्स वाले नोड्स और संबंधों को दर्शाने वाले एडजेस (जैसे कि साइटेशन नेटवर्क) होते हैं। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) टेक्स्ट को समझने में उत्कृष्ट हैं, वे लो-रिसोर्स सेटिंग्स (जहाँ लेबल किए गए नोड्स कम होते हैं) में संघर्ष करते हैं क्योंकि उनमें ग्राफ न्यूरल नेटवर्क्स (GNNs) जैसा स्ट्रक्चरल इंडक्टिव बायस नहीं होता है।
मौजूदा विधियों की सीमाएँ:
- LLM-as-Predictors: भविष्यवाणियों के लिए सीधे LLMs का उपयोग करना अक्सर फ्यू-शॉट परिदृश्यों में विफल रहता है क्योंकि इसमें पर्याप्त सुपरविजन सिग्नल की कमी होती है और अनलेबल नोड स्ट्रक्चर का प्रभावी ढंग से लाभ उठाने में असमर्थता होती है।
- Pseudo-labeling की समस्याएँ: मानक सेल्फ-ट्रेनिंग दृष्टिकोण "आसान" हाई-कॉन्फिडेंस सूडो-लेबल्स पर निर्भर करते हैं, जो सीमित लर्निंग सिग्नल प्रदान करते हैं। इसके विपरीत, "हार्ड" सैंपल्स सूचनात्मक होते हैं लेकिन लेबल नॉइज़ के प्रति संवेदनशील होते हैं।
- मुख्य चुनौती: ऐसे विश्वसनीय सूडो-लेबल्स कैसे उत्पन्न किए जाएं जो सिमेंटिक (टेक्स्ट) और स्ट्रक्चरल (ग्राफ) दोनों जानकारी को शामिल करते हों, और इन नॉइजी सूडो-लेबल्स पर LLMs को प्रदर्शन में गिरावट के बिना कैसे फाइन-ट्यून किया जाए।

2. कार्यप्रणाली: GNN-as-Judge

लेखक GNN-as-Judge प्रस्तावित करते हैं, एक ऐसा फ्रेमवर्क जो एक GNN को "जज" के रूप में मानता है ताकि LLM को विश्वसनीय सूडो-लेबल्स उत्पन्न करने और फाइन-ट्यून करने में मार्गदर्शन मिल सके। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

A. इन्फ्लुएंस-गाइडेड नोड सिलेक्शन (Influence-Guided Node Selection)

पूरे ग्राफ के सूडो-लेबलिंग के कम्प्यूटेशनल बॉटलनेक से बचने के लिए, यह विधि सबसे प्रभावशाली अनलेबल नोड्स के एक उपसमूह का चयन करती है।

तंत्र: यह GNN की मैसेज-पासिंग क्षमता का लाभ उठाकर नोड इन्फ्लुएंस (Node Influence) को मापने के लिए इसका उपयोग करता है।
परिभाषा: एक लेबल किए गए नोड $v_i$ का एक अनलेबल नोड $v_j$ पर प्रभाव, अंतिम नोड रिप्रेजेंटेशन्स के जैकोबियन (Jacobian) द्वारा परिभाषित किया जाता है।
चयन: अनलेबल नोड्स को किसी भी लेबल किए गए नोड से प्राप्त अधिकतम प्रभाव के आधार पर रैंक किया जाता है। सूडो-लेबलिंग के लिए टॉप- $K$ नोड्स का चयन किया जाता है, जिससे यह सुनिश्चित होता है कि चयनित नोड्स लेबल वितरण का सबसे प्रतिनिधि हैं और उन्हें मजबूत स्ट्रक्चरल सिग्नल प्राप्त होते हैं।

B. कोलाबोरेटिव सूडो-लेबल सिलेक्शन (Collaborative Pseudo-Label Selection)

फ्रेमवर्क चयनित नोड्स को LLM और GNN के बीच सहमति के आधार पर दो सेटों में विभाजित करता है:

एग्रीमेंट सेट ( $V_{agreed}$ ): वे नोड्स जहाँ LLM और GNN की भविष्यवाणियाँ मेल खाती हैं।
- सैद्धांतिक गारंटी: पेपर सिद्ध करता है (थ्योरम 2) कि कंडीशनल इंडिपेंडेंस के तहत, इस सेट की सटीकता व्यक्तिगत रूप से किसी भी मॉडल की सटीकता से काफी अधिक होती है। ये उच्च-गुणवत्ता वाले "आसान" उदाहरणों के रूप में कार्य करते हैं।
डिसएग्रीमेंट सेट ( $V_{disagreed}$ ): वे नोड्स जहाँ भविष्यवाणियाँ भिन्न होती हैं।
- रणनीति: इन्हें हटाने के बजाय, GNN एक जज के रूप में कार्य करता है। चूंकि GNN में स्ट्रक्चरल इंडक्टिव बायस होता है, इसलिए इन "हार्ड" मामलों के लिए इसकी भविष्यवाणी को अधिक विश्वसनीय माना जाता है।
- फिल्टरिंग: एक प्रेफरेंस स्कोर ( $S_{pref}$ ) गणना की जाती है जो अपनी स्वयं की भविष्यवाणी बनाम LLM की भविष्यवाणी में GNN के प्रोबेबिलिटी कॉन्फिडेंस पर आधारित होती है। केवल वे नोड्स रखे जाते हैं जहाँ GNN का कॉन्फिडेंस थ्रेशोल्ड $\tau$ से अधिक होता है। ये चुनौतीपूर्ण "हार्ड" उदाहरणों के रूप में कार्य करते हैं।

C. वीकली-सुपरवाइज्ड फाइन-ट्यूनिंग एल्गोरिदम (Weakly-Supervised Fine-Tuning Algorithm)

दोनों सेटों का उपयोग करने और लेबल नॉइज़ को कम करने के लिए एक नया ट्रेनिंग ऑब्जेक्टिव डिज़ाइन किया गया है:

इंस्ट्रक्शन ट्यूनिंग (on $V_{agreed}$ ): जहाँ दोनों मॉडल सहमत होते हैं, वहाँ सही भविष्यवाणियों को सुदृढ़ करने के लिए स्टैंडर्ड सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) लागू की जाती है।
प्रेफरेंस ट्यूनिंग (on $V_{disagreed}$ ): GNN के लेबल को हार्ड ग्राउंड ट्रुथ (जो अभी भी नॉइजी हो सकता है) के रूप में मानने के बजाय, यह विधि Preference Optimization (विशेष रूप से ORPO - Odds Ratio Preference Optimization) का उपयोग करती है।
- GNN की भविष्यवाणी को पसंदीदा (preferred) रिस्पॉन्स ( $y_w$ ) माना जाता है।
- LLM की मूल भविष्यवाणी को अपसंदीदा (dispreferred) रिस्पॉन्स ( $y_l$ ) माना जाता है।
- LLM, GNN की भविष्यवाणी की सापेक्ष संभावना को अपनी भविष्यवाणी की तुलना में बढ़ाने के लिए सीखता है, जो संभावित रूप से गलत एब्सोल्यूट लेबल्स पर ओवरफिट हुए बिना स्ट्रक्चरल नॉलेज को डिस्टिल करता है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: GNN-as-Judge पेश करता है, जो फ्यू-शॉट TAG सेटिंग्स में LLMs के लिए सूडो-लेबल्स को चुनने और फिल्टर करने के लिए व्यवस्थित रूप से GNNs को जज के रूप में उपयोग करने वाला पहला फ्रेमवर्क है।
सैद्धांतिक और व्यावहारिक चयन: एग्रीमेंट सेट्स की सटीकता पर एक सैद्धांतिक सीमा प्रदान करता है और GNN प्रेफरेंस स्कोर के माध्यम से "हार्ड" लेकिन विश्वसनीय सैंपल्स की पहचान करने के लिए एक व्यावहारिक तंत्र प्रस्तावित करता है।
नॉइज़-मिटिगेटेड ट्रेनिंग: लेबल नॉइज़ को प्रभावी ढंग से संभालने के लिए इंस्ट्रक्शन ट्यूनिंग और प्रेफरेंस ट्यूनिंग (ORPO) को संयोजित करने वाला एक एकीकृत वीकली-सुपरवाइज्ड फाइन-ट्यूनिंग एल्गोरिदम विकसित करता है।
व्यापक मूल्यांकन: कई डेटासेट्स (Cora, Citeseer, Pubmed, ogbn-arxiv, ogbn-products) पर व्यापक प्रयोग जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर बेहतर प्रदर्शन प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रदर्शन: GNN-as-Judge सभी डेटासेट्स पर पारंपरिक GNNs (GCN, SGC), प्योर LLM अप्रोच (Zero-shot, GraphGPT, LLaGA), और हाइब्रिड मेथड्स (GLEM, TAPE) को महत्वपूर्ण रूप से पीछे छोड़ देता है।
- उदाहरण: ogbn-arxiv (3-shot) पर, GNN-as-Judge 62.21% सटीकता प्राप्त करता है, जबकि GCN के लिए यह 38.33% और Zero-shot LLM के लिए 50.18% है।
- उदाहरण: Cora (3-shot) पर, यह 77.89% प्राप्त करता है, जो अगले सर्वश्रेष्ठ (TAPE @ 73.71%) से बेहतर है।
लो-रिसोर्स रोबस्टनेस: विधि अत्यधिक लो-रिसोर्स सेटिंग्स (3-shot और 5-shot) में सबसे महत्वपूर्ण लाभ दिखाती है, जो लेबल किए गए डेटा की कमी होने पर इसकी प्रभावकारिता को सिद्ध करती है।
जीरो-शॉट जनरलाइजेशन: क्रॉस-डेटासेट जीरो-शॉट कार्यों (ogbn-arxiv पर ट्रेनिंग, Cora/Citeseer/Pubmed पर टेस्टिंग) में, GNN-as-Judge उच्च सटीकता बनाए रखता है (जैसे, Cora पर 68.27%), जो अन्य LLM-ग्राफ मेथड्स से कहीं आगे है जो डिस्ट्रीब्यूशन शिफ्ट के साथ संघर्ष करते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- सूडो-लेबल्स को हटाने से प्रदर्शन में भारी गिरावट आती है।
- Disagreement Node Set को हटाने से प्रदर्शन में गिरावट आती है, जो "हार्ड" सैंपल्स के मूल्य की पुष्टि करता है।
- वीकली-सुपरवाइज्ड प्रेफरेंस ट्यूनिंग को स्टैंडर्ड इंस्ट्रक्शन ट्यूनिंग से बदलने से प्रदर्शन कम हो जाता है, जो नॉइज़ मिटिगेशन के महत्व को उजागर करता है।

5. महत्व (Significance)

गैप को भरना: यह शोध पत्र LLMs की सिमेंटिक शक्ति और GNNs की स्ट्रक्चरल दक्षता के बीच के अंतर को सफलतापूर्वक पाटता है, विशेष रूप से ग्राफ लर्निंग में डेटा की कमी की महत्वपूर्ण बाधा को संबोधित करता है।
पैराडाइम शिफ्ट: यह "LLM-as-Predictor" या "LLM-as-Enhancer" पैराडिम से आगे बढ़कर "LLM-as-Learner with GNN-as-Judge" पैराडिम की ओर ले जाता है, जो ग्राफ लर्निंग में सेमी-सुपरवाइज्ड लर्निंग के लिए एक नया दिशा प्रदान करता है।
व्यावहारिक अनुप्रयोग: यह फ्रेमवर्क वास्तविक दुनिया के अनुप्रयोगों (जैसे साइटेशन नेटवर्क, ई-कॉमर्स) के लिए अत्यधिक व्यावहारिक है जहाँ लेबल किया गया डेटा प्राप्त करना महंगा होता है, जो विभिन्न ग्राफ स्केल और स्ट्रक्चर के लिए एक मजबूत समाधान प्रदान करता है।
नॉइज़ हैंडलिंग: इम्परफेक्ट डेटा पर LLMs को प्रशिक्षित करने के लिए नॉइजी सूडो-लेबल्स को संभालने हेतु प्रेफरेंस ट्यूनिंग (ORPO) का एकीकरण, केवल ग्राफ कार्यों से परे, एक सामान्यीकरण योग्य तकनीक प्रदान करता है।