🤖 machine learning

AbstainGNN: Teaching Graph Neural Networks to Abstain for Graph Classification

यह शोध पत्र AbstainGNN प्रस्तुत करता है, जो एक नवीन, सिद्धांत-आधारित ढांचा है जो ग्राफ न्यूरल नेटवर्क को वर्गीकरण और अस्वीकृति दोनों कार्यों (functions) को मॉडल करके अनिश्चित भविष्यवाणियों से बचने की क्षमता प्रदान करता है, जो सैद्धांतिक रूप से एक PAC-Bayesian परिप्रेक्ष्य के माध्यम से उनके बीच के संतुलन को अनुकूलित करता है, और एक कुशल दो-चरणीय प्रशिक्षण रणनीति के माध्यम से बेंचमार्क डेटासेट पर उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Xixun Lin, Zhiheng Zhou, Zhengyin Zhang, Yancheng Chen, Shuai Zhang, Ge Zhang, Shichao Zhu, Lixin Zou, Chuan Zhou, Peng Zhang, Shirui Pan, Yanan Cao

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xixun Lin, Zhiheng Zhou, Zhengyin Zhang, Yancheng Chen, Shuai Zhang, Ge Zhang, Shichao Zhu, Lixin Zou, Chuan Zhou, Peng Zhang, Shirui Pan, Yanan Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जटिल सुरागों (ग्राफ) के नक्शों को देखकर केस सुलझाने के लिए विशेषज्ञों की एक टीम (ग्राफ न्यूरल नेटवर्क, या GNNs) को काम पर रख रहे हैं। ये जासूस अविश्वसनीय रूप से बुद्धिमान हैं और आमतौर पर सही उत्तर देते हैं। हालाँकि, उनकी एक खतरनाक आदत है: वे कभी यह स्वीकार नहीं करते कि वे भ्रमित हैं। यहाँ तक कि जब सुराग अस्पष्ट, विरोधाभासी या गायब हों, तब भी वे जबरदस्ती एक अनुमान लगाने की कोशिश करते हैं। उच्च-जोखिम वाली स्थितियों में—जैसे कि यह जाँच करना कि एक नई दवा सुरक्षित है या नहीं, या कोई रसायन जहरीला है या नहीं—यह "फिर भी अनुमान लगाना" विनाशकारी गलतियों का कारण बन सकता है।

"AbstainGNN" नामक शोध पत्र एक समाधान प्रस्तावित करता है: इन जासूसों को यह बुद्धिमानी सिखाना कि कब न बोलना है।

यहाँ उन्होंने इसे कैसे किया, इसका एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "सब कुछ जानने वाला" जासूस

वर्तमान AI मॉडल उन जासूसों की तरह हैं जो "मुझे नहीं पता" कहने से डरते हैं। यदि कोई मामला अस्पष्ट है, तो भी वे किसी संदिग्ध को चुन लेते हैं।

जोखिम: यदि AI किसी जहरीले रसायन के बारे में गलत निर्णय लेता है, तो यह परीक्षण के लिए उसे मंजूरी दे सकता है, जिससे पैसा बर्बाद हो सकता है या लोगों को नुकसान पहुँच सकता है।
लक्ष्य: लेखकों चाहते थे कि एक ऐसा सिस्टम बनाया जाए जहाँ AI कह सके, "यह ग्राफ बहुत भ्रमित करने वाला है; मैं abstain करूँगा (अनुमान लगाने से इनकार करूँगा) और इसे मानव विशेषज्ञ के पास जाने दूँगा।"

2. समाधान: एक दो-सदस्यीय टीम

लेखकों ने AbstainGNN बनाया, जो एक दो-सदस्यीय जासूसी टीम की तरह काम करता है:

जासूस A (प्रेडिक्टर/अनुमान लगाने वाला): यह मानक AI है जो ग्राफ को देखता है और उत्तर का अनुमान लगाने की कोशिश करता है (जैसे, "जहरीला" या "सुरक्षित")।
जासूस B (रेफरी): यह एक नया, विशेष AI है जिसे विशेष रूप से जासूस A पर नज़र रखने के लिए प्रशिक्षित किया गया है। इसका एकमात्र काम यह तय करना है: "क्या जासूस A निर्णय लेने के लिए पर्याप्त आत्मविश्वासी है, या यह एक गलत अनुमान है?"

यदि रेफरी को लगता है कि आत्मविश्वास बहुत कम है, तो पूरी टीम "Abstain" कहती है और केस को एक इंसान को सौंप देती है।

3. उन्होंने इन्हें कैसे प्रशिक्षित किया: "वॉर्म-अप" और "कैलिब्रेशन"

इस टीम को प्रशिक्षित करना केवल उन्हें सावधान रहने के लिए कहने जितना सरल नहीं था। लेखकों ने एक चतुर दो-चरणीय प्रशिक्षण रणनीति का उपयोग किया:

चरण 1: वॉर्म-अप (जासूस A को तैयार करना)
टीम को "मुझे नहीं पता" कहना सिखाने से पहले, उन्होंने पहले जासूस A को स्पष्ट मामलों को हल करने में बहुत अच्छा बनने के लिए प्रशिक्षित किया। उन्होंने AI को तब तक अभ्यास करने दिया जब तक कि वह एक "स्मॉल-ग्रेडिएंट रीजन" में नहीं आ गया।
- उदाहरण: कल्पना कीजिए कि एक छात्र परीक्षा के लिए पढ़ाई कर रहा है। आप उससे अपनी आत्मविश्वासी रेटिंग तब तक नहीं मांगते जब तक कि उसने वास्तव में विषय को सीख न लिया हो। पहले, वह बस बुनियादी बातों को समझने के लिए कड़ी मेहनत करता है।
चरण 2: कैलिब्रेशन (रेफरी को सिखाना)
एक बार जब जासूस A स्थिर हो गया, तो उन्होंने जासूस B (रेफरी) को प्रशिक्षित किया। उन्होंने रेफरी को ऐसे उदाहरण दिखाए जहाँ जासूस A सही था और जहाँ वह गलत था, जिससे रेफरी को अंतर पहचानने की शिक्षा मिली।
- "ग्लोबल क्लस्टर" ट्रिक: प्रशिक्षण में एक आम समस्या यह है कि यदि आप केवल छात्रों के एक छोटे समूह (एक बैच) को देखते हैं, तो आपको पूरी क्लास का पक्षपाती दृष्टिकोण मिल सकता है। इसे ठीक करने के लिए, AbstainGNN पूरी क्लास के लिए "सही उत्तर" क्या दिखते हैं, इसका एक ग्लोबल स्कोरकार्ड रखता है। यह सुनिश्चित करता है कि रेफरी निष्पक्ष और सटीक हो।

4. सिद्धांत: यह क्यों काम करता है

यह शोध पत्र केवल "इसे आजमाएं और देखें" वाला प्रयोग नहीं है; उन्होंने यह साबित करने के लिए गणित का उपयोग किया है कि यह क्यों काम करता है।

"क्लस्टरिंग" की अवधारणा: उन्होंने सिद्ध किया कि AI के लिए 'abstain' करने का ज्ञान होने के लिए, सभी "जहरीले" ग्राफ एक-दूसरे के समान दिखने चाहिए (एक सघन क्लस्टर), और सभी "सुरक्षित" ग्राफ भी एक-दूसरे के समान दिखने चाहिए।
जादू: AI को समान ग्राफों को मजबूती से एक साथ लाने (इंट्रा-क्लास वेरिएंस को कम करने) के लिए मजबूर करके, AI स्वाभाविक रूप से अधिक आत्मविश्वासी हो जाता है जब वह सही होता है और जब वह कुछ अजीब देख रहा होता है तो कम आत्मविश्वासी हो जाता है। यह गणितीय प्रमाण सुनिश्चित करता है कि AI केवल रैंडम अनुमान नहीं लगा रहा है; उसे पता है कि कब रुकना है।

5. परिणाम: स्मार्ट, सुरक्षित निर्णय

लेखकों ने पांच अलग-अलग वास्तविक दुनिया के डेटासेट (जैसे रासायनिक संरचनाएं और सामाजिक नेटवर्क) पर AbstainGNN का परीक्षण किया।

स्कोरकार्ड: उन्होंने दो चीजें मापीं: कवरेज (AI ने कितने मामलों को हल करने की कोशिश की) और जोखिम (उसने कितनी गलतियाँ कीं)।
जीत: AbstันGNN ने लगातार अन्य तरीकों की तुलना में कम गलतियाँ कीं जब उन्हें कठिन मामलों को छोड़ने की अनुमति दी गई।
- उदाहरण: MUTAG डेटासेट (रसायन) पर, AbstainGNN ने अगली सबसे अच्छी विधि की तुलना में त्रुटि के जोखिम को 16.8% कम कर दिया, जबकि उन्होंने समान संख्या में कठिन मामलों को छोड़ा।

सारांश

AbstainGNN एक सुपर-इंटेलिजेंट AI को यह सिखाने जैसा है कि "मैं निश्चित नहीं हूँ" कहने की विनम्रता कैसे रखें।

यह दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है: पहले तथ्य सीखें, फिर आत्मविश्वास का आकलन करना सीखें।
यह गणितीय नियम का उपयोग करता है ताकि समान चीजें समान दिखें, जिससे आत्मविश्वास स्कोर भरोसेमंद हो सके।
यह कठिन मामलों को छोड़ने की अनुमति मिलने पर मौजूदा तरीकों की तुलना में बेहतर प्रदर्शन करता है, जिससे रसायन विज्ञान और जीव विज्ञान जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में कम खतरनाक गलतियाँ होती हैं।

शोध पत्र निष्कर्ष निकालता है कि AI को 'abstain' करने की शक्ति देकर, हम इन प्रणालियों को वास्तविक दुनिया के उच्च-जोखिम वाले निर्णयों के लिए बहुत अधिक विश्वसनीय बना सकते हैं।

तकनीकी सारांश: AbstainGNN

समस्या विवरण

ग्राफ वर्गीकरण (Graph classification) ग्राफ डेटा माइनिंग में एक मौलिक कार्य है जिसके अनुप्रयोग आणविक गुण भविष्यवाणी (molecular property prediction), सामग्री विश्लेषण और सामाजिक नेटवर्क विश्लेषण में हैं। जबकि ग्राफ न्यूरल नेटवर्क (GNNs) ने महत्वपूर्ण प्रदर्शन सुधार हासिल किए हैं, वे एक गंभीर सीमा से ग्रस्त हैं: वे आमतौर पर उच्च अनिश्चितता, संदिग्ध संरचनात्मक साक्ष्य, या कमजोर वर्ग पृथक्करण की स्थितियों में भी भविष्यवाणी करने के लिए मजबूर होते हैं। सुरक्षा-महत्वपूर्ण डोमेन (जैसे, ड्रग डिस्कवरी या वित्तीय जोखिम मूल्यांकन) में, ऐसे मजबूर निर्णय गंभीर डाउनस्ट्रीम त्रुटियों का कारण बन सकते हैं।

मौजूदा "लर्निंग विद एब्स्टेंशन" (या रिजेक्शन के साथ वर्गीकरण) विधियाँ, जो मॉडलों को अनिश्चित भविष्यवाणियों को मानव विशेषज्ञों को सौंपने की अनुमति देती हैं, मुख्य रूप से कंप्यूटर विजन के लिए विकसित की गई हैं। ये विधियाँ अक्सर ग्राफ-संरचित डेटा में निहित समृद्ध टोपोलॉजिकल और रिलेशनल जानकारी को पकड़ने में विफल रहती हैं। इसके अलावा, अधिकांश मौजूदा दृष्टिकोण ठोस सैद्धांतिक आधार के बिना ह्यूरिस्टिक डिजाइनों पर निर्भर करते हैं, जो ग्राफ डोमेन के लिए सिद्धांत-आधारित एब्स्टेंशन तंत्रों के विकास में बाधा डालते हैं।

कार्यप्रणाली

लेखक AbstainGNN का प्रस्ताव करते हैं, जो एक नवीन, सिद्धांत-संचालित ढांचा है जो स्पष्ट रूप से GNNs को अनिश्चित ग्राफ नमूनों पर भविष्यवाणी करने से बचने (abstain) की क्षमता प्रदान करता है। इस ढांचे में दो प्राथमिक घटक शामिल हैं: वर्गीकरण के लिए एक प्रेडिक्टिव फंक्शन $f$ और यह निर्धारित करने के लिए कि भविष्यवाणी करनी है या अस्वीकार करना है, एक एब्स्टेंशन फंक्शन $g$ ।

सैद्धांतिक आधार

AbstainGNN का मूल PAC-Bayesian जनरलाइजेशन परिप्रेक्ष्य से लिया गया है। लेखक वर्गीकरण त्रुटियों और रिजेक्शन लागतों के बीच के ट्रेड-ऑफ को सैद्धांतिक रूप से लक्षणित करते हैं।

जनरलाइजेशन बाउंड: थ्योरम 4.1 स्थापित करता है कि AbstainGNN का जनरलाइजेशन प्रदर्शन, एम्पिरिकल मार्जिन-आधारित लॉस और ग्राफ-स्तरीय रिप्रजेंटेशन के इंट्रा-क्लास वेरिएंस (intra-class variance) द्वारा ऊपरी रूप से सीमित (upper-bounded) है।
मुख्य अंतर्दृष्टि: ग्राफ वर्गीकरण में एब्स्टेंशन के प्रदर्शन को सुधारने के लिए ग्राफ-स्तरीय रिप्रजेंटेशन के इंट्रा-क्लास वेरिएंस को कम करना अत्यंत महत्वपूर्ण है।

लर्निंग ऑब्जेक्टिव

सैद्धांतिक विश्लेषण के आधार पर, लेखक एक एकीकृत लर्निंग ऑब्जेक्टिव प्राप्त करते हैं:
$\mathcal{L}_{total} = \mathcal{L}_{ce} + \lambda_r \mathcal{L}_{icv}$
जहाँ $\mathcal{L}_{ce}$ मानक क्रॉस-एन्ट्रॉपी लॉस है, और $\mathcal{L}_{icv}$ एक नया रेगुलराइजेशन लॉस है जिसे ग्राफ-स्तरीय रिप्रजेंटेशन के इंट्रा-क्लास वेरिएंस को कम करने के लिए डिज़ाइन किया गया है। सैद्धांतिक विश्लेषण (थ्योरम 4.2) प्रदर्शित करता है कि इस ऑब्जेक्टिव को कम करने से इंट्रा-क्लास वेरिएंस में संकुचन (contraction) होता है, जिससे जनरलाइजेशन बाउंड और अधिक सटीक (tighten) हो जाता है।

कार्यान्वयन रणनीति

इस ऑब्जेक्टिव को कुशलतापूर्वक अनुकूलित करने के लिए, AbstainGNN एक दो-चरणीय प्रशिक्षण रणनीति का उपयोग करता है:

प्रेडिक्टिव फंक्शन वार्म-स्टार्ट: प्रेडिक्टिव फंक्शन $f$ को केवल $\mathcal{L}_{ce}$ का उपयोग करके प्री-ट्रेन किया जाता है ताकि मॉडल को एक छोटे-ग्रेडिएंट क्षेत्र में लाया जा सके। यह वेरिएंस रेगुलराइजेशन पेश करने से पहले अनुकूलन प्रक्रिया को स्थिर करता है।
एब्स्टेंशन फंक्शन कैलिब्रेशन:
- ग्लोबल क्लस्टर एडजस्टमेंट: बैच-वाइज अपडेट के कारण होने वाले एस्टीमेशन बायस को कम करने के लिए, मॉडल पूरे प्रशिक्षण के दौरान मूविंग एवरेज रणनीति का उपयोग करके ग्लोबल क्लास क्लस्टर्स ( $\mu_y$ ) बनाए रखता है। यह इंट्रा-क्लास वेरिएंस के सटीक अनुमान को सुनिश्चित करता है।
- कैलिब्रेशन: एब्स्टेंशन फंक्शन $g$ (जिसे एक GNN के रूप में लागू किया गया है) को यह भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है कि प्रेडिक्टिव फंक्शन $f$ का आउटपुट सही है या नहीं। यह कॉन्फिडेंस कैलिब्रेशन को एक बाइनरी क्लासिफिकेशन टास्क के रूप में प्रस्तुत करता है, जिससे कॉन्फिडेंस स्कोर को प्रेडिक्शन सटीकता के साथ संरेखित किया जा सके।

मुख्य योगदान

समस्या की परिभाषा: यह कार्य एब्स्टेंशन के साथ ग्राफ वर्गीकरण की समस्या की जांच करने वाला पहला शोध है, जो GNNs को सुरक्षा-महत्वपूर्ण डोमेन में विश्वसनीयता सुधारने के लिए अनिश्चित या अज्ञात ग्राफ नमलों को अस्वीकार करने में सक्षम बनाता है।
सैद्धांतिक विश्लेषण: लेखक AbstainGNN के लिए PAC-Bayesian जनरलाइजेशन बाउंड्स निकालते हैं, जिससे पता चलता है कि प्रभावी एब्स्टेंशन के लिए इंट्रा-क्लास वेरिएंस को कम करना सैद्धांतिक रूप से आवश्यक है। यह एक एकीकृत लर्निंग ऑब्जेक्टिव की ओर ले जाता है।
मॉडल कार्यान्वयन: सिद्धांत द्वारा निर्देशित, लेखक एक कुशल कार्यान्वयन विकसित करते हैं जिसमें दो-चरणीय प्रशिक्षण रणनीति और एस्टीमेशन बायस को कम करने के लिए एक ग्लोबल क्लास-क्लस्टर एडजस्टमेंट तंत्र शामिल है।
प्रायोगिक सत्यापन: पांच वास्तविक दुनिया के बेंचमार्क डेटासेट्स पर व्यापक प्रयोगों ने मौजूदा एब्स्टेंशन बेसलाइन्स पर विधि की श्रेष्ठता को सिद्ध किया है।

प्रायोगिक परिणाम

लेखकों ने पांच बेंचमार्क डेटासेट्स पर AbstainGNN का मूल्यांकन किया: PROTEINS, MUTAG, NCI1 (केमिकल ग्राफ्स), और IMDB-BINARY, COLLAB (सोशल ग्राफ्स)। उन्होंने SR, MC-Dropout, Deep Gambers, SAT, CCL-SC, NCwR, और GraphPPD सहित अत्याधुनिक बेसलाइन्स के विरुद्ध तुलना की।

प्रदर्शन: AbstainGNN ने सभी डेटासेट्स और कवरेज स्तरों पर मौजूदा विधियों को लगातार पछाड़ा।
जोखिम में कमी: समान रिजेक्शन रेट के तहत, मॉडल ने महत्वपूर्ण सापेक्ष जोखिम कमी (relative risk reduction) प्राप्त की:
- MUTAG पर 16.8%
- IMDB-BINARY पर 15.8%
- PROTEINS पर 9.8%
- COLLAB पर 5.9%
- NCI1 पर 4.8%
एब्लेशन स्टडीज: वार्म-स्टार्ट रणनीति या इंट्रा-क्लास वेरिएंस रेगुलराइजेशन ( $\mathcal{L}_{icv}$ ) को हटाने से प्रदर्शन में लगातार गिरावट आई, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।
दक्षता: रनटाइम विश्लेषण ने दिखाया कि AbstainGNN बेसलाइन्स की तुलना में केवल मध्यम कम्प्यूटेशनल ओवरहेड लेता है, जो प्रभावशीलता और दक्षता के बीच एक स्वीकार्य संतुलन बनाए रखता है।

महत्व और दावे

यह पेपर दावा करता है कि AbstainGNN ग्राफ वर्गीकरण के लिए पहला सिद्धांत-आधारित ढांचा प्रदान करके ग्राफ डेटा माइनिंग में एक महत्वपूर्ण अंतर को भरता है। जनरलाइजेशन बाउंड्स पर आधारित ह्यूरिस्टिक डिजाइनों से आगे बढ़कर एक सिद्धांत-संचालित दृष्टिकोण अपनाकर, यह विधि GNNs के लिए अधिक विश्वसनीय निर्णय लेने वाला तंत्र प्रदान करती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण विशेष रूप से उन सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए मूल्यवान है जहाँ गलत निर्णय की लागत एब्स्टेंशन की लागत से अधिक होती है। यह कार्य प्रमाणित करता है कि ग्राफ संरचनात्मक जानकारी को स्पष्ट रूप से मॉडल करना और इंट्रा-क्लास वेरिएंस को कम करना, ग्राफ वर्गीकरण कार्यों में बेहतर कवरेज-रिस्क ट्रेड-ऑफ प्राप्त करने की कुंजी है।