🤖 machine learning

Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance

यह शोधपत्र XIGL को प्रस्तुत करता है, जो एक आर्किटेक्चर-अज्ञेय (architecture-agnostic), सक्रिय मानव-इन-द-लूप फ्रेमवर्क है जो मॉडल स्पष्टीकरणों पर लक्षित उपयोगकर्ता फीडबैक के माध्यम से शॉर्टकट लर्निंग की पहचान और सुधार करके आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों पर ग्राफ न्यूरल नेटवर्क की विश्वसनीयता में सुधार करता है।

मूल लेखक: Taraneh Younesian, Steve Azzolin, Antonio Longa, Francesco Ferrini, Vincenzo Marco De Luca, Stefano Teso

प्रकाशित 2026-08-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taraneh Younesian, Steve Azzolin, Antonio Longa, Francesco Ferrini, Vincenzo Marco De Luca, Stefano Teso

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को अलग-अलग प्रकार के पेड़ों को पहचानना सिखा रहे हैं। आप उसे ओक (oak), पाइन (pine) और मेपल (maple) के हजारों चित्र दिखाते हैं। लेकिन यहाँ एक पेच है: आपके प्रशिक्षण चित्रों में, हर एक ओक का पेड़ एक लाल रंग के मेलबॉक्स के पास खड़ा है, जबकि हर पाइन एक नीले मेलबॉक्स के पास है। रोबोट बुद्धिमान है, लेकिन वह शॉर्टकट लेने का भी आदी है। ओक के पेड़ के वास्तविक स्वरूप (उसके पत्तों, छाल और आकार) को सीखने के बजाय, वह एक "शॉर्टकट" सीख जाता है: "अगर मुझे लाल मेलबॉक्स दिखे, तो वह ओक है!" यह आपके ट्रेनिंग रूम में पूरी तरह काम करता है। लेकिन जैसे ही आप रोबोट को एक असली जंगल में ले जाते जहाँ मेलबॉक्स मौजूद नहीं हैं, रोबोट भ्रमित हो जाता है और बुरी तरह विफल हो जाता है।

यह ग्राफ न्यूरल नेटवर्क (GNN) की दुनिया है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे डेटा के उन रूपों को समझने के लिए डिज़ाइन किया गया है जो कनेक्शन के एक जाल (जैसे सोशल नेटवर्क, अणु, या ट्रैफिक सिस्टम) की तरह दिखते हैं। ये नेटवर्क शक्तिशाली हैं, लेकिन उनमें "शॉर्टकट" खोजने की एक बुरी आदत है। वे उन पैटर्न पर टिक जाते हैं जो प्रशिक्षण डेटा में उत्तर से मेल खाते हैं, लेकिन वे वास्तव में उत्तर का असली कारण नहीं होते। वास्तविक दुनिया में, जहाँ डेटा बदलता है और शॉर्टकट गायब हो जाते हैं, ये मॉडल अविश्वसनीय हो सकते हैं। बड़ा सवाल वैज्ञानिकों के सामने यह है: हम इन AI मॉडल्स को शॉर्टकट पर निर्भर करने से कैसे रोक सकते हैं, और उन्हें सही तरीका सीखने के लिए कैसे मजबूर कर सकते हैं?

"XIGL" समाधान: एक 'ह्यूमन-इन-द-लूप' जासूस

यह शोध पत्र एक चतुर नई रणनीति पेश करता है जिसे XIGL (xplanatory Interactive Graph shortcut unLearning) कहा जाता है। XIGL को केवल एक ऐसे शिक्षक के रूप में न देखें जो बस और अधिक होमवर्क देता है, बल्कि एक ऐसे जासूस के रूप में देखें जो रोबोट का इंटरव्यू लेता है ताकि यह पता लगाया जा सके कि उसने एक अनुमान क्यों लगाया, और फिर उसके तर्क को सही करता है।

आमतौर पर, जब कोई AI गलती करता है, तो हम बस उससे कहते हैं, "गलत उत्तर, फिर से कोशिश करो।" लेकिन शॉर्टकट के मामले में, रोब dalam गलत कारण से सही उत्तर दे सकता है, इसलिए उसे कभी पता ही नहीं चलेगा कि वह एक शॉर्टकट पर निर्भर है। XIGL खेल को बदल देता है क्योंकि यह रोबोट से उसके तर्क की व्याख्या करने के लिए कहता है। यह "व्याख्या" को देखता है—एक ऐसा मानचित्र जो दिखाता है कि रोबोट डेटा के किन हिस्सों पर ध्यान केंद्रित कर रहा है। यदि रोबोट कहता है, "मैंने इस पेड़ को लाल मेलबॉक्स के कारण चुना," तो XIGL इसे एक समस्या के रूप में चिह्नित करता है।

यहाँ जादू का नुस्खा है: शोधकर्ताओं ने महसूस किया कि रोबोट की व्याख्या को ठीक करने के लिए मानव विशेषज्ञ से पूछना महंगा और धीमा है। आप हर एक तस्वीर को चेक करने के लिए किसी इंसान को नहीं बुलाना चाहेंगे। इसलिए, उन्होंने इसमें एक्टिव लर्निंग (Active Learning) की एक परत जोड़ी है। यह एक स्मार्ट फिल्टर की तरह है जो कहता है, "हे, रोबोट इस विशिष्ट तस्वीर के बारे में वाकई बहुत भ्रमित है, या वह यहाँ एक अजीब शॉर्टकट के बारे में बहुत आश्वस्त है। चलिए, पहले इसे मानव विशेषज्ञ को दिखाते हैं।" केवल सबसे कठिन मामलों के लिए मदद मांगकर, वे समय और पैसा बचाते हैं और साथ ही रोबोट को लाल मेलबॉक्सों को अनदेखा करने और पत्तों पर ध्यान केंद्रित करने के लिए सिखाते हैं।

यह कैसे काम करता है: "अनलर्निंग" (Unlearning) की प्रक्रिया

यह खोज और सुधार का एक चक्र है:

जासूसी जांच (The Detective Check): AI एक ग्राफ (जुड़े हुए बिंदुओं का जाल) को देखता है और एक भविष्यवाणी करता है। वह एक व्याख्या भी उत्पन्न करता है, जिसमें उन बिंदुओं को हाइलाइट किया जाता है जिन्हें वह महत्वपूर्ण समझता है।
शॉर्टकट पकड़ने वाला (The Shortcut Spotter): एक एक्टिव लर्निंग एल्गोरिदम इन व्याख्याओं को स्कैन करता है। यह उन मामलों की तलाश करता है जहाँ AI या तो बहुत अनिश्चित है, या अधिक खतरनाक रूप से, गलत चीजों (जैसे मेलबॉक्स) के बारे में बहुत आश्वस्त है।
मानवीय सुधार (The Human Fix): सिस्टम सबसे भ्रमित करने वाले या शॉर्टकट-भारी उदाहरणों को चुनता है और मानव विशेषज्ञ से पूछता है: "हे, AI मेलबॉक्स को देख रहा है। आप जानते हैं कि वह गलत है। उसे वास्तव में किन हिस्सों को देखना चाहिए?"
सबक (The Lesson): मानव के सुधार को AI में वापस फीड किया जाता है। AI को गलत बिंदुओं को देखने के लिए गणितीय रूप से "दंडित" किया जाता है और सही बिंदुओं को देखने के लिए "पुरस्कृत" किया जाता है। यह प्रभावी रूप से शॉर्टकट को "अनलर्न" (भूलना) कर देता है।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने इस विचार का परीक्षण दो अलग-अलग मैदानों पर किया। एक रंगीन बिंदुओं और आकृतियों की एक काल्पनिक दुनिया (जिसे ER-color कहा गया) थी, और दूसरा एक वास्तविक दुनिया की चुनौती थी जिसमें हस्तलिखित अंकों की छवियों को ग्राफ में बदल दिया गया था (जिसे CPatchMNIST कहा गया)। दोनों मामलों में, उन्होंने प्रशिक्षण डेटा को इस तरह व्यवस्थित किया कि एक विशिष्ट रंग या पैटर्न उत्तर के लिए एक नकली शॉर्टकट के रूप में कार्य करे।

परिणाम उत्साहजनक थे। जब उन्होंने AI को बिना किसी मदद के खुद सीखने दिया, तो वह ज्यादातर शॉर्टकट पर निर्भर रहा और टेस्ट डेटा बदलने पर विफल रहा। हालांकि, जब उन्होंने XIGL का उपयोग किया:

यह काम कर गया: AI मॉडल्स ने नकली शॉर्टकट को अनदेखा करना और समस्या को हल करने के लिए आवश्यक वास्तविक विशेषताओं पर ध्यान केंद्रित करना सीख लिया।
यह कुशल था: उन्हें मानव विशेषज्ञ को हर एक उदाहरण दिखाने की आवश्यकता नहीं थी। सबसे अच्छे उदाहरणों को चुनने के लिए अपने स्मार्ट "एक्टिव लर्निंग" फिल्टर का उपयोग करके, उन्होंने लगभग उतना ही परिणाम प्राप्त किया जितना कि सब कुछ एनोटेट करने से मिलता, लेकिन बहुत कम प्रयास के साथ।
इसने बुनियादी तरीकों को हराया: उनकी नई रणनीति, जो व्याख्याओं (AI क्या सोच रहा है) के आधार पर मदद मांगती है, आमतौर पर उन पुराने तरीकों से बेहतर काम करती है जो केवल इस आधार पर मदद मांगते थे कि AI अंतिम उत्तर के बारे में कितना अनिश्चित है।

दिलचस्प बात यह है कि पेपर नोट करता है कि हालांकि यह तरीका अत्यधिक प्रभावी है, लेकिन यह सब कुछ तुरंत हल करने वाला कोई जादुई हथियार नहीं है। इसकी सफलता इस बात पर निर्भर करती है कि आपके पास एक विशेषज्ञ है जो शॉर्टकट को पहचान सके, और यह तरीका सुझाव देता है कि यह जानना कि मॉडल क्यों गलत है, अक्सर यह जानने से अधिक शक्तिशाली होता कि वह क्या गलत है।

संक्षेप में, XIGL सुझाव देता है कि यदि हम चाहते हैं कि हमारा AI वास्तविक दुनिया में विश्वसनीय हो, तो हमें इसे केवल अधिक डेटा खिलाना ही काफी नहीं है। हमें इसके साथ बातचीत करनी होगी, इसकी शॉर्टकट बनाने की आदतों को उजागर करना होगा, और इसे सच्चाई सीखने के कठिन काम के लिए मार्गदर्शन देना होगा।

तकनीकी सारांश: सक्रिय स्पष्टीकरण मार्गदर्शन के माध्यम से ग्राफ न्यूरल नेटवर्क में शॉर्टकट लर्निंग पर विजय प्राप्त करना

समस्या विवरण
ग्राफ न्यूरल नेटवर्क (GNNs) अक्सर "शॉर्टकट लर्निंग" से ग्रस्त होते हैं, जहाँ मॉडल कारण पैटर्न (causal patterns) के बजाय स्प्यूरियस सहसंबंधों (confounders) का लाभ उठाकर उच्च इन-डिस्ट्रीबशन सटीकता प्राप्त कर लेते हैं। ये शॉर्टकट—जैसे कि विशिष्ट नोड फीचर्स, मेटाडेटा, या सरल इनपुट सांख्यिकी—मॉडल को प्रशिक्षण डेटा पर तो अच्छा प्रदर्शन करने देते हैं, लेकिन जब डेटा वितरण बदल जाता है (out-of-distribution), तो वे विफल हो जाते हैं। मौजूदा समाधानों के लिए अक्सर मल्टी-डोमेन डेटा या व्यापक अवलोकन संबंधी डेटा की आवश्यकता होती है, जो हमेशा उपलब्ध नहीं होते हैं। इसके अलावा, जबकि GNN स्पष्टीकरण (explanations) यह प्रकट कर सकते हैं कि मॉडल शॉर्टकट पर निर्भर है, पूरे डेटासेट के लिए ग्राउंड-ट्रुथ स्पष्टीकरण प्राप्त करना विशेषज्ञ एनोटेशन की आवश्यकता के कारण अत्यधिक महंगा और समय लेने वाला है।

कार्यप्रणाली: XIGL
लेखक XIGL (xExplanatory Interactive Graph shortcut unLearning) का प्रस्ताव करते हैं, जो एक आर्किटेक्चर-अज्ञेय (architecture-agnostic), ह्यूमन-इन-द-लूप रणनीति है, जिसे शॉर्टकट निर्भरता को पुनरावृत्ति (iteratively) से हटाकर GNNs को डीकॉन्फाउंड (deconfound) करने के लिए डिज़ाइन किया गया है। यह ढांचा दो प्रमुख अंतर्दृष्टि पर कार्य करता है: (1) GNN स्पष्टीकरण शॉर्टकट पर निर्भरता को उजागर कर सकते हैं, और (2) विशेषज्ञ उपयोगकर्ता इन स्पष्टीकरणों पर सुधारात्मक फीडबैक प्रदान करके मॉडल को कारण तर्क (causal reasoning) की ओर निर्देशित कर सकते हैं।

मुख्य कार्यप्रणाली में तीन घटक शामिल हैं:

स्पष्टीकरण-निर्देशित लॉस फंक्शन (Explanation-Guided Loss Function):
XIGL नोड महत्व के प्रॉक्सी के रूप में इनपुट ग्रेडिएंट्स का उपयोग करता है। अप्रासंगिक (spurious) नोड्स ( $V_{ir}$ ) पर निर्भरता को दंडित करने के लिए, लेखक एक लॉस फंक्शन $L = L_{ce} + \lambda L_e$ पेश करते हैं।

$L_{ce}$ मानक क्रॉस-एन्ट्रॉपी लॉस है।
$L_e$ कुल इनपुट ग्रेडिएंट्स के अनुपात में अप्रासंगिक नोड्स के इनपुट ग्रेडिएंट्स को कम करता है।
एक नॉर्मलाइजेशन टर्म को डिनोमिनेटर (denominator) में शामिल किया गया है ताकि उस ट्रिवियल समाधान को रोका जा सके जहाँ सभी ग्रेडिएंट्स शून्य में ढह जाते हैं।
ग्राउंड-ट्रुथ स्पष्टीकरण वेक्टर $e$ (जहाँ प्रासंगिक नोड्स के लिए $e_j=1$ और अन्यथा $0$ है) इस दंड को वेट (weight) देने के लिए उपयोग किया जाता है।

एक्टिव लर्निंग पाइपलाइन (Active Learning Pipeline):
यह पहचानते हुए कि सभी डेटा के लिए स्पष्टीकरण को एनोटेट करना अव्यावहारिक है, XIGL एक निश्चित एनोटेशन बजट $B$ के साथ एक एक्टिव लर्निंग (AL) रणनीति अपनाता है।

आरंभीकरण (Initialization): मॉडल को विशेषज्ञ-सुधारित स्पष्टीकरणों वाले ग्राफों के एक छोटे प्रारंभिक सेट पर प्रशिक्षित किया जाता है।
पुनरावृत्ति चयन (Iterative Selection): प्रत्येक इटरेशन में, एक एक्टिव लर्निंग क्वेरी रणनीति अनलेबल पूल से सबसे सूचनात्मक ग्राफों के एक बैच का चयन करती है।
सुधार और फाइन-ट्यूनिंग (Correction & Fine-tuning): एक विशेषज्ञ चयनित ग्राफों को एनोटेट करता है (यह इंगित करते हुए कि मॉडल किन नोड्स पर निर्भर नहीं होना चाहिए), और मॉडल को स्पष्टीकरण-निर्देशित लॉस का उपयोग करके फाइन-ट्यून किया जाता है।

क्वेरी रणनीतियाँ (Query Strategies):
लेखक मानक प्रेडिक्शन-आधारित बेसलाइनों के साथ दो नवीन स्पष्टीकरण-आधारित क्वेरी रणनीतियों का प्रस्ताव करते हैं और उनका मूल्यांकन करते हैं:

मैक्सिमम एक्सप्लेनेशन एंट्रॉपी (MaEE): उन ग्राफों का चयन करता है जहाँ मॉडल का स्पष्टीकरण (इनपुट ग्रेडिएंट्स) सबसे अनिश्चित (नोड्स में समान रूप से वितरित) होता है।
मिनिममम एक्सप्लेनेशन एंट्रॉपी (MiE): उन ग्राफों का चयन करता है जहाँ मॉडल अपने स्पष्टीकरण में सबसे अधिक आश्वस्त होता है। यह रणनीति न्यूरल नेटवर्क के "सिम्प्लिसिटी बायस" (simplicity bias) का लाभ उठाती है, यह परिकल्पना करते हुए कि अत्यधिक आश्वस्त स्पष्टीकरण अक्सर स्प्यूरियस शॉर्टकट पर ओवरफिट होते हैं और इसलिए सुधार की सबसे अधिक आवश्यकता होती है।
बेसलाइन्स: मैक्सिमम क्लासिफिकेशन एंट्रॉपी (MaCE) और रैंडम सैंपलिंग।

प्रमुख योगदान

XIGL फ्रेमवर्क: एक इंटरैक्टिव पाइपलाइन जो स्प्यूरियस पैटर्न को सक्रिय रूप से हटाने के लिए GNN स्पष्टीकरणों पर मानव फीडबैक को एकीकृत करती है।
नवीन क्वेरी रणनीतियाँ: स्पष्टीकरण-आधारित एक्टिव लर्निंग रणनीतियों (MaEE और MiE) का परिचय जो केवल भविष्यवाणी अनिश्चितता के बजाय मॉडल के तर्क की गुणवत्ता के आधार पर इंस्टेंस को प्राथमिकता देती हैं।
दक्षता: यह प्रदर्शित करना कि पूर्ण डेटासेट एनोटेशन के लिए आवश्यक निष्क्रिय पर्यवेक्षण (passive supervision) के बजट के एक अंश के साथ उच्च-प्रदर्शन डीकॉन्फाउंडिंग प्राप्त की जा सकती है।

परिणाम
प्रयोग दो डेटासेट्स पर किए गए: ER-color (सिंथेटिक) और CPatchMNIST (रियल-वर्ल्ड एक्सटेंशन), चार GNN आर्किटेक्चर (GCN, GIN, GraphSAGE, GAT) के माध्यम से।

पैसिव सुपरविजन (Passive Supervision): जब पूरे डेटासेट के लिए स्पष्टीकरण प्रदान किए जाते हैं, तो XIGL बिना स्पष्टीकरण पर्यवेक्षण के प्रशिक्षित मॉडलों की तुलना में अनकॉन्फाउंडेड टेस्ट सेट्स पर सामान्यीकरण (generalization) में काफी सुधार करता है। उदाहरण के लिए, ER-color पर, बिना पर्यवेक्षण वाले मॉडल लगभग चांस लेवल (chance level) पर प्रदर्शन करते हैं, जबकि पैसिव सुपरविजन वाले मॉडलों ने पर्याप्त सटीकता लाभ दिखाया।
एक्टिव सुपरविजन (Active Supervision): एक्टिव लर्निंग रणनीतियाँ आम तौर पर रैंडम सैंपलिंग से बेहतर प्रदर्शन करती हैं।
- CPatchMNIST पर, स्पष्टीकरण-आधारित रणनीतियाँ (MaEE और MiE) सभी आर्किटेक्चर में प्रेडिक्शन-आधारित रणनीतियों (MaCE) से लगातार बेहतर रहीं।
- MiE सबसे लगातार उच्च-प्रदर्शन करने वाली रणनीति के रूप में उभरी, जो यह सुझाव देती है कि उन इंस्टेंस को लक्षित करना जहाँ मॉडल अपने (संभावित रूप से स्प्यूरियस) तर्क में अत्यधिक आश्वस्त है, अत्यधिक प्रभावी है।
- हालांकि एक्टिव लर्निंग ने पैसिव लर्निंग की तुलना में थोड़ी कम सटीकता प्राप्त की (छोटे एनोटेशन बजट के कारण), अंतर अपेक्षाकृत कम था, जिसमें एक्टिव लर्निंग ने प्रशिक्षण डेटा के 20% से भी कम का उपयोग किया।

महत्व और दावे
लेख का दावा है कि XIGL मल्टी-डोमेन डेटा की आवश्यकता के बिना आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों में GNN विश्वसनीयता में सुधार करने के लिए एक व्यावहारिक मार्ग प्रदान करता है। यह लाभ उठाते हुए कि स्पष्टीकरण स्वाभाविक रूप से शॉर्टकट निर्भरता को उजागर करते हैं, यह विधि विशेषज्ञों को स्प्यूरियस पैटर्न को कुशलतापूर्वक "अनलर्न" (unlearn) करने की अनुमति देती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण विशेषज्ञ प्रयास को केवल उन इंस्टेंस पर केंद्रित करके संज्ञानात्मक और एनोटेशन लागत दोनों को कम करता है जहाँ फीडबैक सबसे अधिक फायदेमंद होता है।

यह कार्य निष्कर्ष निकालता है कि स्पष्टीकरण-आधारित एक्टिव लर्निंग डीकॉन्फाउंडिंग के लिए एक आशाजनक दिशा है, विशेष रूप से वे रणनीतियाँ जो मॉडल के अपने तर्क में विश्वास (confidence) को लक्षित करती हैं (MiE)। लेखक उल्लेख करते हैं कि भविष्य का कार्य सेल्फ-एक्सप्लेनेबल GNNs, स्पष्टीकरण की निष्ठा (faithfulness) का डीकॉन्फाउंडिंग सफलता पर प्रभाव, और इन विधियों को व्यापक वास्तविक दुनिया के डेटासेट्स और शॉर्टकट प्रकारों पर लागू करने की संभावनाओं की खोज करेगा।

"XIGL" समाधान: एक 'ह्यूमन-इन-द-लूप' जासूस

यह कैसे काम करता है: "अनलर्निंग" (Unlearning) की प्रक्रिया

प्रयोगों ने क्या दिखाया

इसी तरह के और पेपर