When does distribution shift break graph neural networks calibration?

तकनीकी सारांश: वितरण बदलाव (Distribution Shift) और GNN अंशांकन (Calibration)

समस्या विवरण
ग्राफ न्यूरल नेटवर्क (GNNs) उन गतिशील वातावरणों में तेजी से तैनात किए जा रहे हैं जहाँ परीक्षण-समय (test-time) ग्राफ वितरण, प्रशिक्षण वितरण से भिन्न होता है (जैसे, विकसित होते सामाजिक नेटवर्क, पुनर्गठित बुनियादी ढांचा)। जबकि भविष्य कहनेवाला सटीकता (predictive accuracy) का अक्सर अध्ययन किया जाता है, GNN का अंशांकन (calibration)—अर्थात भविष्य कहनेवाला आत्मविश्वास और वास्तविक सटीकता के बीच का समझौता—वितरण बदलाव के तहत अपूर्ण रूप से समझा गया है। मौजूदा अंशांकन विधियाँ (जैसे, टेम्परेचर स्केलिंग, CaGCN, GATS) आमतौर पर लक्षित वितरण से लेबल किए गए सत्यापन डेटा पर निर्भर करती हैं। वास्तविक दुनिया की तैनाती में, ये लेबल उपलब्ध नहीं होते हैं, और स्रोत डेटा पर फिट किए गए मानक कैलिब्रेटर विफल हो जाते हैं क्योंकि जब होमोफिली (homophily) या फीचर नॉइज़ जैसे ग्राफ गुण बदलते हैं, तो आत्मविश्वास और सटीकता के बीच का संबंध बदल जाता है। केंद्रीय चुनौती यह है कि वितरण बदलाव GNN अंशांकन को कैसे बदलता है और बिना लक्षित लेबल तक पहुँच के पुन: अंशांकन (recalibration) के लिए एक विधि विकसित करना क्या है।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह शोध वितरण बदलाव के तहत GNN अंशांकन का एक बंद-रूप सैद्धांतिक लक्षण वर्णन (closed-form theoretical characterization) व्युत्पन्न करके इस समस्या के प्रति दृष्टिकोण अपनाता है। यह विश्लेषण एक कॉन्टेक्स्टुअल स्टोकेस्टिक ब्लॉक मॉडल (CSBM) पर आधारित है जहाँ नोड्स के पास गॉसियन फीचर्स होते हैं और किनारे क्लास होमोफिली के आधार पर बनते हैं। विश्लेषित मॉडल एक लीनियर GNN (मीन एग्रीगेशन या सिमेट्रिक-नॉर्मलाइज्ड GCN) है जिसके बाद एक लीनियर क्लासिफायर है।

मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि एक मॉडल के लॉजिट परिमाण (logit magnitude) $t$ और इसकी वास्तविक सटीकता के बीच का संबंध एक एकल स्केलर पैरामीटर, अंशांकन ढलान (calibration slope) $\kappa$ द्वारा नियंत्रित होता है:
$$\text{Confidence}(t) = \sigma(t) \quad \text{बनाम} \quad \text{Accuracy}(t) = \sigma(\kappa t)$$
जहाँ $\sigma$ सिग्मॉइड फंक्शन है। शोध सिद्ध करता है कि $\kappa$ स्पष्ट रूप से स्रोत ($h_s$) और लक्ष्य ($h_t$) ग्राफ के होमोफिली स्तरों और फीचर्स के सिग्नल-टू-नॉइज़ रेशियो ($\rho$) द्वारा निर्धारित होता है:
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
प्रमुख सैद्धांतिक विस्तारों में शामिल हैं:

• सेल्फ-लूप GCNs: ढलान को सेल्फ-लूप्स के लिए समायोजित किया जाता है, जो यह सुनिश्चित करते हैं कि विषम-फिली (heterophily, $h < 0.5$) के तहत भी सिग्नल बना रहे।
• मल्टी-क्लास वर्गीकरण: ढलान एक सिग्नल गुणांक $c_K(h)$ के माध्यम से सामान्यीकृत होती है, जो दर्शाती है कि $K$ क्लासेस के लिए एक एकल वैश्विक तापमान (global temperature) पर्याप्त रहता है।
• कोवेरिएट शिफ्ट (Covariate shift): बढ़ता हुआ फीचर नॉइज़ $\kappa$ को एकोनात्मक रूप से कम करता है, जिससे ओवर-कॉन्फिडेंस (अति-आत्मविश्वास) उत्पन्न होता है।
• एक्स्पेक्टेड कैलिब्रेशन एरर (ECE) बाउंड: ECE के लिए एक सैद्धांतिक ऊपरी बाउंड $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$ के रूप में व्युत्पन्न किया गया है, जो मिसकैलिब्रेशन की गंभीरता को सीधे $\kappa$ के 1 से विचलन से जोड़ता है।

प्रमुख योगदान

1. बंद-रूप अंशांकन ढलान: शोध पत्र वितरण बदलाव के तहत $\kappa$ के लिए पहला विश्लेषणात्मक सूत्र प्रदान करता है, जो इसे संरचनात्मक परिवर्तनों (होमोफिली) और फीचर गुणवत्ता से स्पष्ट रूप से जोड़ता है। यह समझाता है कि GNN क्यों और कितना ओवर-कॉन्फिडेंट ($\kappa < 1$) या अंडर-कॉन्फिडेंट ($\kappa > 1$) होता है।
2. वैश्विक तापमान की इष्टतमता (Optimality of Global Temperature): एक संरचनात्मक उप-परिणाम सिद्ध करता है कि होमोजेनियस वितरण बदलाव (जहाँ बदलाव सभी नोड्स को समान रूप से प्रभावित करता है) के तहत, एक एकल वैश्विक तापमान $T^* = 1/\kappa$ सैद्धांतिक रूप से इष्टतम है। इसका तात्पर्य है कि जटिल प्रति-नोड (per-node) पुन: अंशांकन विधियाँ होमोजेनियस सेटिंग्स में कोई लाभ नहीं देती हैं, क्योंकि जनसंख्या-इष्टतम समाधान एक स्थिर फलन (constant function) है।
3. STAC (स्ट्रक्चर-अवेयर टेस्ट-टाइम एडेप्टिव कैलिब्रेशन): इस सिद्धांत पर निर्माण करते हुए, लेखक एक सोर्स-फ्री और लेबल-फ्री पुन: अंशांकन विधि, STAC का प्रस्ताव करते हैं। STAC अनलेबल डेटा से कॉन्फिडेंस सांख्यिकी और गड़बड़ी (perturbations) के तहत प्रेडिक्शन विसंगति का उपयोग करके लक्षित सटीकता $\hat{a}$ का अनुमान लगाता है। इसके बाद यह एक एकल वैश्विक तापमान $T^* = 1/\hat{\kappa}$ निर्धारित करता है ताकि औसत आत्मविश्वास अनुमानित सटीकता से मेल खा सके।
4. बाधा की पहचान: यह कार्य पहचानता है कि व्यावहारिक, लेबल-फ्री GNN अंशांकन की प्राथमिक बाधा स्वयं अंशांकन तंत्र नहीं है, बल्कि अनलेबल, शिफ्ट किए गए ग्राफों पर लक्षित सटीकता का अनुमान लगाना है।

प्रायोगिक परिणाम

• सिंथेटिक सत्यापन: सिंथेटिक CSBM डेटा पर, बंद-रूप ढलान $\kappa$ उच्च सटीकता ($r=0.99$) के साथ अनुभवजन्य मापों से मेल खाता है। अनुमानित इष्टतम तापमान $T^*$ विभिन्न होमोफिली और सिग्नल-टू-नॉइज़ रेशियो के बीच अंशांकन को पुनः प्राप्त करता है (ECE को $\leq 0.02$ तक कम करता है)।
• वास्तविक दुनिया के ग्राफ: सिद्धांत पांच वास्तविक दुनिया के डेटासेटों पर लागू होता है जो एक विस्तृत होमोफिली स्पेक्ट्रम ($h=0.05$ से $0.84$) और विभिन्न क्लास काउंट्स ($K=2$से$18$) तक फैले हुए हैं।
  • ओरेकल प्रदर्शन: जब एक "ओरेकल" तापमान (जो वास्तविक लक्ष्य लेबल से प्राप्त होता है) लागू किया जाता है, तो सभी डेटासेट पर अंशांकन पुनः प्राप्त हो जाता है, जो सिद्धांत की पर्याप्तता की पुष्टि करता है।
  • STAC का प्रदर्शन: STAC सिंथेटिक शिफ्ट पर सोर्स-फिटेड बेसलाइन्स की तुलना में कैलिब्रेशन एरर गैप को सफलतापूर्वक आधा कर देता है। हालाँकि, वास्तविक दुनिया के हेटरोफिलस ग्राफों (जैसे, roman-empire, amazon-ratings) पर, STAC के सटीकता अनुमान अविश्वसनीय हैं (अक्सर वास्तविक सटीकता से अधिक हो जाते हैं), जिससे अंशांकन खराब हो जाता है। यह पुष्टि करता है कि सैद्धांतिक ढांचा सुदृढ़ है, लेकिन वर्तमान लेबल-फ्री सटीकता अनुमानक अपर्याप्त हैं।
• विषम बदलाव (Heterogeneous Shift): विषम बदलावों (जहाँ विभिन्न नोड्स अलग-अलग बदलावों का अनुभव करते हैं) के तहत, एकल वैश्विक तापमान मॉडल को पूरी तरह से ठीक नहीं कर सकता है। जबकि एक प्रति-नोड चरण का परीक्षण किया गया था, इसने संरचनात्मक विशेषताओं के साथ मामूली लाभ दिया, जो इस सैद्धांतिक दावे का समर्थन करता है कि प्रति-नोड अंशांकन केवल तभी आवश्यक है जब बदलाव विषम हो।

महत्व और दावे
शोध पत्र का दावा है कि यह वितरण बदलाव के तहत GNN अंशांकन का पहला बंद-रूप सैद्धांतिक विवरण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• यांत्रिक व्याख्या: यह केवल अनुभवजन्य अवलोकन से आगे बढ़कर होमोफिली-निर्भर ढलान $\kappa$ के माध्यम से मिसकैलिब्रेशन के दिशा और परिमाण की व्याख्या करता है।
• सिद्धांतपूर्ण सरलीकरण: यह होमोजेनियस शिफ्ट परिदृश्यों में एकल वैश्विक तापमान का उपयोग करने के लिए एक कठोर औचित्य प्रदान करता है, जो उन संदर्भों में जटिल प्रति-नोड कैलिब्रेटर्स की आवश्यकता को चुनौती देता है।
• भविष्य के कार्य के लिए रोडमैप: लेबल-फ्री अंशांकन की समस्या को लेबल-फ्री सटीकता अनुमान के उप-समस्या में बदलकर, यह शोध उस विशिष्ट तकनीकी बाधा को अलग करता है जो मजबूत GNN कैलिब्रेटर्स की तैनाती को रोक रही है। यह सुझाव देता है कि भविष्य के शोध को अधिक जटिल अंशांकन आर्किटेक्चर डिजाइन करने के बजाय, स्थानीय होमोफिली और एग्रीगेशन प्रभावों को ध्यान में रखने वाले ग्राफ-नेटिव सटीकता अनुमानकों को विकसित करने पर ध्यान केंद्रित करना चाहिए।

लेखक STAC के व्यावहारिक परिनियोजन के बारे में विनम्र रहते हैं, यह स्वीकार करते हुए कि जबकि सिद्धांत मजबूत है, वास्तविक, हेटरोफिलस ग्राफों पर वर्तमान लेबल-फ्री सटीकता अनुमान अभी भी केंद्रीय अनसुलझी चुनौती बनी हुई है।