Heterophily-Aware Adaptive Knowledge Distillation for Hypergraph Neural Networks

तकनीकी सारांश: HADES – हाइपरग्राफ न्यूरल नेटवर्क के लिए हेटरोफिली-जागरूक अनुकूलनशील ज्ञान आसवन (Heterophily-Aware Adaptive Knowledge Distillation)

समस्या विवरण

हाइपरग्राफ न्यूरल नेटवर्क (HNNs) ने संस्थाओं के बीच उच्च-क्रम संबंधों (high-order relationships) को मॉडल करने में पारंपरिक ग्राफ न्यूरल नेटवर्क (GNNs) की तुलना में श्रेष्ठ प्रदर्शन प्रदर्शित किया है। हालांकि, इसकी अभिव्यंजक शक्ति (expressive power) उच्च कम्प्यूटेशनल लागत लाती है, जो व्यावहारिक परिनियोजन (deployment) में बाधा डालती है। इसे संबोधित करने के लिए, हाल के अध्ययनों ने हाइपरग्राफ ज्ञान आसवन (knowledge distillation) की खोज की है, जिसमें एक शक्तिशाली HNN शिक्षक से एक हल्के मल्टी-लेयर पर्सेप्ट्रॉन (MLP) छात्र तक ज्ञान स्थानांतरित किया जाता है ताकि तेज़ अनुमान (inference) सक्षम किया जा सके।

मौजूदा आसवन विधियों में एक महत्वपूर्ण कमी यह है कि वे यह मान लेती हैं कि शिक्षक का ज्ञान सभी नोड्स के लिए समान रूप से विश्वसनीय है। यह शोध पत्र पहचानता है कि HNNs हेटरोफिलिक नोड्स (वे नोड्स जो विविध हाइपरएज के माध्यम से अलग-अलग क्लास लेबल वाले पड़ोसियों से जुड़े होते हैं) पर होमफिलिक नोड्स की तुलना में काफी कम भविष्य कहनेवाला प्रदर्शन प्रदर्शित करते हैं। फलस्वरूप, इन हेटरोफिलिक नोड्स पर शिक्षक के ज्ञान को बिना सोचे-समझे स्थानांतरित करना छात्र के प्रदर्शन को खराब कर सकता है, क्योंकि इन क्षेत्रों में शिक्षक के पूर्वानुमान स्वाभाविक रूप से कम विश्वसनीय होते हैं।

कार्यप्रणाली: HADES

लेखक HADES (Heterophily-aware ADaptivE diStillation) प्रस्तावित करते हैं, जो प्रत्येक विशिष्ट नोड के लिए उस ज्ञान की अनुमानित विश्वसनीयता के आधार पर शिक्षक के ज्ञान के हस्तांतरण को अनुकूल रूप से नियंत्रित करता है।

1. हेटरोफिली परिमाणीकरण (Heterophily Quantification)

HADES शिक्षक विश्वसनीयता के प्रॉक्सी के रूप में नोड हेटरोफिली को परिमाणीकृत करता है। सरल पड़ोसी गणना के विपरीत, जो हाइपरग्राफ संरचनात्मक बारीकियों को पकड़ने में विफल रहती है, HADES एक दो-चरणीय प्रक्रिया का उपयोग करता है:

• हाइपरएज हेटरोफिली: एक हाइपरएज की हेटरोफिली उसके सदस्य नोड्स के क्लास लेबल के एंट्रॉपी (entropy) के रूप में गणना की जाती है। उच्च एंट्रॉपी हाइपरएज के भीतर अधिक लेबल विविधता को दर्शाती है।
• नोड हेटरोफिली: एक नोड की हेटरोफिली स्कोर उसके आसन्न (incident) हाइपरएज के हेटरोफिली स्कोर का भारित एकत्रीकरण (weighted aggregation) है।
  • लेखक इन स्कोर को एकत्रित करने के लिए चार वेटिंग रणनीतियाँ प्रस्तावित करते हैं: यूनिफॉर्म (समान भार), वेटेड (हाइपरएज आकार के आनुपातिक), बाउंड-वेटेड (तीसरे चतुर्थांश का उपयोग करके अत्यधिक बड़े हाइपरएज के प्रभाव को सीमित करना), और लॉग-वेटेड (लॉगैरिद्मिक स्केलिंग)।
  • यूनिफॉर्म रणनीति का उपयोग डिफ़ॉल्ट के रूप में किया जाता है, हालांकि प्रयोगों से पता चलता है कि बाउंड-वेटेड अक्सर बेहतर परिणाम देती है।

2. अनुकूलनशील आसवन तंत्र (Adaptive Distillation Mechanism)

HADES इस परिमाणीकरण को आसवन लॉस फंक्शन (distillation loss function) में एकीकृत करता है। प्रत्येक नोड $v$ के लिए, एक विश्वसनीयता भार $r(v)$ की गणना की जाती है:
$$r(v) = \exp(-\beta \cdot h(v))$$
जहाँ $h(v)$ नोड का हेटरोफिली स्कोर है और $\beta$ एक हाइपरपैरामीटर है जो हेटरोफिली के प्रति संवेदनशीलता को नियंत्रित करता है।

• होमफिलिक नोड्स (कम $h(v)$) उच्च विश्वसनीयता भार प्राप्त करते हैं, जो आसवन लॉस में अधिक योगदान देते हैं।
• हेटरोफिलिक नोड्स (उच्च $h(v)$) कम विश्वसनीयता भार प्राप्त करते हैं, जिससे संभावित रूप से शोर वाले शिक्षक भविष्यवाणियों का प्रभाव कम हो जाता है।

अंतिम आसवन लॉस सभी नोड्स के लॉजिट (logit), एम्बेडिंग (embedding), या दोनों के लॉस का एक भारित योग है, जिसे विश्वसनीयता भार के योग द्वारा सामान्यीकृत (normalized) किया जाता है। यह दृष्टिकोण विशिष्ट आसवन तंत्र (लॉजिट, एम्बेडिंग, या संयुक्त) और उपयोग किए गए शिक्षक के विशिष्ट HNN आर्किटेक्चर के प्रति तटस्थ (agnostic) है।

मुख्य योगदान

1. अवलोकन: लेखक अनुभवजन्य रूप से प्रदर्शित करते हैं कि (i) वास्तविक दुनिया के हाइपरग्राफ में नोड हेटरोफिली एक लॉन्ग-टेल वितरण का पालन करती है, और (ii) HNN शिक्षक अत्यधिक हेटरोफिलिक नोड्स पर पर्याप्त प्रदर्शन गिरावट (लगभग 40-50% सटीकता की गिरावट) का सामना करते हैं, जो अक्सर एक साधारण फीचर-आधारित MLP से भी खराब प्रदर्शन करते हैं।
2. विधि: HADES का प्रस्ताव, जो एक नवीन आसवन ढांचा है जो नोड हेटरोफिली को परिमाणीकृत करता है और अनुकूल रूप से ज्ञान हस्तांतरण को नियंत्रित करता है, यह सुनिश्चित करता है कि हेटरोफिलिक नोड्स से मिलने वाले अविश्वसनीय शिक्षक संकेतों को कम भार दिया जाए।
3. मूल्यांकन: दो अलग-अलग HNN शिक्षकों (HGNN, UniGCN) और तीन आसवन उद्देश्यों (Logit, Embedding, Joint) का उपयोग करके चार वास्तविक दुनिया के हाइपरग्राफ डेटासेट (Citeseer, Cora, Pubmed, DBLP) पर व्यापक प्रयोग।

प्रयोगात्मक परिणाम

• प्रदर्शन सुधार: HADES उन बेसलाइन विधियों की तुलना में सभी डेटासेट, शिक्षकों और आसवन प्रकारों में आसवित (distilled) छात्र मॉडलों की सटीकता में लगातार सुधार करता है जो हेटरोफिली को ध्यान में नहीं रखती हैं। लाभ बेसलाइन पर 7.69% तक पहुँच गया।
• शिक्षक से श्रेष्ठता: कई कॉन्फ़िगरेशन में (विशेष रूप से Logit और Joint आसवन के तहत), HADES-प्रशिक्षित छात्र अपने HNN शिक्षकों से बेहतर प्रदर्शन करते हैं, जो यह सुझाव देता है कि अविश्वसनीय शिक्षक ज्ञान को फ़िल्टर करने से छात्र अधिक मजबूत प्रतिनिधित्व सीख सकता है।
• अनुमान गति (Inference Speed): हल्के MLP छात्रों ने HNN शिक्षकों की तुलना में 3.1x से 12.3x तक की गति वृद्धि के साथ काफी तेज़ अनुमान समय प्राप्त किया। गति वृद्धि बड़े हाइपरग्राफ पर सबसे अधिक स्पष्ट थी जहाँ HNN कम्प्यूटेशनल लागत तेजी से बढ़ती है।
• संवेदनशीलता: विधि को हाइपरपैरामीटर $\beta$ के प्रति मजबूत पाया गया, जो $\beta$ के एक विस्तृत रेंज में बेसलाइन से लगातार बेहतर प्रदर्शन करती है, और इष्टतम प्रदर्शन आमतौर पर $\beta = 4 \sim 5$ के आसपास देखा गया।

महत्व

यह शोध पत्र दावा करता है कि HADES हाइपरग्राफ आसवन में एक मौलिक सीमा को संबोधित करता है: समान शिक्षक विश्वसनीयता की धारणा। नोड हेटरोफिली और भविष्यवाणी विश्वसनीयता के बीच संबंध को स्पष्ट रूप से मॉडल करके, HADES अधिक प्रभावी ज्ञान हस्तांतरण सक्षम करता है। इसका महत्व न केवल अनुमान को तेज करने में है, बल्कि विशिष्ट परिदृश्यों में शिक्षक मॉडल से भी बेहतर भविष्य कहनेवाला सटीकता प्राप्त करने में भी है, और यह सब अंतर्निहित आसवन तंत्र या शिक्षक आर्किटेक्चर के प्रति तटस्थ रहते हुए किया जाता है। यह सुझाव देता है कि जटिल रिलेशनल डेटा के लिए भविष्य की आसवन रणनीतियों को स्थानांतरित की गई जानकारी की मात्रा के बजाय स्रोत ज्ञान की विश्वसनीयता को प्राथमिकता देनी चाहिए।