💬 NLP

Subgraph-level Universal Prompt Tuning

यह शोध पत्र सबग्राफ-स्तरीय यूनिवर्सल प्रॉम्प्ट ट्यूनिंग (SUPT) प्रस्तुत करता है, जो एक बहुमुखी विधि है जो मौजूदा ग्राफ प्रॉम्प्ट ट्यूनिंग दृष्टिकोणों की संदर्भ सीमाओं को दूर करने के लिए सबग्राफ स्तर पर प्रॉम्प्ट विशेषताओं को असाइन करती है, जिससे काफी कम मापदंडों के साथ फुल-शॉट और फ्यू-शॉट दोनों परिदृश्यों में फाइन-ट्यूनिंग की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Junhyun Lee, Wooseong Yang, Jaewoo Kang

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junhyun Lee, Wooseong Yang, Jaewoo Kang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने सालों तक लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। यह रोबोट एक "प्री-ट्रेंड मॉडल" (pre-trained model) है। यह बहुत कुछ जानता है, लेकिन इसे यह नहीं पता कि आज आप इससे क्या करवाना चाहते हैं। शायद आप चाहते हैं कि यह एक कोशिका (cell) में किसी विशिष्ट प्रकार की बीमारी की पहचान करे, या शायद आप यह अनुमान लगाना चाहते हैं कि कोई नया रसायन जहरीला होगा या नहीं।

पहले, इस रोबically को नया हुनर सिखाने के लिए, आपको इसके पूरे मस्तिष्क को फिर से प्रशिक्षित (retrain) करना पड़ता था। यह एक मास्टर शेफ को, जो फ्रांसीसी व्यंजन पकाने में माहिर है, उसे शून्य से एक विशिष्ट प्रकार का केक बनाना सिखाने के लिए मजबूर करने जैसा है। इसमें बहुत समय, ऊर्जा और डेटा लगता है।

पुराने तरीकों के साथ समस्या
हाल ही में, वैज्ञानिकों ने एक स्मार्ट विचार निकाला जिसे "प्रॉम्प्ट ट्यूनिंग" (Prompt Tuning) कहा जाता है। पूरे मस्तिष्क को फिर से प्रशिक्षित करने के बजाय, आप रोबोट को केवल एक छोटा सा "संकेत" या "नोट" देते हैं कि उसे डेटा को कैसे देखना है।

पुराना तरीका (Fine-Tuning): पूरे मस्तिष्क को फिर से प्रशिक्षित करना। महंगा और धीमा।
पहला प्रॉम्प्ट तरीका (GPF): कल्पना कीजिए कि आपने रोबोट के माथे पर एक स्टिकी नोट चिपका दिया है जिस पर लिखा है "ध्यान से देखो!" यह नोट हर उस चीज़ पर लागू होता है जिसे रोबोट देखता है। यह सरल है, लेकिन थोड़ा बहुत सामान्य (generic) है।
दूसरा प्रॉम्प्ट तरीका (GPF-Plus): कल्पना कीजिए कि आप रोबोट को हर प्रकार की वस्तु के लिए एक अलग रंग का स्टिकी नोट दे रहे हैं। यदि वह एक "प्रोटीन" देखता है, तो उसे नीला नोट मिलता है। यदि वह एक "अणु" (molecule) देखता है, तो उसे लाल नोट मिलता है। यह बेहतर है, लेकिन यह सभी प्रोटीनों के साथ एक जैसा व्यवहार करता है, भले ही वे बहुत अलग स्थितियों में हों।

नया समाधान: SUPT (Subgraph-level Universal Prompt Tuning)
इस शोध पत्र के लेखकों, जुनह्यून ली, वूसुंग यांग और जेवू कांग ने महसूस किया कि ग्राफ (जो जुड़े हुए बिंदुओं के नेटवर्क होते हैं, जैसे सोशल नेटवर्क या रासायनिक संरचनाएं) बहुत जटिल और अव्यवस्थित होते हैं। हर किसी के लिए एक ही नोट, या यहाँ तक कि हर प्रकार की चीज़ के लिए एक नोट, पर्याप्त नहीं है।

उन्होंने SUPT का आविष्कार किया।

SUPT को एक स्मार्ट टूर गाइड की तरह समझें जो रोबोट के लिए काम करता है।
एक नोट रोबोट के माथे पर चिपकाने के बजाय, टूर गाइड पार्क में एक साथ खड़े दोस्तों के एक छोटे समूह (एक "सबग्राफ") को देखता है।

यदि वह समूह पिकनिक मना रहा एक परिवार है, तो गाइड फुसफुसाता है, "खाने पर ध्यान दो!"
यदि वह संगीत बजाने वाला एक बैंड है, तो गाइड फुसफुसाता है, "वाद्यों (instruments) को सुनो!"
यदि वह बस का इंतज़ार कर रहे अजनबियों का समूह है, तो गाइड फुसफुसाता है, "शेड्यूल चेक करो!"

गाइड केवल एक व्यक्ति को नहीं देखता; वह संकेत देने के लिए निर्णय लेने हेतु उस छोटे समूह के संदर्भ (context) को देखता है। यह रोबोट को स्थिति की बारीकियों (nuance) को बहुत बेहतर तरीके से समझने में सक्षम बनाता है।

यह कैसे काम करता है (जादुई ट्रिक)

इनपुट (The Input): रोबोट कनेक्शनों के एक जटिल जाल (ग्राफ) को देखता है।
समूहीकरण (The Grouping): SUPT एक छोटे, सरल सहायक का उपयोग करता है जो वेब को देखता है और कहता है, "हे, ये 5 बिंदु यहाँ एक टीम की तरह काम कर रहे हैं, और वे 3 बिंदु वहाँ एक अलग टीम की तरह हैं।"
प्रॉम्प्ट (The Prompt): यह प्रत्येक इन टीमों को एक विशिष्ट "संकेत" (एक गणितीय वेक्टर) आवंटित करता है।
परिणाम (The Result): रोबोट को ये संकेत उसके इनपुट में जोड़ दिए जाते हैं। यह ऐसा है जैसे रोबोट अचानक बिना दोबारा सीखे समूह के संदर्भ को "देख" पाता है।

यह एक बड़ी बात क्यों है?
पेपर दो मुख्य जीत का दावा करता है:

यह अत्यंत कुशल है: "टूर गाइड" (प्रॉम्प्ट) अविश्वसनीय रूप से छोटा है। यह पूरे रोबोट को फिर से प्रशिक्षित करने के लिए आवश्यक मेमोरी और कंप्यूटिंग पावर के 1% से भी कम का उपयोग करता है। यह एक व्याख्या (lecture) के बजाय एक फुसफुसाहट के साथ नया हुनर सिखाने जैसा है।
यह अत्यंत सटीक है: अपने परीक्षणों में, इस पद्धति ने बहुत अधिक डेटा होने पर पुराने "सब कुछ फिर से प्रशिक्षित करने" वाले तरीके को 45 में से 42 स्थितियों में और बहुत कम डेटा होने पर 45 में से 41 बार हराया।
- उपमा: कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। पुराना तरीका (Fine-Tuning) 10 घंटे पढ़ाई करने जैसा है। नया तरीका (SUPT) 10 मिनट पढ़ाई करने जैसा है लेकिन आप बेहतर ग्रेड प्राप्त करते हैं क्योंकि आपने प्रश्नों के संदर्भ को पूरी तरह से समझ लिया है।

टूर गाइड के दो संस्करण
पेपर इस टूर गाइड को चलाने के दो थोड़े अलग तरीके पेश करता है:

SUPTsoft: गाइड धीरे से सुझाव देता है कि व्यक्ति किस समूह का हिस्सा है। एक व्यक्ति 60% "पिकनिक टीम" और 40% "म्यूजिक टीम" हो सकता है। हर किसी को एक संकेत मिलता है, लेकिन संकेत की शक्ति भिन्न होती है।
SUPThard: गाइड सख्त है। "तुम निश्चित रूप से पिकनिक टीम में हो। तुम निश्चित रूप से म्यूजिक टीम में हो।" कुछ लोगों को कोई संकेत नहीं मिल सकता है यदि वे किसी विशिष्ट समूह में पूरी तरह फिट नहीं बैठते हैं। यह संस्करण गणना करने में थोड़ा तेज़ है लेकिन थोड़ा अधिक कठोर है।

निष्कर्ष
लेखकों का कहना है कि बड़े नेटवर्क के भीतर छोटे समूहों (सबग्राफ) को देखकर और उन्हें विशिष्ट, संदर्भ-जागरूक संकेत देकर, वे प्री-ट्रेंड ग्राफ मॉडल्स को बहुत बेहतर बना सकते हैं। उन्होंने यह विशाल मॉडल को फिर से प्रशिक्षित किए बिना किया, जिससे समय और संसाधनों की बचत हुई और बेहतर परिणाम मिले।

उन्होंने 9 विभिन्न डेटासेट्स (जैसे प्रोटीन कार्यों या रासायनिक गुणों की भविष्यवाणी करना) पर इसका परीक्षण किया और पाया कि यह "सबग्राफ-लेवल यूनिवर्सल प्रॉम्प्ट ट्यूनिंग" एक विजेता है, विशेष रूप से तब जब आपके पास बहुत अधिक डेटा न हो।

तकनीकी सारांश: सबग्राफ-स्तरीय यूनिवर्सल प्रॉम्प्ट ट्यूनिंग (SUPT)

समस्या विवरण

पूर्व-प्रशिक्षित ग्राफ न्यूरल नेटवर्क (GNNs) को डाउनस्ट्रीम कार्यों के लिए अनुकूलित करना महत्वपूर्ण चुनौतियों का सामना करता है। पारंपरिक "प्री-ट्रेन, फाइन-ट्यून" ढांचा अक्सर प्री-ट्रेनिंग उद्देश्यों (जैसे, एज प्रेडिक्शन) और डाउनस्ट्रीम कार्यों (जैसे, ग्राफ क्लासिफिकेशन) के बीच मिसअलाइनमेंट से ग्रस्त होता है, जिससे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) और सीमित सामान्यीकरण (generalization) होता है। इसके अलावा, फाइन-ट्यूनिंग के लिए बड़ी संख्या में पैरामीटर्स को अपडेट करने की आवश्यकता होती है, जो संसाधन-गहन है।

जबकि नेचुरल लैंग्वेज प्रोसेसिंग (NLP) और कंप्यूटर विजन में प्रॉम्प्ट ट्यूनिंग एक पैरामीटर-कुशल विकल्प के रूप में उभरी है, ग्राफ पर इसका अनुप्रयोग अभी भी कम खोजा गया है। मौजूदा ग्राफ प्रॉम्प्ट ट्यूनिंग विधियाँ, जैसे कि ग्राफ प्रॉम्प्ट फीचर (GPF) और इसका विस्तार GPF-plus, प्री-ट्रेनिंग रणनीतियों के बीच सार्वभौमिकता (universality) प्रदान करते हैं, लेकिन वे अपेक्षाकृत सरल प्रॉम्प्टिंग तंत्रों पर निर्भर करते हैं। GPF सभी नोड्स के लिए एक समान प्रॉम्प्ट लागू करता है, जबकि GPF-plus नोड प्रकारों के आधार पर नोड-विशिष्ट प्रॉम्प्ट असाइन करता है। लेखक तर्क देते हैं कि इन दृष्टिकोणों में ग्राफ संरचनाओं में निहित जटिल, सूक्ष्म संदर्भों को पूरी तरह से समझने की क्षमता का अभाव है, विशेष रूप से स्थानीय सबग्राफ के भीतर सूक्ष्म संबंधों को। एक ऐसी यूनिवर्सल प्रॉम्प्ट ट्यूनिंग विधि की आवश्यकता है जो पैरामीटर दक्षता या सार्वभौमिकता से समझौता किए बिना सबग्राफ-स्तरीय संदर्भ को कैप्चर कर सके।

कार्यप्रणाली: सबग्राफ-स्तरीय यूनिवर्सल प्रॉम्प्ट ट्यूनिंग (SUPT)

यह शोध पत्र SUPT पेश करता है, एक ऐसी विधि जो नोड स्तर या वैश्विक स्तर के बजाय सबग्राफ स्तर पर प्रॉम्प्ट फीचर्स असाइन करती है। SUPT ग्राफ के इनपुट फीचर स्पेस के भीतर कार्य करता है, जो फिक्स्ड प्री-ट्रेंड GNN द्वारा प्रोसेस होने से पहले नोड फीचर्स को संशोधित करता है।

मुख्य तंत्र

GPF-plus के विपरीत, जो केवल इनपुट नोड फीचर्स ( $x_i$ ) के आधार पर प्रॉम्प्ट वेट्स की गणना करता है, SUPT एक साधारण GNN (जैसे, GCN या SGC) से प्राप्त नोड्स के संदर्भगत सूचना (contextual information) के आधार पर प्रॉम्प्ट असाइनमेंट स्कोर की गणना करता है।

$i$ -वें नोड के लिए प्रॉम्प्ट फीचर $p_i$ को लर्नबल बेसिस वेक्टर्स ( $b_j$ ) के भारित योग (weighted sum) के रूप में निकाला जाता है:
$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$
यहाँ $\alpha$ को $m$ हॉप्स पर एक GNN एग्रीगेशन के माध्यम से प्राप्त किया जाता है:
$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$
यहाँ $W$ एक लर्नबल वेट मैट्रिक्स है, $k$ सबग्राफ (बेसिस वेक्टर्स) की संख्या है, और $\sigma$ एक नॉन-लीनियर ऑपरेशन है।

दो वेरिएंट्स

लेखक $\sigma$ की परिभाषा के आधार पर SUPT के दो वेरिएंट प्रस्तावित करते हैं:

SUPTsoft: क्लस्टर-आधारित ग्राफ पूलिंग (जैसे, DiffPool) से प्रेरित, यह वेरिएंट एक कॉलम-वाइज सॉफ्टमैक्स फंक्शन का उपयोग करता है। यह प्रत्येक नोड को अलग-अलग प्रभाव के साथ सभी $k$ बेसिस पर असाइन करता है (सॉफ्ट असाइनमेंट)। यह सुनिश्चित करता है कि प्रत्येक नोड को एक प्रॉम्प्ट मिले, लेकिन इसका परिमाण सीखे गए क्लस्टर असाइनमेंट पर निर्भर करता है।
SUPThard: नोड-सिलेक्शन ग्राफ पूलिंग से प्रेरित, यह वेरिएंट एक टॉप-रैंक सिलेक्शन मैकेनिज्म का उपयोग करता है। प्रत्येक बेसिस के लिए, केवल शीर्ष $\lceil rN \rceil$ नोड्स (जहाँ $r$ एक पूलिंग रेशियो है) को ही प्रॉम्प्ट प्राप्त करने के लिए चुना जाता है। जो नोड्स नहीं चुने जाते, वे बिना किसी प्रॉम्प्ट एडिशन के अपने मूल फीचर्स बनाए रखते हैं। यह विशिष्ट सबग्राफों को प्रॉम्प्ट का एक स्पार्स, हार्ड असाइनमेंट बनाता है।

सैद्धांतिक सार्वभौमिकता (Theoretical Universality)

शोध पत्र एक सैद्धांतिक विश्लेषण (थ्योरम 1) प्रदान करता है जो प्रदर्शित करता है कि SUPT सार्वभौमिकता बनाए रखता है। भले ही प्रॉम्प्ट पूरे ग्राफ के बजाय केवल नोड्स के एक उपसमुच्चय (सबग्राफ $S \subseteq V$ ) पर लागू किया जाता है, यह ढांचा सैद्धांतिक रूप से किसी भी मनमाने प्रॉम्प्टिंग फंक्शन के समान प्रदर्शन ऊपरी सीमा (performance upper bound) प्राप्त करने में सक्षम है। यह पुष्टि करता है कि सबग्राफ-स्तरीय प्रॉम्प्टिंग के लिए आवश्यक अभिव्यक्ति (expressiveness) को सीमित नहीं करती है।

मुख्य योगदान

सबग्राफ-स्तरीय सूक्ष्मता (Granularity): प्राथमिक योगदान नोड-स्तरीय या ग्लोबल प्रॉम्प्टिंग से सबग्राफ-स्तरीय प्रॉम्प्टिंग की ओर बदलाव है। यह मॉडल को उन जटिल संदर्भ संबंधी बारीकियों को कैप्चर करने की अनुमति देता है जिन्हें यूनिफॉर्म या टाइप-विशिष्ट प्रॉम्प्ट मिस कर देते हैं।
पैरामीटर दक्षता: SUPT को फुल फाइन-ट्यूनिंग की तुलना में काफी कम ट्यून करने योग्य पैरामीटर्स की आवश्यकता होती है (प्री-ट्रेंड मॉडल के पैरामीटर्स का 0.2% से भी कम), और यह GPF/GPF-plus के बराबर या उससे थोड़ा अधिक है, फिर भी यह बेहतर प्रदर्शन प्रदान करता है।
सार्वभौमिकता: विधि को प्री-ट्रेनिंग रणनीति (जैसे, Infomax, एट्रिब्यूट मास्किंग, कॉन्टेक्स्ट प्रेडिक्शन, ग्राफ कॉन्ट्रास्टिव लर्निंग, एज प्रेडिक्शन) के प्रति उदासीन (agnostic) बनाया गया है, जो विविध प्री-ट्रेनिंग उद्देश्यों केAcross प्रभावी ढंग से कार्य करती है।
सैद्धांतिक गारंटी: शोध पत्र एक सैद्धांतिक प्रमाण स्थापित करता है कि सबग्राफ-स्तरीय प्रॉम्प्टिंग सैद्धांतिक रूप से किसी भी प्रॉम्प्टिंग फंक्शन की नकल कर सकती है, जो इसके दृष्टिकोण की बहुमुखी प्रतिभा को प्रमाणित करती है।

प्रयोगात्मक परिणाम

लेखकों ने 9 डाउनस्ट्रीम डेटासेट्स (प्रोटीन फंक्शन प्रेडिक्शन और मॉलिक्यूलर प्रॉपर्टी प्रेडिक्शन सहित) और 5 प्री-ट्रेनिंग रणनीतियों में SUPT का मूल्यांकन किया, जिसमें कुल 45 प्रयोगात्मक सेटिंग्स शामिल थीं।

फुल-शॉट परिदृश्य (Full-Shot Scenarios):
- SUPT ने 45 में से 42 प्रयोगों में फुल फाइन-ट्यूनिंग (FT) को पछाड़ दिया।
- इसने FT की तुलना में औसतन 2.5% से अधिक प्रदर्शन सुधार हासिल किया।
- इसके विपरीत, GPF और GPF-plus केवल 45 में से 27 मामलों में FT से बेहतर रहे।
फ्यू-शॉट परिदृश्य (Few-Shot Scenarios - 50-shot):
- SUPT 45 में से 41 प्रयोगों में उत्कृष्ट रहा।
- इसने FT की तुलना में औसतन 6.6% से अधिक प्रदर्शन वृद्धि हासिल की।
- फ्यू-शॉट सेटिंग्स में प्रदर्शन लाभ फुल-शॉट सेटिंग्स की तुलना में उल्लेखनीय रूप से अधिक था, जो डेटा की कमी होने पर इसकी प्रभावकारिता को उजागर करता है।
दक्षता: हालांकि SUPThard में टॉप-रैंक सिलेक्शन ऑपरेशन्स के कारण थोड़ा अधिक कम्प्यूटेशनल खर्च होता है, लेकिन अतिरिक्त इन्फरेंस समय नगण्य है (उदाहरण के लिए, BBBP के लिए ~ $1.86 \times 10^{-4}$ सेकंड प्रति ग्राफ), जिससे यह व्यावहारिक रूप से व्यवहार्य हो जाता है।

महत्व और दावे

शोध पत्र का दावा है कि SUPT जटिल ग्राफ संदर्भों को कैप्चर करने में मौजूदा विधियों की सीमाओं को दूर करके ग्राफ प्रॉम्प्ट ट्यूनिंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। सबग्राफ-स्तरीय जानकारी का लाभ उठाकर, SUPT दक्षता (न्यूनतम पैरामीटर्स) और प्रभावशीलता (विविध कार्यों में स्टेट-ऑफ-द-आर्ट प्रदर्शन) के बीच संतुलन बनाता है।

लेखक इस बात पर जोर देते हैं कि जबकि सरल प्रॉम्प्ट्स (जैसे GPF) की सैद्धांतिक सार्वभौमिकता है, उनकी जटिल संदर्भों को समझने की व्यावहारिक क्षमता सीमित है। SUPT इस अंतर को भरने के लिए संदर्भ-जागरूक (context-aware) सबग्राफ असाइनमेंट पेश करता है, जिससे विभिन्न प्री-ट्रेनिंग रणनीतियों के लिए आवश्यक यूनिवर्सल एप्लिकेबिलिटी से समझौता नहीं होता है। अध्ययन बताता है कि SUPT प्री-ट्रेंड GNNs को अनुकूलित करने के लिए एक व्यवहार्य और कुशल विकल्प है, विशेष रूप से उन परिदृश्यों में जहाँ लेबल वाला डेटा कम है या फुल फाइन-ट्यूनिंग के लिए कम्प्यूटेशनल संसाधन सीमित हैं। यह कार्य इस व्यापक समझ में योगदान देता है कि ग्राफ डेटा की संरचनात्मक जटिलताओं के लिए प्रॉम्प्ट ट्यूनिंग को प्रभावी ढंग से कैसे अनुकूलित किया जा सकता है।