🤖 machine learning

S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs

S2Aligner एक नवीन प्री-ट्रेनिंग फ्रेमवर्क है जो स्पार्स टेक्स्ट-अट्रिब्यूटेड ग्राफ्स के लिए, कमजोर टेक्स्टुअल साक्ष्यों के साथ संरेखण (alignment) को बढ़ाने के लिए सिमेंटिक और स्ट्रक्चरल मॉडलिंग को अलग करता है और क्रॉस-डोमेन ट्रांसफरैबिलिटी में सुधार के लिए स्पार्सिटी-अवेयर रिस्क बैलेंसिंग का उपयोग करता है।

मूल लेखक: Yuhan Wang, Haopeng Zhang, Yibo Ding, Jiaqi Yu, Xinyu Zhao, Yuhang Liu, Ziwei Zhang, Xiao Wang, Ruijie Wang

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuhan Wang, Haopeng Zhang, Yibo Ding, Jiaqi Yu, Xinyu Zhao, Yuhang Liu, Ziwei Zhang, Xiao Wang, Ruijie Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ S2Aligner पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक रोबोट को अधूरे लेबल वाले मानचित्र को पढ़ना सिखाना

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल शहर (एक Graph) को समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। इस शहर में, हर इमारत (एक Node) के बाहर एक साइन बोर्ड लगा है जो बताता है कि वह क्या है (वह Text है)।

आमतौर पर, रोबोट इमारत के आकार और स्थान (Structure) को दरवाजे पर लगे साइन बोर्ड (Text) के साथ मिलाकर सीखना सीखते हैं। यदि साइन कहता है "पुस्तकालय (Library)", तो रोबोट सीखता है कि अन्य पुस्तकालयों के पास वाली इमारतें भी पुस्तकालय होने की संभावना रखती हैं।

समस्या:
वास्तविक दुनिया में, कई इमारतों के साइन बोर्ड गायब, धुंधले या टूटे हुए होते हैं। कुछ साइन केवल एक शब्द के होते हैं; कुछ में बहुत अधिक शोर (noise) या गलत जानकारी होती है। इसे ही पेपर में "Sparse Text-Attributed Graph" कहा गया है।

जब साइन खराब होते हैं, तो रोबोट भ्रमित हो जाता है। वह इमारत के आकार को एक टूटे हुए साइन से मिलाने की कोशिश करता है, गलत सबक सीखता है, और जब वह एक नए शहर में जाने की कोशिश करता है जिसे उसने पहले नहीं देखा है, तो वह विफल हो जाता है। मौजूदा तरीके यह मान लेते हैं कि साइन हमेशा सटीक होते हैं, जो कि सच नहीं है।

समाधान: S2Aligner

लेखकों ने S2Aligner (Sparsity-aware and Structure-enhanced LLM-as-Aligner) नामक एक नया सिस्टम बनाया है। इसे एक ऐसे स्मार्ट शिक्षक के रूप में सोचें जो जानता है कि अधूरे टेक्स्टबुक के बावजूद कैसे सिखाना है।

यह कैसे काम करता है, इसे तीन सरल तरीकों में समझा जा सकता है:

1. "दो बैकपैक" की रणनीति (Decoupling)

कल्पना कीजिए कि रोबोट के पास दो बैकपैक हैं:

बैकपैक A (Semantics): इसमें टेक्स्ट से मिलने वाला स्पष्ट और विश्वसनीय अर्थ होता है (जैसे, "यह एक पुस्तकालय है")।
बैकपैक B (Structure): इसमें शहर का नक्शा होता है (जैसे, "यह इमारत एक स्कूल के बगल में है और एक पार्क के सामने है")।

पुराने तरीके सब कुछ एक ही बैग में मिलाने की कोशिश करते थे। यदि टेक्स्ट खराब था, तो वह पूरे नक्शे को खराब कर देता था। S2Aligner इन्हें अलग रखता है। यह मुख्य पाठ के लिए स्पष्ट टेक्स्ट का उपयोग करता है लेकिन नक्शे को अलग रखता है ताकि वह खराब टेक्स्ट से "दूषित" (contaminate) न हो।

2. "क्वालिटी कंट्रोल" गेट (Structure-Oriented Reconstruction)

कभी-कभी, जब साइन (टेक्स्ट) गायब होता है, तो नक्शा (स्ट्रक्चर) खाली जगहों को भरने में मदद कर सकता है। लेकिन क्या होगा अगर नक्शा भी भ्रमित करने वाला हो?

उपमा: कल्पना कीजिए कि रोबोट अपने पड़ोसियों को देखकर यह अनुमान लगाने की कोशिश करता है कि कोई इमारत क्या है। यदि पड़ोसी भी भ्रमित हैं, तो रोबूल को उनकी बात नहीं सुननी चाहिए।
समाधान: S2Aligner में एक "क्वालिटी कंट्रोल गेट" है। यह जाँचता है: "क्या नक्शे का विवरण वास्तव में इमारत के आकार से मेल खाता है?"
- यदि नक्शे का विवरण समझ में आता है, तो यह उस जानकारी को रोबोट के ज्ञान में धीरे से जोड़ देता है।
- यदि नक्शे का विवरण संदिग्ध या असंगत है, तो गेट बंद हो जाता है, और रोबोट उसे अनदेखा कर देता है। यह रोबोट को "शोर" (noise) से सीखने से रोकता है।

3. "फेयरनेस स्केल" (Cross-Domain Risk Balancing)

रोबोट को कई अलग-अलग शहरों (डोमेन) के डेटा पर प्रशिक्षित किया जाता है: एक शैक्षणिक शहर, एक शॉपिंग मॉल, और एक सोशल मीडिया टाउन।

समस्या: शॉपिंग मॉल में साइन बहुत स्पष्ट हैं। सोशल मीडिया टाउन में, साइन बहुत अस्त-व्यस्त हैं। यदि रोबोट बहुत अधिक अस्त-व्यस्त शहर का अध्ययन करता है, तो वह भ्रमित हो जाता है और स्पष्ट संकेतों को संभालना भूल जाता है।
समाधान: S2Aligner एक फेयरनेस स्केल (Fairness Scale) की तरह कार्य करता है। यह प्रत्येक शहर से मिलने वाले सबक को तौलता है।
- यह डेटा के बिखरे हुए, अविश्वसनीय हिस्सों (sparse samples) से मिलने वाले नमूनों को कम महत्व (weight) देता है।
- यह उन नमूनों को अधिक महत्व देता है जो सभी शहरों में विश्वसनीय और सामान्य हैं।
- यह सुनिश्चित करता है कि रोबोट शहर के सार्वभौमिक (universal) नियमों को सीखे, न कि केवल एक अव्यवस्थित इलाके की अजीबोगरीब बातों में उलझ जाए।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने वास्तविक दुनिया के डेटा (जैसे अकादमिक पेपर, उत्पाद कैटलॉग और सोशल नेटवर्क) पर इस सिस्टम का परीक्षण किया, जहाँ उन्होंने जानबूझकर 90% टेक्स्ट लेबल छिपा दिए (केवल 10% छोड़े)।

परिणाम: बहुत कम टेक्स्ट होने के बावजूद, S2Aligner ने पिछले तरीकों की तुलना में ग्राफ संरचना को बहुत बेहतर ढंग से समझना सीखा।
उपमा: यह एक ऐसे छात्र की तरह है जो कठिन परीक्षा में पास हो सकता है भले ही उसके पास केवल 10% टेक्स्टबुक हो, क्योंकि उसने फुटनोट्स और विषय-सूची (संरचना) को इतनी अच्छी तरह से पढ़ना सीख लिया है कि उसे मुख्य अध्यायों की आवश्यकता ही नहीं पड़ी।

सारांश

S2Aligner ग्राफ पर अधूरी जानकारी वाले डेटा पर AI को प्रशिक्षित करने का एक नया तरीका है। खराब टेक्स्ट पर भरोसा करने के बजाय, यह:

"क्या" (टेक्स्ट) को "कहाँ" (स्ट्रक्चर) से अलग करता है।
"कहाँ" का उपयोग केवल तभी करता है जब वह एक विश्वसनीय मिलान हो।
प्रशिक्षण को संतुलित करता है ताकि AI अव्यवस्थित डेटा से पक्षपाती न हो।

यह AI को एक "फाउंडेशन मॉडल" बनने की अनुमति देता है जो अपने ज्ञान को नए, अनदेखे ग्राफ्स पर स्थानांतरित कर सके, भले ही उन ग्राफ्स में बहुत कम टेक्स्ट उपलब्ध हो।

तकनीकी सारांश: S2Aligner

समस्या विवरण (Problem Statement)

यह शोध पत्र स्पार्स टेक्स्ट-एट्रिब्यूटेड ग्राफ्स (Sparse Text-Attributed Graphs - TAGs) पर हस्तांतरणीय (transferable) ग्राफ फाउंडेशन मॉडल्स (GFMs) को प्री-ट्रेन करने की चुनौती को संबोधित करता है। जबकि उभरता हुआ "LLM-as-Aligner" प्रतिमान (जैसे, GraphCLIP) बड़े भाषा मॉडलों (LLMs) का उपयोग करके ग्राफ और टेक्स्ट रिप्रजेंटेशन को संरेखित (align) करता है, यह एक महत्वपूर्ण धारणा पर निर्भर करता है: कि नोड टेक्स्ट, एलाइनमेंट के लिए पर्याप्त और विश्वसनीय पर्यवेक्षण (supervision) प्रदान करते हैं।

वास्तविक दुनिया के परिदृश्यों में, इस धारणा का अक्सर उल्लंघन होता है। टेक्स्टुअल एट्रिब्यूट्स गायब, शोरयुक्त (noisy), संक्षिप्त या विभिन्न डोमेन में असमान रूप से वितरित हो सकते हैं। जब टेक्स्टुअल एंकर्स स्पार्स (sparse) होते हैं, तो ग्राफ स्ट्रक्चर को कमजोर या अस्पष्ट सिमेंटिक संकेतों के साथ संरेखित करना पड़ता है। इससे दो प्राथमिक चुनौतियाँ उत्पन्न होती हैं:

अविश्वसनीय स्ट्रक्चर-सिमेंटिक्स एलाइनमेंट: समृद्ध ग्राफ स्ट्रक्चर शोरयुक्त या अपूर्ण टेक्स्ट के साथ गलत तरीके से संरेखित हो सकते हैं, जिससे मॉडल अनैतिक (unfaithful) पत्राचार सीख सकता है। सहज संरचनात्मक पूरकता (structural supplementation) सुधार करने के बजाय विसंगतियों को बढ़ा सकती है।
स्पार्सिटी-प्रेरित ट्रांसफर बायस (Sparsity-Induced Transfer Bias): टेक्स्ट की स्पार्सिटी विभिन्न डोमेन में असमान विश्वसनीयता पैदा करती है। मानक प्री-ट्रेनिंग घने एंकर्स वाले डोमेन पर ओवरफिट हो सकती है या शोरयुक्त डेटा से पक्षपाती सहसंबंध (biased correlations) सीख सकती है, जिसके परिणामस्वरूप अनदेखे स्पार्स TAGs के लिए खराब ज़ीरो-शॉट जनरलाइजेशन होता है।

कार्यप्रणाली (Methodology): S2Aligner

लेखक S2Aligner का प्रस्ताव करते हैं, जो एक स्पार्सिटी-अवेयर और स्ट्रक्चर-एनहैंस्ड LLM-as-Aligner फ्रेमवर्क है। इसका मूल दर्शन सिमेंटिक एलाइनमेंट को स्ट्रक्चरल मॉडलिंग से अलग करना (decouple) है, जिससे टोपोलॉजी-अवेयर सिग्नल साझा सिमेंटिक स्पेस को दूषित किए बिना एलाइनमेंट को बेहतर बना सकें। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

1. कंटेंट-स्ट्रक्चर फैक्टराइजेशन (Content-Structure Factorization)

मॉडल ग्राफ-टेक्स्ट रिप्रजेंटेशन को दो स्वतंत्र शाखाओं में विभाजित करता है:

सिमेंटिक एलाइनमेंट ब्रांच: यह केवल नियत (deterministic) कंटेंट जानकारी (नोड एट्रिब्यूट्स) पर निर्भर करती है ताकि स्थिर सिमेंटिक्स निकाले जा सकें, जिससे उच्च-अनिश्चितता वाले स्ट्रक्चरल टेक्स्ट के हस्तक्षेप से बचा जा सके।
स्ट्रक्चरल ब्रांच: इसे विश्वसनीय टोपोलॉजिकल जानकारी निकालने के लिए एक रिकंस्ट्रक्शन टास्क के माध्यम से स्वतंत्र और शुद्ध रखा जाता है।
प्रत्येक सैंपल के लिए, ग्राफ को एक कंटेंट एम्बेडिंग ( $z^c_g$ ) और एक स्ट्रक्चर एम्बेडिंग ( $z^s_g$ ) में एनकोड किया जाता है। इसी तरह, टेक्स्ट को कंटेंट ( $z^c_t$ ) और स्ट्रक्चर ( $z^s_t$ ) एम्बेडिंग्स में एनकोड किया जाता है। कंटेंट पेयर प्राथमिक एलाइनमेंट स्पेस बनाता है, जबकि स्ट्रक्चरल पेयर का उपयोग रिकंस्ट्रक्शन के लिए किया जाता है।

2. स्ट्रक्चर-ओरिएंटेड रिकंस्ट्रक्शन (Structure-Oriented Reconstruction)

उच्च-अनिश्चितता वाले स्ट्रक्चरल टेक्स्ट से शोर को फ़िल्टर करने के लिए, फ्रेमवर्क ग्राफ-साइड स्ट्रक्चरल एम्बेडिंग को टेक्स्ट-साइड स्ट्रक्चरल एम्बेडिंग को रिकंस्ट्रक्ट करने के लिए एक ग्रेडिएंट-डिटाच्ड टारगेट के रूप में उपयोग करता है।

रिकंस्ट्रक्शन लॉस (Reconstruction Loss): रिकंस्ट्रक्टेड स्ट्रक्चरल एम्बेडिंग और मूल ग्राफ स्ट्रक्चर के बीच के अंतर को कम करता है।
रिलायबिलिटी गेट (Reliability Gate): एक कंसिस्टेंसी कंट्रोल मैकेनिज्म ( $\kappa$ ) यह मापता है कि टेक्स्ट-आधारित स्ट्रक्चर ग्राफ टोपोलॉजी को कितनी अच्छी तरह रिकवर करता है। यदि स्ट्रक्चरल विवरण अविश्वसनीय है, तो गेट सिकुड़ जाता है, जिससे इंजेक्ट किए गए स्ट्रक्चरल सिग्नल को दबा दिया जाता है। यह सुनिश्चित करता है कि केवल रिकवरेबल और टोपोलॉजी-कंसिस्टेंट जानकारी ही टेक्स्ट एंकर को बेहतर बनाए।

3. स्पार्स-अवेयर क्रॉस-डोमेन रिस्क बैलेंसिंग (SCRB)

ट्रांसफर बायस को संबोधित करने के लिए, S2Aligner विभिन्न स्पार्सिटी स्तरों वाले कई सोर्स डोमेन में जोखिमों को संतुलित करने के लिए एक मैकेनिज्म पेश करता है।

शेयर्ड-सपोर्ट डेंसिटी रेशियो (Shared-Support Density Ratio): यह ग्लोबल डोमेन डेंसिटी और डोमेन-विशिष्ट डेंसिटी के अनुपात के आधार पर एक वेट (weight) की गणना करता है। यह उन सैंपल्स को अधिक वेट देता है जो क्रॉस-डोमेन शेयर्ड सपोर्ट में स्थित हैं और उन्हें कम वेट देता है जो डोमेन-विशिष्ट बायस द्वारा हावी हैं।
स्पार्स ग्राफ रिलायबिलिटी (Sparse Graph Reliability): प्रत्येक सैंपल के लिए तीन संकेतों के आधार पर एक रिलायबिलिटी स्कोर ( $\rho$ ) की गणना करता है: स्ट्रक्चरल स्टेबिलिटी (रैंडम वॉक एंट्रॉपी), टेक्स्टुअल कम्प्लीटनेस (ऑब्जर्व्ड एट्रिब्यूट्स का अनुपात), और स्ट्रक्चर-सिमेंटिक कंसिस्टेंसी।
एडाप्टिव वेटिंग (Adaptive Weighting): यह ट्रेनिंग के दौरान सैंपल्स को रीवेट करने के लिए डेंसिटी रेशियो और रिलायबिलिटी स्कोर को जोड़ता है।
रिस्क रेगुलराइजेशन (Risk Regularization): एक वेरिएंस-स्टाइल रेगुलराइज़र de weighted रिस्क के फैलाव को दंडित करता है, जिससे मॉडल को डोमेन-इनवेरिएंट ग्राफ-टेक्स्ट एलाइनमेंट सीखने के लिए प्रोत्साहित किया जाता है, न कि स्पार्स डोमेन-विशिष्ट शॉर्टकट।

मुख्य योगदान (Key Contributions)

फ्रेमवर्क प्रस्ताव: S2Aligner का परिचय, जो अनिश्चित टोपोलॉजिकल सिग्नल्स को सत्यापन योग्य स्ट्रक्चरल एनहैन्समेंट्स में बदल देता है और स्पार्सिटी-अवेयर रिस्क बैलेंसिंग को शामिल करता है।
मैकेनिज्म डिज़ाइन: एक स्पार्सिटी-अवेयर क्रॉस-डोमेन रिस्क बैलेंसिंग मैकेनिज्म का विकास जो ग्राफ रिलायबिलिटी इवैल्यूएशन के माध्यम से शोरयुक्त सैंपल्स को फ़िल्टर करता है और ग्लोबल-डोमेन डेंसिटी रेशियो के माध्यम से रिस्क को कैलिब्रेट करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो विविध ग्राफ डोमेन, स्पार्सिटी स्तरों और डाउनस्ट्रीम कार्यों में मौजूदा बेसलाइन्स (GraphCLIP, ADAligner और सेल्फ-सुपरवाइज्ड मेथड्स सहित) से लगातार बेहतर प्रदर्शन करते हुए S2Aligner को सिद्ध करते हैं। विशेष रूप से, केवल 10% टेक्स्ट एट्रिब्यूट्स के साथ प्रशिक्षित मॉडल पूर्ण एट्रिब्यूट्स के साथ प्रशिक्षित बेसलाइन्स से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अकादमिक, ई-कॉमर्स, सोशल और वेब डोमेन में 12 टेक्स्ट-एट्रिब्यूटेड ग्राफ डेटासेट्स (5 सोर्स, 7 टारगेट) पर S2Aligner का मूल्यांकन किया।

ज़ीरो-शॉट नोड क्लासिफिकेशन: 10% टेक्स्ट स्पार्सिटी के तहत, S2Aligner ने 59.88% की औसत सटीकता प्राप्त की, जो मजबूत बेसलाइन GraphCLIP (55.16%) और अन्य LLM-आधारित तरीकों से बेहतर है। इसने Cora, CiteSeer और Books-History जैसे डेटासेट्स पर महत्वपूर्ण लाभ दिखाया।
लिंक प्रेडिक्शन: S2Aligner ने Cora (91.06%), WikiCS (87.15%), और History (91.76%) पर सर्वश्रेष्ठ AUC स्कोर प्राप्त किया।
क्रॉस-मोडल रिट्रीवल: इस पद्धति ने टेक्स्ट-टू-नोड (T2N) रिट्रीवल में महत्वपूर्ण सुधार किया, और GraphCLIP के 38.85% की तुलना में 95.62% का मीन रेसिप्रोकल रैंक (MRR) प्राप्त किया।
रोबस्टनेस और दक्षता: मॉडल ने 1% टेक्स्ट स्पार्सिटी पर भी बेहतर प्रदर्शन बनाए रखा, जो 10% स्पारर्सिटी वाले GraphCLIP से बेहतर था। इसने प्रति एपोक कम कम्प्यूटेशनल ओवरहेड भी प्रदर्शित किया।
एब्लेशन स्टडीज (Ablation Studies): किसी भी प्रमुख घटक (स्ट्रक्चरल रिकंस्ट्रक्शन, रिस्क बैलेंसिंग, या समरी) को हटाने से प्रदर्शन में गिरावट आई, जो सभी मॉड्यूल्स की आवश्यकता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि S2Aligner उन वास्तविक दुनिया के परिदृश्यों में ट्रांसफ़रेबल ग्राफ फाउंडेशन मॉडल्स बनाने के लिए एक मजबूत समाधान प्रदान करता जहाँ टेक्स्टुअल सुपरविजन स्पार्स और अविश्वसनीय है। स्ट्रक्चरल और सिमेंटिक लर्निंग को अलग करके और स्पष्ट रूप से डोमेन रिस्क को संतुलित करके, यह फ्रेमवर्क उस "स्पार्सिटी-इंड्यूस्ड ट्रांसफर बायस" को कम करता है जो वर्तमान LLM-as-Aligner विधियों को प्रभावित करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मजबूत ज़ीरो-शॉट जनरलाइजेशन प्राप्त करने के लिए घने टेक्स्टुअल सुपरविजन पर निर्भर नहीं है। इसके बजाय, यह ग्राफ के स्ट्रक्चरल इंफॉर्मेशन का उपयोग टेक्स्ट की कमी की भरपाई करने के लिए करता है, बशर्ते कि स्ट्रक्चरल सिग्नल्स को विश्वसनीयता के लिए फ़िल्टर किया गया हो। सैद्धांतिक विश्लेषण इस दावे का समर्थन करता है कि प्रस्तावित रिस्क बैलेंसिंग ऑब्जेक्टिव डोमेन रिस्क डिस्क्रीपेंसी को नियंत्रित करके क्रॉस-डोमेन जनरलाइजेशन गैप को कम करता है।

यह कार्य सुझाव देता है कि स्पार्स TAGs के लिए, ट्रांसफ़रेबिलिटी केवल मोडैलिटीज को संरेखित करने में नहीं, बल्कि डोमेन के बीच एलाइनमेंट सिग्नल्स की विश्वसनीयता को कैलिब्रेट करने में निहित है। यह मॉडल को डोमेन-इनवेरिएंट फीचर्स सीखने की अनुमति देता है जो अनदेखे स्पार्स ग्राफ्स पर सामान्य होते हैं, जिससे यह साइटेशन नेटवर्क, ई-कॉमर्स और सोशल प्लेटफॉर्म के लिए उपयुक्त बनता है जहाँ डेटा की पूर्णता काफी भिन्न होती है।