तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स के लिए प्रॉम्प्ट के रूप में क्वेरी-अवेयर लर्नबल ग्राफ पूलिंग टोकन्स

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेक्स्ट-एटट्रिब्यूटेड ग्राफ क्वेश्चन अनswering (Graph QA) कार्यों के लिए ग्राफ-संरचित डेटा को लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ एकीकृत करने की चुनौती को संबोधित करता है। जबकि LLMs में मजबूत तर्क क्षमताएं हैं, जटिल ग्राफ संरचनाओं को प्रभावी ढंग से शामिल करना कठिन बना हुआ है। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं, जिनमें से दोनों की महत्वपूर्ण सीमाएं हैं:

• नोड-लेवल प्रोजेक्शन (Node-Level Projection): यह विधि ग्राफ न्यूरल नेटवर्क (GNN) द्वारा उत्पन्न सभी नोड एम्बेडिंग्स को व्यक्तिगत टोकन के रूप में LLM को पास करती है। हालांकि यह सूक्ष्म संरचनात्मक जानकारी को संरक्षित करता है, लेकिन यह गंभीर स्केलेबिलिटी समस्याओं (scalability issues) से ग्रस्त है। जैसे-जैसे ग्राफ का आकार तेजी से बढ़ता है, प्रॉम्प्ट की लंबाई LLM की कॉन्टेक्स्ट विंडो सीमाओं को पार कर जाती है, या कम्प्यूटेशनल लागत अत्यधिक हो जाती है।
• ग्राफ-लेवल प्रोजेक्शन (Graph-Level Projection): यह विधि LLM को पास करने से पहले सभी नोड जानकारी को एक एकल वेक्टर (जैसे, मीन पूलिंग के माध्यम से) में संकुचित कर देती है। हालांकि यह स्केलेबिलिटी की समस्या को हल करता है, लेकिन यह अनिवार्य रूप से सूचना की हानि (information loss) का कारण बनता है, क्योंकि जटिल रिलेशनल संदर्भों को एक एकल प्रतिनिधित्व में समेट दिया जाता है, जिससे LLM के लिए विशिष्ट विवरणों तक पहुँचना कठिन हो जाता है।

इसके अलावा, मौजूदा तरीके अक्सर लेट क्वेरी फ्यूजन (Late Query Fusion) का उपयोग करते हैं, जहाँ क्वेरी और ग्राफ को स्वतंत्र रूप से एनकोड किया जाता है और ग्राफ का प्रतिनिधित्व पूरी तरह से निर्मित होने के बाद ही उन्हें संयोजित किया जाता है। यह दृष्टिकोण महत्वपूर्ण ग्राफ एनकोडिंग चरण के दौरान क्वेरी-विशिष्ट संदर्भ का प्रभावी ढंग से उपयोग करने में विफल हो सकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जिसे लर्नबल ग्राफ पूलिंग टोकन (LGPT) कहा जाता है, जो एक अर्ली क्वेरी फ्यूजन (Early Query Fusion) रणनीति के साथ एकीकृत है। यह विधि स्वयं LLM को फाइन-ट्यून किए बिना, ग्राफ एनकोडर और प्रॉम्प्ट जनरेशन को अनुकूलित करने पर केंद्रित है।

2.1 अर्ली क्वेरी फ्यूजन (Early Query Fusion)

ग्राफ और क्वेरी को अलग-अलग एनकोड करने के बजाय, प्रस्तावित विधि ग्राफ प्रतिनिधित्व बनाने से पहले क्वेरी संदर्भ को एकीकृत करती है।

• क्वेरी $q$ को एक टेक्स्ट एनकोडर का उपयोग करके ग्राफ एम्बेडिंग स्पेस में एक वर्चुअल क्वेरी नोड ($n_q$) के रूप में एम्बेड किया जाता है।
• यह वर्चुअल नोड ग्राफ के सभी नोड्स से जुड़ता है, जिससे क्वेरी-अवेयर नोड एम्बेडिंग्स उत्पन्न करने के लिए GNN ($GNN_{query}$) के माध्यम से मैसेज पासिंग संभव होती है।
• एक आगामी GNN ($GNN_{graph}$) इस संशोधित ग्राफ संरचना की रिलेशनल जानकारी को एनकोड करता है। यह सुनिश्चित करता है कि ग्राफ का प्रतिनिधित्व स्वाभाविक रूप से क्वेरी संदर्भ के प्रति जागरूक है, न कि केवल एक स्थिर संरचना।

2.2 लर्नबल ग्राफ पूलिंग टोकन्स (LGPT)

नोड-लेवल और ग्राफ-लेवल प्रोजेक्शन के बीच के अंतर को पाटने के लिए, लेखक $n$ लर्नबल पैरामीटर्स (टोकन्स) पेश करते हैं जो ग्राफ और LLM के बीच एक सेतु के रूप में कार्य करते हैं।

• तंत्र (Mechanism): ग्राफ को एक पूलिंग GNN ($GNN_{pool}$) द्वारा प्रोसेस किया जाता है जहाँ सभी मूल नोड्स $n$ लर्नबल टोकन्स से पूरी तरह से जुड़े होते हैं। मैसेज पासिंग के माध्यम से, ये टोकन्स ग्राफ से जानकारी एकत्र करते हैं।
• आउटपुट: एक एकल वेक्टर या $k$ नोड वेक्टर्स (जहाँ $k$ नोड्स की संख्या है) के बजाय, यह विधि $n$ टोकन्स ($\{g'_1, \dots, g'_n\}$) आउटपुट करती है।
• प्रोजेक्शन (Projection): इन टोकन्स को LLM के एम्बेडिंग डायमेंशन से मेल खाने के लिए एक प्रोजेक्शन लेयर (MLP) के माध्यम से पास किया जाता है, और फिर इन्हें टेक्स्टुअल ग्राफ प्रॉम्प्ट और क्वेरी एम्बेडिंग के साथ संयोजित (concatenate) किया जाता है।
• वैचारिक आधार (Conceptual Basis): यह दृष्टिकोण वैचारिक रूप से सॉफ्ट क्लस्टरिंग (जहाँ नोड्स कई क्लस्टर्स से संबंधित हो सकते हैं, जैसा कि पदानुक्रमित पूलिंग में होता है) और सेल्फ-अटेंशन मैकेनिज्म (ग्राफ ट्रांसफॉर्मर्स के समान) को जोड़ता है। कई टोकन्स का उपयोग करके, यह एक एकल वेक्टर के बजाय सूचना की हानि को कम करता है और एक निश्चित, प्रबंधनीय प्रॉम्प्ट लंबाई बनाए रखता है।

2.3 प्रशिक्षण उद्देश्य (Training Objective)

LLM और टेक्स्ट एम्बेडिंग लेयर को फ्रीज (frozen) रखा जाता है। प्रशिक्षण का उद्देश्य ग्राफ एनकोडर घटकों ($GNN_{query}$, $GNN_{graph}$, $GNN_{pool}$, LGPT, और प्रोजेक्शन लेयर) के लर्नबल पैरामीटर्स $\psi$ को अनुकूलित करना है ताकि अनुमानित उत्तर और ग्राउंड ट्रुथ के बीच क्रॉस-एन्ट्रॉपी लॉस (Cross-Entropy Loss) को कम किया जा सके।

3. मुख्य योगदान (Key Contributions)

शोध पत्र दो प्राथमिक योगदानों को रेखांकित करता है:

1. लर्नबल ग्राफ पूलिंग टोकन (LGPT): एक नवीन पूलिंग तंत्र जो ग्राफ की जानकारी को एक निश्चित संख्या में लर्नबल टोकन्स का उपयोग करके प्रदर्शित करता है। यह ग्राफ-लेवल प्रोजेक्शन की स्केलेबिलिटी और नोड-लेवल प्रोजेक्शन की सूचना समृद्धि के बीच संतुलन बनाता है।
2. अर्ली क्वेरी फ्यूजन: एक दृष्टिकोण जो ग्राफ एनकोडिंग से पहले ग्राफ एम्बेडिंग प्रक्रिया में क्वेरी संदर्भ को एकीकृत करता है। लेखक तर्क देते हैं कि यह उन लेट फ्यूजन विधियों की तुलना में अधिक प्रभावी है जहाँ क्वेरी और ग्राफ को पोस्ट-एनकोडिंग के बाद संयोजित किया जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन GraphQA बेंचमार्क पर किया गया, जिसमें तीन डेटासेट शामिल हैं: ExplaGraphs (कॉमन सेंस रीजनिंग), SceneGraphs (स्थानिक समझ), और WebQSP (नॉलेज ग्राफ QA)।

• LLM ट्रेनिंग के बिना प्रदर्शन: प्रस्तावित विधि ने सभी डेटासेट्स पर स्ट्रॉन्ग बेसलाइन G-Retriever (जो 1 टोकन के साथ ग्राफ-लेवल प्रोजेक्शन का उपयोग करता है) की तुलना में 4.13% औसत प्रदर्शन सुधार प्राप्त किया। विशेष रूप से, इसने ExplaGraphs पर 5.77%, SceneGraphs पर 3.92%, और WebQSP पर 2.38% का सुधार किया।
• एब्लेशन स्टडीज (Ablation Studies):
  • अर्ली क्वेरी फ्यूजन: बेसलाइन की तुलना में औसतन 2.88% का सुधार प्रदान किया।
  • LGPT: बेसलाइन की तुलना में औसतन 3.87% का सुधार प्रदान किया।
  • संयोजन (Combination): इन दोनों तकनीकों को एक साथ उपयोग करने से उच्चतम लाभ प्राप्त हुआ, जो उनकी पूरक प्रकृति की पुष्टि करता है।
• लेट फ्यूजन के साथ तुलना: अर्ली फ्यूजन बनाम लेट फ्यूजन (क्रॉस-मोडैलिटी पूलिंग का उपयोग करते हुए) की तुलना करने वाले प्रयोगों ने दिखाया कि अर्ली फ्यूजन ने लगातार लेट फ्यूजन से बेहतर प्रदर्शन किया। कुछ मामलों में, लेट फ्यूजन ने बिना फ्यूजन के प्रदर्शन की तुलना में वास्तव में प्रदर्शन को कम कर दिया, जिससे पता चलता है कि पूरी तरह से प्रोसेस्ड एम्बेडिंग्स को संयोजित करने से शोर (noise) उत्पन्न हो सकता है।
• टोकन काउंट विश्लेषण: लेखकों ने पाया कि 8 LGPTs का उपयोग करने से इष्टतम प्रदर्शन प्राप्त हुआ। संख्या बढ़ाकर 32 करने से परिणामों में सुधार नहीं हुआ और कुछ मामलों में ओवरफिटिंग या सूचना की अतिरेकता (redundancy) के कारण प्रदर्शन में गिरावट आई।
• LLM ट्रेनिंग (LoRA): जब LLM को भी लो-रैंक अडैप्टेशन (LoRA) का उपयोग करके प्रशिक्षित किया गया, तब भी प्रस्तावित विधि बेसलाइन्स से बेहतर रही, जिससे Lo-RA-प्रशिक्षित G-Retriever पर अतिरिक्त 11.48% का सुधार प्राप्त हुआ।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्रस्तावित दृष्टिकोण ग्राफ-ऑगमेंटेड LLMs में "सूचना बाधा" (information bottleneck) को प्रभावी ढंग से संबोधित करता है। लर्नबल टोकन्स पेश करके, यह विधि प्रत्येक नोड को प्रोसेस करने की कम्प्यूटेशनल निषेधों से बचती है और ग्राफ को एक एकल वेक्टर में संकुचित करने से जुड़ी सूचना की हानि को भी रोकती है।

लेखक जोर देते हैं कि उनका तरीका विशेष रूप से महत्वपूर्ण है क्योंकि यह बड़े भाषा मॉडल (LLM) को प्रशिक्षित करने की आवश्यकता के बिना ये लाभ प्राप्त करता है, जो जटिल टेक्स्ट-एटट्रिब्यूटेड ग्राफ डेटा को संभालने के लिए एक स्केलेबल और कुशल समाधान बनाता है। पाइपलाइन में शुरुआती चरण में क्वेरी संदर्भ का एकीकरण, विशिष्ट प्रश्न के लिए तैयार किए गए अधिक प्रभावी ग्राफ एम्बेडिंग्स उत्पन्न करने के लिए एक महत्वपूर्ण कारक के रूप में प्रस्तुत किया गया है।