तकनीकी सारांश: नॉलेज ग्राफ ग्राउंडिंग के माध्यम से स्मॉल लैंग्वेज मॉडल्स (SLMs) की तर्क क्षमता को बढ़ाना

समस्या विवरण (Problem Statement)

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने ज़ीरो-शॉट रीजनिंग के बेंचमार्क स्थापित किए हैं, उनका परिनियोजन (deployment) अक्सर अत्यधिक खर्चीला और पर्यावरणीय रूप से हानिकारक होता है। स्मॉल लैंग्वेज मॉडल्स (SLMs) एक टिकाऊ विकल्प प्रदान करते हैं, लेकिन वे जटिल, मल्टी-हॉप रिलेशनल रीजनिंग कार्यों (जैसे कि नैरेटिव टेक्स्ट से वंशावली संबंधों का अनुमान लगाना, उदा. CLUTRR बेंचमार्क) में काफी संघर्ष करते हैं। इस डोमेन में SLMs की प्राथमिक सीमाएँ हैं:

• क्रमिक निगनात्मक भंगुरता (Sequential Deductive Fragility): जैसे-जैसे तर्क की गहराई बढ़ती है, प्रारंभिक तथ्य निष्कर्षण (fact extraction) में छोटी त्रुटियाँ गलत आधार (false premises) के रूप में कार्य करती हैं, जो श्रृंखला के माध्यम से बढ़ती जाती हैं और विनाशकारी तार्किक विफलताओं का कारण बनती हैं।
• प्रतीकात्मक अवस्था रखरखाव (Symbolic State Maintenance): SLMs अक्सर लंबे संदर्भों (contexts) में एक सुसंगत प्रतीकात्मक अवस्था बनाए रखने में विफल रहते हैं, जिससे "भ्रमित" (hallucinated) संबंध उत्पन्न होते हैं।
• "लॉस्ट-इन-द-मिडल" घटना (The "Lost-in-the-Middle" Phenomenon): SLMs ज़ीरो-शॉट सेटिंग्स में तार्किक श्रृंखला बनाने में संघर्ष करते हैं, विशेष रूप से 4 बिलियन पैरामीटर्स से कम वाले संकुचित आर्किटेक्चर के मामले में।

कार्यप्रणाली (Methodology)

लेखक एक न्यूरो-सिंबोलिक एजेंटिक फ्रेमवर्क का प्रस्ताव करते हैं जो SLM को एक स्टैंडअलोन रीज़नर से एक मिनिमलिस्ट एजेंट में बदल देता है। यह दृष्टिकोण दो विशिष्ट टूल कॉल्स का उपयोग करके टेक्स्ट समझ को रिलेशनल लॉजिक से अलग करता है:

1. extract_facts (प्रतीकात्मक निष्कर्षण): SLM नैरेटिव स्टोरी को पार्स करके वंशावली ट्रिपलेट्स $(u, rel, v)$ निकालता है। डेटासेट के लॉजिकल स्कीमा के साथ संरेखित होने के लिए, सिस्टम एक रिवर्स एज डायरेक्शन अपनाता है जहाँ ट्रिपलेट लक्षित नोड के परिप्रेक्ष्य से संबंध का प्रतिनिधित्व करता है (उदाहरण के लिए, पिता से पुत्री की ओर एक एज को "पुत्री" लेबल किया जाता है)। आउटपुट एक संरचित नॉलेज ग्राफ (KG) है।
2. get_hint (न्यूरल एक्सपर्ट रीजनिंग): एक प्री-ट्रेन्ड रिलेशनल ग्राफ कन्वोल्यूशनल नेटवर्क (RGCN) द्वारा जनरेट किए गए KG को प्रोसेस किया जाता है। RGCN एक विशेषज्ञ के रूप में कार्य करता है, जो सबसे संभावित वंशावली संबंध और एक कॉन्फिडेंस स्कोर लौटाता है। यह "हिंट" अंतिम निष्कर्ष में सहायता के लिए वापस SLM के कॉन्टेक्स्ट में इंजेक्ट किया जाता है।

प्रायोगिक कॉन्फ़िगरेशन:
अध्ययन Gemma 3 (1B, 4B) और Llama 3.2 (3B) मॉडल्स का उपयोग करके दो परिदृश्यों में इस फ्रेमवर्क का मूल्यांकन करता है:

• ओरेकल परिदृश्य (Oracle Scenario): सिस्टम को थ्योरिटिकल अपर बाउंड स्थापित करने के लिए ग्राउंड-ट्रुथ ट्रिपलेट्स और हिंट्स प्रदान किए जाते हैं।
• यथार्थवादी परिदृश्य (Realistic Scenario): SLM को ज़ीरो-शॉट प्रॉम्प्टिंग के माध्यम से अपने स्वयं के तथ्य निकालने होते हैं, जिससे निष्कर्षण शोर (extraction noise) उत्पन्न होता है (भ्रमित या छूटे हुए संबंध)।

निष्कर्षण शोर को कम करने के लिए, फ्रेमवर्क द्विदिश सूचना प्रवाह (bidirectional information flow) सुनिश्चित करने के लिए पोस्ट-हॉक इन्वर्स ट्रिपलेट्स को शामिल करता है। RGCN को 2–4 हॉप्स की रीजनिंग चेन्स पर प्रशिक्षित किया गया है और व्यवस्थित सामान्यीकरण (systematic generalization) का परीक्षण करने के लिए 10 हॉप्स तक के टेस्ट सेट्स पर मूल्यांकन किया गया है।

मुख्य योगदान (Key Contributions)

1. ज़ीरो-शॉट रिलेशनल लर्निंग के लिए फ्रेमवर्क: लेखक एक न्यूरो-सिंबोलिक फ्रेमवर्क पेश करते हैं जो SLM के प्रदर्शन को बढ़ाता है। यथार्थवादी सेटिंग्स में जहाँ SLM अपने स्वयं के तथ्य निकालता है, यह विधि स्टोरी-ओनली बेसलाइन्स की तुलना में 1.5 से 2 गुना प्रदर्शन लाभ प्रदान करती है।
2. तुलनात्मक आर्किटेक्चर विश्लेषण: विभिन्न ओपन-सोर्स मॉडल्स (Gemma 3 1B/4B, Llama 3.2 3B) के माध्यम से एक अध्ययन यह प्रकट करता है कि मॉडल का आकार और आर्किटेक्चर प्रतीकात्मक निष्कर्षण की गुणवत्ता और शोर के प्रति लचीलेपन को कैसे प्रभावित करते हैं।
3. विफलता मोड की पहचान: ओरकल कॉन्फ़िगरेशन के विरुद्ध रियलिस्टिक पाइपलाइन्स की तुलना करने वाला एक विस्तृत विश्लेषण विशिष्ट विफलता मोड को अलग करता है, जिसमें "एक्सट्रैक्शन बॉटलनेक" और एक "डिस्ट्रैक्शन इफेक्ट" शामिल है, जहाँ शोर वाले स्व-जनित तथ्य विशेषज्ञ हिंट्स की उपस्थिति के बावजूद प्रदर्शन को खराब कर देते हैं।

परिणाम (Results)

• ओरेकल प्रदर्शन: जब ग्राउंड-ट्रुथ हिंट्स दिए जाते हैं, तो SLMs महत्वपूर्ण सुधार दिखाते हैं। उदाहरण के लिए, Llama 3.2 3B की सटीकता 16.13% (केवल स्टोरी) से बढ़कर 62.79% (स्टोरी + ओरकल हिंट) हो जाती है, जो यह सुझाव देती है कि प्राथमिक बाधा भाषाई समझ नहीं बल्कि प्रतीकात्मक अवस्था का रखरखाव है।
• यथार्थवादी प्रदर्शन और एक्सट्रैक्शन बॉटलनेक: यथार्थवादी परिदृश्य में, RGCN की सटीकता ओरकल फैक्ट्स पर 60.69% से गिरकर SLM-एक्सट्रैक्टेड फैक्ट्स पर 24.88% हो जाती है। यह पुष्टि करता है कि प्रारंभिक निष्कर्षण चरण में एक एकल त्रुटि ज्ञान ग्राफ को GNN सॉल्वर के लिए तार्किक रूप से अप्राप्य बना देती है।
• "डिस्ट्रैक्शन इफेक्ट": अध्ययन एक विरोधाभासी घटना की पहचान करता है जहाँ शोर वाले SLM-एक्सट्रैक्टेड फैक्ट्स और विशेषज्ञ हिंट्स दोनों को प्रदान करने से प्रदर्शन घट सकता है। Gemma 4B के लिए, केवल GNN हिंट (19.75%) वाला कॉन्फ़िगरेशन, SLM फैक्ट्स और हिंट दोनों (14.98%) वाले कॉन्फ़िगरेशन से बेहतर था। यह सुझाव देता है कि शोर वाले ट्रिपलेट्स "लॉजिकल एंकर्स" के रूप में कार्य करते हैं जो SLM को गुमराह करते हैं। Llama 3.2 3B ने इस प्रभाव के प्रति अधिक लचीलापन दिखाया।
• आर्किटेक्चरल अंतर: जैसे-जैसे रीजनिंग की गहराई 10 हॉप्स की ओर बढ़ती है, Llama-आधारित मॉडल्स ने बेहतर मजबूती प्रदर्शित की, जबकि Gemma वेरिएंट्स ने 4-हॉप थ्रेशोल्ड के बाद तत्काल प्रदर्शन गिरावट दिखाई, जो संभवतः "लॉस्ट-इन-द-मिडल" घटना के प्रति संवेदनशीलता के कारण है।

महत्व और दावे (Significance and Claims)

यह पेपर लो-रिसोर्स एजेंटिक सिस्टम में सिंबोलिक ग्राउंडिंग की चुनौतियों का वर्णन करता है। इसका प्राथमिक दावा यह है कि हालांकि SLMs में उच्च-गुणवत्ता वाले प्रतीकात्मक संरचनाओं द्वारा निर्देशित होने पर जटिल रिलेशनल रीजनिंग की अंतर्निहित क्षमता होती है, लेकिन उनकी उपयोगिता वर्तमान में निष्कर्षण चरण की गुणवत्ता द्वारा सीमित है।

लेखक निष्कर्ष निकालते हैं कि बॉटलनेक GNN एक्सपर्ट की रीजनिंग क्षमता नहीं है, बल्कि SLM के प्रारंभिक तथ्य निष्कर्षण द्वारा उत्पन्न क्रमिक निगनात्मक भंगुरता है। वे तर्क देते हैं कि न्यूरो-सिंबोलिक पाइपलाइन्स को ओपन-डोमेन वातावरण में विश्वसनीय होने के लिए, भविष्य के कार्यों को केवल विशेषज्ञ मॉड्यूल की रीजनिंग क्षमताओं पर भरोसा करने के बजाय, निष्कर्षण भ्रम (extraction hallucinations) को छाँटने के लिए पुनरावृत्ति सत्यापन (iterative verification) और प्रतीकात्मक परिशोधन (symbolic refinement) पर ध्यान केंद्रित करना चाहिए।