RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval

यहाँ शोध पत्र "RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में वैज्ञानिक तर्क (Scientific reasoning) तीन महत्वपूर्ण चुनौतियों का सामना करता है जिन्हें वर्तमान विधियाँ एक साथ हल करने में संघर्ष करती हैं:

1. तर्क की जटिलता (Complexity of Reasoning): वैज्ञानिक समस्याओं के लिए अक्सर सिंगल-हॉप इन्फरेंस के बजाय लंबी-श्रृंखला वाले, बहु-चरणीय तर्क (multi-step reasoning) की आवश्यकता होती है।
2. डोमेन विशिष्टता (Domain Specificity): समाधानों के लिए विशिष्ट शब्दावली और अवधारणाओं (जैसे, विशिष्ट रासायनिक तंत्र या जैविक पथ) के सटीक ज्ञान की आवश्यकता होती है।
3. ज्ञान की नवीनता (Knowledge Currency): वैज्ञानिक निष्कर्ष तेजी से विकसित होते हैं, और LLMs में स्थिर पैरामीट्रिक ज्ञान अक्सर पुराना हो जाता है।

चेन-ऑफ-थॉट (CoT) जैसी मौजूदा विधियाँ पूरी तरह से आंतरिक पैरामीट्रिक ज्ञान पर निर्भर करती हैं, जिससे मतिभ्रम (hallucinations) या पुराने तथ्यों की समस्या होती है। रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) मदद तो करता है लेकिन यह "इन-द-वाइल्ड" सेटिंग्स (जैसे, सामान्य विकिपीडिया) में विफल हो जाता है क्योंकि मानक रिट्रीवल विधियाँ तार्किक प्रासंगिकता (logical relevance) के बजाय डोमेन समानता (domain similarity) (कीवर्ड्स) को प्राथमिकता देती हैं। फलस्वरूप, रिट्रीव किए गए दस्तावेज़ विषयगत रूप से संबंधित तो हो सकते हैं, लेकिन वे मध्यवर्ती तर्क चरणों को हल करने के लिए आवश्यक विशिष्ट तार्किक संबंधों को प्रदान करने में विफल रहते हैं। इसके अलावा, अनुकूलित रिट्रीवल के बिना नाइव डीकंपोजिशन रणनीतियाँ, विशेष रूप से छोटे मॉडल्स के प्रदर्शन को कम कर सकती हैं।

2. कार्यप्रणाली: RAISE फ्रेमवर्क (Methodology: RAISE Framework)

लेखक RAISE (Step-by-Step Retrieval-Augmented Inference for Scientific rEasoning) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे तर्क श्रृंखला (reasoning chain) के प्रत्येक चरण के लिए तार्किक रूप से प्रासंगिक दस्तावेज़ों को खोजने के लिए डिज़ाइन किया गया है। यह प्रक्रिया तीन विशिष्ट चरणों से मिलकर बनी है:

चरण 1: समस्या का विघटन (Problem Decomposition)

• मूल जटिल प्रश्न ($x$) को उप-प्रश्नों ($r_1, \dots, r_n$) के एक अनुक्रम में विभाजित किया जाता है।
• प्रत्येक उप-प्रश्न के लिए, एक प्रारंभिक खोज क्वेरी ($q_i$) उत्पन्न की जाती है।
• एकल रिट्रीवल के लिए मूल प्रश्न का उपयोग करने वाले मानक दृष्टिकोणों के विपरीत, यह चरण चरण-वार रिट्रीवल को निर्देशित करने के लिए एक संरचित उप-प्रश्न-क्वेरी युग्म $\{(r_i, q_i)\}$ बनाता है।

चरण 2: तार्किक क्वेरी जनरेशन (Logical Query Generation)

• यही मुख्य नवाचार है। प्रारंभिक क्वेरी $q_i$ में अक्सर पर्याप्त तर्क संदर्भ (reasoning context) की कमी होती है, जबकि उप-प्रश्न $r_i$ बहुत अधिक विशिष्ट या शोर (noisy) वाला हो सकता है।
• RAISE उप-प्रश्न ($r_i$) और प्रारंभिक क्वेरी ($q_i$) को संयुक्त रूप से प्रोसेस करके एक तार्किक क्वेरी (Logical Query) ($q^*_i$) उत्पन्न करता है।
• लक्ष्य: पुनर्गठित क्वेरी $q^*_i$ को इस तरह डिज़ाइन किया गया है कि वह केवल सतही कीवर्ड्स के बजाय उप-प्रश्न को हल करने के लिए आवश्यक तर्क के इरादे (reasoning intent) और अंतर्निहित वैज्ञानिक सिद्धांतों को कैप्चर कर सके। यह सुनिश्चित करता है कि रिट्रीवल सिस्टम उन दस्तावेज़ों को लक्षित करे जो केवल परिभाषाओं के बजाय तंत्र (mechanisms) और तर्क (logic) की व्याख्या करते हैं।

चरण 3: तार्किक रिट्रीवल (Logical Retrieval)

• तार्किक क्वेरी $q^*_i$ का उपयोग एक इन-द-वाइल्ड कॉर्पस (जैसे, विकिपीडिया) से दस्तावेज़ों को खोजने के लिए किया जाता है, न कि किसी क्यूरेटेड, कार्य-विशिष्ट डेटासेट से।
• विषयगत रूप से संबंधित लेकिन तार्किक रूप से अप्रासंगिक दस्तावेज़ों को बाहर करने के लिए एक समानता थ्रेशोल्ड ($T$) लागू किया जाता है।
• रिट्रीव किए गए दस्तावेज़ों ($D_i$) का उपयोग फिर LLM द्वारा मूल प्रश्न और पिछले चरणों की स्थिति (condition) के आधार पर विशिष्ट उप-प्रश्न ($a_i$) के उत्तर को उत्पन्न करने के लिए किया जाता है।
• अंत में, अंतिम उत्तर ($y$) बनाने के लिए सभी उप-उत्तरों को संश्लेषित (synthesize) किया जाता है।

3. प्रमुख योगदान (Key Contributions)

1. नया फ्रेमवर्क: RAISE का परिचय, जो विशेष रूप से ओपन-डोमेन सेटिंग्स में बहु-चरणीय वैज्ञानिक तर्क के लिए तार्किक क्वेरी जनरेशन को मानक रिट्रीवल से अलग करने वाला पहला फ्रेमवर्क है।
2. डोमेन से तर्क की ओर बदलाव: यह प्रदर्शित करता है कि वैज्ञानिक तर्क के लिए, केवल डोमेन-समान (कीवर्ड साझा करने वाले) दस्तावेज़ों के बजाय तार्किक रूप से प्रासंगिक (तर्क श्रृंखला का समर्थन करने वाले) दस्तावेज़ों को खोजना अधिक महत्वपूर्ण है।
3. इन-द-वाइल्ड प्रयोज्यता: यह सिद्ध करता है कि यदि रिट्रीवल रणनीति तर्क चरणों के साथ संरेखित है, तो सामान्य, अनक्यूरेटेड कॉर्पेटा (जैसे विकिपीडिया) का उपयोग करके जटिल वैज्ञानिक तर्क प्राप्त किया जा सकता है, जिससे महंगे, डोमेन-विशिष्ट डेटासेट पर निर्भरता समाप्त हो जाती है।
4. व्यापक मूल्यांकन: तीन प्रमुख बेंचमार्क (GPQA, SuperGPQA, MMLU) पर व्यापक प्रयोग जो विभिन्न मॉडल आकारों (8B से 24B पैरामीटर्स तक) और कठिनाई स्तरों में RAISE को बेसलाइन से बेहतर प्रदर्शन करते हुए दिखाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने GPQA (स्नातक स्तर का विज्ञान), SuperGPQA (285 स्नातक विषय), और MMLU (STEM और प्रोफेशनल श्रेणियाँ) पर RAISE का मूल्यांकन किया।

• प्रदर्शन लाभ: RAISE ने सभी बेसलाइन्स को लगातार पीछे छोड़ दिया, जिसमें डायरेक्ट CoT, CoT+RAG, और डीकंपोज्ड रीजनिंग विधियाँ (Least-to-Most, Step-Back, HyDE) शामिल हैं।
  • GPQA पर, RAISE ने 51.01% प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन (HyDE @ 46.46%) से 9.8% का पूर्ण सुधार (absolute improvement) है।
  • SuperGPQA पर, इसने "science-hard" सबसेट पर 10.05% प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन से 33.3% का सापेक्ष सुधार (relative improvement) है।
  • MMLU पर, इसने 51.00% प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन से 3.0% बेहतर है।
• एब्लेशन स्टडीज (Ablation Studies):
  • प्रॉब्लम डीकंपोजिशन चरण को हटाने से (RAISE-Direct) प्रदर्शन कम हुआ, जो पुष्टि करता है कि रिट्रीवल को निर्देशित करने के लिए समस्याओं को तोड़ना आवश्यक है।
  • लॉजिकल क्वेरी जनरेशन को मुख्य विभेदक के रूप में पहचाना गया। Step-Back+RAG और HyDE (जो क्वेरी को भी पुनर्गठित करते हैं) जैसे बेसलाइन खराब प्रदर्शन करते हैं, जो दर्शाता है कि RAISE का विशिष्ट विधि-आधारित तर्क-समृद्ध क्वेरी जनरेशन श्रेष्ठ है।
• रिट्रीवल गुणवत्ता विश्लेषण:
  • LLM-as-a-judge और मानव मूल्यांकन का उपयोग करते हुए, लेखकों ने पाया कि RAISE ने अन्य RAG बेसलाइन्स की तुलना में काफी कम "सतही रूप से प्रासंगिक" दस्तावेज़ और अधिक "पूर्ण रूप से तार्किक रूप से प्रासंगिक" दस्तावेज़ रिट्रीव किए।
  • बेसलाइन अक्सर सही शब्दावली वाले दस्तावेज़ तो रिट्रीव करते थे, लेकिन उनमें उस कारण संबंधी तर्क (causal logic) की कमी थी जो विशिष्ट चरण के लिए आवश्यक था।

5. महत्व और प्रभाव (Significance and Impact)

• अंतराल को पाटना: RAISE उस अंतर को संबोधित करता है जो गहरे, बहु-चरणीय तर्क की आवश्यकता और वर्तमान रिट्रीवल सिस्टम की सीमाओं (जो कीवर्ड मिलान पर निर्भर हैं) के बीच है।
• स्केलेबिलिटी: यह विधि विभिन्न आकार के मॉडल्स (8B से 24B+) में प्रभावी है, जो यह सुझाव देती है कि यह एक मजबूत आर्किटेक्चरल सुधार है न कि केवल एक मॉडल-विशिष्ट ट्रिक।
• सामान्यीकरण (Generalizability): हालांकि यह विज्ञान पर केंद्रित है, लेखक तर्क देते कि "स्टेप-वाइज लॉजिकल रिट्रीवल" का प्रतिमान गणित और कानूनी तर्क जैसे अन्य डोमेन में भी लागू किया जा सकता है जिनमें सटीक निष्कर्ष की आवश्यकता होती है।
• व्यावहारिकता: "इन-द-वाइल्ड" कॉर्पेटा का उपयोग करके, RAISE विशेष, डोमेन-विशिष्ट ज्ञान आधारों को क्यूरेट करने की आवश्यकता के बिना वैज्ञानिक तर्क के लिए एक लागत प्रभावी समाधान प्रदान करता है।

निष्कर्षतः, RAISE यह प्रदर्शित करता है कि LLMs में वैज्ञानिक तर्क को बढ़ाने की कुंजी केवल अधिक जानकारी खोजने में नहीं है, बल्कि सही प्रकार की जानकारी खोजने में है—विशेष रूप से वे दस्तावेज़ जो जटिल, बहु-चरणीय समस्याओं को हल करने के लिए आवश्यक तार्किक ढांचा (logical scaffolding) प्रदान करते हैं।