RECIPER: A Dual-View Retrieval Pipeline for Procedure-Oriented Materials Question Answering

यहाँ शोध पत्र "RECIPER: A DUAL-VIEW RETRIEVAL PIPELINE FOR PROCEDURE-ORIENTED MATERIALS QUESTION ANSWERING" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सामग्री विज्ञान (materials science) के साहित्य से प्रक्रिया-उन्मुख साक्ष्य (procedure-oriented evidence) को खोजना रिट्रिवल-ऑगमेंटेड जनरेशन (RAG) प्रणालियों के लिए एक बड़ी चुनौती है। मुख्य कठिनाइयाँ निम्नलिखित हैं:

• बिखरी हुई जानकारी (Scattered Information): संश्लेषण (synthesis) के प्रमुख विवरण (चरण, सामग्रियाँ, स्थितियाँ) अक्सर संरचित अनुभागों में अलग होने के बजाय लंबे, संदर्भ-प्रधान अनुच्छेदों में बिखरे होते हैं।
• सघन रिट्रिवल (Dense Retrieval) की सीमाएँ: मानक डेंस रिट्रिवल (पैराग्राफ-स्तर) अक्सर सूक्ष्म प्रक्रियात्मक तर्क (fine-grained procedural logic) को पकड़ने में विफल रहता है, जिससे ऐसे असंरचित टेक्स्ट चंक्स वापस मिलते हैं जहाँ विशिष्ट चरणों को पहचानना कठिन हो जाता है।
• विखंडन (Fragmentation): चंक-स्तरीय रिट्रिवल परस्पर निर्भर प्रक्रियात्मक अनुभागों के बीच तार्किक संबंधों को तोड़ देता है।
• LLM मतिभ्रम (LLM Hallucinations): सटीक रिट्रिवल के बिना, बड़े भाषा मॉडल (LLMs) अपने स्थिर प्रशिक्षण डेटा की सीमाओं के कारण वैज्ञानिक प्रक्रियाओं के बारे में मतिभ्रम (hallucinate) कर सकते हैं।

विशेषज्ञ पूर्व ज्ञान (expert priors) या संरचित निरूपणों का उपयोग करने वाले मौजूदा दृष्टिकोण यह पूरी तरह से स्थापित नहीं कर पाए हैं कि क्या संक्षिप्त प्रक्रियात्मक अमूर्त (compact procedural abstractions) मानक टेक्स्ट के साथ एक सहायक रिट्रिवल व्यू के रूप में प्रभावी हो सकते हैं।

2. कार्यप्रणाली: RECIPER फ्रेमवर्क (Methodology: The RECIPER Framework)

RECIPER एक दोहरी-दृश्य रिट्रिवल पाइपलाइन (dual-view retrieval pipeline) प्रस्तावित करता है जो प्रक्रियात्मक ज्ञान को मानक प्रासंगिक साक्ष्य के पूरक संकेत के रूप में मानता है। यह फ्रेमवर्क चार चरणों से बना है:

A. प्रक्रिया-केंद्रित ज्ञान निष्कर्षण (Procedure-Centric Knowledge Extraction)

• लक्ष्य: बिखरे हुए संश्लेषण वर्कफ़्लो को रिट्रिवल के अनुकूल प्रारूप में बदलना।
• प्रक्रिया: एक निर्देश-अनुसरण करने वाला LLM (DeepSeek-R1-Distill-Qwen-32B) वैज्ञानिक पत्रों के पूर्ण पाठ को संसाधित करता है ताकि संक्षिप्त प्रक्रियात्मक सारांश (जिन्हें "रेसिपी" कहा जाता है) तैयार किए जा सकें।
• प्रारूप: ये सारांश चरण-उन्मुख विवरण हैं जो सामग्रियाँ, संचालन और स्थितियों को कवर करते हैं, जो मुख्य संकेतों को संरक्षित करते हुए लंबे प्रारूप वाली कार्यप्रणाली को संकुचित करते हैं।
• निरूपण: सिस्टम प्रत्येक पेपर के लिए दो दृश्य (views) बनाए रखता है:
  1. पैराग्राफ व्यू ($P$): व्यापक संदर्भ को संरक्षित करने वाले मानक टेक्स्ट चंक्स।
  2. रेसिपी व्यू ($R$): संक्षिप्त, LLM-निष्तित प्रक्रियात्मक सारांश।

B. दोहरी-दृश्य उम्मीदवार रिट्रिवल (Dual-View Candidate Retrieval)

• स्वतंत्र रिट्रिवल: एक उपयोगकर्ता क्वेरी $q$ के लिए, सिस्टम डेंस एम्बेडिंग का उपयोग करके पैराग्राफ व्यू ($P_q$) और रेसिपी व्यू ($R_q$) दोनों से स्वतंत्र रूप से उम्मीदवारों को रिट्रिव करता है।
• स्कोरिंग: उम्मीदवारों को एम्बेडिंग-स्पेस दूरी ($d$) के आधार पर स्कोर किया जाता है, जहाँ $s_i = \frac{1}{1 + d(q, e_i)}$।
• पूरकता (Complementarity): पैराग्राफ व्यू कथात्मक संदर्भ (narrative context) प्रदान करता है, जबकि रेसिपी व्यू संकुचित संश्लेषण तर्क (condensed synthesis logic) पर जोर देता है।

C. उम्मीदवार विलय और स्ट्रीम-जागरूक वि-डुप्लीकेशन (Candidate Merging and Stream-Aware Deduplication)

• विलय (Merging): दोनों उम्मीदवार सेटों को एक एकीकृत पूल ($C_q^{(0)} = P_q \cup R_q$) में मिला दिया जाता है।
• वि-डुप्लीकेशन (Deduplication): रेडंडेंसी (जैसे, एक ही पेपर या स्ट्रीम से कई चंक्स) को रोकने के लिए, एक स्ट्रीम-जागरूक वि-डुप्लीकेशन चरण लागू किया जाता है। प्रत्येक अद्वितीय (paper_id, stream) जोड़े के लिए, केवल उच्चतम-रैंक वाले उम्मीदवार को रखा जाता है। यह क्रॉस-व्यू पूरकता को बनाए रखते हुए इन-स्ट्रीम शोर (noise) को समाप्त करता है।

D. क्वेरी-जागरूक लेक्सिकल रीरैंकिंग (Query-Aware Lexical Reranking)

• प्रेरणा: डेंस रिट्रिवल सिमेंटिक मिलान को अच्छी तरह से संभालता है लेकिन सटीक शब्द संरेखण (exact term alignment) को मिस कर सकता है।
• तंत्र: एक हल्का रीरैंकिंग चरण क्वेरी टोकन और कैंडिडेट टोकन (शीर्षक + बॉडी) के प्रतिच्छेदन (intersection) के आधार पर एक क्वेरी-कवरेज स्कोर ($o_i$) की गणना करता है।
• अंतिम स्कोर: अंतिम स्कोर सिमेंटिक स्कोर ($s_i$) और लेक्सिकल स्कोर ($o_i$) को जोड़ता है:
  $$\hat{s}_i = s_i + \lambda o_i$$
  (जहाँ $\lambda = 0.1$)। यह उन उम्मीदवारों को बढ़ावा देता है जो प्राथमिक सिमेंटिक क्रम को बाधित किए बिना स्पष्ट रूप से क्वेरी शब्दों को कवर करते हैं।

3. मुख्य योगदान (Key Contributions)

1. दोहरी-दृश्य पाइपलाइन: सामग्री विज्ञान QA के लिए पैराग्राफ-स्तर के संदर्भ और LLM-निष्तित प्रक्रियात्मक सारांशों ("रेसिपी") को संयुक्त रूप से इंडेक्स करने वाला एक नवीन फ्रेमवर्क।
2. पूरक संकेतों का अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि हालांकि प्रक्रियात्मक सारांश स्टैंडअलोन रिट्रिवल इकाइयों के रूप में कमजोर हैं, वे पैराग्राफ रिट्रिवल के साथ फ्यूज होने पर महत्वपूर्ण पूरक मूल्य प्रदान करते हैं।
3. बैकबोन-अज्ञेयवादी मजबूती (Backbone-Agnostic Robustness): विधि चार अलग-अलग डेंस रिट्रिवल बैकबोन (BGE, MiniLM, Contriever, E5) में सुसंगत सुधार दिखाती है, जो यह सिद्ध करती है कि दृष्टिकोण किसी विशिष्ट एम्बेडिंग मॉडल से बंधा नहीं है।
4. बेहतर डाउनस्ट्रीम QA: प्रमाण कि प्रक्रियात्मक चरणों का बेहतर रिट्रिवल उच्च गुणवत्ता वाले उत्तरों की ओर ले जाता है, विशेष रूप से सीमित पैरामीट्रिक ज्ञान वाले छोटे LLMs के लिए।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन 300+ सामग्री विज्ञान लेखों से प्राप्त 1,024 क्वेरी-दस्तावेज़ जोड़ों के बेंचमार्क पर किया गया।

रिट्रिवल प्रदर्शन (BGE-large-en-v1.5 बैकबोन)

RECIPER, पैराग्राफ-ओनली बेसलाइन और नाइव हाइब्रिड फ्यूजन विधियों दोनों से काफी बेहतर प्रदर्शन करता है:

• Recall@1: 84.08% (पैराग्राफ-ओनली) से बढ़कर 86.82% (+2.74) हुआ।
• Recall@5: बढ़कर 97.07% हुआ।
• Recall@10: बढ़कर 97.85% हुआ।
• nDCG@10: 0.9283 प्राप्त किया (बेसलाइन के 0.9060 के मुकाबले)।
• MRR: 0.9116 प्राप्त किया (बेसलाइन के 0.8875 के मुकाबले)।

क्रॉस-बैकबोन विश्लेषण (Cross-Backbone Analysis)

सभी चार परीक्षण किए गए बैकबोन में, RECIPER ने औसत लाभ प्राप्त किया:

• Recall@1 में +3.73।
• nDCG@10 में +2.85।
• MRR में +3.13।

डाउनस्ट्रीम QA प्रदर्शन (Downstream QA Performance)

0.5B से 40B पैरामीटर्स वाले LLMs के साथ RAG पाइपलाइनों में एकीकृत होने पर:

• RECIPER ने BERTScore-F1, ROUGE-L, और BLEURT जैसे मेट्रिक्स पर "No-RAG" और "Paragraph-Dense RAG" बेसलाइनों को लगातार पछाड़ दिया।
• छोटे मॉडलों पर प्रभाव: सुधार सबसे अधिक छोटे मॉडलों (जैसे, Qwen-2.5-7B) के लिए देखा गया, जो यह सुझाव देता है कि उच्च-गुणवत्ता वाला प्रक्रियात्मक रिट्रिवल सीमित आंतरिक ज्ञान की भरपाई कर सकता है।

5. महत्व (Significance)

• वैज्ञानिक QA प्रगति: RECIPER वैज्ञानिक साहित्य रिट्रिवल के एक महत्वपूर्ण अंतर को संबोधित करता है, जो विशेष रूप से "कैसे-करें" (how-to) संश्लेषण प्रश्नों को लक्षित करता है, जिन्हें अक्सर मानक सिमेंटिक खोज द्वारा ठीक से सेवा नहीं दी जाती है।
• दक्षता बनाम सटीकता: हल्के LLM निष्कर्षण और लेक्सिकल रीरैंकिंग का उपयोग करके, सिस्टम जटिल जेनेरेटिव रिट्रिवल मॉडलों की भारी कम्प्यूटेशनल लागत के बिना उच्च परिशुद्धता प्राप्त करता है।
• स्केलेबिलिटी: फ्रेमवर्क जटिल, असंरचित वैज्ञानिक साहित्य से ज्ञान निकालने के लिए एक स्केलेबल आधार प्रदान करता है, जो संभावित रूप से शोधकर्ताओं को सामग्री खोज और संश्लेषण योजना को गति देने में मदद कर सकता है।
• सामान्यीकरण (Generalizability): कई एम्बेडिंग बैकबोन में सफलता यह सुझाव देती है कि इस दोहरी-दृश्य रणनीति को प्रक्रियात्मक या चरण-दर-चरण तर्क की आवश्यकता वाले अन्य डोमेन में भी अपनाया जा सकता है।