Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval

यहाँ शोध पत्र "Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval" (HCQR) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र निर्णय लेने वाले कार्यों (decision-making tasks) में, विशेष रूप से वैकल्पिक-रिट्रीवल सेटिंग्स (जैसे कि मेडिकल मल्टीपल-चॉइस प्रश्न) में, रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) की एक महत्वपूर्ण सीमा को संबोधित करता है।

• मुख्य मुद्दा: मानक RAG सिस्टम आमतौर पर कच्चे प्रश्न (raw question) के आधार पर एक एकल प्रारंभिक क्वेरी पर निर्भर करते हैं। यह दृष्टिकोण विषयगत प्रासंगिकता (topical relevance - लेक्सिकल ओवरलैप या व्यापक अर्थ संबंधी समानता) को निर्णय-उपयोगी (decision-usefulness) की तुलना में प्राथमिकता देता है।
• परिणाम: जटिल निर्णय कार्यों में, व्यापक रूप से प्रासंगिक पृष्ठभूमि जानकारी प्राप्त करने से अक्सर वह विशिष्ट साक्ष्य प्रदान करने में विफलता होती है जो प्रतिस्पर्धी विकल्पों के बीच अंतर करने के लिए आवश्यक होता है। यह "मिसमैच्ड एविडेंस" (mismatched evidence) मॉडल को विचलित कर सकता है, तर्क की मजबूती को कम कर सकता है, और केवल पैरामीट्रिक ज्ञान (रिट्रीवल के बिना Chain-of-Thought) पर निर्भर मॉडलों की तुलना में कम सटीकता का कारण बन सकता है।
• लक्ष्य: लेखकों का लक्ष्य रिट्रीवल को "प्रासंगिक विषयों को खोजने" से बदलकर "वह साक्ष्य खोजने" की ओर ले जाना है जो अंतिम निर्णय को संचालित करे।

2. कार्यप्रणाली: HCQR (Methodology: HCQR)

लेखक हाइपोथीसिस-कंडीशन्ड क्वेरी रीराइटिंग (HCQR) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, प्री-रिट्रीवल फ्रेमवर्क है। रिट्रीवल को एक निष्क्रिय लुकअप के रूप में मानने के बजाय, HCQR एक अस्थायी उत्तर परिकल्पना (tentative answer hypothesis) के आधार पर रिट्रीवल की सक्रिय रूप से योजना बनाता है।

यह फ्रेमवर्क अंतिम जनरेशन से पहले दो चरणों वाली पाइपलाइन के रूप में कार्य करता है:

चरण 1: हाइपोथीसिस फॉर्म्युलेटर (Hypothesis Formulator)

प्रश्न ($x$) और संभावित विकल्प ($A$) दिए जाने पर, एक हल्का मॉडल एक संरचित वर्किंग हाइपोथीसिस ($h$) उत्पन्न करता है। यह अंतिम भविष्यवाणी नहीं है, बल्कि रिट्रीवल के लिए एक कंट्रोल सिग्नल है। आउटपुट में शामिल हैं:

• $\hat{y}_0$ (वर्किंग हाइपोथीसिस): वर्तमान सर्वोत्तम अनुमानित विकल्प।
• $f$ (डिस्क्रिमिनेटिंग फीचर्स): प्रश्न में मौजूद विशिष्ट संकेत जो अग्रणी उम्मीदवारों के बीच अंतर करते हैं।
• $e$ (कन्फर्मिंग एविडेंस): तथ्य या नियम जो सत्य होने चाहिए यदि हाइपोथीसिस सही है।
• $r$ (रीजनिंग): हाइपोथीसिस के लिए एक संक्षिप्त स्पष्टीकरण।

चरण 2: क्वेरी रीराइटर (Query Rewriter)

संरचित हाइपोथीसिस अवस्था के आधार पर, सिस्टम साक्ष्य प्राप्त करने के लिए ठीक तीन लक्षित क्वेरी उत्पन्न करता है:

1. सपोर्ट क्वेरी ($q_1$): वह साक्ष्य प्राप्त करती है जो वर्किंग हाइपोथीसिस ($\hat{y}_0$) का सीधे समर्थन करता है।
2. डिस्टिंक्शन क्वेरी ($q_2$): वह मानदंड या साक्ष्य प्राप्त करती है जो वर्किंग हाइपोथीसिस को उसके सबसे मजबूत प्रतिस्पर्धी विकल्पों से अलग करता है।
3. की फीचर क्वेरी ($q_3$): प्रश्न के मुख्य भाग (question stem) में पाए गए प्रमुख संकेतों को सत्यापित करने के लिए साक्ष्य प्राप्त करती है, यह सुनिश्चित करती है कि रिट्रीवल प्रॉम्प्ट में उल्लेखित विशिष्ट नैदानिक मानदंडों को कवर करे।

रिट्रीवल और फ्यूजन (Retrieval and Fusion)

• तीनों क्वेरीज़ को एक साझा रिट्रीवर को भेजा जाता है।
• प्राप्त दस्तावेजों को मर्ज, डीडुप्लिकेट और एक निश्चित फाइनल-कॉन्टेक्स्ट बजट ($B_{max}$) में फिट होने के लिए ट्रंकेट किया जाता है।
• महत्वपूर्ण डिज़ाइन विकल्प: वर्किंग हाइपोथीसिस को स्वयं अंतिम जनरेटर को नहीं भेजा जाता है। केवल मूल प्रश्न, विकल्प और फ्यूज किए गए रिट्रीव्ड कॉन्टेक्स्ट का उपयोग अंतिम उत्तर के लिए किया जाता है। यह जनरेटर को प्रारंभिक हाइपोथीसिस के प्रति "एंकरिंग" (anchoring) से रोकता है और इसे हाइपोथीसिस को पलटने की अनुमति देता है यदि साक्ष्य इसके विपरीत हो।

3. मुख्य योगदान (Key Contributions)

1. HCQR फ्रेमवर्क: एक ट्रेनिंग-फ्री, प्री-रिट्रीवल विधि का परिचय जो एक अस्थायी उत्तर हाइपोथीसिस को तीन पूरक, साक्ष्य-उन्मुख क्वेरीज़ (सपोर्ट, डिस्टिंक्शन, वेरिफिकेशन) में बदल देती है।
2. कॉन्टेक्स्ट-यूटिलिटी एनालिसिस: एक नया मूल्यांकन मीट्रिक (डिसीजन-यूज़फुल रेट - DUR) विकसित करना जो प्राप्त कॉन्टेक्स्ट को वर्गीकृत करता है:
   • एंटेलड (Entailed): कॉन्टेक्स्ट अकेले ही उत्तर को सिद्ध करता है।
   • यूज़फुल (Useful): कॉन्टेक्स्ट मजबूत समर्थन प्रदान करता है लेकिन इसके लिए मामूली अनुमान (inference) की आवश्यकता होती है।
   • नॉट यूज़फुल (Not Useful): कॉन्टेक्स विषयगत रूप से प्रासंगिक है लेकिन उत्तरों के बीच अंतर करने में विफल रहता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि हाइपोथीसिस कंडीशनिंग (के माध्यम से) के साथ रिट्रीवल को संरेखित करने से नेइव सिंगल-क्वेरी RAG, क्वेरी रीराइटिंग बेसलाइन्स और पोस्ट-रिट्रीवल फिल्टरिंग विधियों की तुलना में काफी बेहतर प्रदर्शन होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विभिन्न LLMs (Llama3, Qwen3) का उपयोग करके MedQA और MMLU-Med बेंचमार्क पर किया गया।

• सटीकता में वृद्धि (Accuracy Gains):
  • HCQR ने सभी मॉडल कॉन्फ़िगरेशन में सभी बेसलाइन्स को लगातार पछाड़ दिया।
  • MedQA: Simple RAG की तुलना में औसत सटीकता में 5.9 प्रतिशत अंक का सुधार किया।
  • MMLU-Med: Simple RAG की तुलना में औसत सटीकता में 3.6 प्रतिशत अंक का सुधार किया।
  • HCQR ने No-Retrieval CoT बेसलाइन को भी पीछे छोड़ दिया, जिससे यह सिद्ध हुआ कि यदि साक्ष्य निर्णय-उपयोगी हो तो रिट्रीवल वास्तव में फायदेमंद हो सकता है।
• कॉन्टेक्स्ट यूटिलिटी (Context Utility):
  • HCQR ने डिसीजन-यूज़फुल रेट (DUR) को नाटकीय रूप से बढ़ा दिया। MedQA पर, इसने Simple RAG के 30.0% की तुलना में 82.1% का DUR प्राप्त किया।
  • इसने "नॉट यूज़फुल" रिट्रीव्ड कॉन्टेक्स्ट के अनुपात को काफी कम कर दिया (बेसलाइन्स में ~60% से घटकर HCQR में ~23.8% हो गया)।
• एब्लेशन स्टडीज (Ablation Studies):
  • किसी भी तीन प्रकार की क्वेरी ($q_1, q_2, q_3$) को हटाने से प्रदर्शन गिर गया, जो उनकी पूरक भूमिकाओं की पुष्टि करता है।
  • केवल उत्तर विकल्पों को एक जेनेरिक रीराइटर को दिखाने से पूर्ण हाइपोथीसिस-कंडीशन्ड दृष्टिकोण जैसा लाभ नहीं मिला, जो संरचित हाइपोथीसिस के मूल्य को सिद्ध करता है।

5. महत्व और निहितार्थ (Significance and Implications)

• पैराडाइम शिफ्ट: यह शोध पत्र तर्क देता है कि निर्णय लेने वाले कार्यों में, रिट्रीवल की गुणवत्ता को केवल विषयगत प्रासंगिकता से नहीं, बल्कि उसके अंतिम निर्णय सीमा (final decision boundary) में योगदान से मापा जाना चाहिए।
• दक्षता (Efficiency): एक सीमित कॉन्टेक्स्ट बजट के तहत, बड़े कैंडिडेट पूल का निरीक्षण करने और बाद में उन्हें फ़िल्टर करने (जैसे, रीरैंकिंग के माध्यम से) की तुलना में बेहतर फर्स्ट-पास क्वेरी निर्माण अधिक प्रभावी है।
• डोमेन प्रयोज्यता (Domain Applicability): हालांकि इसका परीक्षण मेडिकल QA (जहाँ नैदानिक मानदंड सख्त होते हैं) पर किया गया है, यह दृष्टिकोण किसी भी ऐसे डोमेन के लिए सामान्यीकृत किया जा सकता है जिसमें विशिष्ट साक्ष्य के आधार पर कई विकल्पों में से एक का चयन करना आवश्यक हो।
• सुरक्षा (Safety): हाइपोथीसिस को रिट्रीवल प्लानिंग चरण के भीतर आंतरिक रखकर और उसे जनरेटर को प्रदर्शित न करके, यह विधि मॉडल को संभावित रूप से गलत प्रारंभिक अनुमान का अंधाधुंध पालन करने के जोखिम को कम करती है।

निष्कर्षतः, HCQR यह प्रदर्शित करता है कि रिट्रीवल से पहले "निर्णय प्रक्रिया" (हाइपोथीसिस फॉर्म्युलेशन) को स्पष्ट रूप से मॉडल करके, RAG सिस्टम उस विशिष्ट साक्ष्य को प्राप्त कर सकते हैं जो सटीक विकल्प चुनने के लिए आवश्यक है, जिससे "प्रासंगिक लेकिन अनुपयोगी" कॉन्टेक्स्ट की समस्या का प्रभावी ढंग से समाधान होता है।