Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG
यह शोध पत्र मल्टी-सोर्स रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के लिए एक नवीन मूल्यांकन ढांचे को प्रस्तुत करता है जो उत्तर की शुद्धता से ध्यान हटाकर स्रोत-निर्भरता के ऑडिटिंग पर केंद्रित है, जो एक ट्रांसप्लांट रोगी शिक्षा बेंचमार्क के माध्यम से यह प्रदर्शित करता है कि संस्थागत असहमति पहले के अनुमानों की तुलना में कहीं अधिक प्रचलित है और HERO-QA एवं एक संरचित जज जैसे उपकरणों का प्रस्ताव करता है ताकि इन अंतर-स्रोत संबंधों को व्यवस्थित रूप से मापा और प्रबंधित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे मरीज हैं जिसका अभी हार्ट ट्रांसप्लाेंट (हृदय प्रत्यारोपण) हुआ है। आपका एक सवाल है: "मैं दोबारा अंतर्राष्ट्रीय यात्रा कब कर सकता हूँ?" आप यह सवाल एक स्मार्ट मेडिकल चैटबॉट में टाइप करते हैं।
पुराने तरीके में इन चैटबॉट्स को बनाने में, सिस्टम एक "परफेक्ट" उत्तर ढूंढता था और आपको पूरे आत्मविश्वास के साथ देता था। लेकिन यह शोध पत्र तर्क देता है कि वास्तविक दुनिया में, कोई एक एकल आदर्श उत्तर नहीं होता है। इसके बजाय, आपको मिलने वाला उत्तर पूरी तरह से इस बात पर निर्भर करता है कि चैटबॉट ने किस अस्पताल की नियम पुस्तिका (rulebook) को चुना है।
यदि बॉट अस्पताल A की नियम पुस्तिका चुनता है, तो वह कह सकता है, "3 महीने प्रतीक्षा करें।" यदि वह अस्पताल B की किताब चुनता है, तो वह कह सकता है, "12 महीने प्रतीक्षा करें।" दोनों उत्तर आत्मविश्वास के साथ लिखे गए हैं, दोनों का सही संदर्भ दिया गया है, लेकिन वे एक-दूसरे के विरोधाभासी हैं। पुराने तरीके से इन बॉट्स का परीक्षण करना इस समस्या को नहीं देख सका क्योंकि वे केवल एक "गोल्ड स्टैंडर्ड" (आदर्श मानक) उत्तर की तलाश कर रहे थे।
यह पेपर इन प्रणालियों का ऑडिट करने का एक नया तरीका पेश करता है, जिसमें एक ट्रांसप्लांट रोगी शिक्षा प्रणाली को टेस्ट केस के रूप में उपयोग किया गया है। उन्होंने इसे कैसे किया, यहाँ सरल भाषा में समझाया गया है:
1. "रेसिपी बुक" का संग्रह (TransplantQA)
शोधकर्ताओं ने अमेरिका के 23 प्रमुख ट्रांसप्लांट केंद्रों से 102 अलग-अलग रोगी हैंडबुक एकत्र कीं। इसे ऐसे समझें जैसे एक ही व्यंजन (ट्रांसप्लांट के बाद की देखभाल) के लिए 102 अलग-अलग रेसिपी बुक्स। कुछ शेफ (अस्पताल) कहते हैं "नमक डालें," अन्य कहते हैं "नमक न डालें," और कुछ तो नमक का जिक्र भी नहीं करते।
उन्होंने 1,115 वास्तविक प्रश्न भी एकत्र किए जो वास्तव में मरीजों ने मंचों (forums) पर पूछे थे। उन्होंने इन्हें मनगढ़ंत नहीं बनाया; ये वास्तविक लोगों की वास्तविक चिंताएं हैं।
2. "स्मार्ट लाइब्रेरियन" (HERO-QA)
सिस्टम का परीक्षण करने के लिए, उन्होंने HERO-QA नामक एक विशेष रिट्रीवल इंजन बनाया। कल्पना कीजिए कि एक लाइब्रेरियन एक विशाल पुस्तकालय में सही पन्ना खोजने की कोशिश कर रहा है।
- यदि किताब छोटी है, तो लाइब्रेरियन यह सुनिश्चित करने के लिए कि कुछ छूट न जाए, पूरी किताब पढ़ता है।
- यदि किताब बहुत बड़ी है, तो लाइब्रेरियन एक स्मार्ट मैप का उपयोग करके विशिष्ट अध्याय खोजता है, फिर विशिष्ट पैराग्राफ, और पूर्ण संदर्भ प्राप्त करने के लिए आस-पास के पैराग्राफों की भी जांच करता है।
यह लाइब्रेरियन फिर केवल उन पृष्ठों के आधार पर उत्तर लिखने के लिए एक शक्तिशाली AI (जिसे "जेनेरेटर" कहा जाता है) से पूछता है जो उसने खोजे हैं। उन्होंने हर एक प्रश्न के लिए हर एक हैंडबुक के विरुद्ध यह प्रक्रिया दोहराई। इसके परिणामस्वरूप एक ही प्रश्न के 48,000 से अधिक अलग-अलग उत्तर प्राप्त हुए।
3. "कठोर जज" (स्ट्रक्चर्ड आउटपुट)
अब सबसे महत्वपूर्ण भाग आता है। उन्हें इन 48,000 उत्तरों की तुलना करने के लिए एक तरीका चाहिए था ताकि वे देख सकें कि वे कैसे भिन्न होते हैं। उन्होंने केवल यह नहीं पूछा, "क्या वे समान हैं या भिन्न?" बल्कि उन्होंने एक विशेष AI "जज" का उपयोग किया जो एक सख्त संपादक की तरह कार्य करता है।
केवल एक स्कोर देने के बजाय, यह जज तुलना किए गए प्रत्येक जोड़े के उत्तर के लिए एक संक्षिप्त रिपोर्ट लिखता है। यह उन्हें पाँच श्रेणियों (buckets) में विभाजित करता है:
- अनुपस्थित (Absent): एक किताब में उस विषय पर बिल्कुल भी चर्चा नहीं की गई।
- सुसंगत (Consistent): दोनों किताबें बिल्कुल एक ही बात कहती हैं।
- पूरक (Complementary): वे मुख्य बिंदु पर सहमत हैं लेकिन अलग-अलग विवरण जोड़ते हैं (जैसे एक कहता है "स्वस्थ खाएं" और दूसरा जोड़ता है "और व्यायाम भी करें")।
- विचलित (Divergent): वे अलग-अलग सलाह देते हैं (जैसे "6 सप्ताह प्रतीक्षा करें" बनाम "12 सप्ताह प्रतीक्षा करें")।
- विरोधाभासी (Contradictory): वे विपरीत बातें कहते हैं (जैसे "आप यह कर सकते हैं" बनाम "आप कभी ऐसा न करें")।
महत्वपूर्ण रूप से, जज यह भी समझाता है कि वे क्यों भिन्न हैं और अंतर कितना गंभीर है।
4. बड़ी खोज
जब उन्होंने आंकड़ों का विश्लेषण किया, तो उन्हें कुछ आश्चर्यजनक मिला।
- "लापता" होने की समस्या: लगभग 79% मामलों में, एक हैंडबुक में उत्तर ही नहीं था। पुराना परीक्षण तरीका इस समस्या को पकड़ नहीं सका क्योंकि उसने यह मान लिया था कि हर किताब में एक उत्तर मौजूद है।
- "छिपा हुआ" असहमति: जब उन्होंने रिट्रीवल सिस्टम को ठीक किया (लाइब्रेरियन को स्मार्ट बनाकर), तो उन्हें कम नहीं, बल्कि अधिक असहमति मिली।
- उपमा: कल्पना कीजिए कि आप शब्दकोश में एक विशिष्ट शब्द खोज रहे हैं। यदि आप केवल पहले पृष्ठ को देखते हैं, तो आप सोच सकते हैं कि सभी की परिभाषा समान है। लेकिन यदि आप पूरा शब्दकोश पढ़ते हैं, तो आपको एहसास होता है कि विभिन्न संस्करणों में परिभाषाएँ अलग-अलग होती हैं।
- पेपर ने पाया कि पिछले अनुमानों ने अस्पतालों के बीच होने वाली असहमति को कम करके आंका था। ऐसा नहीं था कि असहमति अधिक मजबूत थी; बल्कि यह था कि पुराने सिस्टम यह देखने में अंधे थे कि कई अस्पतालों के पास उत्तर ही नहीं था, जिससे वास्तविक अंतर छिप गया।
5. यह चिकित्सा से परे क्यों महत्वपूर्ण है
लेखकों का कहना है कि यह केवल हार्ट ट्रांसप्लांट के बारे में नहीं है। उनका तर्क है कि किसी भी ऐसी प्रणाली में, जो कई स्रोतों से उत्तर निकालती है (जैसे कानूनी प्रणालियाँ जहाँ राज्यों के अनुसार कानून अलग होते हैं, या स्कूल जहाँ जिला स्तर पर पाठ्यक्रम मानक अलग होते हैं), यह वही समस्या है।
यदि कोई छात्र इतिहास के बारे में चैटबॉट से पूछता है, तो उत्तर बदल सकता है कि वह न्यूयॉर्क या टेक्सास की पाठ्यपुस्तक पढ़ रहा है। यह पेपर उस "स्रोत-निर्भरता" (source-dependence) को मापने के लिए एक टूलकिट प्रदान करता है ताकि हम यह मानने से बच सकें कि हमेशा एक ही सही उत्तर होता है।
संक्षेप में: इस पेपर ने यह दिखाने के लिए एक व्यापक परीक्षण बनाया कि जब AI कई स्रोतों के आधार पर प्रश्नों के उत्तर देता है, तो उत्तर अक्सर इस बात पर निर्भर करता है कि उसने किस स्रोत को चुना है। उन्होंने इन अंतरों को मापने का एक नया तरीका बनाया, यह साबित करते हुए कि हमें केवल एक "सही" उत्तर खोजने के बजाय, यह ऑडिट करने की आवश्यकता है कि विभिन्न स्रोत एक-दूसरे से कैसे संबंधित हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।