When Retrieval Helps and Distracts: Evaluating Evidence-Generating LLMs for Biomedical Claim Verification
यह शोध पत्र CARE-XAI बेंचमार्क पर बायोमेडिकल क्लेम वेरिफिकेशन के लिए विभिन्न LLM कॉन्फ़िगरेशन का मूल्यांकन करता है, जिसमें यह पाया गया है कि जहाँ फाइन-ट्यून्ड मॉडल साक्ष्य उत्पन्न करने में उत्कृष्ट हैं, वहीं रिट्रीवल ऑग्मेंटेशन स्रोत के आधार पर मिश्रित लाभ प्रदान करता है, और यह सरल रिकॉल मेट्रिक्स से परे रिट्रीवल उपयोगिता को बेहतर ढंग से मापने के लिए Bio-GRACE को एक नए डायग्नोस्टिक टूल के रूप में पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो स्वास्थ्य संबंधी किसी दावे के बारे में रहस्य सुलझाने की कोशिश कर रहे हैं, जैसे कि "क्या कॉफी पीने से हृदय रोग से बचाव होता है?" आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर को यह समस्या हल करने में मदद करने के दो मुख्य तरीके हैं। पहला तरीका यह है कि कंप्यूटर से बस उत्तर का अनुमान लगाने के लिए कहना: "हाँ," "नहीं," या "हमें नहीं पता।" दूसरा, अधिक कठिन तरीका यह है कि कंप्यूटर से न केवल उत्तर का अनुमान लगाने के लिए कहना, बल्कि यह भी समझाने के लिए एक रिपोर्ट लिखने को कहना कि वह ऐसा क्यों कह रहा है, जिसमें चिकित्सा पुस्तकों से वास्तविक तथ्यों का उपयोग किया गया हो। इसे "एविडेंस जनरेशन" (साक्ष्य निर्माण) कहा जाता है।
समस्या यह है कि कंप्यूटर बहुत आत्मविश्वासी हो सकते हैं लेकिन पूरी तरह से गलत हो सकते हैं, खासकर जब वे ऐसे तथ्य गढ़ते हैं जो सुनने में सुचारू और वैज्ञानिक लगते हैं लेकिन सच नहीं होते। इसे ठीक करने के लिए, शोधकर्ता अक्सर कंप्यूटर को एक "सर्च इंजन" (जिसे रिट्रीवल-ऑगमेंटेड जनरेशन या RAG कहा जाता है) देते हैं ताकि वह रिपोर्ट लिखने से पहले चिकित्सा अनुसंधान की एक विशाल लाइब्रेरी से उत्तर खोज सके। बड़ा सवाल यह है कि क्या कंप्यूटर को सर्च इंजन देने से वह वास्तव में बेहतर और अधिक सत्यपूर्ण रिपोर्ट लिख पाता है, या क्या यह उसे बहुत अधिक जानकारी दे देता है जिससे वह विचलित होकर गलतियाँ करने लगता है? यह शोध पत्र इसी सटीक प्रश्न की गहराई में जाता है ताकि यह देखा जा सके कि क्या हम ऐसा AI बना सकते हैं जो एक भरोसेमंद मेडिकल फैक्ट-चेकर की तरह काम करे।
द ग्रेट लाइब्रेरी हाइस्ट: जब खोज मदद करती है और जब यह सुरागों को छिपा देती है
इस अध्ययन के शोधकर्ताओं ने एक नए, एकीकृत बेंचमार्क जिसे CARE-XAI कहा जाता है, का उपयोग करके एक विशाल, मिश्रित परीक्षण तैयार किया। इसे एक विशाल, मिले-जुले पहेली बॉक्स की तरह समझें जिसमें 17,803 अलग-अलग स्वास्थ्य दावे शामिल हैं। इनमें से कुछ दावे सख्त वैज्ञानिक अध्ययनों के बारे में हैं (जैसे "क्या यह विशिष्ट दवा चूहों में रक्तचाप कम करती है?"), जबकि अन्य सार्वजनिक स्वास्थ्य समाचारों या इंटरनेट की अफवाहों के बारे में हैं (जैसे "क्या एक नया डाइट प्लान बताने वाला वायरल वीडियो सच है?")। लक्ष्य यह देखना था कि विभिन्न प्रकार के AI इन दावों को कितनी अच्छी तरह संभाल सकते हैं, विशेष रूप से इस बात पर ध्यान केंद्रित करते हुए कि क्या वे एक निर्णय (समर्थन, खंडन, या अप्राप्त) और उसके समर्थन में एक विश्वसनीय साक्ष्य उत्पन्न कर सकते हैं।
उन्होंने पांच अलग-अलग "जासूसी" टीमों का परीक्षण किया:
- बेस LLMs: स्मार्ट, सामान्य-उद्देश्य वाले AI जो अपनी याददाश्त से उत्तर का अनुमान लगाने की कोशिश करते हैं।
- PubMed RAG LLMs: वही AI, लेकिन एक सर्च इंजन के साथ जो केवल PubMed में खोजता है, जो वैज्ञानिक चिकित्सा सारांशों का एक विशाल डेटाबेस है।
- Fine-tuned LLMs: वह AI जिसे विशेष रूप से CARE-XAI डेटासेट पर प्रशिक्षित (जैसे कि एक छात्र जो किसी विशिष्ट परीक्षा के लिए तैयारी कर रहा है) किया गया है ताकि वह अपने उत्तरों के प्रारूप को सीख सके।
- Label-only LLMs: एक टीम जो केवल निर्णय का अनुमान लगाती है बिना कोई साक्ष्य लिखे।
- Biomedical Classifiers: विशेष रूप, छोटे AI मॉडल जिन्हें केवल सही लेबल चुनने के लिए डिज़ाइन किया गया है, कहानियाँ लिखने के लिए नहीं।
निर्णय: दौड़ में कौन जीता?
परिणाम एक अप्रत्याशित मोड़ (प्लॉट ट्विस्ट) की तरह थे। जब केवल निर्णय का अनुमान लगाने (जैसे "हाँ" या "नहीं" कहना) की बात आई, तो विशेष Biomedical Classifiers स्पष्ट विजेता थे। वे सही लेबल चुनने में सबसे सटीक थे। हालाँकि, वे रिपोर्ट नहीं लिख सकते थे, इसलिए वे पूर्ण फैक्ट-चेकर नहीं थे।
उन टीमों के बीच जिन्होंने रिपोर्ट लिखी (साक्ष्य उत्पन्न करने वाली प्रणालियाँ), Fine-tuned LLMs चैंपियन थे। उन्होंने बेस मॉडल्स और सर्च-इंजन मॉडल्स की तुलना में बेहतर प्रदर्शन किया। शोधकर्ताओं ने पाया कि केवल AI को विशिष्ट शैली और नियमों पर प्रशिक्षित करने से वह सर्च इंजन देने की तुलना में बहुत अधिक विश्वसनीय हो गया।
"सर्च इंजन" का आश्चर्य: सहायक या हानिकारक?
यहाँ कहानी दिलचस्प हो जाती है। शोधकर्ताओं को उम्मीद थी कि कंप्यूटर को सर्च इंजन (PubMed RAG) देने से हमेशा मदद मिलेगी। लेकिन उन्होंने पाया कि यह मिली-जुली स्थिति थी।
- जब इसने मदद की: उन दावों के लिए जो पहले से ही वैज्ञानिक सारांशों (जैसे PubMedQA और SciFact से) में लिखे गए थे, सर्च इंजन एक सुपरपावर की तरह था। इसने AI को सही तथ्य खोजने में मदद की और इसकी सटीकता में सुधार किया।
- जब इसने विचलित किया: व्यापक सार्वजनिक स्वास्थ्य दावों या गलत सूचनाओं (जैसे PUBHEALTH और HealthFC से) के लिए, सर्च इंजन ने अक्सर चीजों को बदतर बना दिया। AI एक ऐसा वैज्ञानिक लेख ढूंढ लेता था जो प्रासंगिक तो लगता था लेकिन वास्तव में उस विशिष्ट प्रश्न का उत्तर नहीं देता था। यह ऐसा था जैसे एक जासूस "हृदय रोग" के बारे में एक किताब ढूंढ ले जबकि प्रश्न वास्तव में एक "यातायात दुर्घटना" के बारे में था। AI अतिरिक्त शब्दों से विचलित हो गया, जिससे गलत उत्तर मिले।
इसे मापने के लिए, टीम ने एक नया टूल बनाया जिसे Bio-GRACE कहा जाता है। कल्पना कीजिए कि आपके पास एक "गोल्ड स्टैंडर्ड" उत्तर कुंजी है जिसे आप जानते हैं कि वह एकदम सही है। Bio-GRACE मापता है कि जब AI सर्च इंजन का उपयोग करता है, तो वह उस परफेक्ट उत्तर का कितना हिस्सा पुनः प्राप्त कर सकता है। उन्होंने पाया कि सार्वजनिक स्वास्थ्य दावों के लिए, सर्च इंजन ने अक्सर AI की सही उत्तर पाने की क्षमता को कम कर दिया, जिससे वह सत्य की ओर जाने के बजाय उससे दूर चला गया।
"सोर्स-मिसमैच" (स्रोत-बेमेल) की समस्या
पेपर यह समझाता है कि समस्या यह नहीं है कि PubMed एक खराब लाइब्रेरी है; बल्कि यह है कि लाइब्रेरी के पास हर तरह के रहस्य के लिए सही किताबें नहीं हैं।
- यदि दावा एक वैज्ञानिक अध्ययन के बारे में है, तो PubMed एकदम सही लाइब्रेरी है।
- यदि दावा सार्वजनिक स्वास्थ्य नीति, समाचार या अफवाहों के बारे में है, तो PubMed के पास उत्तर नहीं हो सकता है। ऐसे मामलों में, AI को समाचार रिपोर्टों या सरकारी दिशानिर्देशों को देखने की आवश्यकता होती। जब AI को केवल PubMed में देखने के लिए मजबूर किया जाता है, तो वह एक चौकोर चीज़ को गोल छेद में फिट करने की कोशिश करता है, जिससे "विश्वसनीय लगने वाले" लेकिन गलत साक्ष्य बनते हैं।
निष्कर्ष: हमेशा खोज न करें
इस अध्ययन का मुख्य सबक यह है कि fine-tuning (AI को खेल के नियम सिखाना) वर्तमान में एक अच्छा साक्ष्य-जनरेटिंग AI प्राप्त करने का सबसे विश्वसनीय तरीका है। हमेशा एक सर्च इंजन पर निर्भर रहना जोखिम भरा है।
शोधकर्ता सुझाव देते हैं कि भविष्य के सिस्टम को यह तय करने में अधिक स्मार्ट होना चाहिए कि कब खोज करनी है। हर सवाल के लिए सर्च इंजन का उपयोग करने के बजाय, AI को एक अनुभवी जासूस की तरह कार्य करना चाहिए: यदि दावा एक वैज्ञानिक अध्ययन जैसा दिखता है, तो मेडिकल लाइब्रेरी खोलें। यदि यह एक समाचार अफवाह जैसा दिखता है, तो शायद मेडिकल लाइब्रेरी को छोड़ दें और कहीं और देखें, या बस यह स्वीकार करें, "मेरे पास पर्याप्त साक्ष्य नहीं हैं।"
अंत में, यह पेपर दिखाता है कि हालांकि AI फैक्ट-चेकिंग में बेहतर हो सकता है, लेकिन हम केवल एक सर्च इंजन को समस्या पर नहीं फेंक सकते और बेहतर होने की उम्मीद नहीं कर सकते। हमें इस बात के प्रति सावधान रहने की आवश्यकता है कि AI कहाँ देखता है, क्योंकि कभी-कभी, सबसे आधिकारिक स्रोत वही होता है जो उसे विचलित कर देता है। अध्ययन निष्कर्ष निकालता है कि बायोमेडिकल फैक्ट-चेकिंग के लिए, साक्ष्य निर्माण एक उच्च-दांव वाला कार्य है जहाँ बिना प्रमाण के सही लेबल बेकार है, और फैंसी, नकली दिखने वाले प्रमाण के साथ गलत लेबल खतरनाक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।