Citation Hallucination Determines Success: An Empirical Comparison of Six Medical AI Research Systems
यह शोधपत्र छह चिकित्सा एआई अनुसंधान प्रणालियों का मूल्यांकन करने के लिए MedResearchBench प्रस्तुत करता है, जो यह प्रकट करता है कि साइटेशन मतिभ्रम (citation hallucination) उनकी सफलता में निर्णायक कारक है और यह प्रदर्शित करता है कि विश्वसनीय वैज्ञानिक लेखन सुनिश्चित करने में मल्टी-एजेंट सत्यापन पाइपलाइनें व्यक्तिपरक एकल-मॉडल मूल्यांकनों की तुलना में काफी बेहतर प्रदर्शन करती हैं।
मूल पेपर CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने लिए मेडिकल रिसर्च पेपर लिखने के लिए सुपर-स्मार्ट, हाइपर-फास्ट घोस्टराइटरों की एक टीम रख रहे हैं। ये लेखक आर्टिफिशियल इंटेलिजेंस (AI) द्वारा संचालित हैं। वे धाराप्रवाह लिख सकते हैं, तर्कों को पूरी तरह से व्यवस्थित कर सकते हैं, और अविश्वसनीय रूप से पेशेवर लग सकते हैं।
लेकिन एक समस्या है: इन AI लेखकों की एक बुरी आदत है—वे चीजें बना लेते हैं (मनगढ़ंत बातें करते हैं)।
यह पेपर छह अलग-अलग AI लेखन प्रणालियों के लिए एक "रिपोर्ट कार्ड" की तरह है। शोधकर्ता यह देखना चाहते थे: क्या ये AI एक भरोसेमंद मेडिकल पेपर लिख सकते हैं, या वे सिर्फ फर्जी तथ्य और फर्जी संदर्भ (references) बना रहे हैं?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे कुछ सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
1. परीक्षण: "फेक न्यूज" चुनौती
शोधकर्ताओं ने MedResearch{\text{MedResearch}}Bench नामक एक परीक्षण तैयार किया। उन्होंने छह अलग-अलग AI सिस्टम को वास्तविक मेडिकल डेटा (हृदय स्वास्थ्य, नींद और मेटाबॉलिज्म के बारे में) दिया और उन्हें एक पूर्ण शोध पत्र लिखने के लिए कहा।
उन्हें ग्रेड देने के लिए, उन्होंने केवल यह नहीं पूछा, "क्या यह सुनने में अच्छा लगता है?" बल्कि उन्होंने एक तीन-स्तरीय ग्रेडिंग प्रणाली का उपयोग किया:
- लेयर 1 (तथ्य-जांचकर्ता - The Fact-Checker): उन्होंने कंप्यूटर का उपयोग करके पेपर में दिए गए हर एक संदर्भ (citation) की वास्तविक डेटाबेस (जैसे PubMed) के विरुद्ध स्वचालित रूप से जांच की। यदि वह किताब मौजूद नहीं थी, या लेखक का नाम गलत था, तो उसे "फेल" माना गया।
- लेयर 2 (नियम-पुस्तिका - The Rule-Book): उन्होंने जांचा कि क्या पेपर मेडिकल लेखन के सख्त नियमों का पालन करता है (जैसे कि एक स्पष्ट मेथड्स सेक्शन होना या सीमाओं (limitations) को सूचीबद्ध करना)।
- लेयर 3 (मानव जैसे जज - The Human-Like Judges): उन्होंने मेडिकल अवधारणाओं की व्याख्या करने और लेखन की गुणवत्ता का आकलन करने के लिए अन्य AI का उपयोग किया।
2. बड़ी खोज: "सुंदर झूठ" (The Beautiful Lie)
परिणाम चौंकाने वाले थे।
- जाल (The Trap): कुछ AI ने ऐसे पेपर लिखे जो अद्भुत लग रहे थे। वे सुव्यवस्थित थे, उनमें सटीक मेडिकल शब्दावली का उपयोग किया गया था, और वे बहुत प्रभावशाली ढंग से लिखे गए थे। यदि आप केवल एक इंसान (या एक अकेले AI) से ग्रेड देने को कहते, तो वे उन्हें A+ देते।
- वास्तविकता (The Reality): जब शोधकर्ताओं ने "फैक्ट-चेकर" (लेयर 1) चलाया, तो वे वही पेपर बिखर गए।
- एक सिस्टम में 36% हैलुसिनेशन रेट (hallucination rate) था। इसका मतलब है कि उसके द्वारा उद्धृत किया गया हर 3 में से 1 से अधिक संदर्भ पूरी तरह से मनगढ़ंत था।
- दूसरे सिस्टम का एक विशिष्ट कार्य पर 90% हैलुसिनेशन रेट था। वह विज्ञान नहीं, बल्कि फिक्शन (कहानियां) लिख रहा था।
उपमा (Analogy): कल्पना कीजिए कि एक शेफ एक स्वादिष्ट दिखने वाला स्टेक बनाता है। यह पूरी तरह से मसालेदार और खूबसूरती से सजाया गया है। लेकिन जब आप इसे काटते हैं, तो यह वास्तव में प्लास्टिक से बना होता है।
- पुराना मूल्यांकन: "वाह, यह बहुत अच्छा दिखता है! 10/10!"
- नया मूल्यांकन: "यह प्लास्टिक है। 0/10। आप इसे खा नहीं सकते।"
3. "कठोर नियम" (The Hard Rule - सुरक्षा जाल)
शोधकर्ताओं ने एक सख्त नियम पेश किया: यदि आपके संदर्भ ज्यादातर फर्जी हैं, तो आपका पेपर बेकार है, चाहे वह कितनी भी अच्छी तरह से क्यों न लिखा गया हो।
उन्होंने एक "कठोर नियम" निर्धारित किया: यदि किसी AI के संदर्भ 30% से कम वास्तविक थे, तो उसका कुल स्कोर फेलिंग ग्रेड (60/100) पर सीमित कर दिया गया।
- परिणाम: छह में से चार AI सिस्टम इस परीक्षण में तुरंत फेल हो गए। भले ही उन्होंने बहुत सुंदर तरीके से लिखा था, लेकिन उन्हें इसलिए अयोग्य घोषित कर दिया गया क्योंकि वे अपने स्रोतों के बारे में झूठ बोल रहे थे।
4. नायक: "AI रिसर्च आर्मी" (The AI Research Army)
शोधकर्ताओं ने अपना खुद का सिस्टम बनाया जिसे AI Research Army कहा जाता है। यह अन्य प्रणालियों से अलग काम करता है। एक ही रोबोट द्वारा एक साथ लिखने और तथ्य जांचने के बजाय, वे काम को विभाजित करते हैं:
- राइटर एजेंट (Writer Agent): कहानी लिखता है।
- डिटेक्टिव एजेंट (Detective Agent): हर तथ्य और संदर्भ की जांच करता है।
- फिक्सर एजेंट (Fixer Agent): यदि डिटेक्टिव को कोई फर्जी संदर्भ मिलता है, तो फिक्सर बाहर जाता है, एक असली संदर्भ ढूंढता है, और उसे बदल देता है।
परिणाम:
- डिटेक्टिव/फिक्सर टीम के बिना, उनका सिस्टम औसत दर्जे का (Rank 6) था।
- डिटेक्टिव/फिक्सर टीम के साथ, वे सर्वश्रेष्ठ (Rank 1) बन गए।
- उनका फर्जी संदर्भ दर 7% से घटकर 2.9% रह गया।
5. सबक: यह क्यों मायने रखता है
पेपर इस निष्कर्ष पर पहुँचता है कि साइटेशन अखंडता (संदर्भों को मनगढ़ंत न बनाना) AI अनुसंधान में सबसे महत्वपूर्ण चीज है।
- समस्या: AI को आंकने के मौजूदा तरीके (केवल यह पूछना कि "क्या यह अच्छा लेखन है?") खतरनाक हैं क्योंकि वे सत्य के बजाय प्रवाह (fluency) को पुरस्कृत करते हैं। एक AI बहुत अच्छी तरह से एक सुंदर झूठ लिख सकता है।
- समाधान: हमें "प्रोग्रामेटिक वेरिफिकेशन" की आवश्यकता है। हमें AI को अपने तथ्यों को डिजिटल रसीद के साथ साबित करने के लिए मजबूर करना होगा, इससे पहले कि हम उस पेपर पर भरोसा करें।
संक्षेप में:
AI मेडिकल रिसर्च की दुनिया में, एक सुंदर पेपर जिसमें फर्जी स्रोत हों, बिना किसी पेपर के होने से भी बदतर है। यह विज्ञान को प्रदूषित करता है। इसे ठीक करने का एकमात्र तरीका यह है कि हम AI की "आवाज" पर भरोसा करना बंद करें और स्वचालित रूप से उसकी "रसीदों" की जांच करना शुरू करें। जो पेपर सबसे अच्छा दिखता है, वह हमेशा वह नहीं होता जिस पर आपको भरोसा करना चाहिए; केवल वही मायने रखता है जो अपने तथ्यों को साबित कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।