Can Large Language Models Detect Contradicted Biomedical Evidence? A Dual-Annotator Benchmark Audit
यह अध्ययन प्रदर्शित करता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स और रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम जेनरेट किए गए बायोमेडिकल उत्तरों और रिट्रीव की गई साक्ष्यों के बीच विरोधाभासों का पता लगाने में महत्वपूर्ण रूप से विफल रहते हैं, अक्सर उन्हें अपर्याप्त के रूप में गलत वर्गीकृत करते हैं, जिससे यह रेखांकित होता है कि ऐसे स्वचालित वेरीफायर अभी नैदानिक स्वायत्त स्क्रीनिंग के लिए तैयार नहीं हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मेडिकल जर्नल के सख्त संपादक हैं। आपके पास AI लेखकों (लार्ज लैंग्वेज मॉडल्स) की एक टीम है जो जटिल चिकित्सा प्रश्नों के उत्तर देने की कोशिश कर रही है। यह सुनिश्चित करने के लिए कि उनके उत्तर भरोसेमंद हों, आप उन्हें पहले चिकित्सा अनुसंधान पत्रों (प्रमाण) का एक ढेर पढ़ने के लिए देते हैं। इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है।
बड़ा सवाल जो यह शोध पत्र पूछता है: यदि एक AI लेखक एक ऐसा उत्तर देता है जो वास्तव में उन चिकित्सा अनुसंधान पत्रों का खंडन करता है जिन्हें उसने अभी पढ़ा है, तो क्या दूसरा AI "चेकर" उस झूठ को पकड़ सकता है?
यहाँ एक सरल उपमाओं का उपयोग करते हुए शोधकर्ताओं द्वारा किए गए निष्कर्षों का विवरण दिया गया है।
1. सेटअप: "फैक्ट-चेकर" प्रयोग
शोधकर्ताओं ने 150 चिकित्सा प्रश्नों के साथ एक परीक्षण सेट किया। प्रत्येक प्रश्न के लिए, उनके पास था:
- प्रश्न: एक चिकित्सा संबंधी प्रश्न।
- प्रमाण (Evidence): एक मेडिकल एब्स्ट्रैक्ट का एक अंश।
- उत्तर: AI द्वारा जनरेट किया गया एक उत्तर।
- सत्य (Truth): एक मानव विशेषज्ञ ने उत्तर को Supported (पेपर इसका समर्थन करता है), Insufficient (पेपर अस्पष्ट है), या Contradicted (पेपर इसके विपरीत कहता है!) के रूप में लेबल किया।
इसके बाद उन्होंने विभिन्न AI "चेकर्स" (शीर्ष मॉडल्स जैसे GPT-5.5, DeepSeek और विशेष क्लासिफायर सहित) से पूछा कि वे प्रमाण और उत्तर को देखें और कहें: "क्या यह मेल खाता है?"
2. मुख्य खोज: "ब्लाइंड स्पॉट" (अंध बिंदु)
परिणाम आश्चर्यजनक और थोड़े चिंताजनक थे। AI चेकर विरोधाभासों (contradictions) को पकड़ने में बहुत खराब थे।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड है जिसका काम किसी को इमारत में कोई प्रतिबंधित वस्तु ले जाने से रोकना है। इस परीक्षण में, 23 लोग प्रतिबंधित वस्तुएं अंदर ले जाने की कोशिश कर रहे थे (विरोधाभास)। सबसे अच्छे सुरक्षा गार्ड (शीर्ष AI मॉडल) ने केवल 5 को पकड़ा। बाकी सब आसानी से निकल गए।
- गलती: जब AI चेकर एक विरोधाभास को पकड़ने में विफल रहे, तो उन्होंने आमतौर पर यह नहीं कहा कि "यह गलत है।" इसके बजाय, उन्होंने कहा, "यह Insufficient है" (जिसका अर्थ है: "मैं यह नहीं बता सकता कि यह सही है या गलत, इसलिए मैं सुरक्षित खेलना पसंद करूँगा")। उन्होंने एक स्पष्ट झूठ को केवल एक "अस्पष्ट" कथन के रूप में माना।
- पैमाना: यहाँ तक कि सबसे स्मार्ट मॉडल्स ने भी वास्तविक विरोधाभासों का केवल 17% से 22% ही पता लगाया। बाकी छूट गए।
3. "मानव" कारक: क्या इंसान बेहतर हैं?
शोधकर्ताओं ने काम की जांच करने के लिए एक दूसरे मानव संपादक को भी शामिल किया।
- ब्लाइंड टेस्ट: जब मानव संपादक ने बिना यह जाने कि कौन से प्रश्न पेचीदा हैं, रैंडम बैच को देखा, तो उन्होंने शून्य विरोधाभास मिस किए। वे AI की तरह ही "अंधे" थे।
- फोकस्ड टेस्ट: हालाँकि, जब मानव संपादक को बताया गया, "हे, विशेष रूप से इन 23 प्रश्नों को देखो; मुझे पता है कि इनमें झूठ है," तो उन्होंने 23 में से 13 को ढूँढ निकाला।
- सबक: विरोधाभास का पता लगाना केवल स्मार्ट होने के बारे में नहीं है; यह इस बारे में है कि आप कैसे देखते हैं। यदि आप विशेष रूप से झूठ की तलाश नहीं कर रहे हैं, तो आप उन्हें मिस कर जाते हैं। मानव और AI दोनों में एक "रूढ़िवादी पूर्वाग्रह" (conservative bias) होता है—वे "वह झूठ है" कहने के बजाय "मुझे नहीं पता" कहना पसंद करते हैं।
4. "नॉलेज ग्राफ" प्रयोग
शोधकर्ताओं ने एक शानदार ट्रिक भी आजमाई। उन्होंने एक "नॉलेज ग्राफ" बनाया (चिकित्सा शब्दों को जोड़ने वाला एक विशाल मानचित्र, जैसे कि एक सबवे मैप) ताकि AI को पढ़ने के लिए सबसे अच्छे शोध पत्र खोजने में मदद मिल सके। उन्हें उम्मीद थी कि इससे उत्तर अधिक सटीक होंगे।
- परिणाम: यह काम नहीं आया। इस फैंसी मैप का उपयोग करने से उनके उत्तर मानक खोज विधियों की तुलना में बेहतर नहीं हुए। यह एक ड्राइवर को अपना जीपीएस देने जैसा था जो उसके अपने दिशा ज्ञान से बेहतर नहीं, बल्कि उसके बराबर ही था।
5. निचोड़ (Bottom Line)
- वर्तमान AI चेकर 'प्राइम टाइम' के लिए तैयार नहीं हैं। यदि आप अस्पताल के माहौल में चिकित्सा संबंधी झूठ को पकड़ने के लिए इन AI सिस्टमों पर भरोसा करते हैं, तो वे अधिकांश को मिस कर देंगे।
- वे "सपोर्ट" खोजने में अच्छे हैं, लेकिन "झूठ" खोजने में बुरे हैं। वे यह कहने में बहुत अच्छे हैं कि, "हाँ, यह पेपर उस उत्तर का समर्थन करता है," लेकिन वे यह कहने में बहुत कमजोर हैं कि, "नहीं, यह पेपर वास्तव में इसके विपरीत कहता है।"
- "Insufficient" का जाल: सबसे बड़ी समस्या यह है कि AI "विरोधाभास" को "अपर्याप्त जानकारी" के साथ भ्रमित कर देता है। यह कहना कि "मैं निश्चित नहीं हूँ" की तुलना में यह कहना कि "वह गलत है" जोखिम भरा हो सकता है, लेकिन चिकित्सा के संदर्भ में, एक विरोधाभास को मिस करना खतरनाक है।
संक्षेप में: शोध पत्र निष्कर्ष निकालता है कि हालांकि ये AI उपकरण सूचना को व्यवस्थित करने के लिए उपयोगी हैं, लेकिन वे चिकित्सा संबंधी विरोधाभासों को पकड़ने के लिए स्वायत्त पुलिस (autonomous police) के रूप में कार्य करने के लिए अभी तक पर्याप्त विश्वसनीय नहीं हैं। उन्हें उन त्रुटियों को पकड़ने के लिए मानव पर्यवेक्षण की आवश्यकता है जिन्हें वे वर्तमान में मिस कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।