Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops
यह अध्ययन एक "ट्रस्ट बट वेरीफाई" (विश्वास करें लेकिन जांचें) मल्टी-एजेंट फ्रेमवर्क पेश करता है जो प्रतिबंधित फार्मास्यूटिकल्स की खतरनाक सिफारिशों को रोकने के लिए पोस्ट-हॉक एडवरसैरियल ऑडिटिंग का उपयोग करके लार्ज लैंग्वेज मॉडल्स में मेडिकल मतिभ्रम (हैलुसिनेशन) को काफी कम कर देता है, जिससे स्वास्थ्य सेवा परिवेश में प्रवाहपूर्ण टेक्स्ट जनरेशन के बजाय रोगी सुरक्षा को प्राथमिकता दी जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "ट्रस्ट बट वेरीफाई" (Trust but Verify) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: वह "सब कुछ जानने वाला" डॉक्टर जो खबरें पढ़ना भूल गया
कल्पना कीजिए कि एक प्रतिभाशाली मेडिकल छात्र ने अब तक लिखी गई हर मेडिकल किताब को रट लिया है। वह अविश्वसनीय रूप से बुद्धिमान है और लगभग किसी भी सवाल का जवाब दे सकता है। हालाँकि, इस छात्र ने पिछले पाँच वर्षों से कोई समाचार नहीं पढ़ा है।
यदि आप उससे पूछें, "इस सिरदर्द के लिए सबसे अच्छी दवा क्या है?" तो वह आत्मविश्वास के साथ एक ऐसी गोली की सिफारिश कर सकता है जो 2015 में तो परफेक्ट जवाब थी, लेकिन 2020 में सरकार द्वारा प्रतिबंधित (बैन) कर दी गई थी क्योंकि उससे हार्ट अटैक का खतरा बढ़ जाता है।
वर्तमान AI डॉक्टरों (लार्ज लैंग्वेज मॉडल्स) के साथ बिल्कुल यही होता है। उन्हें भारी मात्रा में डेटा पर प्रशिक्षित किया जाता है, लेकिन वह डेटा पुराना हो जाता है। चिकित्सा के बारे में पूछे जाने पर, वे अक्सर "हैलुसिनेट" (तथ्य गढ़ते हैं या पुरानी जानकारी पर भरोसा करते हैं) करते हैं और ऐसी दवाओं का सुझाव देते हैं जो अब सुरक्षित या कानूनी नहीं हैं।
समाधान: "ट्रस्ट बट वेरीफाई" टीम
शोधकर्ताओं ने पूछा: क्या हम AI को शुरू से बनाए बिना इसे ठीक कर सकते हैं?
उनका उत्तर एक नया सिस्टम है जिसे "ट्रस्ट बट वेरीफाई" कहा गया है। AI को अंतिम उत्तर देने देने के बजाय, उन्होंने एक पाँच-सदस्यीय टीम (एक मल्टी-एजेंट सिस्टम) बनाई है जो सभी एक ही मस्तिष्क (एक ही AI मॉडल) का उपयोग करती है लेकिन अलग-अलग भूमिकाएँ निभाती हैं। इसे एक उच्च-दांव वाले कोर्टरूम या न्यूज़रूम एडिटोरियल बोर्ड की तरह समझें।
यह टीम इस प्रकार काम करती है:
- गेटकीपर (रूटर एजेंट): यह व्यक्ति आने वाले प्रश्न की जाँच करता है। क्या यह चिकित्सा के बारे में है? यदि हाँ, तो वे इसे सुरक्षा टीम को भेज देते हैं। यदि यह केवल "मौसम कैसा है?" जैसा है, तो वे समय बचाने के लिए AI को सामान्य रूप से चैट करने देते हैं।
- डॉक्टर (मेडिकल क्लिनिकल एजेंट): यह AI एक विशेषज्ञ के रूप में कार्य करता है। यह प्रश्न को देखता है और अपनी याददाश्त के आधार पर उपचार का सुझाव देता है।
- लेखक (एंटिटी एक्सट्रैक्टर एजेंट): यह व्यक्ति डॉक्टर की अव्यवस्थित बातों को एक साफ, मशीन-पठनीय सूची (जैसे खरीदारी की सूची) में बदल देता है ताकि अगले व्यक्ति को पता चल सके कि वास्तव में क्या जाँच करनी है।
- जांचकर्ता (सेफ्टी ऑडिटर एजेंट): यह सबसे महत्वपूर्ण भूमिका है। यह एजेंट डॉक्टर की याददाश्त पर भरोसा नहीं करता है। यह अभी के अभी ऑनलाइन जाकर आधिकारिक सरकारी डेटाबेस (जैसे FDA) की जाँच करता है कि सुझाया गया ड्रग अभी भी कानूनी है या नहीं।
- यदि ड्रग प्रतिबंधित है: तो जांचकर्ता चिल्लाकर कहता है, "रुकिए! यह दवा खतरनाक है!" और प्रश्न को वापस डॉक्टर के पास भेज देता है।
- यदि ड्रग सुरक्षित है: तो जांचकर्ता हरी झंडी दे देता है।
- लूप (चक्र): यदि डॉक्टर एक प्रतिबंधित दवा का सुझाव देता है, तो जांचकर्ता उन्हें फिर से प्रयास करने के लिए वापस भेज देता है। डॉक्टर को या तो कोई दूसरा विकल्प चुनना होगा या यह स्वीकार करना होगा कि, "मुझे कोई सुरक्षित विकल्प नहीं पता।" यह प्रक्रिया तीन बार तक हो सकती है।
परीक्षण: "ट्रैप" (जाल) वाले प्रश्न
यह देखने के लिए कि क्या यह सिस्टम काम करता है, शोधकर्ताओं ने एक जाल बनाया। उन्होंने 103 चिकित्सा प्रश्न तैयार किए जहाँ किताबों के अनुसार "सही" उत्तर वास्तव में एक प्रतिबंधित दवा (जैसे कि वह दवा जिसे वर्षों पहले बाजार से हटा लिया गया था) थी।
उन्होंने इसे पाँच अलग-अलग AI मॉडल्स (Llama, Falcon और GPT के संस्करणों सहित) पर दो तरीकों से टेस्ट किया:
- "वैनिला" तरीका: सीधे AI से पूछना (जैसे एक छात्र अकेले परीक्षा दे रहा हो)।
- "एजेंटिक" तरीका: ऊपर वर्णित पाँच-सदस्यीय टीम का उपयोग करना।
परिणाम: गति से अधिक सुरक्षा
परिणाम नाटकीय थे:
- "वैनिला" AI: यह बहुत आत्मविश्वासी था। इसने अपने पुराने टेक्स्टबुक्स के अनुसार "सही" उत्तर दिया, लेकिन वह उत्तर खतरनाक था। इसने प्रतिबंधित दवाओं की सिफारिश लगभग 100% बार की। यह एक ऐसे आत्मविश्वासी ड्राइवर की तरह था जो भूल गया कि ट्रैफिक नियम बदल गए हैं।
- "एजेंटिक" AI: टीम सिस्टम बहुत बेहतर काम कर रहा था।
- इसने प्रतिबंधित दवाओं की सिफारिश करने से लगभग 53% अधिक बार रोका।
- एक खतरनाक उत्तर देने के बजाय, इसने यह कहना सीख लिया कि, "मैं सुरक्षित विकल्प की सिफारिश नहीं कर सकता।"
- इसका "पॉइंटवाइज स्कोर" (एक सुरक्षा मीट्रिक) खतरनाक नकारात्मक स्कोर से शून्य (सुरक्षित क्षेत्र) की ओर बढ़ गया।
समझौता (Trade-off):
टीम सिस्टम को पारंपरिक अर्थों में कम "सही" उत्तर मिले क्योंकि इसने पुराने, प्रतिबंधित उत्तर देने से इनकार कर दिया। लेकिन वास्तविक दुनिया में, एक खतरनाक उत्तर देने के बजाय सुरक्षित उत्तर न देना बेहतर है।
आश्चर्य: सबसे "स्मार्ट" AI भी विफल रहा
शोधकर्ताओं ने सबसे नए, सबसे महंगे कमर्शियल AI (जैसे नवीनतम ChatGPT और Gemini) का भी परीक्षण किया जिनके पास "इंटरनेट एक्सेस" होने का दावा है।
यहाँ तक कि ये उन्नत मॉडल भी विफल रहे। वे इंटरनेट खोजेंगे, देखेंगे कि एक दवा प्रतिबंधित है, लेकिन फिर भी उस जानकारी को अनदेखा कर देंगे और प्रतिबंधित दवा की सिफारिश करना जारी रखेंगे क्योंकि उनकी आंतरिक स्मृति बहुत मजबूत थी। यह साबित करता है कि केवल इंटरनेट एक्सेस होना पर्याप्त नहीं है; आपको एक विशिष्ट "सेफ्टी गार्ड" की आवश्यकता है जो AI को नए नियमों को सुनने के लिए मजबूर करे।
निष्कर्ष
यह पेपर दिखाता है कि हमें सुरक्षित बनाने के लिए एक नए प्रकार के AI को आविष्कार करने की आवश्यकता नहीं है। हमें बस इसे उपयोग करने के तरीके को बदलने की आवश्यकता है। AI को एक ऐसी टीम में बदलकर जहाँ एक हिस्सा उत्तर का सुझाव देता है और दूसरा हिस्सा वास्तविक समय के नियमों के विरुद्ध तथ्यों की आक्रामक रूप से जाँच करता है, हम AI को खतरनाक चिकित्सा सलाह देने से रोक सकते हैं।
यह एक ऐसे छात्र के बीच का अंतर है जिसने किताब रट ली है और डॉक्टरों की एक ऐसी टीम के बीच जो दवा लिखने से पहले नवीनतम सुरक्षा अलर्ट की दोबारा जाँच करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।