MamaBench: Benchmarking LLM Robustness in Maternal and Child Health Diagnosis through Counterfactual Clinical Perturbation
यह शोध पत्र MamaBench प्रस्तुत करता है, जो मातृ और बाल चिकित्सा AI के लिए पहला काउंटरफैक्चुअल बेंचमार्क है जो फ्रंटियर LLMs में महत्वपूर्ण मजबूती संबंधी अंतराल (robustness gaps) को प्रकट करता है, और एक एविडेंस-एंकरड (Evidence-Anchored) RAG विधि प्रस्तावित करता है जो नैदानिक सटीकता बनाए रखते हुए बायस ट्रैप रेट (Bias Trap Rate) को काफी कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को डॉक्टर बनना सिखा रहे हैं। आप उसे हजारों मेडिकल टेक्स्टबुक्स दिखाते हैं और उसे क्विज़ पर अभ्यास करने देते हैं। वह हर टेस्ट में परफेक्ट स्कोर हासिल करता है, हर परीक्षा को शानदार तरीके से पास करता है। लेकिन यहाँ एक पेंच है: अधिकांश टेस्ट रोबोट से एक-एक करके, अलग-थलग समस्याओं को हल करने के लिए पूछते हैं। वे यह नहीं देखते कि क्या रोबोट दो ऐसे मरीजों के बीच अंतर कर सकता है जो लगभग एक जैसे दिखते हैं लेकिन जिन्हें पूरी तरह से अलग उपचार की आवश्यकता है। यह एक ऐसे छात्र की तरह है जिसने गणित के टेस्ट के लिए उत्तर कुंजी (answer key) रट ली है, लेकिन जब आप समस्या में सिर्फ एक नंबर बदल देते हैं, तो वह फेल हो जाता है। वास्तविक दुनिया में, विशेष रूप से माताओं और शिशुओं की देखभाल करते समय, लक्षणों का एक सूक्ष्म अंतर जीवन और मृत्यु के बीच का अंतर हो सकता है। यदि कोई रोबोट अपने पहले अनुमान पर अटक जाता है और नए सुराग मिलने पर भी अपना मन बदलने से इनकार कर देता है, तो वह एक खतरनाक गलती कर सकता है। यह "डायग्नोस्टिक फिक्सेशन" (नैदानिक जड़ता) की समस्या है, जहाँ एक सिस्टम अपने पहले उत्तर पर इतना आश्वस्त हो जाता है कि वह उन सूक्ष्म बदलावों को अनदेखा कर देता है जो वास्तव में निदान (diagnosis) को बदल देते हैं।
यहाँ आता है MamaBench, एक नया, चालाकी भरा टेस्ट जिसे विशेष रूप से इन स्मार्ट-लेकिन-जिद्दी रोबोट्स को पकड़ने के लिए डिज़ाइन किया गया है। इस अध्ययन के पीछे के शोधकर्ताओं ने यह देखना चाहा कि क्या नवीनतम AI मॉडल "काउंटरफैक्टुअल" (counterfactual) परिदृश्यों को संभाल सकते हैं—ऐसे मामले जहाँ वे पहले मरीज को तो सही पहचान लेते हैं, लेकिन फिर एक दूसरे मरीज का सामना करते हैं जो लगभग वैसा ही है, सिवाय एक महत्वपूर्ण विवरण के जो सही निदान को पूरी तरह बदल देता है। इसे "स्पॉट द डिफरेंस" (अंतर पहचानो) गेम की तरह समझें जो मेडिकल AI के लिए बनाया गया है। टीम ने पाया कि यहाँ तक कि बेहतरीन मॉडल भी, जो मानक परीक्षणों पर बहुत उच्च स्कोर करते हैं, अक्सर इस नए चैलेंज में विफल हो जाते हैं। वे आसान संस्करण को सही कर लेते हैं लेकिन थोड़े से बदले हुए संस्करण में "फँस" जाते हैं, और अपने मूल गलत उत्तर पर ही टिके रहते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने EA-RAG नामक एक विशेष टूल बनाया। केवल सबसे समान टेक्स्ट खोजने के बजाय, यह टूल एक जासूस की तरह काम करता है जो सबूतों की दोबारा जाँच करता है, और उन विशिष्ट प्रश्नों को पूछता है जो दोनों मरीजों के बीच के अंतर को स्पष्ट करने वाले सुरागों को खोज सकें। हालाँकि इस नए टूल ने रोबोट्स को अंतर पहचानने में बेहतर बनाने में मदद की, लेकिन अध्ययन से पता चलता है कि इस अपग्रेड के साथ भी, रोबोट अब भी पाँच में से एक बार गलती करते हैं। यह स्पष्ट है कि AI को वास्तव में लचीला और सतर्क बनाना अभी भी एक बहुत बड़ी, अनसुलझी पहेली है।
समस्या: "जिद्दी जीनियस" का जाल
पेपर इस बात की ओर इशारा करते हुए शुरू होता है कि हम वर्तमान में मेडिकल AI का परीक्षण कैसे करते हैं इसमें एक छिपा हुआ दोष है। मानक बेंचमार्क एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) की तरह हैं जहाँ प्रत्येक प्रश्न स्वतंत्र है। एक AI इस क्विज़ में महारत हासिल कर सकता है क्योंकि उसने पैटर्न याद कर लिए हैं, लेकिन वह वास्तव में बारीकियों (nuance) को नहीं समझता। शोधकर्ता इसे डायग्नोस्टिक फिक्सेशन कहते हैं। कल्पना कीजिए कि एक जासूस एक ऐसे मामले को सुलझाता है जहाँ एक संदिग्ध को शाम 5 बजे पार्क में देखा गया था। फिर, आप उन्हें दूसरा मामला दिखाते हैं जहाँ संदिग्ध को शाम 5:05 बजे पार्क में देखा गया था, लेकिन 5:05 बजे की मौजूदगी यह साबित करती है कि संदिग्ध वास्तव में एक अलग स्थान पर था। एक मानव जासूस समय के इस बदलाव को नोट करेगा और अपना निर्णय बदल लेगा। हालाँकि, एक "फिक्सेटेड" (जड़वत) AI, 5 मिनट के अंतर को अनदेखा कर सकता है और इस बात पर अड़ा रह सकता है कि संदिग्ध उसी स्थान पर है, क्योंकि वह "शाम 5 बजे पार्क" के पैटर्न का इतना आदी है।
मातृ एवं शिशु स्वास्थ्य की दुनिया में, यह डरावना है। एक बच्चे का दूध न पीना एक मामूली पेट दर्द हो सकता है, या यह एक गंभीर संक्रमण का संकेत हो सकता है, जो बच्चे की उम्र या बुखार के स्तर जैसे एक एकल विवरण पर निर्भर करता है। यदि AI फिक्सेटेड है, तो वह गलत सलाह दे सकता है। शोधकर्ताओं ने इसे उजागर करने के लिए MamaBench बनाया। उन्होंने 217 जोड़ियाँ (pairs) बनाईं। प्रत्येक जोड़ी में, एक "बेस केस" (मूल कहानी) और एक "काउंटरफैक्टुअल केस" (एक छोटे, महत्वपूर्ण बदलाव वाली कहानी) है। उन्होंने AI को दोनों का निदान करने के लिए कहा। यदि AI पहले वाले को सही पहचान लेता है लेकिन दूसरे वाले में विफल रहता है, तो उसे "बायस ट्रैप" (पक्षपात के जाल) में पकड़ा गया माना गया।
समाधान: "साक्ष्य जासूस" (Evidence Detective)
शोधकर्ताओं ने पाया कि केवल AI को अधिक जानकारी देना (एक मानक विधि जिसे RAG, या रिट्रीवल-ऑगमेंटेड जनरेशन कहा जाता है) मददगार नहीं था। क्यों? क्योंकि जब दो कहानियाँ इतनी समान होती हैं, तो AI का सर्च इंजन दोनों के लिए बिल्कुल एक जैसा बैकग्राउंड इंफॉर्मेशन निकालता है। यह एक लाइब्रेरियन से "बिल्लियों" के बारे में एक किताब माँगने और फिर "नीली आँखों वाली बिल्लियों" के बारे में एक किताब माँगने जैसा है, और लाइब्रेरियन आपको दोनों बार वही "कैट्स 101" वाली किताब थमा देता है। AI कभी भी अंतर देख ही नहीं पाता।
इसे हल करने के लिए, उन्होंने EA-RAG (एविडेंस-एंकर्ड RAG) का आविष्कार किया। केवल सबसे समान टेक्स्ट उठाने के बजाय, EA-RAG एक तीन-चरणीय जासूस की तरह कार्य करता है:
- एक्सट्रैक्शन (Extraction): यह मरीज की कहानी को विशिष्ट, टाइप किए गए तथ्यों में तोड़ देता है (जैसे "बच्चा 10 दिन का है" या "बुखार तेज है")।
- कवरेज ऑडिटिंग (Coverage Auditing): यह जाँचता है कि प्राप्त जानकारी उन विशिष्ट तथ्यों को कवर करती है या नहीं। यदि AI के सर्च ने "10 दिन का" वाले विवरण को मिस कर दिया, तो उसे पता चल जाता है कि वहाँ एक कमी है।
- कॉन्ट्रास्टिव सब-क्वेरीज (Contrastive Sub-queries): यदि कोई कमी पाई जाती है, तो AI एक नया, विशिष्ट प्रश्न पूछता है ताकि उस कमी को भरा जा सके, जैसे "10 दिन का होने से उपचार में क्या बदलाव आता है?" यह सिस्टम को उस विशिष्ट साक्ष्य को खोजने के लिए मजबूर करता है जो दोनों मामलों के बीच अंतर स्पष्ट करता है।
उन्होंने क्या पाया: प्रगति, लेकिन पूर्ण समाधान नहीं
टीम ने इस नए बेंचमार्क पर दुनिया के चार सबसे उन्नत AI मॉडल्स का परीक्षण किया। परिणाम आँखें खोल देने वाले थे:
- ओवरकॉन्फिडेंस गैप (अति-आत्मविश्वास का अंतर): प्रत्येक मॉडल में, "बेस एक्यूरेसी" (मूल कहानियों पर प्रदर्शन) उनकी "रोबस्ट एक्यूरेसी" (चुनौतीपूर्ण, बदली हुई कहानियों पर प्रदर्शन) से 16 से 28 प्रतिशत अंक अधिक थी। इसका अर्थ है कि मानक परीक्षण हमें धोखा दे रहे थे, जिससे AI वास्तव में जितना स्मार्ट है उससे कहीं अधिक स्मार्ट दिख रहा था।
- स्टैंडर्ड RAG विफल रहा: केवल एक मानक सर्च टूल जोड़ने से कोई मदद नहीं मिली। AI अभी भी उसी पक्षपात के जाल में फँस गया।
- EA-RAG ने मदद की, लेकिन जीत नहीं सका: जब उन्होंने अपने नए EA-RAG टूल का उपयोग किया, तो AI काफी बेहतर हुआ। सबसे मजबूत मॉडल (Claude Sonnet 4.6) पर, "बायस ट्रैप रेट" 25.8% से गिरकर 20.3% हो गया। इसका मतलब है कि AI ने अपनी जिद वाली गलती लगभग 5.5% कम बार की।
- कठोर सत्य: सबसे अच्छे टूल्स और सबसे स्मार्ट मॉडल्स के साथ भी, AI हर पाँच में से एक बार काउंटरफैक्टुअल जोड़ियों में विफल रहा। 20% की शेष विफलता दर यह पुष्टि करती है कि क्लिनिकल AI को इन सूक्ष्म बदलावों के प्रति वास्तव में मजबूत बनाना अभी भी एक खुला चैलेंज है।
पेपर निष्कर्ष निकालता है कि हालांकि हमने बेहतर रिट्रीवल विधियों के साथ एक कदम आगे बढ़ाया है, लेकिन हमने समस्या को अभी तक हल नहीं किया है। AI अभी भी अपने पहले प्रभाव पर अटक जाने के प्रति बहुत संवेदनशील है जब विवरण बदलते हैं। एक ऐसे क्षेत्र के लिए जहाँ दो जीवन दांव पर हैं, 20% त्रुटि दर एक बहुत बड़ी बाधा है जिस पर शोधकर्ता अभी भी काम कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।