Auditing Institutional Heterogeneity for Generative AI in Patient Education: A Large-Scale Study of 102 US Transplant Handbooks

कल्पना कीजिए कि आप एक विशाल पुस्तकालय में प्रवेश कर रहे हैं जहाँ हर किताब आपको एक बहुत ही विशेष, नाजुक बगीचे की देखभाल करना सिखाने के लिए है। लेकिन यहाँ एक मोड़ है: यह केवल एक पुस्तकालय नहीं है; यह देश भर के 23 अलग-अलग बागवानों से प्राप्त 102 विभिन्न मार्गदर्शिकाओं (guidebooks) का एक संग्रह है। चिकित्सा की दुनिया में, ये "बगीचे" मानव अंग हैं, और "बागवान" ट्रांसप्लांट केंद्र हैं। वर्षों से, डॉक्टरों ने मरीजों के सवालों के जवाब देने के लिए इन मार्गदर्शिकाओं का उपयोग करने वाले स्मार्ट, AI-संचालित सहायक बनाए हैं। बड़ा विचार सरल था: यदि AI स्थानीय मार्गदर्शिका को पढ़ता है, तो यह ठीक वैसा ही परामर्श देगा जैसा कि वह विशिष्ट अस्पताल करता है। यह एक ऐसे टूर गाइड की तरह है जो आपके विशिष्ट पार्क के गुप्त रास्तों को जानता है।

लेकिन एक छिपी हुई चिंता थी जिसे बड़े पैमाने पर जांचा नहीं गया था: क्या ये सभी मार्गदर्शिकाएँ वास्तव में एक-दूसरे से सहमत हैं? कल्पना कीजिए कि यदि एक किताब कहती है "हर सुबह फूलों को पानी दें" और दूसरी कहती है "केवल मंगलवार को पानी दें।" यदि AI गलत किताब चुन लेता है, तो बगीचे को नुकसान हो सकता है। यह शोध ठीक इसी प्रश्न की गहराई में जाता है। यह इन मेडिकल हैंडबुक्स के संग्रह को एक विशाल पहेली की तरह मानता है, यह जाँचने के लिए कि क्या सलाह सुसंगत है या क्या "आवाज" उस अंग के प्रकार से अधिक महत्वपूर्ण है जिसके बारे में चर्चा की जा रही है। लक्ष्य यह सुनिश्चित करना है कि जब कोई मरीज एक स्मार्ट कंप्यूटर से मदद मांगे, तो उसे सुरक्षित और विश्वसनीय उत्तर मिलें जो अनजाने में उनके डॉक्टर की योजनाओं के विपरीत न हों।

महान हैंडबुक जासूसी कहानी

तो, शोधकर्ताओं ने वास्तव में क्या किया? उन्होंने सुपर-पावर्ड जासूसों की तरह काम किया, लेकिन अपराध सुलझाने के बजाय, उन्होंने निरंतरता के रहस्य को सुलझाया। उन्होंने 23 अमेरिकी सॉलिड-ऑर्गन ट्रांसप्लांट केंद्रों से 102 पेशेंट-एजुकेशन हैंडबुक्स एकत्र किए। ये केंद्र हृदय, फेफड़े, किडनी, लिवर और अग्न्याशय (pancreas) से संबंधित मामलों को देखते हैं। उन्होंने इन हैंडबुक्स को 1,115 वास्तविक प्रश्नों के साथ जोड़ा जो मरीज वास्तव में पूछते हैं, जैसे "क्या मैं यात्रा कर सकता हूँ?" या "मैं कब माँ बन सकती हूँ?"

फिर, उन्होंने एक "जज" (एक बहुत ही उन्नत AI) को हर संभावित संयोजन को पढ़ने के लिए छोड़ा। उन्होंने केवल कुछ उदाहरण नहीं देखे; उन्होंने 5,730,465 पेयरवाइज तुलनाओं का एक विशाल ऑडिट चलाया। यह देखने के लिए 5.7 मिलियन से अधिक जाँच थी कि क्या हैंडबुक A और हैंडबुक B एक ही बात कह रहे हैं, अलग बातें कह रहे हैं, या कुछ भी नहीं कह रहे हैं।

बड़ी आश्चर्यजनक बातें

यहाँ जो शोधकर्ताओं ने पाया, वह थोड़ा जटिल है—यह केवल "सब सहमत हैं" जैसा सरल नहीं है।

1. "हाउस स्टाइल" अंग से अधिक मजबूत है
आप सोच सकते हैं कि सभी हृदय रोग विशेषज्ञ एक-दूसरे से सहमत होंगे, और सभी किडनी विशेषज्ञ एक-दूसरे से सहमत होंगे, चाहे वे कहीं भी काम करते हों। अध्ययन में पाया गया कि यह पूरी तरह सच नहीं है। वास्तव में, एक ही अस्पताल की "संपादकीय आवाज" इतनी मजबूत है कि एक ही अस्पताल की दो हैंडबुक्स (भले ही एक हृदय के लिए हो और एक फेफड़ों के लिए) एक दूसरे से अधिक सहमत होती हैं, बजाय इसके कि अलग-अलग अस्पतालों की दो हैंडबुक्स एक ही अंग के लिए हों। यह ऐसा है जैसे शिकागो की एक बेकरी हमेशा हर केक पर अतिरिक्त स्प्रिंकल्स डालती है, चाहे वह चॉकलेट का हो या वैनिला का, जबकि न्यूयॉर्क की एक बेकरी कभी स्प्रिंकल्स का उपयोग ही नहीं करती। "शिकागो स्टाइल" चॉकलेट बनाम वैनिला के अंतर से अधिक महत्वपूर्ण है। इसका अर्थ यह है कि यदि आप एक ही AI में विभिन्न अस्पतालों की हैंडबुक्स को मिला देते हैं, तो आपको अस्पताल की अनूठी लेखन शैली के कारण भ्रमित करने वाली सलाह मिल सकती है।

2. "मौन" विषय सबसे अधिक चोट पहुँचाते हैं
सबसे बड़ी समस्या यह नहीं थी कि हैंडबुक्स असहमत थीं; बल्कि यह था कि वे अक्सर कुछ भी नहीं कहती थीं। अध्ययन में पाया गया कि 78.9% मामलों में, एक जोड़ी में कम से कम एक हैंडबुक के पास उत्तर ही नहीं था। लेकिन दुखद बात यह है: जो विषय सबसे अधिक गायब थे, वे वे थे जो उन लोगों के लिए सबसे महत्वपूर्ण थे जिन्हें अक्सर अनदेखा किया जाता है।

• प्रजनन स्वास्थ्य (गर्भावस्था और बच्चों के बारे में प्रश्न) सबसे अधिक मौन विषय था, जिसमें 82% हैंडबुक्स इस पर बिल्कुल भी चर्चा नहीं करती हैं।
• फिर भी, जब दो हैंडबुक्स इस पर उत्तर देती हैं, तो वे उच्च-जोखिम वाले विवरणों पर 86% बार असहमत होती हैं।
• यह एक "दोहरी मार" है: मरीजों के लिए इस विषय पर कोई उत्तर न मिलना सबसे अधिक संभावित है, लेकिन यदि उन्हें दो अलग-अलग स्रोतों से उत्तर मिलता है, तो उनके विरोधाभासी उत्तर मिलने की संभावना सबसे अधिक है।
• अन्य गायब विषयों में मानसिक स्वास्थ्य, वित्तीय संघर्ष और बच्चों या बुजुर्गों जैसे विशेष आबादी की देखभाल शामिल थी।

3. "उच्च-दांव" वाले तर्क
जब हैंडबुक्स असहमत हुईं, तो वे आमतौर पर "नाश्ते में क्या खाएं" जैसी छोटी चीजों के बारे में नहीं थीं। असहमति 991 विभिन्न विषयों में केंद्रित थी, लेकिन सबसे खतरनाक विषय गर्भावस्था के समय (pregnancy timing) और इम्यूनोसप्रेशन (वे दवाएं जो मरीज शरीर द्वारा नए अंग को अस्वीकार करने से रोकने के लिए लेते हैं) के बारे में थे। उदाहरण के लिए, एक हैंडबुक कह सकती है कि आप सर्जरी के छह महीने बाद गर्भधारण की कोशिश कर सकते हैं, जबकि दूसरी एक साल तक इंतजार करने को कह सकती है। ये केवल टाइपिंग की गलतियाँ नहीं हैं; ये जीवन बदलने वाले निर्णय हैं।

4. हम परेशानी का अनुमान लगा सकते हैं
शोधकर्ताओं ने एक तरह का भविष्य बताने वाला यंत्र (क्रिस्टल बॉल) भी बनाया। उन्होंने पाया कि वे सवाल पूछने के तरीके को देखकर यह अनुमान लगा सकते हैं कि कौन से प्रश्न सबसे अधिक असहमति का कारण बनेंगे। "क्या मैं..." से शुरू होने वाले प्रश्न या यात्रा के बारे में पूछे गए प्रश्न सबसे अधिक विरोधाभासी उत्तरों को ट्रिगर करने की संभावना रखते थे। मॉडल इसमें अच्छा था, जिसका स्कोर (AUC) 0.77 था, जिसका अर्थ है कि यह AI के प्रयास करने से पहले ही समस्या पैदा करने वाले सवालों को पहचान सकता था।

यह आपके लिए क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि हम केवल किसी भी अस्पताल की हैंडबुक्स को एक स्मार्ट AI में नहीं डाल सकते और उम्मीद नहीं कर सकते कि यह पूरी तरह से काम करेगा। अस्पताल की "हाउस स्टाइल" अपनी एक वास्तविकता बनाती है, और सबसे कमजोर मरीज वे हैं जिन्हें सबसे कम जानकारी मिल रही है।

शोधकर्ता कुछ सुधार सुझाते हैं:

• लॉन्च करने से पहले ऑडिट करें: अस्पतालों को अपने स्वयं के हैंडबुक्स में अंतराल और विरोधाभासों की जाँच करनी चाहिए, इससे पहले कि वे AI को मरीजों से बात करने दें।
• "क्या मैं?" फ़िल्टर: यदि कोई मरीज "क्या मैं यात्रा कर सकता हूँ?" या "क्या मैं X कर सकता हूँ?" जैसा प्रश्न पूछता है, तो सिस्टम को अतिरिक्त सावधानी बरतनी चाहिए, शायद पहले एक मानव डॉक्टर को दिखाना चाहिए, क्योंकि ये वे प्रश्न हैं जहाँ हैंडबुक्स सबसे अधिक असहमत होती हैं।
• अंतरालों के बारे में ईमानदारी: यदि AI को उत्तर नहीं पता (विशेष रूप से गर्भावस्था या मानसिक स्वास्थ्य के बारे में), तो उसे कुछ भी मनगढ़ंत बनाने या सामान्य उत्तर देने के बजाय "मुझे नहीं पता" या "यह अस्पताल के अनुसार भिन्न हो सकता है" कहना चाहिए।

संक्षेप में, यह अध्ययन दिखाता है कि जबकि AI एक शक्तिशाली उपकरण है, इसे यह सिखाने की आवश्यकता है कि सभी अस्पताल एक ही भाषा नहीं बोलते हैं, और कुछ सबसे महत्वपूर्ण प्रश्न वे हैं जो वर्तमान में अनुत्तरित छोड़ दिए गए हैं।