Validation asymmetry in generative AI–generated clinical educational content: a scoping review
161 अध्ययनों का यह स्कोपिंग रिव्यू जनरेटिव एआई द्वारा निर्मित नैदानिक शैक्षिक सामग्री में एक महत्वपूर्ण सत्यापन विषमता को प्रकट करता है, जहाँ शोध अत्यधिक रूप से प्रतिनिधित्व संबंधी निष्ठा के मूल्यांकन को प्राथमिकता देता है जबकि जनसांख्यिकीय पूर्वाग्रह, शमन रणनीतियों और रिपोर्टिंग पुनरुत्पादकता के मूल्यांकन की काफी उपेक्षा करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी कक्षा की कल्पना कीजिए जहाँ शिक्षक एक ऐसा आर्टिफिशियल इंटेलिजेंस (AI) है जो सेकंडों में मेडिकल केस स्टडी लिख सकता है, शारीरिक रचना (एनाटॉमिकल) के चित्र बना सकता है और मरीजों के साथ बातचीत का अनुकरण कर सकता है। यह तकनीक, जिसे जनरेटिव आर्टिफिशियल इंटेलिजेंस के रूप में जाना जाता है, तेजी से मेडिकल स्कूलों और नर्सों, डॉक्टरों तथा अन्य स्वास्थ्य पेशेवरों के प्रशिक्षण कार्यक्रमों में प्रवेश कर रही है। यह निरंतर सीखने की सामग्रियां बनाने का वादा करती है जो सुसंगत, विश्वसनीय और विशिष्ट छात्रों के अनुरूप होती हैं। लेकिन जैसे-जैसे ये उपकरण आम होते जा रहे हैं, एक महत्वपूर्ण प्रश्न उभर आया है: सिर्फ इसलिए कि AI एक विश्वसनीय कहानी या वास्तविक दिखने वाला चित्र बना सकता है, क्या इसका मतलब यह है कि वह सामग्री वास्तव में उपयोग के लिए सुरक्षित और निष्पक्ष है? मुख्य मुद्दा यह नहीं है कि मशीन बोल या चित्र बना सकती है या नहीं, बल्कि यह है कि उसके द्वारा उत्पन्न जानकारी कितनी सटीक है, क्या वह सभी प्रकार के लोगों के साथ निष्पक्षता से व्यवहार करती है, और क्या इसे बनाने में उपयोग की गई विधियाँ इतनी स्पष्ट हैं कि उन पर भरोसा किया जा सके।
2020 और 2026 के बीच प्रकाशित शोध के एक हालिया व्यापक समीक्षा ने ठीक इसी प्रश्न का उत्तर देने का प्रयास किया। शोधकर्ताओं ने 161 अध्ययनों की जांच की जो इस बात पर केंद्रित थे कि स्वास्थ्य पेशेवरों के लिए शैक्षिक सामग्री बनाने हेतु जनरेटिव AI का उपयोग कैसे किया जाता है। वे इस बात में रुचि नहीं रखते थे कि छात्रों को AI कितना पसंद आया या यह कितनी तेजी से काम करता है। इसके बजाय, उन्होंने सत्यापन के तीन विशिष्ट क्षेत्रों पर ध्यान केंद्रित किया: क्या चिकित्सा तथ्य सही थे, क्या सामग्री में दर्शाए गए लोग और समूह बिना किसी हानिकारक रूढ़िवादिता के निष्पक्ष रूप से प्रस्तुत किए गए थे, और क्या त्रुटियों को ठीक करने के लिए उपयोग की गई रणनीतियां वास्तव में काम करती थीं। टीम ने इन विभिन्न पहलुओं की जांच के तरीके में एक चौंकाने वाला असंतुलन पाया। जबकि लगभग हर अध्ययन ने यह जांचा कि चिकित्सा तथ्य सही हैं या नहीं, बहुत कम अध्ययनों ने यह देखा कि क्या सामग्री विभिन्न समूहों के प्रति निष्पक्ष थी, और इससे भी कम अध्ययनों ने यह परीक्षण किया कि उनके द्वारा प्रस्तावित सुधार वास्तव में समस्याओं को हल करते हैं या नहीं।
शोधकर्ताओं ने पाया कि उनके द्वारा समीक्षा किए गए 161 अध्ययनों में से 156, यानी लगभग 97 प्रतिशत, 'रिप्रेजेंटेशनल फिडेलिटी' (प्रतिनिधित्व की सटीकता) की जांच पर केंद्रित थे। सरल शब्दों में, इसका अर्थ था कि वे सत्यापित कर रहे थे कि AI का आउटपुट चिकित्सकीय रूप से सटीक था, क्या इसमें वास्तविक तथ्य शामिल थे, और क्या इसने जानकारी बनाने या विवरणों के बारे में "भ्रम" (हैलुसिनेशन) पैदा करने से परहेज किया था। यह एक महत्वपूर्ण जांच है, क्योंकि एक मेडिकल छात्र जो फर्जी निदान से सीख रहा हो, तो वह खतरनाक हो सकता है। हालांकि, जब शोधकर्ताओं ने जनसांख्यिकीय पूर्वाग्रह (डेमोग्राफिक बायस) की जांच करने वाले अध्ययनों को देखा—जैसे कि क्या AI लगातार कुछ नस्लों, लिंगों या आयु समूहों को रूढ़िवादी तरीके से चित्रित करता है या उन्हें पूरी तरह से छोड़ देता है—तो उन्हें केवल 21 अध्ययन मिले। यह कुल का केवल 13 प्रतिशत है। उन कुछ अध्ययनों में से जिनमें पूर्वाग्रह की जांच की गई थी, 18 अध्ययनों ने पाया कि AI वास्तव में रूढ़ियों को दोहरा रहा था या असंतुलित प्रतिनिधित्व बना रहा था। उदाहरण के लिए, कुछ उत्पन्न चित्रों ने दिखाया कि नर्स या डॉक्टर केवल एक ही लिंग या नस्ल के थे, और कुछ क्लिनिकल मामलों ने विशिष्ट रोगों को विशेष जातीय समूहों से इस तरह जोड़ा जो वास्तविकता से मेल नहीं खाता था।
ध्यान की यह कमी ही वह है जिसे लेखक 'वैलिडेशन एसिमेट्री' (सत्यापन विषमता) कहते हैं। यह सुझाव देता है कि वर्तमान में क्षेत्र यह पूछने में बहुत अच्छा है कि, "क्या यह तथ्यात्मक रूप से सही है?" लेकिन अभी तक यह नहीं पूछ रहा है कि, "क्या यह सभी के लिए निष्पक्ष है?" समीक्षा ने यह भी रेखांकित किया कि परीक्षण की जा रही सामग्री मुख्य रूप से टेक्स्ट (पाठ) थी, जबकि छवियों या बातचीत पर कम अध्ययन देखे गए। आश्चर्यजनक रूप से, संवादात्मक AI (कन्वर्सेशनल AI), जैसे कि वर्चुअल पेशेंट जो छात्रों से बात करते हैं, का परीक्षण करने वाले किसी भी अध्ययन ने स्पष्ट रूप से इन जनसांख्यिकीय पूर्वाग्रहों की जांच नहीं की। इसका मतलब यह नहीं है कि उन बातचीत में पूर्वाग्रह अनुपस्थित है; इसका सीधा सा अर्थ यह है कि अभी तक किसी ने इसकी जांच नहीं की है। शोधकर्ताओं ने यह भी नोट किया कि हालांकि कई अध्ययनों ने इन त्रुटियों को ठीक करने के तरीके प्रस्तावित किए—जैसे कि AI को दिए जाने वाले निर्देशों को बदलना या मानव विशेषज्ञों द्वारा आउटपुट की समीक्षा करना—लेकिन उनमें से बहुत कम ने वास्तव में यह परीक्षण किया कि क्या वे सुधार काम करते हैं। उन कुछ मामलों में जहां उन्होंने सुधारों का परीक्षण किया, परिणाम मिश्रित थे, जिसमें कई रणनीतियां समस्या को पूरी तरह समाप्त करने के बजाय केवल आंशिक रूप से ही हल कर पाईं।
एक अन्य महत्वपूर्ण निष्कर्ष पारदर्शिता से संबंधित था। किसी अध्ययन के उपयोगी होने के लिए, अन्य वैज्ञानिकों को यह जानने की आवश्यकता होती है कि AI का उपयोग बिल्कुल कैसे किया गया था ताकि वे प्रयोग को दोहरा सकें। फिर भी, 161 में से 122 अध्ययनों में, लेखकों ने सामग्री उत्पन्न करने के लिए उपयोग किए गए विशिष्ट सेटिंग्स या पैरामीटर्स की रिपोर्ट नहीं की थी। इन विवरणों को जाने बिना, यह जानना असंभव है कि यदि आज प्रयोग को दोहराया जाए तो क्या परिणाम समान होंगे, विशेष रूप से चूंकि ये AI सिस्टम बार-बार बदलते और अपडेट होते रहते हैं। समीक्षा में यह भी पाया गया कि अधिकांश अध्ययनों ने यह रिपोर्ट नहीं किया कि शोध को किसने वित्तपोषित किया या क्या शोधकर्ताओं का कोई हितों का टकराव था, जो वैज्ञानिक निष्कर्षों पर भरोसा करने के लिए आवश्यक मानक विवरण हैं।
इस समीक्षा का निष्कर्ष यह नहीं है कि जनरेटिव AI दोषपूर्ण है, बल्कि यह है कि इसके काम की जांच करने का तरीका अधूरा है। लेखकों का तर्क है कि स्वास्थ्य शिक्षा में उपयोग किए जाने वाले AI-जनित कंटेंट के सुरक्षित उपयोग के लिए, इसे एक बहुआयामी संसाधन के रूप में मान्य किया जाना चाहिए। इसका अर्थ यह है कि चिकित्सा स्कूल द्वारा AI-लिखित केस स्टडी का उपयोग करने से पहले, उन्हें न केवल यह सत्यापित करने की आवश्यकता है कि निदान सही है, बल्कि यह भी कि उस कहानी में वर्णित रोगी लोगों की वास्तविक विविधता का प्रतिनिधित्व करता है, और निष्पक्षता सुनिश्चित करने के लिए उठाए गए किसी भी कदम को वास्तव में सिद्ध किया गया है। केवल तथ्यात्मक सटीकता पर वर्तमान ध्यान अपर्याप्त है। जैसे-जैसे ये उपकरण चिकित्सा प्रशिक्षण का एक मानक हिस्सा बनते जा रहे हैं, उनके सत्यापन के मानकों को निष्पक्षता और पारदर्शिता को शामिल करने के लिए विस्तारित किया जाना चाहिए, ताकि यह सुनिश्चित हो सके कि स्वास्थ्य सेवा शिक्षा का भविष्य ऐसी सामग्री पर आधारित है जो न केवल स्मार्ट है, बल्कि न्यायपूर्ण और विश्वसनीय भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।