Framework for Grounding Healthcare LLMs in a Causal Knowledge Graph: A Cardiovascular Example

अस्पताल की शांत गूँज के बीच, डॉक्टर अक्सर मरीज के लिए उपचार के सर्वोत्तम मार्ग को तय करने में मदद के लिए डिजिटल उपकरणों का सहारा लेते हैं। ये उपकरण, जो 'लार्ज लैंग्वेज मॉडल्स' (बड़े भाषा मॉडल) नामक उन्नत कंप्यूटर प्रोग्रामों द्वारा संचालित होते हैं, चिकित्सा संबंधी विशाल ग्रंथों को पढ़ सकते हैं और प्रभावशाली गति से उत्तर सुझा सकते हैं। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या कंप्यूटर वास्तव में उस कार्य-कारण संबंध (cause and effect) को समझता है जो एक दवा को मरीज के स्वास्थ्य सुधार से जोड़ता है, या यह केवल उन पैटर्न के आधार पर सही उत्तर का अनुमान लगा रहा है जिन्हें इसने याद किया है? वर्षों से, वैज्ञानिकों ने इन प्रणालियों का परीक्षण उन्हें एक सूची में से सही विकल्प चुनने के लिए कहकर किया है, ठीक वैसे ही जैसे कि एक बहुविकल्पीय परीक्षा हो। लेकिन चिकित्सा में, गलत कारण के साथ सही उत्तर देना खतरनाक हो सकता है। एक मॉडल जीवन रक्षक दवा का सुझाव दे सकता है जबकि वह इसके काम करने का कोई फर्जी कारण गढ़ लेता है, या यह किसी छिपे हुए खतरे को नजरअंदाज कर सकता है जो उस दवा को किसी विशिष्ट व्यक्ति के लिए असुरक्षित बनाता है। वास्तव में विश्वसनीय चिकित्सा सहायक बनाने के लिए, शोधकर्ताओं को मशीन की सोच के भीतर झांकने के तरीके की आवश्यकता है, न कि केवल उसके अंतिम चुनाव को देखने की।

शोधकर्ताओं की एक टीम ने इन प्रणालियों का परीक्षण करने का एक नया तरीका विकसित किया है, जो विशेष रूप से हृदय देखभाल (heart care) में कार्य-कारण संबंध के बारे में उनकी तर्क क्षमता पर केंद्रित है। केवल यह जाँचने के बजाय कि अंतिम उत्तर सही है या नहीं, उन्होंने एक ऐसा ढांचा बनाया जो प्रत्येक चिकित्सा तथ्य को एक अलग, सत्यापन योग्य साक्ष्य के रूप में मानता है। कल्पना कीजिए कि एक विशाल, डिजिटल पुस्तकालय है जहाँ प्रत्येक दावा—जैसे कि "यह दवा रक्तचाप कम करती है"—एक अद्वितीय आईडी संख्या, एक स्रोत उद्धरण और साक्ष्य की मजबूती के बारे में एक नोट के साथ एक भौतिक कार्ड है। यह उनके नए सिस्टम की नींव है। उन्होंने हृदय संबंधी ज्ञान का एक विशेष मानचित्र बनाया है जहाँ ये कार्ड एक तार्किक श्रृंखला में जुड़े हुए हैं, जो सटीक रूप से दिखाता है कि कैसे एक उपचार एक जैविक परिवर्तन की ओर ले जाता है और फिर बेहतर स्वास्थ्य परिणाम की ओर। यह मानचित्र उन्हें न केवल यह देखने की अनुमति देता है कि कंप्यूटर ने क्या निर्णय लिया, बल्कि यह भी कि क्या उसने वहां तक पहुँचने के लिए तर्क के सही पथ का अनुसरण किया।

इस प्रणाली को परखने के लिए, शोधकर्ताओं ने वास्तविक रोगी परिदृश्यों की एक श्रृंखला बनाई, जिसमें उच्च रक्तचाप वाले वृद्ध वयस्क से लेकर एक गर्भवती महिला तक, जो कुछ विशेष दवाएं नहीं ले सकती, शामिल थे। इसके बाद उन्होंने एक शक्तिशाली कंप्यूटर मॉडल को इन समस्याओं को हल करने के लिए चार अलग-अलग स्थितियों के तहत काम सौंपा। पहली स्थिति में, मॉडल को केवल रोगी की कहानी दी गई और उसे बिना किसी बाहरी सहायता के अपनी आंतरिक स्मृति पर निर्भर रहना पड़ा। अन्य तीन स्थितियों में, मॉडल को डिजिटल लाइब्रेरी के कुछ हिस्सों तक पहुंच दी गई, लेकिन जानकारी को विभिन्न तरीकों से प्रस्तुत किया गया: कभी तथ्यों की एक सरल सूची के रूप में, कभी कार्य-कारण संबंध की एक स्पष्ट श्रृंखला के रूप में, और कभी एक पूरी तरह से एकीकृत मार्गदर्शिका के रूप में जो तथ्यों, कारणों और सुरक्षा चेतावनियों को जोड़ती थी। इन स्थितियों में मॉडल के प्रदर्शन की तुलना करके, शोधकर्ता देख सके कि सूचना को प्रस्तुत करने का तरीका कंप्यूटर के तर्क की गुणवत्ता को कैसे बदल देता है।

परिणामों ने एक आश्चर्यजनक और महत्वपूर्ण सत्य प्रकट किया कि ये प्रणालियाँ कैसे काम करती हैं। जब मॉडल को बिना किसी बाहरी तथ्यों के जाँच के अपने हाल पर छोड़ दिया गया था, तो उसने लगभग 95 प्रतिशत बार सही उत्तर दिया। वह आत्मविश्वास से भरा हुआ सुनाई देता था और सही दवाएं चुनता था। हालाँकि, जब शोधकर्ताओं ने गहराई से देखा, तो उन्होंने पाया कि यह उच्च स्कोर भ्रामक था। मॉडल अक्सर बिना तंत्र (mechanism) को समझे सही अनुमान लगा रहा था, और वह अक्सर ऐसे कारण गढ़ रहा था जो किसी वास्तविक चिकित्सा साक्ष्य द्वारा समर्थित नहीं थे। इसके विपरीत, जब मॉडल को उस एकीकृत मार्गदर्शिका के साथ दिया गया जिसने कार्य-कारण संबंध की पूरी श्रृंखला और सुरक्षा चेतावनियों को दिखाया, तो अंतिम उत्तर पर इसकी कच्ची सटीकता थोड़ी कम हो गई। फिर भी, इस सुदृढ़ अवस्था में, मॉडल अन्य महत्वपूर्ण तरीकों में कहीं अधिक विश्वसनीय हो गया। इसने दवा को इलाज से जोड़ने वाले विशिष्ट जैविक चरणों की सही पहचान की, संभावित दुष्प्रभावों और खतरनाक अंतःक्रियाओं (interactions) को बहुत अधिक बार पहचाना, और बिना समर्थित दावों को बनाना बंद कर दिया। जो मॉडल सबसे अधिक आत्मविश्वासी सुनाई देता था, वह वास्तव में तथ्यों की कल्पना (hallucination) करने की सबसे अधिक संभावना वाला था, जबकि जिस मॉडल ने संरचित मार्गदर्शिका का उपयोग किया था, वह वास्तव में चिकित्सा तर्क को समझ रहा था।

अध्ययन ने यह भी दिखाया कि यह नई विधि उन सूक्ष्म त्रुटियों को पकड़ सकती है जिन्हें पारंपरिक परीक्षण मिस कर देते हैं। उदाहरण के लिए, उन मामलों में जहाँ चिकित्सा साक्ष्य अपूर्ण या अनिश्चित थे, मार्गदर्शिका का उपयोग करने वाला मॉडल सही ढंग से स्वीकार कर सका कि वह एक आत्मविश्वासी सिफारिश नहीं कर सकता। एक मानक परीक्षण जो केवल अंतिम उत्तर को देखता था, इस हिचकिचाहट को एक विफलता के रूप में चिह्नित करता, लेकिन इस नए ढांचे ने इसे सही, सुरक्षित व्यवहार के रूप में पहचाना। शोधकर्ताओं ने पाया कि सिस्टम एक ऐसे मॉडल के बीच अंतर कर सकता था जिसने केवल एक तथ्य भूल जाने का ढोंग किया और एक ऐसे मॉडल के बीच जिसने प्रश्न की संरचना को गलत समझा। उनके डिजिटल लाइब्रेरी के अद्वितीय आईडी नंबरों के विरुद्ध मॉडल द्वारा किए गए प्रत्येक दावे को ट्रैक करके, वे इस बात का सटीक स्कोर निकाल सके कि कंप्यूटर ने कार्य-कारण श्रृंखला का कितनी अच्छी तरह से पुनर्निर्माण किया, साक्ष्य का कितनी सटीकता से उद्धरण दिया, और कितनी बार तथ्य गढ़े।

यह कार्य यह दावा नहीं करता है कि कोई विशिष्ट कंप्यूटर प्रोग्राम डॉक्टर की जगह लेने के लिए तैयार है, न ही यह घोषित करता है कि सूचना देने का कोई एक तरीका हर स्थिति के लिए सबसे अच्छा है। इसके बजाय, यह इन उपकरणों के मूल्यांकन के लिए एक नया दृष्टिकोण प्रदान करता है। शोधकर्ताओं ने प्रदर्शित किया कि चिकित्सा एआई (AI) को आंकने के लिए "सही होने" का एक एकल स्कोर पर्याप्त नहीं है। एक प्रणाली गलती से भी सही हो सकती है और डिज़ाइन के तहत भी गलत हो सकती है, और केवल एक ढांचा जो तर्क के चरणों की जाँच करता है, वही अंतर बता सकता है। प्रत्येक मूल्यांकन को चिकित्सा तथ्यों के सत्यापित मानचित्र से जोड़कर, यह दृष्टिकोण यह सुनिश्चित करने का एक तरीका प्रदान करता है कि भविष्य के चिकित्सा सहायक न केवल धाराप्रवाह वक्ता हों, बल्कि विचारशील, साक्ष्य-आधारित देखभाल के भागीदार भी हों। यह पायलट अध्ययन एक 'प्रूफ ऑफ कॉन्सेप्ट' के रूप में कार्य करता है, जो यह दर्शाता है कि उत्तर की सतह को मापने के बजाय, समझ की गहराई को मापने वाला परीक्षण मैदान बनाना संभव है।