💻 computer science

CardioTrust: Trustworthy Retrieval Augmented Clinical Decision Support for Personalized Cardiovascular Disease Prediction

कार्डियोट्रस्ट (CardioTrust) एक नवीन, विश्वसनीय एआई ढांचा है जो मशीन लर्निंग जोखिम स्तरीकरण, प्रेडिक्शन-गाइडेड हाइब्रिड रिट्रीवल ऑगमेंटेड जनरेशन और SHAP व्याख्यात्मकता को एकीकृत करता है ताकि अत्यधिक सटीक, पारदर्शी और नैदानिक रूप से आधारित व्यक्तिगत हृदय रोग भविष्यवाणियां प्रदान की जा सकें, जो पारंपरिक बेसलाइन मॉडल की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Veerababu Reddy, Vasavi Durga Potla, Baji Noorbasha, Karthik Reddy Vajrala, Sadwika Bollu

प्रकाशित 2026-08-07

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Veerababu Reddy, Vasavi Durga Potla, Baji Noorbasha, Karthik Reddy Vajrala, Sadwika Bollu

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास दो बहुत अलग सहायक हैं। एक सुपर-फास्ट कैलकुलेटर है जो नंबरों को प्रोसेस कर सकता है और आपको बता सकता है, "95% संभावना है कि अपराधी बटलर (बड़ा नौकर) है," लेकिन वह यह बताने से इनकार कर देता है कि क्यों। वह बस आपको संख्या बता देता है। दूसरा सहायक एक शानदार कहानीकार है जो बटलर, मौसम और मोमबत्ती के स्टैंड के बारे में एक सुंदर, विस्तृत विवरण लिख सकता है, लेकिन उत्साह में आकर वे कभी-कभी ऐसी बातें भी बना देते हैं जो कभी हुई ही नहीं। चिकित्सा की दुनिया में, यह एक बहुत बड़ी समस्या है। डॉक्टरों को यह जानने की आवश्यकता होती है कि मरीज हृदय रोग के जोखिम पर क्यों है, और उन्हें यह जानकारी 100% सत्य होनी चाहिए, न कि मनगढ़ंत। यहीं पर "विश्वसनीय आर्टिफिशियल इंटेलिजेंस" (Trustworthy Artificial Intelligence) का क्षेत्र आता है। यह ऐसे कंप्यूटर सिस्टम बनाने की खोज है जो न केवल स्मार्ट हों बल्कि ईमानदार, व्याख्या योग्य और इतने सुरक्षित हों कि डॉक्टरों को जीवन बचाने में मदद कर सकें।

यह शोध पत्र एक नए जासूसी दल CardioTrust का परिचय देता है। कैलकुलेटर और कहानीकार को अलग-अलग काम करने देने के बजाय, लेखकों ने एक ऐसा सिस्टम बनाया है जहाँ वे एक सख्त, व्यवस्थित क्रम में मिलकर काम करते हैं। सबसे पहले, एक शक्तिशाली कैलकुलेटर (एक रैंडम फॉरेस्ट मॉडल) मरीज के डेटा को देखता है और हृदय रोग के उनके जोखिम की भविष्यवाणी करता है। लेकिन यहाँ एक मोड़ है: यह कहानीकार को केवल एक साधारण "उच्च जोखिम" या "कम जोखिम" का नोट नहीं भेजता है। इसके बजाय, यह एक विशिष्ट "मिशन ब्रीफ" भेजता है जो कहानीकार को बताता है कि कौन से जोखिम कारक (जैसे उच्च कोलेस्ट्रॉल या सीने में दर्द) सबसे महत्वपूर्ण हैं और कैलकुलेटर अपने उत्तर के बारे में कितना आश्वस्त है। कहानीकार (एक लार्ज लैंग्वेज मॉडल) फिर इस ब्रीफ का उपयोग वास्तविक चिकित्सा नियमों और अध्ययनों के एक विशाल पुस्तकालय को खोजने के लिए करता है ताकि सही साक्ष्य मिल सके। अंत में, रिपोर्ट डॉक्टर को दिखाने से पहले, एक सख्त "सुरक्षा निरीक्षक" (ट्रस्ट वैलिडेशन मॉड्यूल) पूरे पैकेज की जांच करता है। वह पूछता है: "क्या हमने सही साक्ष्य खोजे? क्या कहानी कैलकुलेटर के गणित से मेल खाती है? क्या कहानी पूरी है?" यदि इनमें से किसी का भी उत्तर "नहीं" है, तो रिपोर्ट को मानव समीक्षा के लिए वापस भेज दिया जाता है।

टीम ने पाया कि यह टीम वर्क अविश्वसनीय रूप से प्रभावी है। जब उन्होंने 70,000 रोगी रिकॉर्ड के डेटासेट पर CardioTrust का परीक्षण किया, तो इसने हृदय रोग की भविष्यवाणी 95.84% सटीकता के साथ की, जो अन्य मानक कंप्यूटर मॉडलों की तुलना में काफी बेहतर थी। लेकिन असली जादू कहानी सुनाने वाले हिस्से में हुआ। जबकि एक मानक कंप्यूटर कहानीकार अक्सर तथ्य बना देता था (हैलुसिनेशन/भ्रम), CardioTrust के सख्त सुरक्षा चेक ने उन मनगढ़ंत तथ्यों को घटाकर केवल 2.84% कर दिया। सिस्टम ने यह भी सिद्ध किया कि जो कहानी वह सुनाता है वह हमेशा उसके पीछे के गणित से मेल खाती है, जिससे यह सुनिश्चित होता है कि डॉक्टर को केवल एक सुंदर कहानी नहीं, बल्कि वास्तविक चिकित्सा दिशानिर्देशों द्वारा समर्थित एक सत्यपूर्ण जानकारी मिल रही है। लेखक सुझाव देते हैं कि यह दृष्टिकोण व्यक्तिगत हृदय देखभाल के लिए गेम-चेंजर हो सकता है, बशर्ते भविष्य में इसे और अधिक वास्तविक अस्पताल डेटा पर परखा जाए।

समस्या: कैलकुलेटर बनाम कहानीकार

यह समझने के लिए कि CardioTrust इतना महत्वपूर्ण क्यों है, हमें उन दो उपकरणों को देखना होगा जिनका उपयोग डॉक्टर हृदय रोग की भविष्यवाणी करने के लिए कर रहे हैं, और उनमें क्या कमियां हैं।

सबसे पहले, मशीन लर्निंग मॉडल्स हैं। इन्हें सुपर-फास्ट कैलकुलेटर के रूप में सोचें। वे मरीज की उम्र, रक्तचाप, कोलेस्ट्रॉल और अन्य नंबरों को देखते हैं, और एक जोखिम स्कोर देते हैं। वे उन पैटर्न को पहचानने में माहिर हैं जिन्हें इंसान शायद मिस कर दें। हालांकि, वे अक्सर "ब्लैक बॉक्स" होते हैं। वे आपको एक संख्या देते हैं, लेकिन वे आपको यह नहीं बताते कि क्यों। यदि एक डॉक्टर उच्च जोखिम वाला स्कोर देखता है, तो वह आसानी से नहीं देख पाता कि यह मरीज की उम्र के कारण है या उनकी धूम्रपान की आदत के कारण। बिना उस स्पष्टीकरण के, डॉक्टर मशीन पर भरोसा करने में हिचकिचाते हैं।

दूसरा, लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। ये शानदार कहानीकार हैं। वे मेडिकल टेक्स्टबुक पढ़ सकते हैं और मरीज के लिए एक विस्तृत योजना लिख सकते हैं, यह समझाते हुए कि क्या गलत हो सकता है। समस्या क्या है? वे कभी-कभी "हैलुसिनेट" (भ्रमित) करते हैं। इसका मतलब है कि वे डॉक्टर को आत्मविश्वास के साथ बता सकते हैं कि एक विशिष्ट दवा किसी स्थिति को ठीक करती है, भले ही वह दवा मौजूद न हो या उसकी सिफारिश न की गई हो। अस्पताल में, एक मनगढ़ंत तथ्य खतरनाक हो सकता है।

लंबे समय तक, शोधकर्ताओं ने RAG (रिट्रीवल ऑगमेंटेड जनरेशन) नामक पद्धति का उपयोग करके इसे ठीक करने की कोशिश की। यह कहानीकार को एक लाइब्रेरी कार्ड देने जैसा है। याददाश्त से चीजें बनाने के बजाय, कहानीकार को कहानी लिखने से पहले भरोसेमंद मेडिकल किताबों के पुस्तकालय में उत्तर खोजने के लिए मजबूर किया जाता है। यह मदद करता है, लेकिन इसे करने का पुराना तरीका थोड़ा अनाड़ी था। कहानीकार बस लाइब्रेरी से पूछता, "हृदय रोग के बारे में बताओ," और एक सामान्य उत्तर प्राप्त करता जो मरीज की विशिष्ट स्थिति के अनुकूल नहीं होता था।

समाधान: एक टीम जो एक-दूसरे से बात करती है

लेखकों ने महसूस किया कि कहानी लिखे जाने से पहले कैलकुलेटर और कहानीकार को एक-दूसरे से बात करने की आवश्यकता है। उन्होंने CardioTrust बनाया, एक ऐसा सिस्टम जहाँ गणित और शब्द एक साथ जुड़े हुए हैं।

यहाँ टीम कैसे काम करती है, चरण-दर-चरण:

कैलकुलेटर (रैंडम फॉरेस्ट): सिस्टम मरीज के डेटा का विश्लेषण करके शुरू होता है। यह केवल "उच्च जोखिम" नहीं कहता। यह सटीक संभावना की गणना करता है (जैसे 95.84%) और, महत्वपूर्ण रूप से, यह कहानी के "विलेनों" (खतरों) की पहचान करता है। यह यह पता लगाने के लिए SHAP नामक टूल का उपयोग करता है कि कौन से कारक जोखिम को बढ़ा रहे हैं। क्या यह मरीज की उम्र है? उनका सीने में दर्द? उनका कोलेस्ट्रॉल? कैलकुलेटर इन विशिष्ट विलेनों को सूचीबद्ध करते हुए एक "मिशन ब्रीफ" तैयार करता है।
स्मार्ट सर्च (हाइब्रिड RAG): यह पहली बड़ी नवीनता है। लाइब्रेरी से "हृदय रोग के बारे में बताओ" पूछने के बजाय, सिस्टम मिशन ब्रीफ भेजता है। यह लाइब्रेरी को बताता है, "हमारे पास एक मरीज है जिसे हाई ST डिप्रेशन और सीने में दर्द है; हमारे लिए उससे संबंधित विशिष्ट नियम खोजें।" यह सुनिश्चित करता है कि प्राप्त साक्ष्य मरीज के विशिष्ट गणित के लिए पूरी तरह से अनुकूलित हैं।
कहानीकार (Llama 3.2): कहानीकार प्राप्त साक्ष्य और मिशन ब्रीफ लेता है और एक व्यक्तिगत सिफारिश लिखता है। क्योंकि उसके पास विशिष्ट नियम और विशिष्ट मरीज का डेटा है, उसे अनुमान लगाने की आवश्यकता नहीं होती।
सुरक्षा निरीक्षक (ट्रस्ट वैलिडेशन): यह अंतिम द्वारपाल है। इससे पहले कि रिपोर्ट डॉक्टर के पास जाए, सुरक्षा निरीक्षक एक चेकलिस्ट चलाता है। वह पांच प्रश्न पूछता है:
- क्या कैलकुलेटर अपने गणित में आश्वस्त है?
- क्या हमने सही साक्ष्य खोजे?
- क्या साक्ष्य अन्य साक्ष्यों से मेल खाते हैं?
- क्या कहानी में उन्हीं "विलेनों" (जोखिम कारकों) का उल्लेख है जो कैलकुलेटर ने खोजे थे?
- क्या कहानी पूरी है (क्या इसमें निदान, योजना और सलाह शामिल है)?

यदि रिपोर्ट का स्कोर पर्याप्त (0 से 1 के पैमाने पर 0.75 से ऊपर) है, तो इसे डॉक्टर को भेज दिया जाता है। यदि स्कोर बहुत कम है, तो इसे मैन्युअल समीक्षा के लिए चिह्नित किया जाता है। यह सुनिश्चित करता है कि कोई भी गलत या मनगढ़ंत सलाह मरीज तक न पहुँचे।

परिणाम: सत्य और विश्वास

लेखकों ने इस सिस्टम का परीक्षण कई अन्य तरीकों के विरुद्ध किया, जिसमें मानक कैलकुलेटर, स्टैंडअलोन स्टोरीटेलर और पुराने लाइब्रेरी-सर्च सिस्टम शामिल थे। परिणाम प्रभावशाली थे।

गणित: CardioTrust में मुख्य कैलकुलेटर ने 95.84% की सटीकता के साथ प्रिसिजन (precision) 0.941 और रिकॉल (recall) 0.952 हासिल किया। इसका मतलब है कि यह XGBoost और सपोर्ट वेक्टर मशीनों सहित उनके द्वारा परीक्षण किए गए लगभग किसी भी अन्य मॉडल की तुलना में हृदय रोग को पहचानने में बेहतर था।

कहकी: असली जीत सिफारिशों की गुणवत्ता में थी।

एक मानक कहानीकार (बिना लाइब्रेरी के) ने 21.64% बार तथ्य बनाए।
एक मानक लाइब्रेरी-सर्च सिस्टम (बिना स्मार्ट मिशन ब्रीफ के) ने 15.31% बार तथ्य बनाए।
CardioTrust ने केवल 2.84% बार तथ्य बनाए।

इसके अलावा, सिस्टम ने 0.96 का ट्रस्ट स्कोर प्राप्त किया, जो इस बात का माप है कि पूरा पैकेज कितना विश्वसनीय है। लेखकों ने यह भी जांचा कि क्या कहानी गणित से मेल खाती है। उन्होंने पाया कि "एक्सप्लेनेशन एग्रीमेंट" (व्याख्या समझौता) 0.95 था, जिसका अर्थ है कि कहानी लगभग पूरी तरह से उन कारणों को दर्शाती है जो कैलकुलेटर ने जोखिम के लिए दिए थे।

"क्या होगा अगर" की जाँच: लेखकों ने यह भी परीक्षण किया कि क्या होगा यदि वे सिस्टम के हिस्सों को हटा देते हैं (एब्लेशन स्टडी)।

स्मार्ट सर्च के बिना, सिस्टम कम विश्वसनीय था।
सुरक्षा निरीक्षक के बिना, भ्रम (hallucination) की दर बढ़कर 8.21% हो गई।
सुरक्षा निरीक्षक और स्मार्ट सर्च दोनों के बिना, भ्रम की दर 24.82% हो गई।

इससे सिद्ध हुआ कि टीम का हर हिस्सा आवश्यक है। आप केवल एक अच्छा कैलकुलेटर नहीं रख सकते; आपको भरोसेमंद बनाने के लिए स्मार्ट सर्च और सुरक्षा निरीक्षक की आवश्यकता है।

यह क्यों मायने रखता है

लेखक सावधानी बरतते हुए कहते हैं कि यह एक आशाजनक कदम है, न कि एक पूर्ण उत्पाद। उन्होंने मौजूदा डेटासेट (जैसे 70,000 रिकॉर्ड के साथ Kaggle Cardiovascular Disease Dataset और 1,025 रिकॉर्ड के साथ UCI Heart Disease Dataset) पर इस सिस्टम का परीक्षण किया। हालांकि परिणाम मजबूत हैं, लेकिन इस सिस्टम का अभी तक वास्तविक अस्पतालों और वास्तविक डॉक्टरों के साथ परीक्षण नहीं किया गया है। लेखक सुझाव देते हैं कि अगला कदम यह देखना है कि यह विभिन्न अस्पतालों की जटिल वास्तविकता में कैसा प्रदर्शन करता है और वास्तविक डॉक्टरों से रिपोर्टों की रेटिंग लेना है।

हालाँकि, मूल विचार स्पष्ट है: गणित और शब्दों को एक-दूसरे के साथ तालमेल बिठाने के लिए मजबूर करके, और अंत में एक सख्त सुरक्षा जांच जोड़कर, हम ऐसा AI बना सकते हैं जिस पर डॉक्टर वास्तव में भरोसा कर सकें। CardioTrust केवल एक कैलकुलेटर या कहानीकार नहीं है; यह एक ऐसी टीम है जो अपना होमवर्क हाथ में लेने से पहले खुद की जांच करती है।

तकनीकी सारांश: CardioTrust

समस्या विवरण

हृदय रोग (CVD) वैश्विक मृत्यु दर के प्रमुख कारणों में से एक बना हुआ है, जिसके लिए समय पर और सटीक जोखिम वर्गीकरण की आवश्यकता है। जबकि पारंपरिक मशीन लर्निंग (ML) मॉडल हृदय रोग के जोखिम की भविष्यवाणी करने में उत्कृष्ट हैं, वे अक्सर "ब्लैक बॉक्स" के रूप में कार्य करते हैं, जो पर्याप्त नैदानिक व्याख्यात्मकता (clinical interpretability) के बिना केवल संख्यात्मक स्कोर प्रदान करते हैं, जिससे चिकित्सकों का विश्वास सीमित हो जाता है। इसके विपरीत, लार्ज लैंग्वेज मॉडल्स (LLMs) नैरेटिव क्लिनिकल रीजनिंग तो प्रदान करते हैं, लेकिन वे 'hallucinations' (भ्रम) और बिना आधार वाले सुझावों से ग्रस्त होते हैं, जो स्वास्थ्य सेवा में महत्वपूर्ण सुरक्षा जोखिम पैदा करते हैं। इसके अलावा, स्वास्थ्य सेवा में मौजूदा रिट्रीवल ऑगमेंटेड जनरेशन (RAG) सिस्टम आमतौर पर स्थिर सिमेंटिक समानता (static semantic similarity) के आधार पर जानकारी खोजते हैं, जो रोगी-विशिष्ट जोखिम भविष्यवाणियों को शामिल करने में विफल रहते हैं, जिसके परिणामस्वरूप सिफारिशें व्यक्तिगत नहीं होती हैं। सटीक ML भविष्यवाणी, साक्ष्य-आधारीकृत रिट्रीवल, व्याख्यात्मक तर्क (explainable reasoning), और व्यवस्थित विश्वास सत्यापन (systematic trust validation) को एक एकीकृत क्लिनिकल निर्णय समर्थन ढांचे में एकीकृत करने में एक महत्वपूर्ण अंतर मौजूद है।

कार्यप्रणाली (Methodology)

लेखक CardioTrust का प्रस्ताव करते हैं, जो एक विश्वसनीय AI ढांचा है जो पांच कसकर जुड़े हुए मॉड्यूल को एक क्लोज्ड-लूप वर्कफ़्लो में एकीकृत करता है:

हृदय रोग भविष्यवाणी मॉड्यूल (Cardiovascular Disease Prediction Module): यह रोग की संभावना $P(y=1|x)$ की भविष्यवाणी करने और एपिस्टेमिक अनिश्चितता (epistemic uncertainty) का अनुमान लगाने के लिए एक Random Forest एन्सेम्बल क्लासिफायर का उपयोग करता है। कॉन्फिडेंस स्कोर ( $P_c$ ) एन्सेम्बल के भीतर ट्री-लेवल प्रोबेबिलिटी अनुमानों के विचरण (variance) से प्राप्त किया जाता है।
प्रेडिक्शन-गाइडेड हाइब्रिड RAG मॉड्यूल (Prediction-Guided Hybrid RAG Module): पारंपरिक RAG के विपरीत, यह मॉड्यूल अनुमानित जोखिम श्रेणी और प्रमुख SHAP जोखिम चालकों (drivers) को रिट्रीवल क्वेरी में गतिशील रूप से इंजेक्ट करता है। यह BAAI BGE Base EN v1.5 एम्बेडिंग्स का उपयोग करके आधिकारिक स्रोतों (AHA/ESC दिशानिर्देश और PubMed) से साक्ष्य प्राप्त करता है, जो ChromaDB में इंडेक्स किए गए हैं।
SHAP व्याख्यात्मकता मॉड्यूल (SHAP Explainability Module): यह रोगी-विशिष्ट स्थानीय फीचर एट्रिब्यूशन ( $\Phi$ ) उत्पन्न करने के लिए TreeSHAP का उपयोग करता है, जो क्लिनिकल जोखिम चालकों को रैंक करता है। ये एट्रिब्यूशन LLM के लिए संदर्भ (context) और सत्यापन के लिए एक मीट्रिक दोनों के रूप में कार्य करते हैं।
साक्ष्य-आधारित क्लिनिकल रीजनिंग मॉड्यूल (Evidence-Grounded Clinical Reasoning Module): एक Llama 3.2:3B मॉडल रोगी प्रोफाइल, जोखिम संभावना, आत्मविश्वास, SHAP वेक्टर और रिट्रीव किए गए साक्ष्यों वाले फ्यूज्ड कॉन्टेक्स्ट के आधार पर व्यक्तिगत क्लिनिकल सिफारिशें उत्पन्न करता है। यह मॉडल नियत निष्कर्ष (deterministic inference) के लिए कम तापमान ( $T=0.2$ ) पर कार्य करता है।
विश्वास सत्यापन और अंशांकन मॉड्यूल (Trust Validation and Calibration Module): रिपोर्ट प्रस्तुत करने से पहले, एक मात्रात्मक ऑडिट एक संयुक्त ट्रस्ट स्कोर ( $T$ ) की गणना करता है जो पांच आयामों पर आधारित है:
- प्रेडिक्शन कॉन्फिडेंस ( $P_c$ )
- रिट्रीवल प्रासंगिकता ( $R_r$ )
- साक्ष्य निरंतरता ( $E_c$ )
- स्पष्टीकरण समझौता ( $S_a$ ): यह मापता है कि SHAP फीचर महत्व और LLM द्वारा उत्पन्न नैरेटिव में वर्णित फीचर्स के बीच कितना संरेखण है।
- सिफारिश पूर्णता ( $C_r$ )
यदि $T \geq \tau$ (थ्रेशोल्ड $\tau = 0.75$ पर सेट है), तो रिपोर्ट को स्वीकार किया जाता है; अन्यथा, इसे मैन्युअल ऑडिट कतार (manual audit queue) में भेज दिया जाता है।

मुख्य योगदान

प्रेडिक्शन-गाइडेड हाइब्रिड RAG: यह सिस्टम केवल जेनेरिक सिमेंटिक समानता पर निर्भर रहने के बजाय, विशिष्ट अनुमानित जोखिम प्रोफाइल और SHAP चालकों के आधार पर साक्ष्य रिट्रीवल को गतिशील रूप से अनुकूलित करता है।
एक्सप्लेनेशन एग्रीमेंट एक ट्रस्ट सिग्नल के रूप में: यह एक मात्रात्मक मीट्रिक ( $S_a$ ) पेश करता है जो सत्यापित करता है कि क्या LLM का नैरेटिव उन्हीं क्लिनिकल फीचर्स को दर्शाता है जिन पर अंतर्निहित क्लासिफायर ने भरोसा किया था, जिससे XAI और टेक्स्ट जनरेशन के बीच का लूप पूरा होता है।
एकीकृत ढांचा (Unified Framework): यह Random Forest प्रेडिक्शन, Hybrid RAG, TreeSHAP और एक बहु-आयामी ट्रस्ट वैलिडेशन मॉड्यूल को एक एकल एंड-टू-एंड पाइपलाइन में एकीकृत करता है जिसमें एक स्पष्ट स्वीकार/ऑडिट निर्णय गेट है।
ट्रस्ट वैलिडेशन मॉड्यूल: एक प्री-डिलीवरी सुरक्षा गेटवे जो आत्मविश्वास, प्रासंगिकता, निरंतरता, संरेखण और पूर्णता का आकलन करता है, जिसे यहाँ एक समान-भारित (equal-weighted) बेसलाइन कॉन्फ़िगरेशन के साथ स्थापित किया गया है।
व्यापक मूल्यांकन: इसमें प्रत्येक घटक के योगदान को अलग करने वाला एक एब्लेशन अध्ययन (ablation study) और कई बेसलाइन्स के विरुद्ध कठोर क्रॉस-वैलिडेशन शामिल है।

परिणाम

इस ढांचे का मूल्यांकन Kaggle Cardiovascular Disease Dataset (70,000 रिकॉर्ड) पर 5-फोल्ड क्रॉस-वैलिडेशन और UCI Heart Disease Dataset (1,025 रिकॉर्ड) पर आउट-ऑफ-डिस्ट्रीब्यूशन चेक का उपयोग करके किया गया।

अनुमानित प्रदर्शन (Predictive Performance): कोर Random Forest ने 95.84% ± 0.45% सटीकता, 0.982 AUROC, 0.941 प्रिसिजन, और 0.952 रिकॉल प्राप्त किया, जो लॉजिस्टिक रिग्रेशन (84.21%), SVM (86.50%), और XGBoost (92.15%) जैसे बेसलाइन्स से काफी बेहतर है।
रिट्रीवल गुणवत्ता: हाइब्रिड RAG मॉड्यूल ने लेक्सिकल सर्च, स्टैंडर्ड डेंस रिट्रीवल और GraphRAG की तुलना में बेहतर रिट्रीवल मेट्रिक्स (Precision@5 = 0.946, NDCG = 0.952) प्राप्त किए।
सिफारिश गुणवत्ता: स्वतंत्र LLMs और अन्य RAG वेरिएंट की तुलना में CardioTrust ने दिशानिर्देशों के साथ उच्चतम सिमेंटिक संरेखण (BERTScore = 0.96) प्राप्त किया।
ट्रस्ट और हॉलुसिनेशन में कमी: पूर्ण ढांचे ने 0.96 का संयुक्त ट्रस्ट स्कोर प्राप्त किया और हॉलुसिनेशन दर को 2.84% तक कम कर दिया, जो ज़ीरो-शॉट LLM जनरेशन में देखे गए 21.64% की तुलना में एक महत्वपूर्ण सुधार है।
एब्लेशन अध्ययन: परिणामों ने पुष्टि की कि जबकि प्रेडिक्टिव सटीकता (Random Forest द्वारा नियंत्रित) स्थिर रही, हाइब्रिड RAG, TreeSHAP और ट्रस्ट वैलिडेशन का एकीकरण धीरे-धीरे हॉलुसिनेशन को कम करता है और सिस्टम की विश्वसनीयता बढ़ाता है।

महत्व और दावे

पेपर का दावा है कि CardioTrust व्यक्तिगत हृदय देखभाल के लिए एक मजबूत, पारदर्शी और क्लिनिशियन-अलाइन समाधान प्रदान करता है। उच्च-सटीक भविष्यवाणी को सत्यापन योग्य, व्याख्यात्मक क्लिनिकल रीजनिंग के साथ जोड़ने के माध्यम से, यह ढांचा व्यक्तिगत हृदय देखभाल के लिए एक महत्वपूर्ण बाधा को दूर करता है। लेखक जोर देते हैं कि सिस्टम ऑटोमेटेड प्री-डिलीवरी वैलिडेशन के माध्यम से LLM हॉलुसिनेशन और बिना आधार वाले थेरेपी सुझावों के जोखिम को कम करता है।

पेपर अपने वर्तमान सत्यापन के संबंध में एक मध्यम रुख बनाए रखता है:

ट्रस्ट स्कोर एम्बेडिंग्स और कॉन्फिडेंस पर आधारित एक स्वचालित प्रॉक्सी है; इसे अभी तक किसी विशेषज्ञ रीडर स्टडी से क्लिनिशियन एक्सेप्टेंस रेट के विरुद्ध सत्यापित नहीं किया गया है, जिसे अगले आवश्यक कदम के रूप में पहचाना गया है।
ट्रस्ट वैलिडेशन मॉड्यूल में वेटिंग कोएफिशिएंट्स वर्तमान में एक समान-भारित बेसलाइन पर सेट हैं; विशेषज्ञ द्वारा न्यायसंगत लेबल के विरुद्ध अनुभवजन्य अंशांकन (empirical calibration) को भविष्य के कार्य के रूप में प्रस्तावित किया गया है।
UCI डेटासेट के परिणाम एक आउट-ऑफ-डिस्ट्रीब्यूशन ट्रांसफरैबिलिटी चेक के रूप में प्रस्तुत किए गए हैं, न कि सामान्यीकरण के निश्चित प्रमाण के रूप में, जिसमें भविष्य के मल्टीसेंटर वैलिडेशन की आवश्यकता को नोट किया गया है।

लेखक निष्कर्ष निकालते हैं कि CardioTrust विश्वसनीय AI की दिशा में एक महत्वपूर्ण कदम है, लेकिन वे स्पष्ट रूप से वर्तमान कार्य को भविष्य के अनुभवजन्य अंशांकन और वास्तविक दुनिया के परिनियोजन परीक्षण के लिए एक आधार के रूप में फ्रेम करते हैं।