← नवीनतम पेपर
💻 संगणक विज्ञान

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

यह क्रॉस-सेक्शनल मल्टी-मॉडल अध्ययन प्रदर्शित करता है कि जहाँ वर्तमान मुख्यधारा के लार्ज लैंग्वेज मॉडल्स ने वृद्धों के लिए हृदय रोग संबंधी जोखिम मेट्रिक्स को परिवर्तित करने में 'नियर-सीलिंग' सटीकता प्राप्त कर ली है, वहीं उनका प्रदर्शन मुख्य रूप से रन-टू-रन निरंतरता द्वारा विभेदित होता है, जिसमें डीपसीक (DeepSeek) डौबौ (Doubao) और किमी (Kimi) की तुलना में काफी कम स्थिरता दर्शाता है, और विसंगतियाँ लगभग विशेष रूप से नैदानिक रूप से महत्वपूर्ण त्रुटियों के बजाय सौम्य राउंडिंग त्रुटियों से उत्पन्न होती हैं।

मूल लेखक: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

प्रकाशित 2026-11-03
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

हृदय रोग दुनिया भर में बीमारी और मृत्यु का सबसे आम कारण बना हुआ है, और इसका प्रभाव वृद्ध वयस्कों पर सबसे अधिक पड़ता है। जब डॉक्टर इन समस्याओं को शुरू होने से पहले रोकने की कोशिश करते हैं, तो वे अक्सर दैनिक दवाओं जैसे कि स्टैटिन (statins) लेने की सलाह देते हैं। ऐसी दवा लेने का निर्णय रोगी और डॉक्टर के बीच एक साझा समझ पर निर्भर करता है: इससे कितना लाभ होगा, और इसके जोखिम क्या हैं? यह बातचीत संख्याओं पर आधारित होती है। एक डॉक्टर समझा सकता है कि एक उपचार हृदय घात (heart attack) की संभावना को एक निश्चित प्रतिशत तक कम कर देता है, या यह कि हर सौ लोग जो दवा लेते हैं, उनमें से एक विशिष्ट संख्या हृदय संबंधी घटना से बच जाएगी। एक ही तथ्य को बताने के ये विभिन्न तरीके गणितीय रूप से समान हैं, लेकिन ये एक मानव मस्तिष्क के लिए बहुत अलग महसूस हो सकते हैं। एक संख्या को दूसरी संख्या में बदलने के लिए एक कौशल की आवश्यकता होती है जिसे 'न्यूमेरसी' (numeracy) कहा जाता है, जो कुछ चिकित्सा पेशेवरों को भी कठिन लगता है। जैसे-जैसे स्वास्थ्य सेवा में आर्टिफिशियल इंटेलिजेंस (AI) उपकरण अधिक सामान्य होते जा रहे हैं, अब कई लोग इन स्पष्टीकरणों को प्राप्त करने के लिए उनकी ओर मुड़ रहे हैं। लेकिन यदि एक कंप्यूटर आज किसी रोगी को एक संख्या देता है और कल उसी प्रश्न के लिए थोड़ा अलग नंबर देता है, तो उस उपकरण पर विश्वास टूटने लगता है।

शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए काम किया कि तीन लोकप्रिय आर्टिफिशियल इंटेलिजेंस सिस्टम इस विशिष्ट कार्य को कितनी अच्छी तरह से संभालते हैं। वे यह देखना चाहते थे कि क्या ये मॉडल जटिल चिकित्सा सांख्यिकी को वृद्ध वयस्कों के लिए स्पष्ट, सरल संख्याओं में सुसंगत रूप से परिवर्तित कर सकते हैं। अध्ययन एक ऐसी स्थिति पर केंद्रित था जहाँ एक रोगी को हृदय की दवा के लाभों और हानियों को जानने की आवश्यकता होती है। शोधकर्ताओं ने विभिन्न जोखिम कारकों वाले वृद्ध रोगियों से जुड़ी अस्सी अलग-अलग, वास्तविक चिकित्सा कहानियाँ बनाईं। प्रत्येक कहानी में, AI को चार विशिष्ट मानों (values) की गणना करनी थी: उपचार ने हृदय संबंधी घटना के जोखिम को कितना कम किया, इसने दुष्प्रभावों के जोखिम को कितना बढ़ाया, कितने लोगों को लाभ होने के लिए दवा लेनी होगी, और कितने लोगों को नुकसान होने के लिए इसे लेना होगा। एक निष्पक्ष परीक्षण सुनिश्चित करने के लिए, शोधकर्ताओं ने प्रत्येक तीन AI मॉडलों से प्रत्येक प्रश्न का तीन बार लगातार उत्तर देने के लिए कहा, और उन्होंने यह अंग्रेजी और चीनी दोनों भाषाओं में किया। इसके परिणामस्वरूप हजारों प्रतिक्रियाएँ प्राप्त हुईं जिन्हें मानव विशेषज्ञों द्वारा बनाए गए एक सटीक 'आंसर की' (answer key) के विरुद्ध जांचा गया।

परिणामों ने एक आश्चर्यजनक सच्चाई का खुलासा किया कि ये सिस्टम कैसे काम करते हैं। जब गणित को सही करने की बात आई, तो मॉडल लगभग पूर्ण थे। उन्होंने लगभग हमेशा सही संख्याओं की गणना की, जिससे पता चलता है कि इस प्रकार के संरचित कार्य के लिए उनकी गणना करने की क्षमता पहले से ही उच्चतम स्तर पर है। हालाँकि, असली कहानी निरंतरता (consistency) के बारे में थी। जब एक ही मॉडल से तीन बार एक ही प्रश्न पूछा गया, तो उत्तर हमेशा एक जैसे नहीं थे। एक मॉडल, डीपसीक (DeepSeek) ने दस प्रतिशत से अधिक मामलों में संख्याओं का एक अलग सेट दिया, भले ही इसे ऐसे मोड पर सेट किया गया था जो हर बार बिल्कुल वही परिणाम दे। अन्य दो मॉडल, डौबाओ (Doubao) और किमी (Kimi), बहुत अधिक स्थिर थे, और लगभग हर बार स्वयं के साथ सहमत थे। यह विसंगति तब भी हुई जब मॉडल रचनात्मक होने की कोशिश नहीं कर रहे थे; वे केवल संख्याओं की गणना करने के निर्देश का पालन कर रहे थे।

जब शोधकर्ताओं ने बारीकी से देखा कि मॉडल कब अलग-अलग उत्तर दे रहे थे, तो उन्होंने पाया कि अंतर लगभग हमेशा बहुत मामूली और हानिरहित थे। लगभग हर मामले में, असहमति केवल राउंडिंग (rounding) का मामला थी। उदाहरण के लिए, यदि गणना से पता चलता कि एक मरीज को एक व्यक्ति की मदद के लिए दवा चौबीस बार लेनी होगी, तो एक रन उसे चौबीस तक राउंड अप (round up) कर सकता है, जबकि दूसरा उसे तेईस तक राउंड डाउन (round down) कर सकता है। इन छोटे बदलावों ने चिकित्सा सलाह या इस निष्कर्ष को नहीं बदला कि क्या दवा लेना सार्थक है। मॉडल अनिवार्य रूप रूप से एक ही बात कह रहे थे, बस लेबल पर एक थोड़े अलग नंबर के साथ। केवल एक बहुत छोटा हिस्सा, एक-दशमांश प्रतिशत से भी कम, वास्तव में समस्याग्रस्त था। इन दुर्लभ मामलों में मॉडल द्वारा पूरी तरह से अलग मान देना, उत्तर देने में विफल रहना, या यह बदलने में शामिल होना शामिल था कि क्या उत्तर सही था।

अध्ययन में यह भी जांचा गया कि क्या उपयोग की गई भाषा मायने रखती है। मॉडल अंग्रेजी की तरह ही चीनी में भी उतना ही अच्छा प्रदर्शन करते थे, दोनों भाषाओं के बीच सटीकता में कोई महत्वपूर्ण अंतर नहीं था। इससे पता चलता है कि इन संख्याओं को संभालने की क्षमता किसी विशिष्ट भाषा से जुड़ी नहीं है। हालाँकि, शोधकर्ताओं ने नोट किया कि जिस मॉडल को अंग्रेजी में निरंतरता के साथ संघर्ष करना पड़ा, उसे चीनी में भी संघर्ष करना पड़ा, जो यह दर्शाता है कि समस्या विशिष्ट सॉफ्टवेयर इंजन के साथ थी न कि भाषा के साथ। ये निष्कर्ष इस सामान्य धारणा को चुनौती देते हैं कि AI को "जीरो टेम्परेचर" (zero temperature) मोड पर सेट करने से यह गारंटी मिलती है कि वह हमेशा एक ही उत्तर देगा। इस अध्ययन में, उन सेटिंग्स के बावजूद, सेवा ने समय-समय पर अलग-अलग नंबर दिए, जो संभवतः इस कारण से है कि सिस्टम पर्दे के पीछे कैसे बनाया और चलाया जाता है।

अंततः, शोध से पता चलता है कि हालांकि आर्टिफिशियल इंटेलिजेंस चिकित्सा सांख्यिकी की गणना करने में उत्कृष्ट है, इसकी विश्वसनीयता इस बात पर निर्भर करती है कि वह उन गणनाओं को कितनी निरंतरता से दोहराता है। जीवन-मृत्यु के प्रश्न पूछने वाले रोगी के लिए, हर बार एक अलग संख्या सुनना अविश्वसनीय लग सकता है, भले ही वे संख्याएँ तकनीकी रूप से सही क्यों न हों। लेखक सुझाव देते हैं कि चिकित्सा AI का मूल्यांकन करते समय, विशेषज्ञों को केवल साधारण सटीकता से परे देखना चाहिए और इस स्थिरता पर विशेष ध्यान देना चाहिए। वे एक नए तरीके का प्रस्ताव करते हैं जिससे विश्वसनीयता को मापने के लिए यह गिना जा सके कि कितनी बार एक मॉडल ऐसे उत्तर देता है जो न केवल अलग हैं, बल्कि खतरनाक रूप से अलग हैं। हृदय रोग के इन परिदृश्यों के मामले में, मॉडल सुरक्षित थे, लेकिन अध्ययन इस बात पर प्रकाश डालता है कि इन उपकरणों के लिए वास्तविक क्लीनिकों में भरोसेमंद होने के लिए, उन्हें न केवल सही उत्तर जानना चाहिए, बल्कि उसे हर बार एक ही तरह से कहने में भी सक्षम होना चाहिए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →