Large Language Models Lack Temporal Awareness of Medical Knowledge
यह शोध पत्र TempoMed-Bench प्रस्तुत करता है, जो चिकित्सा के क्षेत्र में लार्ज लैंग्वेज मॉडल्स (LLMs) की टेम्पोरल अवेयरनेस (सामयिक जागरूकता) का मूल्यांकन करने के लिए पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल ऐतिहासिक ज्ञान के साथ संघर्ष करते हैं, तीव्र कटऑफ के बजाय क्रमिक प्रदर्शन गिरावट प्रदर्शित करते हैं, और सर्च टूल्स के साथ संवर्धित होने के बावजूद भी टेम्पोरल कंसिस्टेंसी (सामयिक निरंतरता) बनाए रखने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Large Language Models Lack Temporal Awareness of Medical Knowledge" शोध पत्र का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।
मुख्य विचार: "टाइम ट्रैवल" की समस्या
कल्पल्पना कीजिए कि आपने स्वास्थ्य संबंधी प्रश्नों के उत्तर देने के लिए एक बेहद बुद्धिमान मेडिकल छात्र को काम पर रखा है। इस छात्र ने अब तक लिखी गई हर मेडिकल टेक्स्टबुक पढ़ रखी है। हालाँकि, एक पेंच है: उसे यह नहीं पता कि अभी कौन सा साल चल रहा है।
यदि आप उनसे पूछें, "मोटापे के लिए सबसे अच्छी दवा क्या है?" तो वे आपको 2018 की किसी टेक्स्टबुक का उत्तर दे सकते हैं, भले ही 2024 में एक बिल्कुल नई और बेहतर दवा स्वीकृत हो चुकी हो। या, यदि आप उनसे 2015 की किसी उपचार योजना (treatment plan) के बारे में पूछें, तो वे गलती से आपको वर्तमान 2024 की योजना बता सकते हैं, क्योंकि वे भूल गए हैं कि पुराने नियम क्या थे।
यह शोध पत्र तर्क देता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) उसी छात्र की तरह हैं। वे तथ्यों को जानने में तो माहिर हैं, लेकिन वे यह जानने में बहुत खराब हैं कि वे तथ्य कब सत्य थे।
टूल: "TempoMed-Bench" (टाइम-ट्रैवल परीक्षा)
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण बनाया जिसे TempoMed-Bench कहा गया।
चिकित्सा दिशानिर्देशों (मेडिकल गाइडलाइन्स - वे आधिकारिक नियम जिनका डॉक्टर पालन करते हैं) को एक वीडियो गेम की तरह समझें जो हर कुछ वर्षों में अपडेट होता रहता है।
- वर्जन 1 (2018): गेम कहता है, "बॉस से लड़ने के लिए लाल तलवार का उपयोग करें।"
- वर्जन 2 (2022): गेम अपडेट होता है और कहता है, "लाल तलवार टूट गई है; अब नीली ढाल का उपयोग करें।"
- वर्जन 3 (2024): गेम फिर से अपडेट होता है: "नीली ढाल बहुत भारी है; लेजर गन का उपयोग करें।"
शोधकर्ताओं ने वास्तविक चिकित्सा संगठनों से ऐसे हजारों "गेम अपडेट्स" लिए। उन्होंने एक क्विज़ बनाया जहाँ उन्होंने AI से पूछा:
- "2024 के नियम के अनुसार क्या कहना चाहिए?" (यह देखने के लिए कि क्या वे नई चीजों को जानते हैं)।
- "2018 के नियम के अनुसार क्या कहना चाहिए था?" (यह देखने के लिए कि क्या उन्हें पुराने नियमों की याद है)।
- "2020 में नियम क्या था?" (यह देखने के लिए कि क्या वे वर्जन्स के बीच सही ढंग से स्विच कर सकते हैं)।
निष्कर्ष: AI ने कहाँ गलती की
शोधकर्ताओं ने इस परीक्षा में 10 से अधिक अलग-अलग AI मॉडल्स का परीक्षण किया। यहाँ उन्होंने क्या पाया, जिसे सरल उपमाओं के माध्यम से समझाया गया है:
1. "याददाश्त धुंधली होने" का प्रभाव (कोई सख्त कटऑफ नहीं)
मिथक: लोगों को लगता था कि AI मॉडल्स में एक "नॉलेज कटऑफ" (ज्ञान की सीमा) होती है। कल्पना कीजिए कि एक लाइब्रेरी है जो एक विशिष्ट तिथि के बाद किताबें जोड़ना बंद कर देती है। आप सोचेंगे कि AI उस तिथि तक सब कुछ पूरी तरह जानता है, और उसके बाद का कुछ भी नहीं जानता।
वास्तविकता: AI के पास कोई सख्त रोक (hard stop) नहीं है। इसके बजाय, नए मेडिकल तथ्यों की उसकी याददाश्त धीरे-धीरे धुंधली होती जाती है जैसे-जैसे हम समय में पीछे जाते हैं।
- उपमा: यह किसी लाइट स्विच की तरह नहीं है जो अचानक बंद हो जाता है। यह एक रेडियो सिग्नल की तरह है जो टावर से दूर जाने पर धीरे-धीरे कमजोर होता जाता है। AI नवीनतम समाचारों को जानने में धीरे-धीरे खराब होता जाता है, अचानक नहीं।
2. पुराने नियमों के लिए "भूलने की बीमारी" (Amnesia)
निष्कर्ष: AI वर्तमान नियमों को जानने में बहुत अच्छा है, लेकिन वह यह याद रखने में बहुत बुरा है कि पुराने नियम क्या थे।
- उपमा: कल्पना कीजिए कि एक फैशन डिजाइनर जानता है कि अभी क्या ट्रेंड में है। लेकिन यदि आप उनसे पूछें, "2015 में लोग क्या पहनते थे?" तो वे गलती से आपको वह बता सकते हैं जो लोग आज पहन रहे हैं।
- आंकड़े: ऐतिहासिक चिकित्सा ज्ञान के बारे में पूछे जाने पर, AI की सटीकता वर्तमान ज्ञान की तुलना में केवल 25% से 50% ही थी। ऐसा लगता है कि अपने प्रशिक्षण के दौरान उसने नियमों के पुराने संस्करणों को "भूल" दिया है।
3. "भ्रमित टाइम ट्रैवलर" (असंगति)
निष्कर्ष: जब AI से अलग-अलग वर्षों के बारे में पूछा जाता है, तो उसके उत्तर बहुत ही अनिश्चित होते हैं।
- उपमा: कल्पना कीजिए कि एक टाइम ट्रैवलर है जो, जब उससे 2020 के बारे में पूछा जाता है, तो कहता है "हाँ, वह हुआ था।" लेकिन जब उससे 2021 के बारे में पूछा जाता है, तो वह कहता है "नहीं, वह नहीं हुआ था," भले ही वे घटनाएँ तार्किक रूप से जुड़ी हुई हों।
- परिणाम: AI के दिमाग में एक सुचारू, तार्किक टाइमलाइन नहीं है। वह आगे-पीछे कूदता है, कभी पुराने नियमों से सहमत होता है तो कभी नए नियमों से, चाहे आपने किसी भी वर्ष के बारे में पूछा हो। उसमें इस बात की समझ नहीं है कि चिकित्सा कैसे बदली है।
4. "सर्च इंजन" से ज्यादा मदद नहीं मिली
निष्कर्ष: शोधकर्ताओं ने AI को एक "सर्च इंजन" (जिसे एजेंटिक RAG कहा जाता है) देकर इस समस्या को ठीक करने की कोशिश की, ताकि वह अपनी याददाश्त पर निर्भर रहने के बजाय वास्तविक समय में नियमों को खोज सके।
- परिणाम: इससे थोड़ी मदद मिली, लेकिन पर्याप्त नहीं।
- उपमा: कल्पना कीजिए कि उस भ्रमित मेडिकल छात्र को एक लाइब्रेरी कार्ड दे दिया गया है। वह 2024 की किताब ढूंढ सकता है, लेकिन उसे 2018 की और 2022 की किताबें भी एक साथ मिल जाती हैं। क्योंकि छात्र इतना भ्रमित है कि उसे किस किताब पर भरोसा करना चाहिए, वह जानकारी से घबरा जाता है और फिर भी गलत उत्तर देता है। सर्च टूल्स ने वास्तव में बहुत अधिक विरोधाभासी जानकारी पेश कर दी, जिससे कुछ मामलों में AI की स्थिति और खराब हो गई।
निचोड़
शोध पत्र निष्कर्ष निकालता है कि लार्ज लैंग्वेज मॉडल्स अभी समय-संवेदनशील चिकित्सा निर्णयों के लिए भरोसेमंद नहीं हैं।
वे एक ऐसे प्रतिभाशाली डॉक्टर की तरह हैं जिसने हर किताब पढ़ ली है लेकिन जिसे कैलेंडर का कोई ज्ञान नहीं है। वे आपको आज के लिए सही उत्तर दे सकते हैं, लेकिन वे आपको पांच साल पहले का कोई खतरनाक उत्तर भी दे सकते हैं, या वे पिछले साल क्या सच था, इसे लेकर भ्रमित हो सकते हैं। जब तक हम उन्हें समय को समझने के लिए उतना ही प्रशिक्षित नहीं करते जितना वे तथ्यों को समझते हैं, तब तक उन पर समय के साथ बदलने वाली चिकित्सा सलाह के लिए पूरी तरह भरोसा नहीं किया जा सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।