Inhibitory Attention for Clinical Long-Context Reasoning: Characterizing and Mitigating Lost-in-the-Middle Effects in EHR Processing
यह शोधपत्र लंबे इलेक्ट्रॉनिक स्वास्थ्य अभिलेखों (ईएचआर) को संसाधित करने वाले लार्ज लैंग्वेज मॉडल्स में "क्लिनिकल लॉस्ट-इन-द-मिडल" समस्या की पहचान और लक्षण वर्णन करता है, यह प्रदर्शित करते हुए कि एक हल्का क्वेरी-कंडीशन्ड सिलेक्शन गेट (क्यूसीसीएस) निर्देश-अनुपालन सटीकता में सुधार के लिए केवल रिकॉल के बजाय संदर्भ प्रासंगिकता को प्राथमिकता देकर पारंपरिक रिट्रीवल विधियों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक चिकित्सा पद्धति प्रत्येक रोगी के लिए भारी मात्रा में जानकारी उत्पन्न करती है। एक व्यक्ति का इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड केवल कुछ पृष्ठों के नोट्स नहीं है; यह एक विशाल, कालानुक्रमिक संग्रह है जो 1,00,000 शब्दों से अधिक तक बढ़ सकता है जब इसमें हर डॉक्टर का दौरा, लैब परिणाम, दवा का इतिहास और सामाजिक विवरण शामिल हो। वर्षों तक, भाषा को पढ़ने और समझने के लिए डिज़ाइन किए गए कंप्यूटर प्रोग्राम इतने लंबे दस्तावेज़ों के साथ संघर्ष करते रहे, अक्सर बीच के हिस्सों को भूल जाते थे जबकि शुरुआत और अंत को याद रखते थे। यह एक अंध बिंदु (ब्लाइंड स्पॉट), जिसे "लॉस्ट-इन-द-मिडल" (बीच में खो जाना) प्रभाव के रूप में जाना जाता है, का अर्थ था कि यदि किसी रोगी की फ़ाइल के बीच में कोई महत्वपूर्ण चिकित्सा इतिहास छिपा हुआ था, तो एक आर्टिफिशियल इंटेलिजेंस उसे पूरी तरह से मिस कर सकता था। एक क्लिनिकल सेटिंग में, यह कोई मामूली गड़बड़ी नहीं है। दो साल पहले बंद की गई दवा, रिकॉर्ड के बीच से कोई लैब वैल्यू, या कोई पुराना निदान जो वर्तमान उपचार योजना के विपरीत हो, उसे मिस करना खतरनाक त्रुटियों का कारण बन सकता है। शोधकर्ताओं के सामने प्रश्न यह था कि क्या यह दोष इन कंप्यूटर दिमागों के काम करने के तरीके का एक अपरिहार्य विचित्र गुण था, या क्या इसे मेडिकल एआई को सुरक्षित और अधिक विश्वसनीय बनाने के लिए ठीक किया जा सकता था।
कैलिफोर्निया विश्वविद्यालय, सैन फ्रांसिस्को के एक शोधकर्ता ने यह मापने के लिए कि वास्तविक अस्पताल रिकॉर्ड में यह समस्या वास्तव में कितनी खराब है और इसे ठीक करने का तरीका खोजने के लिए एक प्रयास किया। उन्होंने हजारों वास्तविक रोगी रिकॉर्ड और क्लिनिकल प्रश्नों का उपयोग करके छह अलग-अलग लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) का परीक्षण किया, जो उन्नत कंप्यूटर प्रोग्राम हैं जो पढ़ सकते हैं और प्रश्नों के उत्तर दे सकते हैं। उन्होंने पाया कि यह समस्या गंभीर और निरंतर है। जब किसी चिकित्सा प्रश्न का उत्तर रोगी की फ़ाइल के पहले या अंतिम भाग में स्थित था, तो कंप्यूटर लगभग 60 प्रतिशत बार सही होता था। हालांकि, जब वही उत्तर फ़ाइल के मध्य 70 प्रतिशत भाग में छिपा हुआ था, तो सटीकता गिरकर लगभग 38 प्रतिशत रह गई। लगभग 22 प्रतिशत अंकों का यह अंतर यह दर्शाता है कि यदि सत्य बीच में बैठा है, तो कंप्यूटर के उसे खोजने की संभावना काफी कम हो जाती है। शोधकर्ता ने पाया कि इन चिकित्सा रिकॉर्ड्स के लगभग 70 प्रतिशत महत्वपूर्ण तथ्य सीधे इसी खतरनाक मध्य क्षेत्र में आते हैं, जिससे सबसे महत्वपूर्ण जानकारी ठीक वहीं पहुँच जाती है जहाँ कंप्यूटर के उसे अनदेखा करने की सबसे अधिक संभावना होती है।
इसे हल करने के लिए, शोधकर्ता ने कई अलग-अलग दृष्टिकोणों का परीक्षण किया, जिसमें बड़े डेटाबेस में जानकारी खोजने के लिए उपयोग किए जाने वाले मानक तरीके भी शामिल थे। उन्होंने उन प्रणालियों का परीक्षण किया जो केवल मिलान वाले शब्दों को खोजती थीं, उन प्रणालियों का परीक्षण किया जो वाक्यों के अर्थ को समझने की कोशिश करती थीं, और उन प्रणालियों का परीक्षण किया जो टेक्स्ट को पढ़ने में आसान बनाने के लिए पुनर्व्यवस्थित करती थीं। आश्चर्यजनक रूप से, इनमें से कोई भी पारंपरिक खोज विधि तब अच्छी तरह काम नहीं कर पाई जब कंप्यूटर को वास्तव में एक जटिल चिकित्सा प्रश्न का उत्तर देना था। यहाँ तक कि जब खोज प्रणाली ने उत्तर वाले सही वाक्य को सफलतापूर्वक ढूंढ लिया, तब भी कंप्यूटर उस जानकारी का सही उत्तर देने के लिए उपयोग करने में विफल रहा। कंप्यूटर सही शब्द तो ढूंढ लेता था लेकिन फिर फ़ाइल के अन्य अप्रासंगिक विवरणों से विचलित हो जाता था, जिससे वह एक ऐसा गलत उत्तर देता था जो सुनने में तो तर्कसंग योग्य लगता था लेकिन चिकित्सकीय रूप से गलत था।
शोधकर्ता ने 'क्वेरी-कंडीशन्ड क्लिनिकल सप्रेशन' (प्रश्न-आधारित नैदानिक दमन) नामक एक नया, हल्का तरीका विकसित किया। पूरे विशाल फ़ाइल को पढ़ने या केवल मिलान वाले शब्दों को खोजने के बजाय, यह तरीका एक फिल्टर की तरह कार्य करता है जो पूछे गए विशिष्ट प्रश्न को देखता है और केवल उन्हीं वाक्यों का चयन करता है जो उस प्रश्न के लिए वास्तव में प्रासंगिक हैं। यह बाकी फ़ाइल को अनदेखा कर देता है, प्रभावी रूप से शोर (नॉइज़) को दबा देता है। जब उन्होंने इस नए तरीके का परीक्षण किया, तो इसने सभी अन्य दृष्टिकोणों की तुलना में नाटकीय रूप से बेहतर प्रदर्शन किया। उन प्रश्नों के लिए जहाँ उत्तर रिकॉर्ड के बीच में था, इस नए तरीके ने कंप्यूटर को लगभग 17 प्रतिशत बार सही उत्तर देने में सक्षम बनाया, जबकि अन्य खोज विधियों के लिए यह शून्य प्रतिशत था। कुल मिलाकर, इस नए तरीके ने लगभग 25 प्रतिशत की सफलता दर हासिल की, जबकि अन्य तरीकों में से सर्वश्रेष्ठ ने 4 प्रतिशत से भी कम प्रदर्शन किया।
शायद सबसे महत्वपूर्ण खोज यह थी कि इस नई विधि की सफलता केवल उस "गोल्ड स्टैंडर्ड" वाक्य को खोजने से नहीं आई जिसमें उत्तर था। वास्तव में, नए तरीके ने अक्सर उस सटीक वाक्य को भी नहीं चुना जिसमें उत्तर था, फिर भी इसने सही प्रतिक्रिया उत्पन्न की। यह सुझाव देता है कि समस्या को हल करने की कुंजी केवल सही टेक्स्ट को प्राप्त करना नहीं था, बल्कि एक ऐसा संदर्भ तैयार करना था जो कंप्यूटर को अप्रासंगिक विवरणों में खोए बिना प्रश्न पर तर्क करने में मदद करे। शोधकर्ता ने पुष्टि की कि केवल सही वाक्य उपलब्ध होना ही पर्याप्त नहीं था; कंप्यूटर को स्पष्ट रूप से सोचने के लिए एक केंद्रित, प्रासंगिक संदर्भ की आवश्यकता थी। हालांकि यह नया तरीका मानव डॉक्टरों को बदलने के लिए अभी तक पर्याप्त पूर्ण नहीं है, लेकिन यह प्रदर्शित करता है कि चिकित्सा रिकॉर्ड में "लॉस्ट-इन-द-मिडल" की समस्या एक वास्तविक और समाधान योग्य इंजीनियरिंग चुनौती है, जो ऐसे एआई सिस्टम की ओर एक मार्ग प्रशस्त करती है जो रोगी की देखभाल के विशाल और जटिल इतिहास को विश्वसनीयता से नेविगेट कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।