Using reasoning LLMs to extract SDOH events from clinical notes
यह अध्ययन प्रदर्शित करता है कि तर्क करने में सक्षम लार्ज लैंग्वेज मॉडल्स (LLMs), जो प्रॉम्प्ट इंजीनियरिंग, फ्यू-शॉट लर्निंग, सेल्फ-कंसिस्टेंसी और पोस्ट-प्रोसेसिंग के चार-मॉड्यूल ढांचे द्वारा निर्देशित होते हैं, प्रतिस्पर्धी प्रदर्शन और कार्यान्वयन सरलता के साथ असंरचित क्लिनिकल नोट्स से संरचित सोशल डिटरमिनेंट्स ऑफ हेल्थ (SDOH) घटनाओं को प्रभावी ढंग से निकाल सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डॉक्टर हैं जो किसी मरीज के जीवन को समझने की कोशिश कर रहे हैं। आपके पास उनका मेडिकल चार्ट है, लेकिन उनकी बीमारी के कारण से जुड़े सबसे महत्वपूर्ण सुराग साफ-सुथरे, टिक-बॉक्स वाले फॉर्म में नहीं हैं। इसके बजाय, वे हाथ से लिखे नोट्स या टाइप की गई कहानियों के लंबे, बिखरे हुए पैराग्राफों में छिपे हुए हैं।
उदाहरण के लिए, एक डॉक्टर लिख सकता है: "मरीज एक छोटे से अपार्टमेंट में अकेला रहता है, किराया चुकाने के लिए संघर्ष कर रहा है, और 10 साल पहले धूम्रपान छोड़ दिया था।"
एक कंप्यूटर के लिए, यह केवल टेक्स्ट का एक ढेर है। एक इंसान के लिए, यह सोशल डिटरमिनेंट्स ऑफ हेल्थ (SDOH) का खजाना है। ये गैर-चिकित्सकीय कारक हैं—जैसे आवास, नौकरी और आदतें—जो वास्तव में यह तय करते हैं कि कोई व्यक्ति स्वस्थ रहेगा या बीमार पड़ेगा।
समस्या यह है कि कंप्यूटर इन बिखरी हुई कहानियों को पढ़ने में बहुत खराब हैं। उन्हें आमतौर पर इन सुरागों को खोजने के लिए एक विशाल, महंगे प्रशिक्षण कार्यक्रम की आवश्यकता होती है।
यह शोध पत्र रीज़निंग LLMs (लार्ज लैंग्वेज मॉडल्स) का उपयोग करके कंप्यूटर को ये कहानियाँ पढ़ने के लिए सिखाने के एक नए, स्मार्ट तरीके के बारे में है। इन मॉडल्स को केवल "सर्च इंजन" के रूप में नहीं, बल्कि सुपर-स्मार्ट जासूसों के रूप में सोचें जो वास्तव में एक समस्या पर विचार कर सकते हैं।
यहाँ बताया गया है कि शोधकर्ताओं ने इन डिजिटल जासूसों को केस सुलझाने के लिए कैसे प्रशिक्षित किया, जिसमें चार सरल चरण शामिल हैं:
1. "नियम पुस्तिका" (निर्देशों के साथ प्रॉम्प्ट्स)
कंप्यूटर को हजारों उदाहरण याद करने के लिए मजबूर करने के बजाय, शोधकर्ताओं ने जासूस को एक स्पष्ट निर्देश पुस्तिका (SHAC दिशानिर्देश) दी।
- उपमा: कल्पना कीजिए कि एक नए कर्मचारी को एक विशिष्ट फॉर्म भरने के बारे में एक विस्तृत हैंडबुक देना। आप सिर्फ यह नहीं कहते, "अपना काम करो।" आप कहते हैं, "यदि आप 'रहता है' शब्द देखते हैं, तो जाँच करें कि क्या वे अकेले रहते हैं या परिवार के साथ। यदि आप 'छोड़ दिया' देखते हैं, तो जाँच करें कि उन्होंने कब छोड़ा।"
- शोधकर्ताओं ने इन नियमों को सीधे AI में डाला, और इसे ठीक से बताया कि क्या देखना है और उत्तर को कैसे फॉर्मेट करना है।
2. "अभ्यास सत्र" (फ्यू-शॉट लर्निंग)
नियम पुस्तिका के साथ भी, एक जासूस को अच्छे काम के उदाहरण देखने की आवश्यकता होती है।
- उपमा: यह एक नए इंटर्न को खुद काम शुरू करने से पहले 50 पूरे किए गए, सटीक फॉर्म दिखाने जैसा है। शोधकर्ताओं ने AI को "बिखरे हुए टेक्स्ट" को "सटीक स्ट्रक्चर्ड डेटा" में बदलते हुए 50 उदाहरण दिखाए।
- इससे AI को केवल नियमों को ही नहीं, बल्कि कार्य के पैटर्न को भी समझने में मदद मिली।
3. "दूसरी राय" (सेल्फ-कंसिस्टेंसी)
कभी-कभी, स्मार्ट जासूस भी भ्रमित हो सकते हैं या कोई तुक्का लगा सकते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने AI को एक ही पहेली को तीन बार हल करने के लिए कहा।
- उपमा: तीन विशेषज्ञों के एक जूरी की कल्पना करें। यदि दो विशेषज्ञ कहते हैं, "मरीज अकेला रहता है," और एक कहता है, "मरीज परिवार के साथ रहता है," तो समूह वोट करता है। बहुमत जीतता है।
- AI को तीन बार सोचने के लिए कहने और सबसे आम उत्तर लेने से, उन्होंने "गलत अनुमानों" को फ़िल्टर किया और सबसे विश्वसनीय उत्तरों को रखा।
4. "अंतिम पॉलिश" (पोस्ट-प्रोसेसिंग)
वोटिंग के बाद भी, AI छोटी गलतियाँ कर सकता है, जैसे तारीख गलत होना या कोई छोटा विवरण छूट जाना।
- उपमा: यह समाचार पत्र के संपादक की तरह है। AI कहानी लिखता है, लेकिन संपादक स्पेलिंग चेक करता है, सुनिश्चित करता है कि तारीख का फॉर्मेट सही है, और उन कहानियों को बाहर कर देता है जो समझ में नहीं आतीं (जैसे कि एक मरीज जो "वर्तमान में" धूम्रपान कर रहा है लेकिन साथ ही बिना किसी स्पष्टीकरण के 30 साल पहले "छोड़ दिया" था)।
परिणाम: एक नया चैंपियन
शोधकर्ताओं ने इस पद्धति का परीक्षण एक प्रसिद्ध प्रतियोगिता (n2c2/UW टास्क) पर किया जहाँ टीमें इन स्वास्थ्य सुरागों को खोजने की दौड़ लगाती हैं।
- पुराना तरीका: टीमों ने अपने मॉडल को शून्य से प्रशिक्षित करने के लिए भारी, महंगे कंप्यूटरों का उपयोग किया। यह हर एक रेस के लिए एक कस्टम कार बनाने जैसा था।
- नया तरीका: शोधकर्ताओं ने बस एक "प्रॉम्प्ट" (निर्देशों का एक सेट) के साथ एक स्मार्ट AI का उपयोग किया।
- परिणाम: उनके तरीके ने 0.866 (एक बहुत उच्च स्कोर) प्राप्त किया, जो उन टीमों को पीछे छोड़ दिया या उनके बराबर रहा जिन्होंने अपने स्वयं के मॉडल को प्रशिक्षित करने में महीनों बिताए थे। वास्तव में, उनका तरीका पिछले चैंपियनों की तुलना में अधिक सटीक (कम गलतियाँ करने वाला) था।
यह क्यों मायने रखता है
- सरलता: आपको सुपरकंप्यूटर या डेटा वैज्ञानिकों की टीम की आवश्यकता नहीं है। आपको बस एक स्मार्ट AI और निर्देशों का एक अच्छा सेट चाहिए।
- लचीलापन: यदि कोई नया प्रकार का सामाजिक मुद्दा सामने आता है (जैसे "खाद्य असुरक्षा"), तो आपको पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस निर्देश पुस्तिका को अपडेट करते हैं, और AI तुरंत अनुकूलित हो जाता है।
- गोपनीयता: शोधकर्ताओं ने उल्लेख किया कि हालांकि क्लाउड-आधारित AI का उपयोग करने में गोपनीयता जोखिम हैं, लेकिन एक वास्तविक अस्पताल में, मरीज के डेटा से नाम पहले ही हटा दिए जाएंगे, जिससे यह सुरक्षित हो जाएगा।
संक्षेप में: यह शोध पत्र साबित करता है कि अब हमें मेडिकल नोट्स पढ़ने के लिए जटिल, कस्टम रोबोट बनाने की आवश्यकता नहीं है। हमें बस अपने मौजूदा "सुपर-स्मार्ट" AI को एक स्पष्ट मानचित्र, कुछ अभ्यास उदाहरण और एक दूसरी राय देने की आवश्यकता है, और यह काम पुराने, महंगे तरीकों से बेहतर कर सकता है। यह एक कुत्ते को गेंद फेंकने के लिए 1,000 बार अभ्यास कराने बनाम बस एक बहुत बुद्धिमान कुत्ते को एक स्पष्ट कमांड और एक ट्रीट देने के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।